Das offizielle PyPI-Repository ist längst zu einer Müllhalde verkommen, in die alles Mögliche geworfen wird: von production-ready Frameworks bis zu Cheats für Among Us und Testpaketen von Schülern.

Ein Enthusiast hat sich die Mühe gemacht und visualisiert dieses gesamte Ökosystem als Graph.

Wie es technisch umgesetzt wurde:
1️⃣ Über BigQuery wurden die Metadaten aller Pakete exportiert.
2️⃣ Der Datensatz wurde dann durch Filter gejagt. Offensichtlicher Müll ohne ausgefüllte Felder und Pakete mit weniger als zwei Abhängigkeiten wurden entfernt. Übrig blieben etwa 100.000 Knoten.
3️⃣ Alles wurde mit dem energieoptimierenden Algorithmus Force Atlas 2 (Kraftalgorithmus zur Graphenanordnung) gezeichnet.

Was die Visualisierung zeigte:
▫️ Semantische Cluster. Pakete hängen nicht im luftleeren Raum. Um numpy herum gruppieren sich erwartungsgemäß scikit-learn, seaborn und tensorflow. Es gibt klar abgegrenzte Zonen für Kryptographie oder Webentwicklung.
▫️ Anomalien und Copy-Paste. Der Graph hebt Müll hervorragend hervor. Es wurden ganze Cluster von Paketen gefunden, die aus einer Vorlage generiert wurden (z. B. hunderte Variationen von python-smshub-org). Ein ideales Werkzeug zur automatischen Suche nach Malware.
▫️ Unternehmensmonopole. Visuell lässt sich Vendor-Lock-in leicht erkennen. Große "Unternehmensnester" sind sichtbar: Odoo (über 3000 abhängige Pakete), Triton (>300), Airbyte (320), PyObjC (167) usw.

Der Code des Projekts ist hier 👈🏻