Wie Entwickler sich fröhlich ins Bein schießen 🔫

Auf crackr.dev gibt es einen Katalog, in dem Vibe-Coding-Pannen verfolgt werden.

Hier ein paar Beispiele mit Python-Bezug:

1️⃣ Supply-Chain durch Halluzinationen
Top-LLMs empfahlen regelmäßig die Installation des nicht existierenden Pakets huggingface-cli (in Wirklichkeit installiert man es über pip install "huggingface_hub[cli]").
Die Leute von Lasso Security ließen sich nicht lumpen und luden einen Blindgänger mit diesem Namen auf PyPI hoch.

Ergebnis: über 30.000 echte Downloads in ein paar Monaten. Das sind 30.000 Entwickler, die gedankenlos einen Befehl aus dem Chat ins Terminal kopiert haben. Ein perfekter Angriffsvektor: Man muss nicht einmal jemanden hacken, man wartet einfach, bis die KI dem Opfer selbst die Malware unterjubelt.

2️⃣ RCE aus der Box von Claude
Das Red Team von Databricks bat Claude, eine Multiplayer-Snake zu entwerfen. Das Netz lieferte voll funktionsfähigen Code, Clients verbinden sich, Schlangen krabbeln. Aber für die Zustandsübertragung über das Netz entschied sich Claude für pickle statt JSON, weil es einfacher ist, Python-Objekte zu serialisieren.

Für die, die die Grundlagen vergessen haben: pickle.loads() auf Rohdaten aus einem Socket ist sofortige Remote Code Execution. Jeder verbundene Client konnte speziell geformten Bytecode senden und beliebige Befehle auf dem Server ausführen. Zeit beim JSON-Parsing gespart – ein Loch so groß wie ein Hangar bekommen.

Das Problem der neuronalen Netze ist nicht, dass sie dumm sind. Sie schreiben Code, der die Aufgabe löst und funktioniert. Aber architektonische Sicherheit und Randfälle berücksichtigt das Netz nicht, wenn man es nicht explizit durch paranoide Prompts dazu zwingt.

Reviewyyyyyyyyy 🫵