Comment les développeurs se tirent joyeusement dans le pied 🔫

Sur crackr.dev, il y a un catalogue qui recense les échecs du vibe coding.

Voici quelques exemples liés à Python :

1️⃣ Supply chain via des hallucinations
Les meilleurs LLM recommandaient systématiquement d'installer le package inexistant huggingface-cli (en réalité, on installe via pip install "huggingface_hub[cli]").
Les gars de Lasso Security n'ont pas perdu de temps et ont publié un leurre sur PyPI avec ce nom.

Résultat : plus de 30 000 téléchargements réels en quelques mois. Soit 30 000 développeurs qui ont copié-collé sans réfléchir une commande du chat dans leur terminal. Un vecteur d'attaque idéal : pas besoin de pirater qui que ce soit, il suffit d'attendre que l'IA propose elle-même votre malware à la victime.

2️⃣ RCE clé en main par Claude
La Red Team de Databricks a demandé à Claude de coder un jeu de serpent multijoueur. Le réseau a généré un code entièrement fonctionnel, les clients se connectent, les serpents rampent. Mais pour transmettre l'état du réseau, Claude a utilisé pickle au lieu de JSON, car c'est plus simple pour sérialiser les objets Python.

Pour ceux qui auraient oublié les bases : pickle.loads() sur des données brutes provenant d'un socket, c'est une exécution de code à distance instantanée. N'importe quel client connecté pouvait envoyer un bytecode spécialement conçu et exécuter des commandes arbitraires sur le serveur. On a économisé du temps sur le parsing JSON, on a obtenu une faille grande comme un hangar.

Le problème des réseaux de neurones n'est pas qu'ils sont stupides. Ils écrivent du code qui résout le problème et qui fonctionne. Mais la sécurité architecturale et les cas limites, le réseau n'en tient pas compte, à moins qu'on ne l'y force explicitement via des prompts paranoïaques.

Réviseeeeeeez 🫵