First Blood: KI hat ProgramBench doch noch geknackt 🩸

Vor kurzem schrieb ich, dass die vielgepriesenen KI-Agenten am Benchmark ProgramBench gescheitert sind, bei dem sie eine Binärdatei von Grund auf neu erstellen mussten, mit nur Ausführungsrechten. Damals hatten alle stolze 0%.

Nun hat sich eine Tür geöffnet. Die Jungs haben ein Update veröffentlicht: Die neue GPT-5.5 (xhigh) hat als erste die Startaufgabe gelöst – sie hat das Dienstprogramm cmatrix vollständig reverse-engineered und einen funktionierenden Klon geschrieben.

Das Interessanteste an diesem Bericht ist jedoch nicht die Lösung selbst, sondern wie verschiedene Modelle an die Aufgabe herangingen. Es ist wie ein Querschnitt des Denkens verschiedener Entwicklerkategorien.

🤡 Claude Opus 4.7
Er entschied sich, in C zu schreiben. Er stellte fest, dass im Docker keine Header-Dateien ncurses.h vorhanden sind. Was macht Claude? Er gibt nicht auf. Er parst System-Binärdateien mit ldconfig und nm -D, schreibt manuell curses_decls.h mit über 100 Zeilen voller typedefs und linkt das Ganze an die Laufzeit. Absolut geniale Systemtechnik.

Und dann scheitert er an 19 Tests. Warum?
Er überprüfte die Gültigkeit der eingegebenen Farbe mit strcmp statt strcasecmp. Die Eingabe von GREEN oder Red ließ die Logik brechen. Das Modell verbrauchte 178 API-Aufrufe ($10.74), baute eine hochkomplexe Verbindung über den dynamischen Linker auf, scheiterte aber am String-Vergleich ohne Normalisierung der Groß-/Kleinschreibung.

🧠 GPT 5.5
Der Agent checkt den Docker, versucht eine Test-C-Datei zu kompilieren und sieht, dass die Header für ncurses fehlen.
Seine Logik? „Vergiss es, ich schreibe in Python.“

Interessanterweise mussten die Autoren des Benchmarks einen Test entfernen, um den Sieg von Python zu werten.
In der ursprünglichen C-Binärdatei führte die Eingabe einer riesigen Zahl zu einem Integer-Overflow. Die Variable überlief, die Verzögerung wurde winzig, und die Matrix raste mit Höchstgeschwindigkeit. Die Benchmark-Autoren betrachteten dies als „Feature“.
📱 Die Python-Version von GPT-5.5 parste die Zahl ehrlich (dank Pythons Langzahlarithmetik, die sich nicht um Limits schert) und ging ehrlich in time.sleep(1e22). Die Plattform spuckte erwartungsgemäß OverflowError: timestamp out of range aus.
Den Bug von C's atoi() gaben sie als Systemverhalten aus, aber Python stellte alles richtig.

Wie viel Zeit geben wir für die Eroberung dieses Benchmarks?