GPT, den man "anfassen kann"

Alle Erklärungen zur Funktionsweise von GPT laufen auf dasselbe hinaus: Attention, Embeddings, Softmax. Die Wörter sind bekannt, aber was wirklich im Inneren passiert, ist unklar.

Ein koreanischer Entwickler hat ko-microgpt erstellt – ein winziges GPT-Modell, das koreanische Namen generiert und jeden Schritt direkt im Browser zeigt. Du scrollst die Seite und siehst, wie ein Token durch Embeddings, Normalisierung, Attention und MLP läuft. Lebendige Zahlen und Gewichte auf echten Daten.

Das Projekt ist aus microgpt von Andrej Karpathy hervorgegangen – demselben GPT mit ~200 Zeilen Python. Nur wurde hier eine interaktive Oberfläche an das Modell angebunden, und es entstand eine super anschauliche Erklärung von Transformatoren.

👩‍💻 Data Flow