GPT que l'on peut "toucher du doigt"

Toutes les explications du fonctionnement de GPT se résument à la même chose : attention, embeddings, softmax. Des mots familiers, mais ce qui se passe réellement à l'intérieur reste flou.

Un développeur coréen a créé ko-microgpt - un minuscule modèle GPT qui génère des noms coréens et montre chaque étape directement dans le navigateur. En faisant défiler la page, vous voyez comment le token traverse les embeddings, la normalisation, l'attention, le MLP. Des chiffres et des poids vivants sur des données réelles.

Le projet est issu de microgpt d'Andrej Karpathy - le même GPT en ~200 lignes de Python. Seulement ici, un interface interactif a été ajouté au modèle, et le résultat est une explication extrêmement claire des transformeurs.

👩‍💻 Data Flow