GPT que você pode "tocar com as mãos"

Todas as explicações sobre o funcionamento do GPT esbarram na mesma coisa: attention, embeddings, softmax. Palavras familiares, mas o que realmente acontece internamente não está claro.

Um desenvolvedor coreano criou o ko-microgpt - um minúsculo modelo GPT que gera nomes coreanos e mostra cada etapa diretamente no navegador. Você rola a página e vê como o token passa por embeddings, normalização, attention, MLP. Números e pesos vivos em dados reais.

O projeto surgiu do microgpt de Andrej Karpathy - aquele GPT com ~200 linhas de Python. Só que aqui o modelo ganhou uma interface interativa, resultando em uma explicação super visual dos transformers.

👩‍💻 Data Flow