GPT que se puede "tocar con las manos"

Todas las explicaciones del funcionamiento de GPT se reducen a lo mismo: atención, embeddings, softmax. Palabras familiares, pero lo que realmente sucede internamente no está claro.

Un desarrollador coreano creó ko-microgpt, un modelo GPT diminuto que genera nombres coreanos y muestra cada paso directamente en el navegador. Desplazas la página y ves cómo el token pasa por embeddings, normalización, atención, MLP. Números y pesos vivos sobre datos reales.

El proyecto surgió de microgpt de Andrej Karpathy, ese mismo GPT de ~200 líneas de Python. Solo que aquí se le añadió una interfaz interactiva al modelo, y resultó una explicación súper visual de los transformadores.

👩‍💻 Data Flow