GPT yang Bisa "Disentuh Langsung"

Semua penjelasan tentang cara kerja GPT selalu berujung pada hal yang sama: attention, embedding, softmax. Kata-katanya familiar, tapi apa yang sebenarnya terjadi di dalamnya tidak jelas.

Seorang pengembang Korea membuat ko-microgpt - model GPT kecil yang menghasilkan nama-nama Korea dan menunjukkan setiap langkah langsung di browser. Anda menggulir halaman dan melihat bagaimana token melewati embedding, normalisasi, attention, MLP. Angka dan bobot langsung pada data nyata.

Proyek ini tumbuh dari microgpt milik Andrej Karpathy - GPT yang hanya ~200 baris Python. Hanya saja di sini model dilengkapi dengan antarmuka interaktif, dan hasilnya adalah penjelasan transformer yang sangat jelas.

👩‍💻 Data Flow