🤯 Wie LLMs unter der Haube funktionieren #MLSTART

Wenn man zum ersten Mal mit großen Sprachmodellen in Berührung kommt, scheint es, als wäre da drin irgendeine Magie. 🪄

In Wirklichkeit ist es aber viel einfacher (und interessanter). Stark vereinfacht kann man sagen, dass ein LLM einfach das nächste Zeichen oder Wort vorhersagt.

Es „schaut“ auf den Kontext, bewertet die Wahrscheinlichkeiten aller möglichen Fortsetzungen und wählt die passendste aus. Im Kern handelt es sich also um eine gewöhnliche Multiklassen-Klassifikation, nur in gigantischem Maßstab.

🎞 Um das anschaulich zu sehen, gibt es zwei hervorragende Ressourcen:

- 3Blue1Brown - erklärt visuell, wie neuronale Netze funktionieren. Nach seinen Videos werden viele Dinge buchstäblich offensichtlich.

- Andrej Karpathy - ehemaliger OpenAI-Entwickler, zerlegt, wie man GPT von Grund auf baut. Ohne überflüssiges Beiwerk, sehr systematisch. Er zeigt Schritt für Schritt, wie ein Sprachmodell aufgebaut wird und warum es das tut, was es tut.

💬 Diese beiden Playlists helfen wirklich, das Puzzle im Kopf zusammenzusetzen: von neuronalen Netzen zu Transformatoren und von dort zum Verständnis von LLMs.

Zurück zum Inhaltsverzeichnis

👩‍💻 Data Flow