Lokale LLMs auf eigener Hardware auszuführen ist längst nicht mehr das Privileg einiger weniger mit H100-Clustern. Oder doch? 😁

🗓 Heute um 18:00 Uhr Moskauer Zeit findet ein Live-Stream im „Assembly Point“ statt. Wir werden die Installation und Nutzung lokaler Modelle besprechen.

Worum es geht:
▪️ Wie wählt man das passende Modell für seine Hardware aus, damit es nicht den gesamten Systemspeicher frisst und mit angemessenen TPS (Tokens pro Sekunde) arbeitet.
▪️ Einrichten des Modells im Chat-Modus für alltägliche Aufgaben.
▪️ Anbindung der lokalen LLM an eine agentische IDE (am Beispiel von Kilo Code).
▪️ Routing von Anfragen an die lokale Instanz über LangChain.
▪️ Braucht man das überhaupt?

Die Übertragung und Aufzeichnung sind für Teilnehmer des „Assembly Point“ verfügbar. Der Zugang erfolgt über den Bot: https://t.me/TScompiler_bot