Lokale LLMs auf eigener Hardware auszuführen, ist längst nicht mehr nur etwas für Auserwählte mit H100-Clustern. Oder doch? 😁

🗓 1. Mai um 18:00 Uhr Moskauer Zeit findet ein Live-Stream im „TScompiler“ statt. Wir werden die Installation und Nutzung lokaler Modelle besprechen.

Worum es geht:
▪️ Wie wählt man ein passendes Modell für seine Hardware aus, damit es nicht den gesamten Systemspeicher frisst und mit angemessener TPS (Tokens pro Sekunde) arbeitet.
▪️ Das Modell im Chat-Modus für alltägliche Aufgaben hochfahren.
▪️ Anbindung der lokalen LLM an eine agentische IDE (als Beispiel nehmen wir Kilo Code).
▪️ Routing von Anfragen an die lokale Instanz über LangChain.
▪️ Braucht man das überhaupt?

Die Übertragung und Aufzeichnung sind für Teilnehmer von „TScompiler“ verfügbar. Der Zugang erfolgt über den Bot: https://t.me/TScompiler_bot