Exécuter des LLM locaux sur son propre matériel n'est plus réservé à une élite avec des clusters de H100. Ou peut-être que si ? 😁

🗓 Aujourd'hui à 18h00 heure de Moscou aura lieu un live dans «Точка Сборки». Nous allons aborder l'installation et l'utilisation de modèles locaux.

Ce qui sera discuté :
▪️ Comment choisir le modèle adapté à votre matériel pour qu'il ne consomme pas toute la mémoire système et fonctionne avec un TPS (tokens par seconde) adéquat.
▪️ Mise en place du modèle en mode chat pour les tâches quotidiennes.
▪️ Connexion du LLM local à un IDE agentique (en prenant Kilo Code comme exemple).
▪️ Routage des requêtes vers le local via LangChain.
▪️ Est-ce vraiment nécessaire ?

La diffusion et l'enregistrement seront accessibles aux participants de «Точка Сборки». L'accès se fait via le bot : https://t.me/TScompiler_bot