Exécuter des LLM locaux sur son propre matériel n'est plus réservé à une élite avec des clusters de H100. Ou peut-être que si ? 😁

🗓 Le 1er mai à 18h00 (heure de Moscou) aura lieu un live dans «Точка Сборки». Nous allons aborder l'installation et l'utilisation de modèles locaux.

De quoi allons-nous parler :
▪️ Comment choisir le modèle adapté à votre matériel pour qu'il ne consomme pas toute la mémoire système et fonctionne avec un TPS (tokens par seconde) adéquat.
▪️ Mise en place du modèle en mode chat pour les tâches quotidiennes.
▪️ Connexion d'un LLM local à un IDE agentique (nous prendrons Kilo Code comme exemple).
▪️ Routage des requêtes vers le local via LangChain.
▪️ Est-ce vraiment nécessaire ?

La diffusion et l'enregistrement seront accessibles aux participants de «Точка Сборки». L'accès se fait via le bot : https://t.me/TScompiler_bot