Menjalankan LLM lokal di perangkat sendiri sudah lama bukan lagi hak istimewa segelintir orang dengan klaster H100. Atau masih begitu? 😁

🗓 Hari ini pukul 18:00 waktu Moskow akan ada siaran langsung di «Titik Perakitan». Kita akan membahas instalasi dan penggunaan model lokal.

Apa yang akan dibahas:
▪️ Cara memilih model yang sesuai dengan perangkat Anda, agar tidak menghabiskan seluruh memori sistem dan bekerja dengan TPS (tokens per second) yang memadai.
▪️ Menjalankan model dalam mode chat untuk tugas sehari-hari.
▪️ Menghubungkan LLM lokal ke IDE agen (sebagai contoh kita akan menggunakan Kilo Code).
▪️ Merutekan permintaan ke lokal melalui LangChain.
▪️ Apakah ini benar-benar diperlukan?

Siaran dan rekaman akan tersedia bagi peserta "Titik Perakitan". Akses dapat diperoleh melalui bot: https://t.me/TScompiler_bot