Menjalankan LLM lokal di perangkat sendiri sudah lama bukan lagi hak istimewa segelintir orang dengan klaster H100. Atau masih begitu? 😁

🗓 1 Mei pukul 18:00 waktu Moskow akan ada siaran langsung di «Titik Perakitan». Kita akan membahas instalasi dan penggunaan model lokal.

Apa yang akan dibahas:
▪️ Cara memilih model yang sesuai dengan perangkat Anda, agar tidak menghabiskan seluruh memori sistem dan bekerja dengan TPS (tokens per second) yang memadai.
▪️ Menjalankan model dalam mode chat untuk tugas sehari-hari.
▪️ Menghubungkan LLM lokal ke IDE agen (sebagai contoh kita akan menggunakan Kilo Code).
▪️ Merutekan permintaan ke lokal melalui LangChain.
▪️ Apakah ini perlu?

Siaran dan rekaman akan tersedia bagi peserta «Titik Perakitan». Akses dilakukan melalui bot: https://t.me/TScompiler_bot