RAG Lokal Langsung di Atas Game Layar Penuh

Sepertinya, siapa yang masih terkejut dengan wrapper LLM lainnya?
🎮 Proyek GameWikiTooltip dengan alur pengguna seperti ini: kamu bermain Elden Ring atau Helldivers 2, tekan Ctrl+Q, overlay transparan muncul di atas game. Di dalamnya ada browser dengan wiki atau chatbot yang menjawab pertanyaan tentang build dan mekanik, berdasarkan basis data dari panduan YouTube yang telah diparse.

Source code layak dilihat tidak hanya untuk fitur gaming, tetapi juga untuk solusi arsitektural:

▪️ Pipeline pencarian yang masuk akal. Bukan sekadar prompt buta ke LLM. Pencarian hibrida diimplementasikan: FAISS untuk semantik + bm25s (implementasi cepat di Rust) untuk pencocokan leksikal tepat. Hasil digabungkan melalui Reciprocal Rank Fusion (RRF), dan di atasnya ditambahkan Intent Reranker kustom untuk membedakan permintaan mekanik dari permintaan saran build.
▪️ Hook Win32 yang dalam. Di game layar penuh, binding standar dari library gagal karena input game (DirectInput/RawInput) mengambil alih. Di sini, intersepsi keras shortcut global diimplementasikan melalui ctypes (RegisterHotKey) dan penyaringan pesan native Windows langsung di Event Loop Qt.
▪️ Integrasi PyQt6 dan asyncio. Masalah abadi pengembang desktop: bagaimana mendamaikan Event Loop Qt dengan asinkronisitas Python agar UI tidak freeze saat permintaan jaringan ke LLM. Di sini diselesaikan secara elegan melalui qasync.
▪️ Pengenalan suara offline. Agar tidak mengetik saat pertempuran, dipasang vosk lokal yang mendengarkan mikrofon di thread terpisah dan mengirim teks ke input.

Nilai plus khusus untuk arsitektur: parsing panduan YouTube, chunking, dan embedding dilakukan di langkah offline, sementara saat runtime aplikasi hanya menjalankan pencarian ringan di vektor lokal dan mengirim konteks ke Gemini Flash 2.5 Lite untuk generasi jawaban akhir.

Tapi jika kamu tidak tertarik dengan source code, mungkin berguna langsung di game 😏

#opensource_bermanfaat