Feintuning multimodaler LLMs für diejenigen, die keinen A100-Cluster haben 🦥

Die Leute von Unsloth haben die Beta von Unsloth Studio veröffentlicht – ein lokales UI-Tool für Inferenz und Training (Mac, Windows, Linux). Außerdem haben sie die Unterstützung für Gemma 4 von Google vollständig implementiert. Und nicht nur die API umhüllt, sondern kritische Bugs der ursprünglichen Architektur manuell behoben.

Um LoRA für Gemma 4 E2B zum Laufen zu bringen, reichen 8 GB VRAM. Die E4B-Version passt in 10 GB. Wenn Sie sich an 31B wagen, bereiten Sie 22 GB für QLoRA vor.

Und ja, falls Sie statt einer normalen Grafikkarte einen Platzhalter oder einen MacBook ohne MLX haben, haben die Unsloth-Leute ein fertiges Colab-Notebook zusammengestellt.
Der Prozess ist denkbar einfach:
1️⃣ Starten Sie die Blöcke und Unsloth Studio selbst.
2️⃣ Wählen Sie Modell und Datensatz aus. Werfen Sie einfach Ihren eigenen Datensatz hinein, wählen Sie die gewünschten Schichten zum Training aus (bei Gemma 4 können jetzt Text-, Vision- und Audio-Schichten separat getunt werden) und gehen Sie Kaffee trinken.
3️⃣ Klicken Sie auf „Start Training“ und beobachten Sie den Fortschritt in Echtzeit.
4️⃣ Fertig – die normale und die feingetunte Version des Modells können sofort im Chat verglichen werden.