Letztes Jahr schaffte es mein Artikel über die Generierung synthetischer Daten in die Shortlist des Technotext 7 Awards. Traditionen müssen bewahrt werden.

Mein neuer Longread auf Habr hat kürzlich die Auswahl für Technotext 8 bestanden. Darin habe ich Architekturmuster analysiert, die LLMs qualitativ hochwertiger und vorhersagbarer arbeiten lassen, mit Codebeispielen in Python und LangChain.

Was drin steckt:
🔵 XML-Isolation: Wie man Systemanweisungen strukturell von Benutzereingaben trennt und sich grundlegend vor Prompt-Injection schützt.
🔵 Negative Constraints: Wie man LLMs durch ein Strafsystem [PENALTY] zum Gehorchen bringt.
🔵 Format Forcing: Vorausfüllen der Antwort. Wie man das Modell physisch zwingt, eine JSON-Zeile fortzusetzen, indem man ihm die Möglichkeit abschneidet, „Natürlich, hier ist Ihre Antwort“ zu schreiben.
🔵 Generated Knowledge & Self-Consistency: Wie man Halluzinationen mit zweistufiger Generierung und Mehrheitsvotum behandelt.
🔵 Tree of Thoughts: Gezielte Strategiensuche für Aufgaben, bei denen der Preis eines Fehlers das Budget ist.
🔵 Meta-prompting: Wie man das Schreiben von Prompts an das Modell selbst delegiert, damit es sie nach Ihrem strengen Framework generiert.

Spoiler: Der von vielen geliebte Trick „Du bist ein Senior mit 20 Jahren Erfahrung“ verschlechtert bei diskriminativen Aufgaben oft die Qualität. Im Artikel erkläre ich, warum das so ist, mit Belegen aus der Forschung.

👉🏻 Lesen: Prompt-Engineering-Muster: Wie man LLM-Systeme in der Produktion entwirft
Auf einen Sieg rechne ich natürlich nicht, aber mal sehen, ob es diesmal in die Shortlist schafft. Ihr könnt gerne liken 🤗

Das Material basierte auf einer der vergangenen Sendungen von Tochka Sborki. Das ist das Niveau dort, ich lade ein: t.me/TScompiler_bot ☕️