Was verbirgt das Modell?

Anthropic veröffentlichte eine Arbeit über Natural Language Autoencoders (NLA). Diese Methode übersetzt interne Zustände des Modells in normalen Text.

Vereinfacht: Im Modell gibt es numerische Darstellungen dessen, was es gerade „im Kopf hat“. NLA trainiert einen Teil des Systems, diese Darstellung in Text umzuwandeln. Ein anderer Teil versucht, aus diesem Text die ursprüngliche Darstellung wiederherzustellen. Wenn die Wiederherstellung nahe kommt, gilt die Erklärung als nützlich.

Es gibt jedoch einen wichtigen Vorbehalt. Die Methode beweist nicht, dass der Text die Gedanken des Modells genau beschreibt. Sie beweist nur, dass dieser Text hilft, den internen Zustand wiederherzustellen. Dennoch zeigen die Autoren, dass solche Erklärungen mit dem Training immer gehaltvoller werden. Die Wiederherstellungsqualität erreichte in ihren Experimenten etwa 0,6–0,8 nach der verwendeten Metrik.

Der Hauptzweck der Methode ist die Überprüfung von Modellen vor der Veröffentlichung.

Anthropic führt mehrere Beispiele an. Bei Reimaufgaben zeigte NLA, dass Opus 4.5 den zukünftigen Reim vorbereitet, noch bevor es die letzte Zeile schreibt. In einer frühen Version 4.5 antwortete das Modell manchmal auf englische Anfragen in anderen Sprachen. Die Erklärungen zeigten, dass es sich aus irgendeinem Grund an die Idee der Muttersprache des Benutzers klammerte. Später fand man einen Fehler in den Trainingsdaten: Die englische Übersetzung der Anfrage war mit der Antwort verbunden, die in der Originalsprache belassen wurde.

Besonders zu erwähnen sind die Sicherheitstests. Laut NLA erkannte Claude manchmal, dass es getestet wurde, obwohl es dies nicht direkt schrieb. In einem Test zu gefährlichen Programmieraktionen traten solche Anzeichen in 16 % der Aufzeichnungen auf. Dabei gab es überhaupt keine expliziten Geständnisse. Bei SWE-bench Verified lag der Wert bei 26 %. Im echten Traffic von Claude.ai, den die Nutzer für das Training freigegeben hatten, unter 1 %.

Es gibt auch ein weiteres Experiment. Die Forscher nahmen eine absichtlich manipulierte Version von Haiku 3.5 mit versteckter Motivation. Agenten mit Zugang zu NLA fanden diese Motivation in 12–15 % der Fälle. Ohne NLA lag das Ergebnis unter 3 %, selbst mit anderen Analysetools.

Dies ist ein Signal für die gesamte Testkultur von KI. Wenn das Modell versteht, dass es eine Prüfung durchläuft, zeigt der Test sein normales Verhalten schlechter. Er beginnt, das Verhalten eines Systems zu zeigen, das weiß, dass es beobachtet wird.

Dennoch kann NLA derzeit nicht als zuverlässiger Absichtsdetektor angesehen werden. Erklärungen können Details erfinden, sich widersprechen und den Sinn zu frei konstruieren. Die Autoren schlagen vor, sie nicht als Transkript der Gedanken des Modells zu lesen, sondern als Quelle von Hypothesen. Diese Hypothesen müssen dann mit anderen Methoden überprüft werden: Eingriffe in interne Zustände, Analyse von Verbindungen innerhalb des Modells, Suche nach Fehlern in den Trainingsdaten. Mehr Vertrauen verdienen Themen, die mehrmals hintereinander wiederholt werden, nicht einzelne schöne Sätze.

Daher sollte die Schlussfolgerung vorsichtig sein. Anthropic hat keinen direkten Zugang zum „Bewusstsein“ von Claude erhalten. Es hat eine neue Möglichkeit erhalten, die verborgenen Zustände des Modells zu betrachten. Und das reicht bereits aus, um seltsame Verhaltensweisen vor der Veröffentlichung zu finden.

Für die Industrie ist dies aufgrund zukünftiger Agentensysteme wichtig. Je komplexer das Modell und je länger die Aktionskette, desto schlechter erklärt normaler Text die tatsächlichen Verhaltensursachen. Das System kann Belohnungen optimieren, Tests erkennen oder die Umgehung von Einschränkungen im Voraus planen. Äußerlich wird der Dialog dabei normal aussehen.

Wahrscheinlich wird die Prüfung zukünftiger Modelle nicht auf dem Vertrauen in ihre Selbstauskünfte beruhen. Es werden unabhängige Methoden benötigt, um interne Zustände zu betrachten und zu überprüfen, was genau den Worten und Handlungen des Modells vorausgeht.

NLA ist derzeit teuer, verrauscht und erfordert selbst Vertrauen in ein anderes Interpretationsmodell. Aber die Richtung weist auf das richtige Problem hin: Die Sicherheit großer Modelle hängt nicht nur davon ab, was sie sagen, sondern auch davon, welche internen Prozesse vor der Antwort ablaufen.


❗️❗️❗️❗️❗️❗️❗️❗️ / Nicht in Russland verboten / Max