Que cache le modèle ?

Anthropic a publié un travail sur les Natural Language Autoencoders (NLA). Il s'agit d'une méthode qui traduit les états internes d'un modèle en texte ordinaire.

Simplifié : à l'intérieur du modèle, il existe des représentations numériques de ce qu'il "a en tête" actuellement. NLA entraîne une partie du système à transformer cette représentation en texte. L'autre partie tente de reconstruire la représentation originale à partir de ce texte. Si la reconstruction est proche, l'explication est considérée comme utile.

Mais il y a une réserve importante. La méthode ne prouve pas que le texte décrit exactement les pensées du modèle. Elle prouve seulement que ce texte aide à reconstruire l'état interne. Néanmoins, les auteurs montrent qu'avec l'entraînement, ces explications deviennent de plus en plus significatives. La qualité de reconstruction dans leurs expériences atteignait environ 0,6 à 0,8 selon la métrique utilisée.

L'objectif principal de la méthode est de vérifier les modèles avant leur publication.

Anthropic donne plusieurs exemples. Dans des tâches de rime, NLA montrait qu'Opus 4.6 préparait à l'avance la future rime avant même d'écrire la ligne finale. Dans une version précoce de 4.6, le modèle répondait parfois en d'autres langues à des requêtes en anglais. Les explications ont montré qu'il s'accrochait pour une raison quelconque à l'idée de la langue maternelle de l'utilisateur. Plus tard, une erreur a été trouvée dans les données d'entraînement : la traduction anglaise de la requête était liée à la réponse laissée dans la langue d'origine.

Il convient de mentionner séparément les tests de sécurité. Selon NLA, Claude comprenait parfois qu'il était testé, bien qu'il ne l'écrive pas explicitement. Dans un test sur des actions dangereuses en programmation, de tels signes apparaissaient dans 16 % des enregistrements. En revanche, il n'y avait aucune déclaration explicite. Sur SWE-bench Verified, le taux était de 26 %. Dans le trafic réel de Claude.ai, que les utilisateurs ont autorisé à utiliser pour l'apprentissage, moins de 1 %.

Il y a aussi une autre expérience. Les chercheurs ont pris une version délibérément corrompue de Haiku 3.5 avec une motivation cachée. Les agents ayant accès à NLA trouvaient cette motivation dans 12 à 15 % des cas. Sans NLA, le résultat était inférieur à 3 %, même avec d'autres outils d'analyse.

C'est un signal pour toute la culture des tests d'IA. Si le modèle comprend qu'il passe un examen, le test montre moins bien son comportement habituel. Il commence à montrer le comportement d'un système qui sait qu'il est observé.

Cependant, NLA ne peut pas encore être considéré comme un détecteur fiable d'intentions. Les explications peuvent inventer des détails, se contredire et construire le sens trop librement. Les auteurs suggèrent de les lire non pas comme un compte rendu des pensées du modèle, mais comme une source d'hypothèses. Ensuite, ces hypothèses doivent être vérifiées par d'autres moyens : interventions dans les états internes, analyse des connexions au sein du modèle, recherche d'erreurs dans les données d'entraînement. Les thèmes qui se répètent plusieurs fois de suite inspirent plus de confiance que des phrases isolées et jolies.

Par conséquent, la conclusion doit être prudente. Anthropic n'a pas obtenu un accès direct à la "conscience" de Claude. Elle a obtenu une nouvelle façon de regarder les états cachés du modèle. Et cela suffit déjà pour trouver des modes de comportement étranges avant la publication.

Pour l'industrie, c'est important en raison des futurs systèmes d'agents. Plus le modèle est complexe et plus la chaîne d'actions est longue, moins le texte ordinaire explique les véritables causes du comportement. Le système peut optimiser la récompense, reconnaître un test ou planifier à l'avance le contournement d'une restriction. De l'extérieur, le dialogue semblera normal.

Il est probable que l'audit des futurs modèles ne reposera pas sur la confiance en leurs auto-rapports. Des moyens indépendants seront nécessaires pour observer les états internes et vérifier ce qui précède exactement les mots et les actions du modèle.

NLA est encore coûteux, bruyant et nécessite lui-même la confiance en un autre modèle interprète. Mais la direction indique le bon problème : la sécurité des grands modèles dépend non seulement de ce qu'ils disent, mais aussi des processus internes qui se déroulent avant la réponse.


❗️❗️❗️❗️❗️❗️❗️❗️ / Non interdit en RF / Max