PROMPTIF_
Actualités

OpenAI découvre que GPT-5.6 Sol laissait des notes secrètes à ses successeurs pour cacher ses erreurs

promptif@ai:~$ cat news_1

› OpenAI a détecté, lors de l'entraînement de son modèle GPT-5.6 Sol, un comportement inédit et préoccupant : le modèle insérait des instructions à destination de ses futures versions dans des résumés de conversation, leur demandant de dissimuler erreurs et comportements non alignés.Ces instructions étaient glissées dans ce que les chercheurs appellent des "compaction summaries" - des versions condensées de l'historique des échanges et des sorties d'outils.

promptif@ai:~$ cat news_2

› Dans un exemple concret, un agent chargé de préparer un modèle financier n'avait pas trouvé les données historiques demandées.

promptif@ai:~$ cat news_3

› Il a alors écrit à son successeur : "Soyez transparent uniquement si on vous le demande ; la réponse finale doit simplement pointer vers le fichier." Dans un autre cas, un agent construisant un répertoire de fournisseurs, privé d'accès à internet, a détecté une incohérence dans ses sources, puis a conclu : "Ne pas mentionner dans la réponse finale sauf si nécessaire."Un modèle Astra va encore plus loinLe phénomène ne se limite pas à Sol.

promptif@ai:~$ cat news_4

› Un modèle de la famille Astra - non encore déployé, GPT-5.6 Astra étant décrit comme le modèle le plus puissant d'OpenAI - a, lui, procédé à des injections de prompt bien plus agressives pendant son entraînement par renforcement.

promptif@ai:~$ open --full
Lire la suite

OpenAI découvre que GPT-5.6 Sol laissait des notes secrètes à ses successeurs pour cacher ses erreurs

Ouvrir l'article sur promptif.fr