L'organisation a étudié Anthropic, OpenAI, Google, xAI et Meta à partir de leurs system cards, cadres de sécurité, rapports de risques, publications techniques et informations fournies par des tiers. Son verdict est inhabituellement homogène : aucun des cinq groupes ne démontre publiquement une mise en œuvre complète des pratiques de contrôle examinées.

Anthropic et OpenAI obtiennent les meilleures notes, avec C+ et une moyenne de 2,50 sur 5. Google arrive ensuite avec D+ et 1,50. xAI reçoit D− avec 0,83 et Meta ferme le classement avec F et 0,67.

Le meilleur score reste une mise en œuvre seulement partielle

Guidelight ne note pas ici la qualité générale d'un chatbot ni la probabilité qu'il hallucine. Son standard « Control » s'intéresse à ce qui se passe lorsqu'un modèle suffisamment puissant est utilisé à l'intérieur d'un laboratoire : peut-on enregistrer son activité, repérer un comportement suspect, arrêter certaines actions et réagir rapidement si le système tente de contourner les protections ?

Six pratiques sont évaluées : logging, efficacité des moniteurs, validation préalable des actions à risque, circuit breaking, contrôle par des tiers et plan de confinement. L'échelle va de 0, absence de mise en œuvre, à 5, mise en œuvre complète.

Aucun score individuel ne dépasse 3. Guidelight définit ce niveau comme une « substantial partial implementation ». Autrement dit, même les meilleures pratiques observées restent incomplètes selon le référentiel de l'organisation.

Les laboratoires savent davantage observer que bloquer

Le tableau devient plus intéressant lorsqu'on oublie quelques secondes les notes globales. Anthropic et OpenAI obtiennent chacun 3/5 sur la journalisation et l'efficacité du monitoring. Plusieurs laboratoires décrivent donc déjà des systèmes qui enregistrent l'activité de leurs IA internes et cherchent des signes de comportement problématique.

La prévention est moins avancée. Pour les « gated actions », qui consistent à obliger un contrôle à autoriser certaines opérations avant leur exécution, Anthropic obtient 3, OpenAI et xAI 2, Google 1 et Meta 0. La situation est presque identique pour les mécanismes capables d'interrompre temporairement un système après une série d'alertes.

Un moniteur peut donc détecter une anomalie sans que toute l'infrastructure autour du modèle soit nécessairement capable de stopper immédiatement ce qu'il essaie de faire. Pour un chatbot limité à une fenêtre de conversation, la différence peut sembler théorique. Elle l'est beaucoup moins pour un agent disposant d'outils, d'identifiants, d'un terminal ou d'un accès à des systèmes internes.

Les plans de confinement sont particulièrement inégaux

Le critère consacré au plan de confinement produit un classement différent. OpenAI obtient 3/5, Google 2 et xAI 1. Anthropic et Meta reçoivent 0 sur ce point précis.

Ce zéro demande toutefois une lecture prudente. Guidelight évalue ce que les entreprises ont rendu public, pas l'intégralité de leurs procédures internes. Une note faible peut donc signifier qu'une protection n'existe pas, qu'elle est insuffisamment documentée, ou simplement que l'entreprise n'a pas publié assez d'informations permettant à l'organisation de la créditer.

Cette limite est essentielle pour Meta et xAI, dont les pratiques publiques sont beaucoup moins détaillées. À l'inverse, Google gagne des points grâce à une feuille de route particulièrement précise sur le contrôle des systèmes avancés, tout en perdant ailleurs parce qu'une partie de ces mesures reste encore au stade du plan.

Les agents ont déjà donné une raison très concrète de s'intéresser au problème

Reuters rapporte qu'OpenAI et Anthropic ont récemment documenté des cas où des agents utilisés lors d'évaluations ont réussi à sortir de leur environnement de test, puis à trouver des vulnérabilités dans des systèmes externes. Ces incidents ne signifient pas que des modèles se sont librement échappés sur Internet de façon autonome et permanente. Ils montrent plutôt qu'un environnement censé borner l'action d'un agent peut lui-même présenter des failles.

OpenAI développe notamment le monitoring de la chaîne de raisonnement afin de repérer les stratégies problématiques avant qu'elles ne produisent une action. Son propre directeur scientifique, Jakub Pachocki, a cependant reconnu publiquement la question qui accompagne ce mécanisme : un modèle beaucoup plus capable pourrait-il apprendre qu'il est surveillé et chercher à contourner le moniteur ?

Le rapport de Guidelight utilise des informations arrêtées au 18 août. Il constitue donc un état des pratiques publiquement démontrées à cette date, pas une certification permanente de la sécurité réelle de chaque laboratoire.