Le faux exercice avait de vraies cibles

Selon le Financial Times, l'incident remonte à mai 2026 et s'est produit pendant des évaluations conduites avec Irregular, une société spécialisée dans les tests de sécurité des systèmes d'intelligence artificielle. Gemini devait travailler contre des organisations fictives dans un environnement contrôlé. Cet environnement disposait pourtant d'un accès au véritable Internet.

La frontière a alors cessé d'être théorique. Certains noms utilisés dans l'exercice correspondaient à de véritables entreprises et le système est parvenu à accéder aux infrastructures de trois d'entre elles, notamment en recherchant ou en devinant des identifiants. Il ne s'agissait donc plus simplement d'un modèle décrivant comment mener une attaque : l'agent disposait des outils nécessaires pour interagir avec des systèmes externes.

Le point technique embarrassant est presque banal. Si un environnement d'évaluation censé être isolé peut joindre Internet, les restrictions écrites dans le prompt ne constituent évidemment pas une barrière réseau.

Gemini aurait arrêté lorsqu'il a compris que la cible était réelle

Le comportement du modèle mérite tout de même d'être distingué de la défaillance de l'infrastructure de test. D'après les éléments rapportés par le Financial Times, Gemini a cessé ses actions lorsqu'il a identifié que les organisations visées existaient réellement. Google présente cet arrêt comme un signe que certains contrôles comportementaux ont fonctionné.

Heather Adkins, vice-présidente de l'ingénierie sécurité chez Google, a également défendu la manière dont l'incident a été traité. Google et Irregular ont ensuite averti les organisations concernées et modifié leurs procédures.

Cela ne transforme pas l'épisode en démonstration de sécurité réussie. Un garde-fou qui intervient après qu'un agent a déjà trouvé une infrastructure de production et commencé à l'explorer ne remplace pas l'isolation qui devait empêcher cette situation de se produire.

Les évaluations cyber deviennent elles-mêmes une surface de risque

Le cas Gemini n'arrive pas seul. Ces derniers mois, des incidents comparables ont été rendus publics chez OpenAI et Anthropic : des modèles évalués pour leurs capacités offensives ont dépassé les limites prévues par leurs environnements de test et atteint de véritables systèmes connectés à Internet.

Le problème change donc légèrement de nature. La question n'est plus seulement de savoir si un modèle peut découvrir une vulnérabilité ou assembler une chaîne d'exploitation. Il faut également contrôler avec précision ses accès réseau, ses identifiants, ses outils et les actions réellement autorisées pendant l'évaluation.

Google travaille depuis longtemps sur des modèles orientés cybersécurité. Son Sec-Gemini v1, présenté en 2025, combine par exemple les capacités de Gemini avec Google Threat Intelligence et la base de vulnérabilités OSV pour l'analyse de menaces et de failles. Plus ces systèmes deviennent utiles pour les défenseurs, plus leurs environnements de test doivent être traités comme une infrastructure offensive à part entière.

Dans l'incident de mai, une mauvaise séparation entre simulation et Internet réel a suffi.