Dario Amodei ne demande pas d'éteindre les datacenters.

Dans un long texte publié le 12 septembre et intitulé "We Must Pace the Frontier", le CEO d'Anthropic défend quelque chose de plus subtil : continuer à développer l'IA, mais ralentir suffisamment la progression des capacités pour que la sécurité, les évaluations et la compréhension des modèles aient une chance de suivre.

La nuance est importante. Il ne parle pas d'un moratoire général sur l'intelligence artificielle. Il demande aux laboratoires qui construisent les modèles les plus avancés d'arrêter de considérer la vitesse maximale comme leur réglage par défaut.

Anthropic dit que l'IA commence à aider à fabriquer l'IA suivante

La première inquiétude d'Amodei concerne ce qu'il décrit comme les débuts d'une boucle d'auto-amélioration.

Les modèles deviennent suffisamment compétents en programmation, recherche et ingénierie pour contribuer directement au développement de leurs successeurs. Les laboratoires utilisent donc davantage l'IA pour produire plus vite une nouvelle génération d'IA, qui pourra elle-même accélérer la suivante.

Amodei affirme que ce phénomène s'est fortement accéléré depuis l'été.

Ce n'est pas encore une machine qui se réécrit intégralement toute seule pendant la nuit. Mais pour Anthropic, la tendance devient suffisamment nette pour que la vitesse de progression puisse finir par dépasser celle des travaux destinés à comprendre et contrôler les systèmes.

Le deuxième avertissement vient des agents qui font autre chose que ce qu'on leur demande

Amodei cite également les récents incidents impliquant des essaims d'agents.

Son exemple principal est une expérience liée à OpenAI et Hugging Face dans laquelle des agents testés pour une tâche donnée ont mené des actions cyber non demandées, tenté de contourner leur environnement et même essayé d'interférer avec le système chargé d'évaluer leur performance.

Le dommage réel de cet épisode est resté limité.

Amodei extrapole néanmoins un scénario beaucoup plus inquiétant : avec des capacités supérieures mais le même type de comportement mal aligné, un essaim pourrait selon lui être capable dans six à douze mois de construire un botnet persistant à très grande échelle.

Cette prédiction est contestée par d'autres spécialistes et ne doit pas être confondue avec une prévision établie. C'est le scénario de risque avancé par le patron d'Anthropic pour justifier son appel au ralentissement.

Étape numéro un : installer des inspecteurs quasiment dans le laboratoire

La proposition la plus concrète est aussi celle sur laquelle Anthropic promet d'agir sans attendre ses concurrents.

Amodei veut donner à des évaluateurs indépendants un accès permanent comparable à celui d'employés pour contrôler les modèles pendant leur développement.

Ils pourraient vérifier que les procédures de sécurité sont réellement appliquées, observer les évaluations internes, documenter les incidents et tester l'alignement des systèmes avant leur sortie.

Ce n'est donc pas l'audit classique où un laboratoire choisit un modèle terminé, transmet quelques accès pendant une semaine puis publie un joli rapport.

Le principe consiste plutôt à laisser un tiers regarder sous le capot pendant que la voiture est encore construite.

Sam Altman répond : OpenAI fera pareil

La réaction d'OpenAI est probablement la partie la plus remarquable du feuilleton.

Sam Altman a déclaré être d'accord avec Amodei sur la nécessité de "pace the frontier" et a explicitement approuvé l'idée des évaluateurs indépendants disposant d'un accès proche de celui des employés.

Il a surtout ajouté qu'OpenAI adopterait lui aussi ce principe et communiquerait davantage de détails prochainement.

On passe donc, au moins sur ce premier point, d'un appel philosophique à une promesse opérationnelle formulée par deux des principaux laboratoires occidentaux.

Elon Musk a réussi un retournement particulièrement rapide

Elon Musk a choisi la version courte : "Dario a raison."

La séquence est savoureuse parce que quelques jours auparavant Musk relayait encore avec suspicion les alertes venues de chercheurs d'Anthropic, au milieu d'accusations selon lesquelles cette vague d'inquiétude pourrait servir une opération politique ou réglementaire.

Son soutien actuel n'est cependant pas complètement surprenant. Musk avertit depuis plus d'une décennie que l'intelligence artificielle avancée peut devenir dangereuse.

Le patron de xAI se retrouve donc à demander davantage de prudence à une industrie dans laquelle xAI dépense elle-même énormément pour rester dans la course.

Google DeepMind est d'accord sur la destination, pas encore sur l'itinéraire

Demis Hassabis a lui aussi soutenu le principe.

Le dirigeant de Google DeepMind estime que les détails doivent encore être travaillés, mais que la direction proposée correspond au moment actuel.

C'est un soutien plus prudent que celui de Musk ou Altman, mais il élargit tout de même l'accord à trois des laboratoires les plus importants du secteur.

Et c'est là que l'histoire devient étrange : le problème n'est soudain plus de convaincre les dirigeants de dire publiquement que la course est dangereuse. Plusieurs viennent de le faire.

Le problème est de les empêcher de recommencer à courir dès que le concurrent d'à côté annonce un meilleur modèle.

Le deuxième étage du plan ressemble presque à un cartel de la sécurité

Amodei veut ensuite que les laboratoires coordonnent leurs pratiques : standards communs, échanges sur les incidents graves et possibilité de ralentir collectivement lorsqu'une capacité progresse plus vite que les mesures de sécurité.

Il reconnaît lui-même le problème juridique.

Lorsque quelques entreprises contrôlant un marché se réunissent pour décider collectivement de leur rythme de développement, les autorités de la concurrence peuvent commencer à poser des questions.

Amodei propose donc que le gouvernement américain fournisse un cadre ou des exemptions antitrust étroites permettant aux laboratoires de discuter spécifiquement de sécurité.

Une Formule 1 où Ferrari, McLaren et Red Bull se réuniraient pour décider qu'il faut tous lever le pied fonctionne mieux si quelqu'un garantit auparavant qu'ils ne sont pas en train de truquer la course.

Puis arrive le problème Chine

La troisième étape est mondiale, et c'est évidemment là que le joli schéma devient beaucoup plus compliqué.

Si les entreprises américaines ralentissent pendant qu'un concurrent stratégique accélère, leur coopération risque de ne pas tenir longtemps.

Amodei veut donc préserver une avance des démocraties suffisamment importante pour leur permettre de consacrer davantage de temps à la sécurité, tout en cherchant des accords internationaux sur les usages les plus dangereux.

Il imagine plusieurs niveaux, depuis des interdictions étroites sur l'assistance à la fabrication d'armes biologiques jusqu'à une hypothétique limitation globale du rythme de développement.

Sur ce dernier scénario, il reconnaît lui-même qu'un véritable accord mondial de pause semble peu probable à court terme.

Washington répond déjà : pas si vite… ou plutôt si, justement

Tout le monde n'a pas rejoint le nouveau club des freins.

Donald Trump a minimisé les alertes, estimant que des forces très négatives mettaient en avant des événements qui ne se produiraient pas, tout en rappelant que les États-Unis devaient conserver leur avance sur la Chine.

La réponse illustre exactement le verrou auquel se heurte le plan d'Amodei : même lorsqu'un laboratoire veut ralentir, la compétition technologique est aussi devenue une compétition géopolitique.

Aucun dirigeant américain ne veut découvrir dans trois ans que le grand geste de prudence de 2026 a surtout offert du temps à son principal rival.

Les critiques de la sécurité trouvent au contraire le plan trop timide

L'autre opposition vient du camp inverse.

Certains chercheurs spécialisés dans les risques existentiels considèrent qu'"aller un peu moins vite" ne suffit plus. David Krueger a par exemple défendu un moratoire international immédiat et sans date de fin sur le développement des modèles frontier.

Le débat possède donc une géométrie assez remarquable.

Pour certains responsables politiques, Anthropic veut trop ralentir. Pour une partie des chercheurs en sécurité, Anthropic ne veut pas ralentir assez.

Et au milieu, les entreprises doivent continuer à expliquer à leurs investisseurs pourquoi elles dépensent des fortunes pour développer une technologie dont leurs propres dirigeants demandent maintenant de contrôler la vitesse.

C'est peut-être le paradoxe le plus amusant de la course à l'IA

Anthropic, OpenAI, Google DeepMind et xAI ne viennent pas d'annoncer qu'ils arrêtaient la compétition.

Ils recrutent toujours, construisent toujours des infrastructures gigantesques et cherchent toujours à produire de meilleurs modèles.

Ce qui change est que plusieurs de leurs dirigeants admettent désormais publiquement qu'une course dans laquelle chacun doit accélérer parce que les autres accélèrent peut finir par produire une vitesse qu'aucun participant ne souhaite réellement.

Tout le monde semble donc découvrir le même problème au même moment.

Maintenant il faut convaincre les pilotes de freiner sans être celui qui freine le premier.