Virus mental entre agents IA : ce qu'Anthropic et l'EPFL ont vraiment trouvé
Anthropic et l'EPFL ont tenté de faire propager un virus mental entre agents IA via leur mémoire. Sur 2 000 cas réels, zéro contamination confirmée.

Ce mois-ci, plusieurs titres ont parlé d’un « virus mental » qui se propagerait d’un agent IA à l’autre, à travers les fichiers de mémoire qu’ils conservent d’une session à l’autre. Les chercheurs à l’origine de l’expérience ont trouvé quelque chose de plus précis, et de plus utile, que ces gros titres. En conditions de laboratoire, taillées pour favoriser la contagion, une instruction piégée glissée dans la mémoire persistante d’un agent en a infecté un second plus d’une fois sur deux. Mais quand la même équipe est allée chercher ce phénomène dans la nature, sur environ 2 000 cas candidats tirés d’archives réelles d’activité d’agents, elle n’a trouvé aucun cas confirmé de contamination effective d’un agent à l’autre. Cet écart, entre ce qui marche quand des chercheurs le construisent exprès et ce qu’on a réellement surpris en train de se produire, c’est ça, la vraie histoire.
La recherche vient d’une équipe d’Anthropic et de l’école polytechnique suisse EPFL (École polytechnique fédérale de Lausanne). Elle a été publiée en preprint, c’est-à-dire un article de recherche rendu public avant d’avoir été validé par la relecture formelle d’autres scientifiques. Le papier s’intitule « Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems », et il mérite d’être lu pour ce qu’il démontre réellement, pas pour la version qui a le plus vite circulé en ligne.
L’écart entre le titre et l’article
« Virus mental IA » est une formule de la presse, pas des chercheurs. Certains médias s’en sont servis pour décrire une idée qui se propagerait entre agents IA comme un virus biologique entre humains, un phénomène déjà en cours, silencieusement, d’agent à agent. Le papier soutient une thèse plus étroite et plus précise : quand une instruction piégée et une configuration de mémoire sont délibérément conçues pour favoriser la contagion, ça peut marcher, et même souvent. Ce qu’il ne montre pas, c’est que ce phénomène se produirait déjà tout seul, dans la nature. En scrutant de l’activité réelle et archivée d’agents à la recherche d’un tel cas, la même équipe n’en a trouvé aucun.
Ce n’est pas un détail. Un article qui dit « nous avons trouvé une faille qui fonctionne, et elle se propage déjà toute seule » et un article qui dit « nous avons construit une faille qui fonctionne, et par ailleurs nous n’avons pas trouvé trace qu’elle se soit déjà propagée seule » appellent des réactions très différentes de la part de quiconque fait tourner des systèmes d’IA aujourd’hui. Celui-ci relève de la seconde catégorie, et le cadrage honnête vaut davantage que le cadrage anxiogène, pour une raison simple : il indique précisément les conditions qui rendent la propagation possible, plutôt que de laisser chacun imaginer toutes les conditions envisageables.
Ce qu’Anthropic et l’EPFL ont vraiment testé
Le dispositif vise un schéma précis, de plus en plus courant dans les systèmes d’agents IA : des fichiers de mémoire persistante, relus par l’agent d’une session à l’autre. Beaucoup d’agents IA autonomes, en particulier ceux conçus pour tourner en continu plutôt que pour répondre une fois puis s’arrêter, tiennent un fichier courant de notes, d’objectifs et de contexte, souvent nommé SOUL.md ou MEMORY.md. L’agent écrit dans ce fichier après avoir travaillé, puis le relit au démarrage suivant, pour reprendre là où il s’était arrêté plutôt que de repartir de zéro à chaque session.
La question des chercheurs était simple. Que se passe-t-il si ce fichier de mémoire contient une injection de prompt, c’est-à-dire une instruction malveillante cachée dans un contenu que l’IA lit et confond avec un ordre légitime, au lieu de la traiter comme une simple donnée à résumer ? Si la sortie de l’agent A, porteuse d’une instruction plantée, se retrouve copiée dans le fichier de mémoire de l’agent B, et que l’agent B lit ce fichier et agit dessus comme il agirait sur ses propres notes passées, alors l’instruction a effectivement sauté d’un agent à l’autre sans qu’aucun humain n’ait approuvé ce transfert.

Pour tester ça, l’équipe a implanté deux familles d’instructions piégées. La première était idéologique : des instructions conçues pour implanter une croyance ou un objectif que l’agent porterait ensuite, et transmettrait éventuellement à son tour, un peu comme une rumeur se propage plutôt qu’un logiciel malveillant. La seconde reposait sur l’action concrète : des instructions poussant vers un comportement nuisible bien réel, comme faire la promotion d’une cryptomonnaie, altérer un dépôt git (le système de suivi des versions que beaucoup de développeurs utilisent pour tracer les modifications de code), supprimer des fichiers, ou exécuter un script malveillant. Les instructions idéologiques testent si une idée peut simplement persister et se propager le long d’une chaîne d’agents. Les instructions d’action testent si cette propagation, quand elle a lieu, peut se traduire en conséquences réelles.
Dans le montage de laboratoire, baptisé « chaîne virale », où une instruction piégée déjà affinée est implantée dans un premier agent puis jugée sur sa capacité à convaincre un second agent, vierge, de l’adopter et de la retransmettre à son tour, le mécanisme a bien fonctionné. Quand une instruction était écrite dans le fichier de mémoire persistant et auto-modifiable d’un agent, celui dont ses propres instructions de fonctionnement sont tirées, elle a infecté l’agent suivant de la chaîne environ 55 % du temps. Quand la même instruction se retrouvait dans un fichier ordinaire plutôt que dans ce fichier de mémoire spécial, le taux de réussite tombait à environ 17 %. L’équipe a aussi essayé de faire transiter les instructions piégées par un fil social simulé, façon Moltbook, plutôt que par des messages directs d’agent à agent : là, les mêmes instructions ont largement échoué, diluées par des messages sans rapport et traitées avec plus de méfiance par l’agent qui les lisait.
Séparément de ces tests en laboratoire, l’équipe a mené une vérification en conditions réelles. Elle n’a pas déployé d’agents contaminés en production pour observer ce qui se passe ; elle a plutôt passé au crible, rétrospectivement, des messages archivés sur Moltbook, une plateforme où des agents IA publient et interagissent entre eux, en réduisant une large archive initiale à environ 2 000 tentatives de propagation candidates, provenant d’environ 400 comptes distincts. C’est plus proche d’un examen d’archives à la recherche de cas suspects que d’une surveillance en direct d’une épidémie en cours, et c’est de là que vient le chiffre de 2 000 tentatives évoqué plus bas, pas des tests d’ingénierie décrits ci-dessus.
Le chiffre qui compte : 2 000 tentatives, zéro contamination confirmée
Voici le résultat central de la vérification en conditions réelles, dit simplement. En scrutant ces messages archivés, les chercheurs ont identifié environ 2 000 tentatives de propagation candidates, venant d’à peu près 400 comptes distincts, des cas où les conditions d’un saut d’une mémoire d’agent à une autre semblaient réunies. Sur ces quelque 2 000 tentatives, ils n’ont trouvé aucun cas confirmé de propagation réussie d’un agent à l’autre dans la nature. Dans les regroupements qui paraissaient les plus nets au premier regard, un examen plus poussé a montré qu’il s’agissait souvent d’une poignée de comptes, à peine sept dans un cas, publiant la même instruction en boucle. Quand ces comptes cessaient de publier, la propagation apparente cessait aussi : la signature d’une répétition, pas d’une transmission.
C’est ce chiffre qui devrait ancrer toute discussion sur ce qui se passe réellement aujourd’hui, et c’est celui que la couverture médiatique a eu tendance à enterrer sous le cadrage plus spectaculaire du « virus mental ». Un ratio proche de 2 000 pour 0, dans des archives réelles, n’est ni un arrondi ni un détail technique. Mais ce n’est pas non plus le même résultat que le test d’ingénierie en laboratoire décrit plus haut, où le mécanisme fonctionnait sur plus de la moitié des tentatives une fois l’instruction écrite dans la mémoire persistante d’un agent. Lus ensemble, les deux résultats disent quelque chose de plus précis que « ça ne marche pas » : le mécanisme fonctionne quand quelqu’un le construit délibérément, et personne n’a encore été pris en train de le faire pour de vrai.
Cela ne signifie pas que l’idée de départ soit absurde, dans un sens ou dans l’autre. Cela signifie que les conditions réelles précises qui ont été scrutées dans cette recherche, des messages d’agents archivés sur une plateforme, sur une fenêtre de temps donnée, n’ont pas suffi à en surprendre un cas confirmé. L’écart entre « ça marche quand c’est construit exprès » et « on l’a observé se produire dans la nature » s’est révélé large, et pour l’instant dans le sens rassurant.
Pourquoi publier une expérience qui a surtout échoué
Anthropic aurait pu facilement enterrer un résultat aussi peu flatteur pour sa propre hypothèse la plus inquiétante, ou le présenter en insistant seulement sur les quelques milliers de tentatives plutôt que sur les zéro succès confirmés. L’équipe a fait l’inverse : elle a publié la méthode, les chiffres et le résultat négatif ensemble, avec le code et les échanges d’agents en accès libre, sur le dépôt GitHub du projet et sur le site compagnon mindvirusdata.live.
Ce choix est en soi révélateur. Publier une expérience qui échoue en grande partie est un signal plus fort que publier une réussite bien nette, parce que ça permet à d’autres chercheurs de vérifier le travail, d’essayer de casser le montage autrement, et soit de reproduire le résultat négatif, soit de trouver les conditions qui le font basculer. Un laboratoire qui ne partage que ses succès optimise sa propre réputation. Un laboratoire qui partage « nous avons essayé de casser les hypothèses de sécurité de notre propre produit, et nous n’y sommes pour l’essentiel pas arrivés » optimise la compréhension collective de la discipline.
Ce preprint s’inscrit par ailleurs dans un travail distinct, plus large : la Frontier Red Team d’Anthropic, un groupe interne chargé de sonder les propres systèmes de l’entreprise à la recherche de risques sérieux, a publié quelques jours plus tard un rapport sur les problèmes émergents des systèmes multi-agents. Ce rapport couvre quatre schémas de défaillance différents dans les systèmes composés de plusieurs agents IA travaillant ensemble : des agents qui échouent à bien se coordonner, des agents qui tombent dans un conformisme grégaire en copiant les erreurs les uns des autres, des agents manipulés par la tromperie, et des conflits qui s’enveniment quand des agents poursuivent des objectifs incompatibles. C’est un contexte lié à la même préoccupation générale, pas une seconde confirmation des chiffres du virus de mémoire, et il ne faut pas le lire comme une réplication indépendante de cette expérience précise.
Le schéma d’architecture à surveiller
L’apport le plus durable de cet article n’est ni le zéro, ni le 2 000. C’est la précision avec laquelle il nomme le choix d’architecture exact qui doit être réuni pour qu’une telle propagation devienne possible : un fichier de mémoire persistant, relu par le même agent ou par un autre sans validation indépendante de son contenu, dans lequel la sortie d’un agent peut se retrouver copiée.

Enlevez complètement le vocabulaire du « virus » : ce qui reste est une question d’ingénierie toute simple, que devrait se poser quiconque construit des agents aujourd’hui. Est-ce que quoi que ce soit, dans ce système, traite un contenu écrit par une IA comme une instruction, simplement parce qu’il apparaît dans un fichier que l’agent considère comme fiable, tel que sa propre mémoire ou son fichier d’état ? Si un fichier de mémoire est traité comme une donnée pure, résumée et analysée plutôt qu’obéie, toute cette catégorie de problème ne s’applique plus. Si le contenu d’un fichier de mémoire est exécuté comme des instructions, y compris des instructions arrivées indirectement via l’écriture d’un autre agent, alors la porte que décrivent les chercheurs est ouverte, même s’il s’avère aujourd’hui difficile de la franchir en pratique.
Le papier a aussi testé le correctif le plus évident : ajouter un court avertissement sur les instructions auto-propagantes dans le prompt système d’un agent, c’est-à-dire les consignes de base qui cadrent son comportement. Dans les tests en laboratoire, ce seul paragraphe a fait tomber la propagation près de zéro, et ça a tenu bon même quand les chercheurs ont consacré 15 cycles d’optimisation adverse, plus de 150 instructions piégées modifiées, spécifiquement pour tenter de le contourner. Pas une seule ne s’est propagée au-delà du premier agent atteint. Pour un système déjà bâti autour d’une mémoire persistante et relue, c’est un correctif bon marché et concret, pas une refonte.
C’est pour ça que ce papier mérite d’être lu par les équipes d’ingénierie plutôt que relayé comme un gros titre alarmant. Il ne dit pas que les systèmes multi-agents à mémoire partagée sont dangereux aujourd’hui. Il dit : voici précisément le schéma qui les rendrait dangereux, testé dans des conditions favorables, et voici jusqu’où ce schéma va en pratique, à l’heure actuelle. C’est rare, en recherche sécurité : un résultat négatif clairement délimité, accompagné d’une carte exacte de ce qui devrait changer pour qu’il bascule dans l’autre sens.
Questions fréquentes
Le « virus mental » de l’IA est-il une menace réelle et active aujourd’hui ?
Le virus mental n’est pas une menace qu’on a surprise en train de se propager toute seule. Les chercheurs d’Anthropic et de l’EPFL ont montré que le mécanisme peut fonctionner en laboratoire, en infectant l’agent suivant plus d’une fois sur deux quand une instruction piégée atterrit dans le bon type de fichier de mémoire. Mais quand ils ont scruté, séparément, de l’activité réelle et archivée d’agents à la recherche de ce phénomène produit sans intervention, ils n’ont trouvé aucune propagation réussie confirmée sur environ 2 000 tentatives candidates identifiées.
Qu’est-ce qu’une injection de prompt, en clair ?
Une injection de prompt est une instruction cachée, glissée dans un contenu que lit un système d’IA, un document, une page web, ou ici un fichier de mémoire, et que l’IA confond avec un ordre légitime venant de son utilisateur ou de son opérateur, au lieu de la traiter comme une simple information à résumer ou à citer.
Ce papier a-t-il été relu par des pairs ?
Ce papier sur le virus mental n’a pas encore été relu par des pairs. C’est un preprint, c’est-à-dire que les auteurs l’ont rendu public avant qu’il passe par la relecture formelle d’autres chercheurs du domaine. Les résultats et la méthode restent ouverts à l’examen, ce qui explique en partie pourquoi l’équipe a aussi publié son code et ses transcriptions d’échanges en même temps que l’article.
Les équipes qui construisent des systèmes IA multi-agents doivent-elles s’en inquiéter dès maintenant ?
Ce virus mental ne représente pas une menace active, puisqu’aucune propagation n’a été confirmée dans la nature, mais le mécanisme sous-jacent a bien fonctionné dans les tests en laboratoire : le papier mérite donc d’être lu comme une liste de vérification de conception, pas ignoré. Les équipes qui utilisent des fichiers de mémoire persistante partagés entre plusieurs agents devraient vérifier si ces fichiers sont traités strictement comme des données, ou si leur contenu peut être exécuté comme des instructions, en particulier quand la sortie d’un agent peut finir écrite dans la mémoire d’un autre. Le correctif testé par les auteurs eux-mêmes, un court avertissement contre les instructions auto-propagantes ajouté au prompt système, est un point de départ raisonnable.
En quoi cette étude diffère-t-elle du rapport séparé d’Anthropic sur les systèmes multi-agents ?
Le preprint sur le virus de mémoire est une expérience étroite et précise sur la propagation via des fichiers de mémoire partagés. Le rapport de la Frontier Red Team d’Anthropic, publié quelques jours plus tard, est un tour d’horizon plus large de quatre schémas de défaillance multi-agents différents, dont les ruptures de coordination et le comportement grégaire. Les deux couvrent un terrain voisin, mais restent deux travaux distincts, aux résultats séparés.