KI-Agenten als Virenschleuder? Was die Anthropic-Studie wirklich zeigt
Anthropic und die EPFL testeten, ob sich Schadbefehle über das Gedächtnis von KI-Agenten verbreiten. Bei rund 2.000 Versuchen: keiner erfolgreich.

Diesen Monat kursierten Schlagzeilen über einen “KI-Gedankenvirus”, der sich angeblich zwischen KI-Agenten verbreitet – über jene Gedächtnisdateien, die sie von einer Sitzung zur nächsten mitschleppen. Die Forscher, die das Experiment tatsächlich durchgeführt haben, fanden etwas Genaueres und Nützlicheres als das, was in den Schlagzeilen hängen blieb: Unter Laborbedingungen, die extra darauf zugeschnitten waren, es zu begünstigen, steckte ein präparierter Befehl in der dauerhaften Gedächtnisdatei eines Agenten den nächsten Agenten in über der Hälfte der Fälle an. Doch als dasselbe Team anschließend prüfte, ob so etwas auch von allein passiert – in rund 2.000 realen, archivierten Fällen von Agenten-Aktivität –, fanden sie keinen einzigen bestätigten Fall, in dem ein Schadbefehl tatsächlich von einem Agenten zum nächsten gesprungen ist. Genau diese Lücke, zwischen dem, was Forscher absichtlich zum Laufen bringen, und dem, was tatsächlich in freier Wildbahn beobachtet wurde, ist die eigentliche Geschichte.
Die Studie stammt von einem Team bei Anthropic und der EPFL (École Polytechnique Fédérale de Lausanne, einer der beiden Schweizer Bundes-Technikhochschulen). Veröffentlicht wurde sie als Preprint – eine Vorab-Fassung, die öffentlich geteilt wird, bevor andere Wissenschaftler sie formal begutachtet haben. Der Titel lautet “Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems”, und die Arbeit verdient es, für das gelesen zu werden, was sie tatsächlich zeigt, nicht für die Version, die am schnellsten online die Runde machte.
Die Lücke zwischen Schlagzeile und Studie
“KI-Gedankenvirus” ist ein Begriff aus der Presseberichterstattung, nicht von den Forschern selbst. Manche Medien nutzten ihn, um eine Idee zu beschreiben, die sich zwischen KI-Agenten so verbreitet wie ein biologischer Virus zwischen Menschen – als würde das bereits still und heimlich passieren, Agent zu Agent, draußen in der echten Welt. Die Studie belegt etwas Engeres und Präziseres: Wenn ein Schadbefehl und eine Gedächtnisdatei-Konstruktion absichtlich so gebaut werden, dass die Ausbreitung begünstigt wird, funktioniert das – und zwar oft. Was sie nicht belegt, ist die Annahme, dass das bereits unbeaufsichtigt in der freien Wildbahn passiert. Als dasselbe Team echte, archivierte Agenten-Aktivität nach genau diesem Beweis durchsuchte, fand es keinen.
Das ist kein kleiner Unterschied. Eine Studie, die sagt “Wir haben einen funktionierenden Angriff gefunden, und er verbreitet sich bereits von selbst” verlangt eine ganz andere Reaktion als eine Studie, die sagt “Wir haben einen funktionierenden Angriff gebaut, konnten aber separat keinen Beleg dafür finden, dass er sich bislang von selbst verbreitet hat”. Diese Studie gehört zur zweiten Sorte, und die ehrliche Einordnung ist mehr wert als die gruselige – aus einem einfachen Grund: Sie sagt genau, unter welchen Bedingungen die Ausbreitung klappt, statt dich jede denkbare Bedingung selbst ausmalen zu lassen.
Was Anthropic und die EPFL tatsächlich getestet haben
Der Testaufbau zielt auf ein spezifisches und zunehmend verbreitetes Muster in KI-Agentensystemen: dauerhafte Gedächtnisdateien, die ein Agent über mehrere Sitzungen hinweg immer wieder ausliest. Viele autonome KI-Agenten, vor allem solche, die durchgehend laufen sollen statt nur eine Frage zu beantworten und dann zu stoppen, führen eine laufende Datei mit Notizen, Zielen und Kontext, oft mit Namen wie SOUL.md oder MEMORY.md. Der Agent schreibt nach getaner Arbeit in diese Datei und liest sie beim nächsten Start wieder ein, damit er dort weitermachen kann, wo er aufgehört hat, statt jede Sitzung bei null zu beginnen.
Die Frage der Forscher war simpel: Was passiert, wenn diese Gedächtnisdatei eine Prompt Injection enthält – also einen bösartigen Befehl, versteckt in Inhalten, die die KI liest und für eine legitime Anweisung hält, statt ihn als reine Information zu behandeln, die zusammengefasst werden soll? Landet die Ausgabe von Agent A, die einen eingepflanzten Befehl enthält, in der Gedächtnisdatei von Agent B, und liest Agent B diese Datei aus und handelt danach, so wie er es mit seinen eigenen früheren Notizen tut, dann ist der Befehl faktisch von einem Agenten zum anderen gesprungen, ohne dass je ein Mensch diese Übertragung genehmigt hat.

Für den Test pflanzten die Forscher zwei Familien von Schadbefehlen ein. Die erste war ideologisch: Anweisungen, die eine Überzeugung oder ein Ziel implantieren sollten, das der Agent dann weiterträgt und möglicherweise weitergibt – ähnlich wie sich ein Gerücht verbreitet, nicht wie Schadsoftware. Die zweite war handlungsbezogen: Anweisungen, die auf konkret schädliches Verhalten abzielten, etwa eine Kryptowährung zu bewerben, ein Git-Repository zu manipulieren (das Versionsverwaltungssystem, mit dem viele Entwickler Codeänderungen nachverfolgen), Dateien zu löschen oder ein bösartiges Skript auszuführen. Die ideologischen Befehle testen, ob eine Idee überhaupt durch eine Kette von Agenten bestehen und sich verbreiten kann. Die handlungsbezogenen testen, ob diese Ausbreitung, sofern sie eintritt, in etwas mit echten Konsequenzen mündet.
Im konstruierten Laborszenario, das die Forscher eine “Virus-Kette” nennen – ein weiterentwickelter Schadbefehl wird in einen Agenten eingepflanzt, und dann wird bewertet, ob er einen unbelasteten zweiten Agenten dazu bringt, ihn zu übernehmen und weiterzugeben –, funktionierte der Mechanismus erheblich. Landete ein Schadbefehl in der dauerhaften, selbst editierbaren Gedächtnisdatei eines Agenten, also genau jener Datei, aus der ein Agent seine eigenen Anweisungen bezieht, infizierte er den nächsten Agenten in der Kette in etwa 55 Prozent der Fälle. Landete derselbe Befehl stattdessen in einer gewöhnlichen Datei ohne diesen besonderen Status, sank die Erfolgsquote auf rund 17 Prozent. Das Team versuchte auch, Schadbefehle über einen simulierten Social-Feed im Moltbook-Stil statt über direkte Nachrichten von Agent zu Agent laufen zu lassen; dort scheiterten dieselben weiterentwickelten Befehle größtenteils, verwässert durch unabhängige Beiträge und mit mehr Misstrauen vom lesenden Agenten behandelt.
Getrennt von diesen konstruierten Tests führte das Team eine Überprüfung anhand echter Daten durch. Sie setzten keine infizierten Agenten in Produktivsystemen ein, um zuzusehen, was passiert; stattdessen durchsuchten sie rückblickend archivierte Beiträge einer Plattform namens Moltbook, auf der KI-Agenten posten und miteinander interagieren, und grenzten ein großes Ausgangsarchiv auf rund 2.000 mögliche Ausbreitungsversuche von etwa 400 verschiedenen Autoren ein. Das gleicht eher dem Durchforsten historischer Aufzeichnungen nach Beinahe-Treffern als der Live-Überwachung eines laufenden Ausbruchs – und genau daher stammt die Zahl von 2.000 Versuchen, nicht aus den oben beschriebenen konstruierten Labortests.
Die Zahl, auf die es ankommt: 2.000 Versuche, null bestätigte Ausbreitungen
Hier das zentrale Ergebnis der Überprüfung anhand echter Daten, ganz nüchtern formuliert: Beim Durchsuchen dieser archivierten Beiträge identifizierten die Forscher rund 2.000 mögliche Ausbreitungsversuche von etwa 400 verschiedenen Autoren – Fälle, in denen die Bedingungen dafür, dass ein Schadbefehl vom Gedächtnis eines Agenten zum nächsten springt, augenscheinlich gegeben waren. Von diesen rund 2.000 Versuchen fanden sie keinen einzigen bestätigten Fall erfolgreicher Ausbreitung von Agent zu Agent in freier Wildbahn. In den auf den ersten Blick eindeutigsten Fällen zeigte die genauere Prüfung: eine Handvoll Konten, in einem Fall gerade einmal sieben, die denselben Schadbefehl im Kreis posteten. Hörten diese Konten auf zu posten, hörte auch die scheinbare Ausbreitung auf – das Kennzeichen von Wiederholung, nicht von tatsächlicher Übertragung.
Das ist die Zahl, an der sich jede Diskussion darüber orientieren sollte, was heute tatsächlich passiert, und es ist die Zahl, die in der Presseberichterstattung meist unter der aufregenderen “Gedankenvirus”-Formulierung verschwand. Ein Verhältnis von fast 2.000 zu 0 in echten Archiven ist weder ein Rundungsfehler noch eine Formsache – aber es ist auch nicht dasselbe Ergebnis wie der konstruierte Labortest von oben, wo der Mechanismus in mehr als der Hälfte der Fälle funktionierte, sobald ein Schadbefehl in der dauerhaften Gedächtnisdatei eines Agenten landete. Zusammen genommen sagen die beiden Ergebnisse etwas Präziseres als “es funktioniert nicht”: Der Mechanismus funktioniert, wenn ihn jemand absichtlich baut, und bislang wurde noch niemand dabei erwischt, das wirklich zu tun.
Das bedeutet nicht, dass die zugrunde liegende Idee in die eine oder andere Richtung Unsinn ist. Es bedeutet, dass die konkreten Bedingungen in der echten Welt, die diese Studie durchsucht hat – archivierte Agenten-Beiträge auf einer Plattform, über ein bestimmtes Zeitfenster –, nicht ausreichten, um einen bestätigten Fall zu finden. Der Abstand zwischen “funktioniert, wenn konstruiert” und “in freier Wildbahn beobachtet” erwies sich als groß – vorerst in die beruhigende Richtung.
Warum ein größtenteils gescheitertes Experiment veröffentlichen
Es wäre für Anthropic ein Leichtes gewesen, ein Ergebnis, das der eigenen gruseligsten Hypothese so wenig schmeichelt, in der Schublade verschwinden zu lassen – oder es nur um die paar Tausend Versuche herum darzustellen statt um die null bestätigten Erfolge. Stattdessen veröffentlichte das Team Methode, Zahlen und das negative Ergebnis gemeinsam, samt Code und Gesprächsprotokollen offen einsehbar, im GitHub-Repository des Projekts und auf der Begleitseite mindvirusdata.live.
Diese Entscheidung ist selbst aufschlussreich. Ein größtenteils gescheitertes Experiment zu veröffentlichen ist ein stärkeres Signal als eine glatte Erfolgsgeschichte, denn es erlaubt anderen Forschern, die Arbeit zu prüfen, den Aufbau auf andere Weise zu knacken zu versuchen und das negative Ergebnis entweder zu bestätigen oder die Bedingungen zu finden, unter denen es kippt. Ein Labor, das nur Erfolge teilt, optimiert für das eigene Ansehen. Ein Labor, das teilt “Wir haben versucht, die Sicherheitsannahmen unseres eigenen Produkts zu widerlegen, und es meist nicht geschafft”, optimiert dafür, dass die Branche tatsächlich weiß, wo die Grenzen liegen.
Dieses Preprint steht zudem neben einer separaten, breiter angelegten Arbeit: Anthropics Frontier Red Team, eine interne Gruppe, deren Aufgabe es ist, die eigenen Systeme des Unternehmens auf ernsthafte Risiken abzuklopfen, veröffentlichte wenige Tage später einen Bericht über aufkommende Probleme in Multi-Agenten-Systemen. Dieser Bericht behandelt vier unterschiedliche Fehlermuster in Systemen aus mehreren zusammenarbeitenden KI-Agenten: Agenten, die sich nicht richtig koordinieren, Agenten, die in Konformität oder herdenartiges Verhalten verfallen und gegenseitig Fehler kopieren, Agenten, die durch Täuschung manipuliert werden, sowie Konflikte, die eskalieren, wenn Agenten unvereinbare Ziele verfolgen. Das ist verwandter Kontext zur selben übergeordneten Sorge, aber keine zweite Bestätigung der Memory-Worm-Zahlen, und sollte nicht als unabhängige Wiederholung dieses konkreten Experiments gelesen werden.
Das Architekturmuster, das Beachtung verdient
Der bleibendste Beitrag der Studie ist nicht die Null, und es ist auch nicht die 2.000. Es ist die Präzision, mit der sie genau die architektonische Entscheidung benennt, die vorhanden sein müsste, damit diese Art der Ausbreitung überhaupt funktioniert: eine dauerhafte Gedächtnisdatei, die vom selben oder einem anderen Agenten wieder ausgelesen wird, ohne dass ihr Inhalt unabhängig geprüft wird, und in die die Ausgabe eines Agenten hineinkopiert werden kann.

Streicht man die “Virus”-Sprache komplett weg, bleibt eine schlichte technische Frage übrig, die sich jeder stellen sollte, der heute Agenten baut: Behandelt irgendetwas in diesem System Inhalte, die eine KI geschrieben hat, allein deshalb als Befehl, weil sie in einer Datei stehen, der der Agent vertraut, etwa seiner eigenen Gedächtnis- oder Zustandsdatei? Wird eine Gedächtnisdatei als reine Daten behandelt, zusammengefasst und durchdacht statt befolgt, greift diese ganze Problemklasse gar nicht. Werden die Inhalte einer Gedächtnisdatei dagegen als Befehle ausgeführt, einschließlich solcher, die indirekt über die Schreibaktion eines anderen Agenten hereinkamen, dann steht die von den Forschern beschriebene Tür offen – auch wenn der Durchgang derzeit in der Praxis schwierig bleibt.
Die Studie testete auch die naheliegende Abhilfe: eine kurze Warnung vor selbstverbreitenden Anweisungen zum System-Prompt eines Agenten hinzuzufügen. In den konstruierten Tests drückte dieser eine Absatz die Ausbreitung fast auf null – und das hielt sogar stand, als die Forscher 15 Runden feindseliger Optimierung mit mehr als 150 manipulierten Schadbefehlen aufwendeten, gezielt darauf aus, etwas zu schreiben, das an der Warnung vorbeikommt. Kein einziger davon breitete sich über den ersten erreichten Agenten hinaus aus. Für ein System, das ohnehin schon auf dauerhaften, wieder ausgelesenen Gedächtnisdateien aufbaut, ist das eine günstige, konkrete Gegenmaßnahme – kein Neubau.
Deshalb lohnt sich die Studie als Lektüre für Entwicklungsteams, nicht als Schlagzeile zum alarmierten Weiterleiten. Sie sagt nicht, dass Multi-Agenten-Systeme mit gemeinsamem Gedächtnis heute gefährlich sind. Sie sagt: Genau das ist das Muster, das sie gefährlich machen würde, getestet unter günstigen Bedingungen – und so weit kommt dieses Muster derzeit in der Praxis. Das ist selten in der Sicherheitsforschung: ein klar begrenztes negatives Ergebnis mit einer exakten Landkarte dessen, was sich ändern müsste, damit es ins Positive kippt.
Häufig gestellte Fragen
Ist der KI-Gedankenvirus gerade eine echte, laufende Bedrohung?
Der KI-Gedankenvirus ist keine Bedrohung, die dabei erwischt wurde, sich von selbst zu verbreiten. Anthropic und die EPFL-Forscher zeigten, dass der Mechanismus in konstruierten Labortests funktionieren kann und den nächsten Agenten in über der Hälfte der Fälle ansteckt, wenn ein Schadbefehl in der richtigen Art von Gedächtnisdatei landet. Als sie aber getrennt davon echte, archivierte Agenten-Aktivität nach Belegen dafür durchsuchten, dass so etwas unbeaufsichtigt passiert, fanden sie null bestätigte erfolgreiche Ausbreitungen unter rund 2.000 identifizierten Kandidatenversuchen.
Was ist eine Prompt Injection, einfach erklärt?
Eine Prompt Injection ist ein versteckter Befehl, eingebettet in Inhalte, die ein KI-System liest – etwa ein Dokument, eine Webseite oder, wie hier, eine Gedächtnisdatei –, den die KI fälschlich für eine legitime Anweisung ihres Nutzers oder Betreibers hält, statt ihn als reine Information zum Zusammenfassen oder Nachschlagen zu behandeln.
Wurde diese Studie bereits von Fachleuten begutachtet?
Nein, noch nicht. Es handelt sich um ein Preprint, das heißt, die Autoren haben die Studie öffentlich gemacht, bevor sie das formale Begutachtungsverfahren durch andere Forscher im Fachgebiet durchlaufen hat. Ergebnisse und Methodik stehen zur Prüfung offen – auch deshalb veröffentlichte das Team zusätzlich zur Studie seinen Code und die Gesprächsprotokolle.
Sollten Teams, die Multi-Agenten-KI-Systeme bauen, sich darüber heute Sorgen machen?
Nicht wegen einer aktiven Bedrohung, denn in freier Wildbahn wurde keine bestätigt. Aber der zugrunde liegende Mechanismus funktionierte in den konstruierten Tests, deshalb lohnt sich die Studie als Design-Checkliste, statt sie abzutun. Teams, die dauerhafte Gedächtnisdateien über mehrere Agenten hinweg einsetzen, sollten prüfen, ob diese Dateien strikt als Daten behandelt werden oder ob ihr Inhalt als Befehl wirken kann – besonders dann, wenn die Ausgabe eines Agenten in der Gedächtnisdatei eines anderen landen kann. Die von der Studie selbst getestete Abhilfe, eine kurze Warnung vor selbstverbreitenden Anweisungen im System-Prompt, ist ein vernünftiger Ausgangspunkt.
Wie unterscheidet sich das vom separaten Anthropic-Bericht zu Multi-Agenten-Systemen?
Das Memory-Worm-Preprint ist ein enges, spezifisches Experiment zur Ausbreitung über gemeinsame Gedächtnisdateien. Der Bericht von Anthropics Frontier Red Team, der wenige Tage später erschien, ist eine breiter angelegte Übersicht über vier verschiedene Fehlermuster in Multi-Agenten-Systemen, darunter zusammenbrechende Koordination und Konformitätsverhalten. Beide behandeln verwandtes Terrain, sind aber eigenständige Arbeiten mit getrennten Ergebnissen.