Warum KI-Labore ihre besten Benchmark-Werte jetzt verstecken
GPT-5.6 Sol landete bei einem Cyber-Benchmark knapp unter Claude Mythos Preview. Eine These macht die Runde: das war kein Zufall, sondern Absicht.

Als OpenAI am 9. Juli 2026 die Systemkarte zu GPT-5.6 Sol veröffentlichte, sein neues Flaggschiff-Modell, das am 26. Juni vorab vorgestellt worden war, fiel allen, die KI-Sicherheitstests genau verfolgen, eine Zahl sofort auf. Bei ExploitBench, einem Benchmark, der einem KI-Agenten eine bekannte Software-Schwachstelle vorlegt und prüft, ob er daraus einen funktionierenden Angriffscode bauen kann, landete Sol knapp unter Claude Mythos Preview von Anthropic (73,5 % gegenüber 74,2 % in OpenAIs Vergleichstabelle; das spätere Mythos 5 liegt bei 78 %). Nicht deutlich darunter. Knapp darunter. Eine Art, die Reaktion auf den Punkt zu bringen: Benchmark-Maxing weicht dem Benchmark-Minimizing.
Diese Formel ist keine bestätigte Tatsache über OpenAIs Absichten. Es ist eine These, und eine scharfsinnige, warum ein so leistungsfähiges Modell seinen Wert genau dort landen würde. Diese These zu verstehen, und warum sie überhaupt plausibel ist, sagt etwas Dauerhaftes darüber aus, was ein öffentlicher KI-Benchmark-Wert für dich als Praktiker beim Modellvergleich tatsächlich noch wert ist.
Was „Benchmark-Minimizing” bedeutet
Früher wollte ein Labor seinen Benchmark-Wert maximieren: mehr Fähigkeiten, höherer Wert, bessere Werbung. Bei ExploitBench dreht sich diese Logik für genau eine Fähigkeit um – die Fähigkeit, eine bekannte Software-Schwachstelle eigenständig in einen funktionierenden Angriff zu verwandeln. Wer bei einem solchen Test zu hoch punktet, zeigt nicht Stärke, sondern hisst eine Warnflagge.
Laut OpenAIs Vergleichsmaterialien erreichte GPT-5.6 Sol auf ExploitBench denselben Wert wie Claude Mythos Preview – allerdings mit rund einem Drittel der Output-Token, also mit deutlich weniger Rechenaufwand für ein ähnliches Ergebnis. Dieses Detail ist wichtig: Ein Modell, das effizienter arbeitet, ist nicht automatisch schwächer, es schafft unter Umständen einfach mehr mit weniger. Die Kommentare rund um den Launch deuten genau den Endwert – knapp unter Mythos’ Niveau – als Beleg dafür, dass OpenAI kalibriert hat, wo man aufhört, statt zu zeigen, wie weit man gehen könnte. Das ist eine Interpretation der Daten, kein von OpenAI genanntes Ziel. Kein Labor hat öffentlich bestätigt, einen Wert absichtlich gekappt zu haben, um Kontrolle zu vermeiden. Bestätigt ist dagegen die Einstufung nach OpenAIs Preparedness Framework, dem unternehmenseigenen Risiko-Raster: Sol und seine beiden Geschwistermodelle, Terra (eine leistungsfähige, günstigere Option) und Luna (die schnellste und kosteneffizienteste Variante), erhielten alle drei die Einstufung „High” für Cybersicherheits-Fähigkeiten. High-Einstufungen gab es schon früher, etwa seit GPT-5.3-Codex – neu war, dass diesmal auch die kleineren, schnelleren Varianten Terra und Luna dieselbe Einstufung bekamen wie das Flaggschiff, statt nur das Topmodell. OpenAI betont, dass keines der drei Modelle die Schwelle „Cyber Critical” überschreitet – jene Linie des Frameworks, ab der zusätzliche Schutzmaßnahmen vor jeder Veröffentlichung zwingend wären.
OpenAI, Previewing GPT-5.6 Sol — der Launch-Beitrag für die Vorschau-Stufe Sol, Terra und Luna.
Die Decke, die Anthropic sich selbst gebaut hat
Dass ein Wert „knapp unter Mythos” überhaupt etwas bedeutet, geht auf den 7. April 2026 zurück. An diesem Tag kündigte Anthropic Claude Mythos an – und erklärte im selben Atemzug, das Modell nicht breit zu veröffentlichen. Anthropics eigene Beschreibung von Mythos war der Auslöser: ein Modell, das Schwachstellen in den wichtigsten Betriebssystemen und Browsern weitgehend eigenständig findet und bewaffnet – eine autonome offensive Cybersicherheits-Fähigkeit, die weit über alles hinausging, was ein öffentliches Modell zuvor gezeigt hatte.
Anthropic, Claude Mythos — die Produktseite für das Modell, das Anthropic von der breiten Veröffentlichung zurückhielt.
Diese Ankündigung blieb nicht Anthropics eigene Angelegenheit. Am 12. Juni 2026 berief sich das US-Handelsministerium auf seine Exportkontroll-Befugnis – ein formales rechtliches Instrument, kein informeller Druck – und ordnete an, dass Anthropic Nicht-US-Bürgern, einschließlich der eigenen ausländischen Mitarbeiter, den Zugang zu Mythos und zum anderen Flaggschiff-Modell Fable komplett sperrt. Anthropic erklärte am 30. Juni, das Handelsministerium habe die Beschränkungen für beide Modelle aufgehoben. Das Schreiben nannte lediglich ein nicht näher bezeichnetes nationales Sicherheitsanliegen und war nicht an Mythos’ Benchmark-Wert geknüpft. Anthropic erklärte, es vermute einen Zusammenhang mit einem gemeldeten Guardrail-Umgehungsfall bei Fable, und bestritt die Grundlage der Anordnung. DecodeStack hat die Mechanik dieser Beschränkung im Detail beschrieben, einschließlich der Folgen für Entwickler, die über Nacht ihren API-Zugang verloren: warum Anthropic Fable 5 deaktivierte. Dieser Artikel hier behandelt etwas Angrenzendes, aber Eigenständiges: nicht das Verbot selbst, sondern was dieses Verbot damit gemacht hat, wie jedes Labor seine Zahlen heute veröffentlicht.
Die Ironie bleibt bestehen, nur weniger ordentlich als ein einziges auslösendes Ereignis. Anthropics eigene Kommunikation darüber, was Mythos kann, hat eine konkrete Fähigkeitsstufe öffentlich dokumentiert – eine Angriffsfläche, auf die eine Regierung später zeigen konnte, obwohl die tatsächliche Anordnung ein nicht näher bezeichnetes nationales Sicherheitsanliegen nannte, das Anthropic mit einem Bericht über eine Guardrail-Umgehung in Verbindung brachte, und nicht darauf beruhte, dass der Benchmark-Wert selbst eine gesetzlich festgelegte Linie überschritten hätte. Keine Aufsichtsbehörde hat bislang einen numerischen Schwellenwert für autonome Exploit-Fähigkeiten veröffentlicht. Aber sobald eine Regierung einmal gezeigt hat, dass sie bereit ist, Exportkontroll-Befugnisse gegen ein Spitzenlabor wegen dessen Cyber-Fähigkeiten einzusetzen, wird jedes andere Modell, das bei einem vergleichbaren Test auf oder über Mythos’ Niveau punktet, zum Kandidaten für dieselbe Art von Prüfung. Dass GPT-5.6 Sol bei derselben Benchmark-Kategorie knapp darunter landete, ist der erste sichtbare Test dafür, ob Labore Mythos’ Niveau nun als Decke behandeln, die man respektiert, statt als Ziel, das man übertrifft.
Der Anreiz, den gerade jedes Labor abwägt
Versetz dich in die Lage eines Labors, das ein Spitzenmodell veröffentlicht. Du hast ein Ergebnis bei einem sensiblen Fähigkeits-Benchmark, etwa autonome Exploit-Erzeugung, und im Grunde drei Optionen. Du veröffentlichst den echten Wert, falls er über der inoffiziellen Linie liegt – und riskierst genau den informellen Druck und die Zugangsbeschränkung, die Anthropic mit Mythos erlebt hat. Du veröffentlichst einen Wert, der zufällig darunter liegt, egal ob das Modell dort tatsächlich schwächer ist oder weil das Labor die Berichterstattung entsprechend justiert hat – und behältst den breiten öffentlichen Zugang. Oder du veröffentlichst die Gewichte des Modells offen, womit sich die ganze Rechnung erübrigt, denn ein Open-Weight-Modell – bei dem der Hersteller das fertig trainierte Modell frei zum Download bereitstellt – hat erst gar kein einzelnes Unternehmen als Zugangspunkt, auf das eine Regierung Druck ausüben könnte.
Diese dritte Option ist der einzig saubere Ausweg aus dieser Dynamik. DecodeStack hat bereits beschrieben, warum Open-Weight-Modelle andere Kompromisse bei Kontrolle und Lizenzierung mit sich bringen, in der Begründung für das beste Open-Weight-LLM 2026. Die Benchmark-Minimizing-These fügt diesem Argument ein neues hinzu: Ein Modell, dessen Gewichte öffentlich sind, kann einer Regierung nicht per Brief abgeschnitten werden – weil es keinen einzigen Kontrollpunkt gibt, den man einschränken könnte. Ein geschlossenes, über API ausgeliefertes Modell hat diesen Druckpunkt immer. Ein offenes nicht.
Nichts davon setzt voraus, dass ein Labor bei seinen Zahlen lügt. Ein Wert kann real sein und trotzdem das Produkt von Vorsicht, konservativem Prompting während der Evaluierung, einer auf Sicherheit getrimmten Modellkonfiguration oder schlicht einer echten Fähigkeitsgrenze bei genau dieser Aufgabe sein. Der eigentliche Punkt der Kommentare ist enger gefasst und interessanter: Es gibt jetzt einen Anreiz, unter einer Linie zu landen, den es vorher nicht gab – und als Leser hast du keine Möglichkeit, allein aus dem Wert herauszulesen, ob ein Modell dort stehen bleibt, weil das seine Grenze ist, oder weil sein Labor entschieden hat, dort mit dem Berichten aufzuhören.
Was das bedeutet, wenn du tatsächlich Modelle vergleichst
Für die praktische Modellwahl heißt das: Ein öffentlicher Leaderboard-Wert für eine sensible Fähigkeit ist keine verlässliche Obergrenze mehr dafür, was ein Modell kann. Er könnte näher an einer Untergrenze liegen, die juristische und reputationsbezogene Vorsicht setzt, als an der tatsächlichen Fähigkeitsdecke des Modells.
Diese Lücke zwischen öffentlichem Wert und echter Fähigkeit verschwindet nicht, sie verschiebt sich lediglich. Enterprise- und Trusted-Partner-Zugänge, die Labore vertraglich mit zusätzlicher Prüfung anbieten, zeigen häufig Fähigkeiten und Evaluierungsdetails, die es nie in die öffentliche Systemkarte schaffen. Wer seine Einschätzung eines Modells ausschließlich auf das stützt, was in einem Leaderboard oder einer Modellkarte veröffentlicht wird, bewertet die Version des Modells, die das Labor einer Aufsichtsbehörde zeigen wollte – nicht notwendigerweise die, die tatsächlich existiert.
Das gilt vor allem für Benchmarks, die sensible Fähigkeiten direkt berühren: Cyber-Exploit-Erzeugung, biologisches oder chemisches Missbrauchspotenzial und Ähnliches. Deutlich weniger gilt es für etwas wie Terminal-Bench, den Benchmark von Stanford und dem Laude Institute, der KI-Agenten bei realistischer Kommandozeilen-Arbeit testet – Code kompilieren, debuggen, einen Server in einer isolierten Testumgebung konfigurieren. Für „kann dieses Modell einen Server konfigurieren” gibt es keinen regulatorischen Stolperdraht, also bleibt ein Terminal-Bench-Wert ein vergleichsweise ehrliches Signal für die rohe Fähigkeit. Die Vorsicht konzentriert sich genau dort, wo am meisten auf dem Spiel steht – was wiederum genau dort ist, wo ein Käufer am meisten auf eine verlässliche Zahl angewiesen ist und sie am wenigsten bekommt.
Unabhängige Prüfer liefern eine Ebene an Signal, die Labore nicht vollständig kontrollieren können. METR (ehemals ARC Evals), eine Non-Profit-Organisation, die sich auf die Messung des sogenannten „Zeithorizonts” eines Modells spezialisiert hat – also wie lange ein KI-Agent eine Aufgabe autonom mit einer bestimmten Erfolgsquote durchführen kann, gemessen daran, wie lange ein qualifizierter Mensch dafür bräuchte –, führt eigene Tests außerhalb der Anreizstruktur eines einzelnen Labors durch. Laut METRs veröffentlichten Berichten hat diese Art unabhängiger Messung während Tests gelegentlich Agentenverhalten zutage gebracht, das die Forscher selbst als unerwartet einstuften. Die konkreten Zahlen und Vorfallbeschreibungen, die dazu kursieren, sind hier jedoch nicht unabhängig bestätigt und sollten als berichtete Befunde gelesen werden, nicht als feststehende Größen, bis sie mit METRs eigenem veröffentlichten Bericht abgeglichen sind.
Bricht das Goodharts Gesetz – oder kehrt es nur um
Goodharts Gesetz, die alte Beobachtung, dass eine Kennzahl, sobald sie zum Ziel wird, die Kennzahl selbst optimiert wird statt der eigentlichen Sache dahinter, beschrieb bislang einen Fehlermodus bei KI-Benchmarks: Labore jagen aus Marketinggründen einem höheren Wert nach, manchmal zulasten des realen Nutzens. Benchmark-Minimizing beschreibt den Spiegel-Fehlermodus. Die Kennzahl wird immer noch manipuliert, nur in die andere Richtung – auf einen niedrigeren statt auf einen höheren Wert hin.
Beide Richtungen führen für Leser zum selben Ergebnis: Der veröffentlichte Wert hört auf, eine saubere Messung von Fähigkeit zu sein, und wird zu einer Verhandlung zwischen der tatsächlichen Fähigkeit eines Labors, seinem juristischen Risiko und seiner Öffentlichkeitsarbeit. Eine Zahl, die Labore einen Anreiz haben aufzublasen, und eine Zahl, die Labore einen Anreiz haben zu unterdrücken, verdienen denselben Grad an Vorsicht – nur aus entgegengesetzten Gründen. Die dauerhafte Lehre betrifft nicht GPT-5.6 Sol oder Claude Mythos im Speziellen, beide werden binnen eines Jahres abgelöst sein. Sie lautet: Ein Benchmark-Wert zeigt nur, was ein Labor bereit war zu zeigen – und die Lücke zwischen diesem Wert und dem, was ein Modell tatsächlich kann, ist genau der Bereich, in dem sich Regulierung, PR und echte Fähigkeit heute überschneiden.
FAQ
Was bedeutet „Benchmark-Minimizing” eigentlich?
Benchmark-Minimizing beschreibt, dass ein Labor bei einem sensiblen Fähigkeits-Test einen niedrigeren Wert angibt, als das Modell tatsächlich erreichen könnte, um eine Schwelle zu vermeiden, die regulatorische Beschränkungen auslösen könnte. Es handelt sich derzeit um eine These, die in Kommentaren und Analysen kursiert, nicht um eine Strategie, die ein KI-Labor als bewusst verfolgt bestätigt hätte.
Warum wurde Claude Mythos zum Referenzpunkt für diese Schwelle?
Anthropic kündigte Claude Mythos im April 2026 an – mit einer derart starken autonomen offensiven Cybersicherheits-Fähigkeit, dass das Unternehmen die breite Veröffentlichung zurückhielt. Monate später schränkte eine formale US-Exportkontroll-Anordnung den Nicht-US-Zugang zu Mythos und Fable ein; ihren berichteten Zusammenhang mit einem Jailbreak-Vorwurf konnte Anthropic selbst nur vermuten, und die Anordnung knüpfte nicht an die Ankündigung der Fähigkeit im April selbst an. Weil Anthropic die Fähigkeit aber öffentlich beschrieben hatte, wurde Mythos’ Niveau trotzdem zur inoffiziellen Linie, an der die Ergebnisse anderer Labore gemessen werden.
Hat OpenAI bestätigt, Benchmark-Minimizing zu betreiben?
Nein. OpenAI hat nicht erklärt, einen Wert gekappt oder minimiert zu haben. Die Formulierung „Benchmark-Minimizing” stammt aus externen Kommentaren, die das Muster im ExploitBench-Ergebnis von GPT-5.6 Sol interpretieren, nicht aus einer Aussage OpenAIs zur eigenen Absicht, und sollte als Analyse gelesen werden, nicht als Eingeständnis.
Vermeidet ein Open-Weight-Modell dieses Problem komplett?
Ja, in einem konkreten Sinn: Ein Open-Weight-Modell, bei dem die trainierten Modelldateien veröffentlicht werden statt hinter der API eines einzelnen Unternehmens zu bleiben, hat nach der Veröffentlichung keinen einzelnen Zugangspunkt, den eine Regierung oder Aufsichtsbehörde einschränken könnte. Das nimmt den Anreiz, einen Benchmark-Wert zu unterschlagen – es entfernt aber nicht die zugrunde liegende Fähigkeit oder deren Risiken.
Sollte ich KI-Benchmark-Leaderboards nicht mehr vertrauen?
Nicht grundsätzlich, aber kalibriere, wofür du ihnen vertraust. Leaderboards zu Benchmarks ohne regulatorische Brisanz, etwa allgemeine Programmier- oder Kommandozeilen-Aufgaben, bleiben einigermaßen aussagekräftig. Bei sensiblen Fähigkeiten wie Cyber-Exploit-Erzeugung solltest du den öffentlichen Wert als Untergrenze behandeln, die teilweise durch juristische Vorsicht geprägt ist – nicht als präzises Maß für die tatsächliche Fähigkeitsgrenze des Modells.