Benchmark minimizing : pourquoi les labos IA cachent leurs scores
GPT-5.6 Sol termine juste sous Claude Mythos Preview sur un benchmark cyber. Une thèse circule : ce n'est pas un hasard, mais un calcul.

Quand OpenAI a publié, le 9 juillet 2026, la fiche technique de GPT-5.6 Sol, son modèle phare présenté en avant-première le 26 juin, un chiffre a sauté aux yeux de ceux qui suivent de près les tests de sécurité en IA. Sur ExploitBench, un benchmark qui donne à un agent IA une faille logicielle connue et vérifie s’il arrive à en faire une attaque fonctionnelle, Sol a obtenu un score juste en-dessous de celui de Claude Mythos Preview, le modèle d’Anthropic (73,5 % contre 74,2 % dans le tableau comparatif d’OpenAI, le Mythos 5 plus récent atteignant 78 %). Pas loin derrière. Juste derrière. Une façon de résumer la réaction : la course au meilleur score cède la place à la course au score minimal.
Cette formule n’est pas un fait confirmé sur les intentions d’OpenAI. C’est une thèse, et une thèse habile, sur la raison pour laquelle un modèle aussi capable atterrirait précisément là. Comprendre cette thèse dit quelque chose de durable sur ce que vaut vraiment un score de benchmark public quand on compare des modèles IA dans la vraie vie.
Ce que veut dire « minimiser son benchmark »
Un score de benchmark, un labo avait plutôt intérêt à le maximiser : plus de capacités, un meilleur score, un meilleur argument marketing. Mais ExploitBench inverse cette logique pour une capacité bien précise : celle de transformer seul une faille logicielle connue en arme. Trop bien réussir ce test-là, et on ne s’illustre plus, on tire la sonnette d’alarme.
Selon les documents de comparaison d’OpenAI, GPT-5.6 Sol a égalé Claude Mythos Preview sur ExploitBench en utilisant environ un tiers des tokens de sortie (l’unité de calcul consommée pour produire une réponse), autrement dit un résultat comparable avec bien moins d’effort de calcul. Ce détail compte : un modèle plus efficace sur une tâche n’est pas forcément plus faible, il fait simplement plus avec moins. Les commentaires qui ont circulé autour de la sortie du modèle lisent ce score final, juste sous le niveau de Mythos, comme la preuve qu’OpenAI a calibré où s’arrêter plutôt que jusqu’où aller. C’est une interprétation des données, pas un objectif qu’OpenAI aurait revendiqué. Aucun labo n’a confirmé publiquement avoir plafonné un score pour éviter l’attention des régulateurs. Ce qui est confirmé, en revanche, c’est la note attribuée par le Preparedness Framework d’OpenAI (son propre cadre d’évaluation des risques) à Sol et à ses modèles jumeaux, Terra (une option plus économique et capable) et Luna (le palier le plus rapide et le plus économique) : les trois ont reçu la note « High » (élevée) en capacité cyber. Cette note n’était pas nouvelle en soi, OpenAI l’avait déjà attribuée à des modèles antérieurs depuis GPT-5.3-Codex, mais c’était la première fois que les paliers plus petits et plus rapides d’une même famille de modèles, Terra et Luna, l’atteignaient aux côtés du modèle phare, et non plus seulement le modèle de tête. OpenAI précise qu’aucun des trois ne franchit le seuil « Cyber Critical », la ligne rouge du cadre à partir de laquelle des garde-fous supplémentaires seraient exigés avant toute mise à disposition.
OpenAI, Previewing GPT-5.6 Sol — l’article de lancement du palier de prévisualisation Sol, Terra et Luna.
Le plafond qu’Anthropic s’est construit lui-même
Si un score « juste sous Mythos » a du sens, c’est à cause d’un épisode précis : le 7 avril 2026, Anthropic annonce Claude Mythos et précise, dans la même phrase, qu’il ne sera pas diffusé largement. La description qu’Anthropic a donnée elle-même de Mythos a mis le feu aux poudres : un modèle capable de trouver et de transformer en armes des vulnérabilités sur les principaux systèmes d’exploitation et navigateurs, en grande partie de façon autonome, une capacité offensive en cybersécurité bien au-delà de ce qu’un modèle public avait montré jusque-là.
Anthropic, Claude Mythos — la page produit du modèle qu’Anthropic a retenu d’une diffusion large.
Cette annonce n’est pas restée cantonnée aux plans de diffusion d’Anthropic. Le 12 juin 2026, le département américain du Commerce invoque son autorité de contrôle des exportations (un mécanisme légal formel, pas une simple pression informelle) et ordonne à Anthropic d’interdire aux non-ressortissants américains, y compris ses propres salariés étrangers, l’accès à Mythos ainsi qu’à Fable, son autre modèle phare. Anthropic a indiqué le 30 juin que le département du Commerce avait levé les restrictions sur les deux modèles. La lettre ne citait qu’une préoccupation de sécurité nationale non précisée, sans lien avec le score de Mythos. Anthropic a indiqué croire que cette préoccupation tenait à un contournement de garde-fous signalé sur Fable, et a contesté le fondement de l’ordre. DecodeStack a détaillé les rouages de cette restriction, notamment ce qu’elle a signifié pour les développeurs qui ont perdu l’accès à l’API du jour au lendemain, dans pourquoi Anthropic a désactivé Fable 5. Cet article-ci traite d’un sujet voisin mais distinct : pas l’interdiction elle-même, mais ce qu’elle a changé dans la façon dont chaque labo publie désormais ses chiffres.
L’ironie demeure, même si elle est moins nette qu’un simple événement déclencheur. C’est la propre communication d’Anthropic sur les capacités de Mythos qui a placé un niveau de capacité précis dans le débat public, offrant à un gouvernement un point de référence auquel se raccrocher, même si l’ordre qui a suivi invoquait une préoccupation de sécurité nationale non précisée, qu’Anthropic a rattachée à un signalement de contournement de garde-fous, et non un score de benchmark franchissant une ligne légale. Aucun régulateur n’a publié de seuil chiffré pour la capacité d’exploitation autonome. Mais dès qu’un gouvernement a montré sa volonté d’utiliser le contrôle des exportations contre un labo de pointe à cause de ses capacités cyber, tout modèle qui atteint ou dépasse le niveau de Mythos sur un test comparable devient candidat à la même vigilance. GPT-5.6 Sol, en atterrissant juste sous ce niveau sur la même catégorie de benchmark, constitue le premier test visible permettant de savoir si les labos traitent désormais le niveau de Mythos comme un plafond à respecter plutôt qu’un objectif à dépasser.
L’incitation que pèse chaque labo aujourd’hui
Mettez-vous à la place d’un labo qui sort un modèle de pointe. Vous avez un résultat sur un benchmark de capacité sensible, disons la génération autonome d’exploits. Trois options s’ouvrent à vous. Publier le vrai chiffre s’il dépasse la ligne de facto, et risquer le genre de pression informelle et de restriction d’accès qu’Anthropic a subi avec Mythos. Publier un chiffre qui se trouve juste sous cette ligne, que le modèle soit réellement moins capable sur ce point ou que le labo ait ajusté la manière de le rapporter, et conserver un accès public intact. Ou bien publier ouvertement les poids du modèle, ce qui évite entièrement le calcul, car un modèle open weight (dont le fabricant publie gratuitement les poids entraînés) n’a pas d’entreprise unique qui contrôle l’accès et qu’un gouvernement pourrait mettre sous pression.
Cette troisième option est la seule sortie nette de cette dynamique. DecodeStack a déjà expliqué pourquoi les modèles open weight entraînent des compromis différents sur le contrôle et les licences dans le dossier sur le meilleur modèle open weight de 2026, et la thèse du benchmark minimizing ajoute un argument à cette liste : un modèle dont les poids sont publics ne peut pas voir son accès coupé par une lettre gouvernementale, puisqu’il n’existe aucun point de contrôle unique à restreindre. Un modèle fermé, verrouillé derrière une API, porte toujours ce point de pression. Un modèle ouvert, non.
Rien de tout cela n’exige qu’un labo mente sur ses chiffres. Un score peut être réel et quand même être le produit d’une certaine prudence, d’un prompt d’évaluation conservateur, d’une configuration du modèle réglée vers la sécurité, ou simplement d’un plafond de capacité bien réel sur cette tâche précise. Le point que soulève ce commentaire est plus étroit et plus intéressant : l’incitation à rester sous une ligne existe désormais là où elle n’existait pas avant, et un lecteur n’a aucun moyen de savoir, en regardant seulement le score, si un modèle s’est arrêté là parce que c’est son plafond réel, ou parce que son labo a décidé de s’arrêter là dans ce qu’il rapporte.
Ce que ça change si vous comparez vraiment des modèles
Si vous choisissez un modèle pour un vrai projet, la conséquence pratique est la suivante : un chiffre public sur un classement, pour une capacité sensible, n’est plus une borne supérieure fiable de ce que le modèle sait faire. Il se rapproche plutôt d’un plancher fixé par la prudence juridique et réputationnelle, que d’un plafond fixé par la capacité réelle du modèle.
Cet écart entre le score public et la capacité réelle ne disparaît pas, il se déplace ailleurs. Les accès entreprise et partenaires de confiance (ceux que les labos proposent sous contrat, avec une vérification renforcée) donnent souvent accès à des capacités et à un niveau de détail qui ne figurent jamais dans la fiche technique publique. Si votre évaluation d’un modèle repose entièrement sur ce qui est publié dans un classement ou une fiche produit, vous évaluez la version du modèle que son labo était à l’aise de montrer à un régulateur, pas forcément la version qui existe réellement.
Cela compte surtout pour les benchmarks qui touchent des capacités sensibles en particulier, la génération d’exploits cyber, le risque de mésusage biologique ou chimique, ce genre de chose. Cela compte beaucoup moins pour un test comme Terminal-Bench, le benchmark de Stanford et de l’institut Laude qui évalue des agents sur des tâches réalistes en ligne de commande, comme compiler du code, déboguer, ou configurer un serveur dans un bac à sable isolé. Il n’existe aucune ligne rouge réglementaire autour de « ce modèle sait-il configurer un serveur », donc un score Terminal-Bench reste un signal raisonnablement honnête de capacité brute. La prudence se concentre exactement là où l’enjeu est le plus fort, qui est aussi là où un acheteur a le plus besoin d’un chiffre fiable, et le moins de chances d’en obtenir un.
Les évaluateurs indépendants ajoutent une couche de signal que les labos ne contrôlent pas entièrement. METR (anciennement ARC Evals), une organisation à but non lucratif spécialisée dans la mesure de ce qu’elle appelle l’« horizon temporel » d’un modèle — c’est-à-dire la durée d’une tâche, mesurée par le temps qu’un humain compétent mettrait à l’accomplir, qu’un agent IA peut réaliser seul avec un taux de réussite donné —, fait tourner ses propres tests, en dehors de la logique incitative d’un labo donné. Selon les publications de METR, ce type de mesure indépendante a parfois révélé, pendant les tests, des comportements d’agent que les chercheurs eux-mêmes ont jugés inattendus — bien que les chiffres précis et les incidents cités n’aient pas été confirmés de façon indépendante ici, et doivent être lus comme des constats rapportés, pas des chiffres établis, jusqu’à vérification dans le rapport publié par METR.
Est-ce que ça casse la loi de Goodhart, ou juste son sens
La loi de Goodhart — ce constat ancien selon lequel, dès qu’une mesure devient un objectif, on optimise la mesure plutôt que la chose qu’elle mesure vraiment — décrivait jusqu’ici un seul mode de défaillance des benchmarks IA : des labos qui courent après un score plus haut pour des raisons marketing, parfois au détriment de l’utilité réelle. Le benchmark minimizing décrit le mode de défaillance inverse. La mesure est toujours manipulée, juste dans l’autre sens, vers un chiffre plus bas plutôt que plus haut.
Dans les deux cas, le résultat est le même pour le lecteur : le score publié arrête d’être une mesure propre de la capacité et devient une négociation entre la capacité réelle d’un labo, son exposition juridique, et sa communication publique. Un chiffre que les labos ont intérêt à gonfler et un chiffre qu’ils ont intérêt à minimiser méritent exactement la même dose de prudence, juste pour des raisons opposées. La leçon durable ne porte pas sur GPT-5.6 Sol ou Claude Mythos en particulier — les deux seront dépassés dans l’année. Elle porte sur ceci : un score de benchmark ne dit jamais que ce qu’un labo a bien voulu montrer, et l’écart entre ça et ce qu’un modèle sait vraiment faire, c’est exactement là que se chevauchent désormais la réglementation, la communication et la capacité réelle.
FAQ
Que veut dire concrètement « benchmark minimizing » ?
Le benchmark minimizing décrit un labo qui publie, sur un test de capacité sensible, un score plus bas que ce dont le modèle serait capable, pour éviter de franchir un seuil susceptible de déclencher une restriction réglementaire. C’est aujourd’hui une thèse qui circule dans les commentaires et les analyses, pas une stratégie qu’un labo IA aurait confirmé poursuivre délibérément.
Pourquoi Claude Mythos est-il devenu le point de référence de ce seuil ?
Anthropic a annoncé Claude Mythos en avril 2026 avec une capacité offensive autonome en cybersécurité si forte qu’il a retenu une diffusion large. Des mois plus tard, un ordre formel de contrôle des exportations américain a restreint l’accès non-américain à Mythos et à Fable ; son lien rapporté avec un signalement de jailbreak n’était qu’une supposition d’Anthropic elle-même, et l’ordre n’était pas lié à l’annonce de capacité d’avril en elle-même. Mais parce qu’Anthropic a décrit cette capacité publiquement, le niveau de Mythos est quand même devenu une ligne de facto à laquelle on mesure les résultats des autres labos.
OpenAI a-t-il confirmé pratiquer le benchmark minimizing ?
Non. OpenAI n’a jamais déclaré avoir plafonné ou minimisé un score. Le cadre « benchmark minimizing » vient de commentaires extérieurs qui interprètent le résultat de GPT-5.6 Sol sur ExploitBench, pas d’une déclaration d’intention d’OpenAI, et doit être lu comme une analyse, pas un aveu.
Un modèle open weight échappe-t-il entièrement à ce problème ?
Oui, dans un sens précis : un modèle open weight, dont les fichiers entraînés sont publiés plutôt que gardés derrière l’API d’une seule entreprise, n’offre aucun point d’accès unique qu’un gouvernement ou un régulateur pourrait restreindre après sa sortie. Cela supprime l’incitation à sous-déclarer un score de benchmark, sans pour autant supprimer la capacité sous-jacente ni ses risques.
Faut-il arrêter de faire confiance aux classements de benchmarks IA ?
Pas entièrement, mais calibrez ce que vous leur demandez. Les classements sur des benchmarks sans sensibilité réglementaire, comme le code général ou les tâches en ligne de commande, restent raisonnablement informatifs. Sur des capacités sensibles comme la génération d’exploits cyber, traitez le score public comme une borne basse façonnée en partie par la prudence juridique, pas comme une mesure précise du plafond réel du modèle.