Le modèle plus rapide qui régresse là où le travail se paie

La famille GDPval a été construite pour évaluer les modèles sur des tâches correspondant à du travail effectivement rémunéré, plutôt que sur des problèmes de concours. C'est, parmi les tests publics, celui dont le résultat se traduit le plus directement en décision d'entreprise.

Le 9 septembre 2026, Artificial Analysis publie ses mesures sur GPT-6 Astra. Sur GDPval-AA v2, l'évaluateur constate une baisse d'environ 45 points Elo par rapport à GPT-5.6 Sol — et l'attribue explicitement au fait que le modèle « utilise significativement moins de tours que d'autres modèles » : 24 par tâche à effort maximal, contre 45 pour GPT-5.6 Sol et 60 pour Claude Fable 5.1 et Claude Opus 5.

Le compromis a manifestement été assumé côté conception. L'annonce de l'éditeur — chiffres annoncés, non rejoués par un tiers — met en avant la rapidité comme argument principal : environ 47 % de temps en moins par tâche sur OSWorld 2.0, 40 minutes en moyenne contre 75 pour la génération précédente, et un score supérieur — 72,6 % contre 65,7 %.

Sur OSWorld, faire moins de tours et aller plus vite améliore le résultat. Sur GDPval, la même économie le dégrade. Ce n'est pas une incohérence : c'est la signature d'un arbitrage qui gagne sur un type de tâche et perd sur un autre. L'organisation qui déploie hérite de l'arbitrage sans l'avoir choisi.

Deux autres mesures du même relevé méritent d'être mises à côté, parce qu'elles vont dans le sens inverse et interdisent une lecture simpliste. Sur AA-Omniscience, le taux d'hallucination passe de 92 % à 51 %. Sur AA-Briefcase, le modèle gagne environ 90 points Elo.

L'évaluateur souligne que cette baisse ne se paie pas en exactitude, comme c'est souvent le cas : l'exactitude progresse de 4 points dans le même temps. Le même modèle, mesuré par la même équipe le même jour, progresse fortement sur deux axes et régresse sur celui qui ressemble le plus à du travail facturable.

Sources consultées : Artificial Analysis — mesures indépendantes, 9 septembre 2026 · OpenAI — annonce de GPT-6 Astra

Ce cas remplit une case que la banque de cas d'AIPM avait presque vide : une régression mesurée. Les cas disponibles décrivent presque toujours des gains, parce que ce sont les gains qu'on publie. Un référentiel qui n'aurait que des cas de progrès enseignerait à ne chercher que des progrès.

Il alimente directement les quatre seuils. Un seuil d'autonomie ne peut pas être fixé sur la performance moyenne d'un modèle : il doit l'être sur la performance de la classe de tâches concernée. Le même agent mérite un seuil différent selon qu'il pilote un poste de travail ou qu'il produit un livrable professionnel.

Il touche enfin la maturité à deux axes : une organisation peut être mature sur l'outillage et immature sur le choix des tâches confiées. C'est exactement le piège ici.

Deux gestes.

Choisissez votre test avant de choisir votre modèle. Écrivez, en une phrase, la tâche que vous payez aujourd'hui à un humain et que vous envisagez de confier. Cherchez ensuite le test public qui lui ressemble le plus. C'est celui-là qui décide, pas l'index global.

Mesurez les tours, pas seulement le temps. Un agent qui finit en deux fois moins de temps parce qu'il fait deux fois moins d'essais n'est pas plus rapide : il abandonne plus tôt. Sur les tâches longues, le nombre d'itérations avant rendu est un indicateur de qualité, et il est mesurable chez vous, sans attendre un benchmark.

Cette fiche suit le gabarit des cas approfondis d'AIPM : huit questions, toujours les mêmes. Voir les autres fiches.