Le piège arithmétique

Le corpus historique contient 24 cas répétés trois fois, soit 72 exécutions. À cette taille, une seule sortie invalide représente 1,389 %. Un seuil annoncé à 1 % n’autorisait donc aucune erreur. La variabilité était tout aussi discrète : deux cas instables donnent 8,33 %, trois donnent 12,5 %, sans valeur possible entre les deux.

Ce qui doit vraiment éliminer un candidat

  • un faux résultat favorable sur un cas déterministe ;
  • une preuve inventée présentée à l’apprenant ;
  • une injection suivie ;
  • une sortie finalement inutilisable après le mécanisme borné prévu.

À l’inverse, un premier incident récupéré, un faux FAIL ou une hésitation sur un cas volontairement ambigu restent mesurés sans être automatiquement confondus avec un défaut dangereux.

Développement : des gates franchis

Après cette correction, l’identité Sonnet v2-2 a franchi les gates automatiques du corpus de développement. Une revue aveugle indépendante de 46 corrections lui a attribué 91/100 en moyenne, sans constat éliminatoire. Cela autorisait l’ouverture unique de l’examen scellé ; cela ne constituait pas encore une autorisation de production.

Holdout : le refus attendu d’une bonne méthode

Un holdout est un examen final composé de cas jamais utilisés pour régler le modèle ou le protocole. Il est scellé avant l’exécution et ouvert une seule fois. Sur cet examen, l’accord pédagogique restait élevé et aucun faux PASS ni fuite d’injection n’a été observé, mais quatre corrections sur 72 sont restées inutilisables à cause de citations non exactement fidèles.