Température 0 n'est pas déterministe
Un classifieur à température 0 n'est pas figé. Batching, MoE et matériel génèrent une variance résiduelle. Mesurez le bruit du garde-fou avant de l'utiliser.
Le mythe rassurant du T=0
Un client pose souvent la règle de manière péremptoire : « notre classifieur de validation tourne à température 0, sa sortie est donc strictement reproductible ». L'intuition thermique est séduisante. Si la température contrôle l'entropie probabiliste de la sélection du prochain token, la ramener au zéro absolu devrait mathématiquement geler le modèle sur l'option la plus probable.
La réalité de la production contredit cette physique naïve. Lorsque nous rejouons strictement le même input des milliers de fois sur un endpoint commercial, les sorties divergent. Le zéro thermique élimine bien l'échantillonnage aléatoire, mais il ne fige pas l'écosystème d'inférence sous-jacent. Penser qu'un setup générateur chaud, classifieur froid suffit à garantir la stabilité dispense les équipes de monitorer la fiabilité de leurs propres instruments.
Assumer la nature probabiliste résiduelle du T=0 permet de cesser d'ignorer les faux positifs et d'auditer l'outil de mesure lui-même.
D'où vient la variance résiduelle
La divergence à température nulle trouve sa source dans l'architecture même de l'inférence moderne. D'abord, le batching dynamique regroupe des requêtes de tailles différentes pour optimiser le calcul matriciel. Ce regroupement introduit des variations de padding qui modifient marginalement le comportement de l'attention.
Ensuite, les architectures Mixture of Experts (MoE) routent les tokens vers des sous-réseaux spécifiques. Une infime perturbation dans les calculs en virgule flottante — non associatifs par nature sur les GPU — peut basculer un token d'un expert à l'autre. Ajoutez à cela les mises à jour silencieuses d'infrastructure, où la dérive de version agit comme un confondant silencieux, et le non-déterminisme matériel s'empile inexorablement.
Cartographier ces couches d'instabilité justifie techniquement l'investissement dans des protocoles de validation multipasses.
Mesurer le bruit du garde-fou
La méthode Sonar l'impose : on refuse de servir un classifieur de validation en production tant que sa stabilité inter-runs n'a pas été quantifiée. Concrètement, il faut soumettre un échantillon de validation identique N fois de suite au juge LLM et observer la distribution des verdicts.
Un garde-fou dont on n'a pas mesuré la variance résiduelle n'est pas un garde-fou.
Si le classifieur valide un texte 95 fois sur 100, sa stabilité n'est pas acquise. Nous calculons systématiquement un intervalle de Wilson à 95 % sur ces réplicas. C'est l'application de notre exigence de robustesse statistique non pas au moteur génératif, mais au juge lui-même. Il est impératif de calibrer le scoreur avant de le croire : on mesure le bruit du thermomètre avant de tenter de mesurer la fièvre.
Quantifier cette variance transforme une confiance aveugle en une métrique de fiabilité explicite et opposable.
Variance tolérable vs variance disqualifiante
Une fois le bruit quantifié, la question devient binaire : ce garde-fou est-il apte au service ? Une variance résiduelle de 2 % sur une tâche de classification sémantique simple est souvent tolérable. Les faux positifs marginaux seront absorbés par les volumes de traitement.
En revanche, si le classifieur oscille à 15 % d'inconstance sur des critères critiques — comme la détection d'une hallucination sévère ou le respect d'une contrainte réglementaire —, l'instrument est disqualifié. Il ne peut pas trancher une décision de publication. Un juge qui hésite face au même dossier ne protège pas la marque, il ajoute de l'entropie au processus d'assurance qualité.
Définir un seuil d'invalidation strict pour vos classifieurs évite de bloquer des déploiements légitimes sur la base d'un jet de dés matériel.
Documenter la variance comme métadonnée
L'ingénierie rigoureuse impose de versionner le prompt du classifieur conjointement avec sa variance mesurée. Un scoreur livré sans barre d'erreur n'est pas une métrique, c'est une opinion algorithmique. Pour savoir si une validation est robuste, il faut d'abord décomposer la variance entre le signal et le bruit.
- Isoler le prompt de validation technique.
- Exécuter des salves de T=0 sur des échantillons de référence.
- Calculer l'intervalle de confiance du juge.
- Associer ce score de stabilité au versioning du prompt.
Dans nos livrables, chaque pipeline d'évaluation expose clairement son taux de stabilité à T=0. Cette métadonnée accompagne le garde-fou tout au long de son cycle de vie. Si une modification du prompt ou un changement de modèle sous-jacent dégrade cette stabilité, le pipeline d'intégration continue doit échouer.
Attacher l'intervalle de confiance au classifieur garantit que chaque décision de validation repose sur un instrument dont les limites sont connues et maîtrisées.