Générateur chaud, classifieur froid
Une équipe industrialise sa production avec un modèle qui écrit puis s'auto-note. Six semaines plus tard, la qualité dérive en silence : le renard garde le poulailler.
L'auto-évaluation, angle mort industriel
Une équipe industrialise sa production de contenu avec un seul modèle qui écrit, puis évalue son propre travail. Six semaines plus tard, la qualité a dérivé sans qu'aucune alerte ne se déclenche sur les tableaux de bord. Le renard garde le poulailler. Lorsqu'une même instance génère le texte et valide sa conformité, les critères d'évaluation s'alignent inévitablement sur les biais de génération.
Le modèle trouve sa propre production excellente par défaut. Cette complaisance algorithmique masque les hallucinations et l'appauvrissement sémantique. Comme nous le constatons lors de nos audits de pipelines, un juge LLM préfère sa propre prose. Confier la validation à l'entité créatrice annule toute objectivité et rend les métriques de qualité inopérantes.
Séparer l'évaluateur du créateur expose immédiatement les régressions cachées avant qu'elles n'atteignent le CMS.
Deux moteurs, deux missions
L'architecture robuste repose sur une séparation stricte : un générateur stochastique assumé face à un juge déterministe. Le premier opère à une température élevée (« chaud »). Sa mission exige de la variété lexicale, une adaptation fine au persona et une capacité à contourner la répétition robotique. Il a le droit à l'erreur, car son rôle est d'explorer l'espace sémantique pour produire un brouillon riche.
Le second opère à une température minimale (« froid »). Sa mission est d'appliquer une grille de notation rigide, binaire ou scalaire, sur la sortie du générateur. Il vérifie la présence d'entités spécifiques, le respect des consignes de formatage et l'absence de formulations proscrites. Même si une température 0 n'est pas déterministe au sens mathématique du terme, elle bride suffisamment le modèle pour stabiliser l'évaluation d'un run à l'autre.
On ne laisse jamais un modèle génératif s'auto-évaluer en production : la créativité et le contrôle exigent deux régimes thermiques opposés.
Assigner un régime de température distinct à chaque tâche garantit à la fois la richesse éditoriale et la conformité structurelle.
Le classifieur est du code, pas un prompt jetable
Un prompt d'évaluation en production n'est pas une simple consigne textuelle, c'est un composant logiciel. Il exige un cycle de vie autonome, un versioning strict et une suite de non-régression. Modifier le prompt du juge implique de repasser ce dernier sur un échantillon labellisé — un golden dataset — pour s'assurer qu'il pénalise toujours les mêmes erreurs avec la même sévérité.
La méthode Sonar impose de traiter cette grille de lecture comme un actif critique. Avant de demander au modèle de rédiger la moindre ligne, l'ingénierie rigoureuse veut que l'on écrive l'éval avant le prompt. Le juge devient la spécification exécutable du contenu attendu, testée et calibrée indépendamment.
Traiter le prompt d'évaluation comme du code versionné empêche la dérive silencieuse et sécurise l'intégralité de la chaîne de production.
Câbler la séparation dans le pipeline
La séparation des rôles se matérialise par une architecture en étapes séquentielles. Le pipeline orchestre le passage du texte généré vers l'instance de classification. Le juge agit comme un garde-fou impitoyable, doté d'un seuil de blocage explicite. Si le score composite n'atteint pas le minimum requis, le processus d'intégration continue s'interrompt net.
Ce rejet automatisé déclenche une boucle de régénération avec un feedback précis injecté dans le prompt, ou route le document vers une révision humaine. Le franchissement de cette douane algorithmique valide que le gain d'information, seule porte de publication, est réellement mesurable et suffisant pour affronter les index.
Insérer une porte de qualité rigide automatise le rejet des anomalies et garantit que seul un contenu vérifié atteint votre CMS.
Ce que la séparation rend mesurable
Lorsqu'un pipeline s'effondre en production, le diagnostic rapide est vital. Avec un modèle unique, une baisse de qualité globale est indéchiffrable : est-ce le modèle sous-jacent qui a été mis à jour, le prompt qui s'épuise face à de nouvelles requêtes, ou la donnée d'entrée qui est corrompue ? La séparation physique des moteurs lève cette ambiguïté structurelle.
Si le générateur produit des anomalies mais que le juge les bloque, le système de contrôle est sain ; l'investigation se concentre exclusivement sur le prompt de création. Si des anomalies atteignent la publication, c'est le classifieur qui nécessite une recalibration urgente. Savoir discerner le signal ou bruit et décomposer la variance permet de cibler les correctifs sans casser ce qui fonctionne.
Isoler les deux moteurs convertit un vague ressenti de baisse de qualité en une métrique précise, localisée et immédiatement débogable.