Signal ou bruit ? Décomposez la variance
Le score passe de 31 à 36 %. Victoire ? Sans décomposition de la variance, impossible de savoir si l'on a bougé la marque ou juste tiré le bon numéro.
Le score de citation passe de 31 à 36 % entre deux trimestres. Victoire ? Peut-être. Ou peut-être que le même run rejoué trois fois oscille déjà entre 30 et 37 % tout seul. Quand un score bouge, la première question n'est pas de savoir de combien d'unités il a progressé, mais de déterminer s'il s'agit d'un véritable changement de perception ou d'une simple instabilité du modèle.
Facturer une variation qui tient dans le bruit inter-runs, c'est vendre du hasard comme un résultat. Seule la part de mouvement qui excède l'instabilité du modèle est attribuable à votre intervention.
1. Un score qui bouge ne prouve rien
Les grands modèles de langage sont intrinsèquement stochastiques. Une mesure unique à un instant T n'est qu'une photographie floue d'une cible mouvante. La variation brute constatée entre un audit initial et un relevé trimestriel confond systématiquement deux phénomènes distincts : le gain réel d'autorité de l'entité et l'oscillation naturelle du moteur.
Si vous comparez un passage unique en janvier à un passage unique en avril, un bond de cinq points peut simplement signifier que la distribution probabiliste des tokens a légèrement varié, ou que le système RAG a récupéré les fragments dans un ordre différent. Avant de se demander combien de runs pour voir un gain, il faut admettre qu'un point de donnée isolé est statistiquement muet. L'agence qui s'attribue une hausse non qualifiée s'expose à devoir justifier une baisse symétrique le mois suivant, générée par la même loterie.
Le bénéfice de cette rigueur : cesser de piloter à l'aveugle et éviter de s'attribuer une performance fantôme qui s'évaporera au prochain relevé.
2. Trois passages pour mesurer le bruit
La méthodologie Sonar impose un protocole strict : rejouer chaque requête à l'identique, trois fois de suite. Ce triplement n'est pas une coquetterie analytique, c'est la condition sine qua non pour établir le plancher d'instabilité propre au modèle lors de la session de test.
Même avec des paramètres verrouillés via l'API, température 0 n'est pas déterministe. L'architecture des clusters GPU, l'équilibrage de charge et les approximations des calculs en virgule flottante introduisent des micro-variations. En exécutant trois passages, nous cartographions cette dispersion. Si le passage A donne 30 %, le B 34 % et le C 37 %, la ligne de base n'est pas une moyenne plate de 33,6 %. La ligne de base est un intervalle.
Le bénéfice de cette redondance : obtenir un socle de référence inattaquable, quantifiant mathématiquement le niveau d'incertitude du moteur à l'instant T.
3. Séparer signal et bruit
Une fois le bruit quantifié, l'attribution devient un exercice de soustraction. Le mouvement total observé entre deux périodes doit être expurgé de la variance inter-runs. Pour garantir la robustesse de cette soustraction, particulièrement sur des échantillons finis de requêtes, nous utilisons l'intervalle de score de Wilson. Cette méthode permet de borner l'incertitude autour de la proportion de citations obtenues.
Si les intervalles de confiance du T0 et du T1 se chevauchent, le signal est nul. Le mouvement apparent est entièrement absorbé par le bruit. À l'inverse, si le nouveau score se situe strictement au-dessus de la borne supérieure de l'intervalle d'instabilité précédent, la différence constitue un signal pur. Un score composite qui tient en réunion s'appuie exclusivement sur cette ségrégation stricte, éliminant toute complaisance analytique.
Le bénéfice de cette ségrégation : isoler la valeur nette de l'intervention de l'agence et garantir que chaque euro facturé correspond à un impact réel.
4. Le seuil de significativité pratique
Au-delà de la significativité statistique, se pose la question de la significativité pratique. Dans l'absolu, un changement infinitésimal peut être statistiquement valide si l'échantillon est immense. En GEO, les volumes de requêtes par persona sont finis. Si le signal net, après soustraction du bruit, n'est que de +1,5 %, est-il défendable face à un client ?
La réponse est non. Il existe un seuil en deçà duquel un mouvement ne justifie pas une revendication de succès commercial. Vendre une variation marginale détruit la confiance à long terme. Il est infiniment plus stratégique de défendre un renouvellement quand rien n'a bougé en démontrant que la marque a verrouillé sa position dans une arène où l'instabilité globale s'est amplifiée, plutôt que de survendre l'épaisseur du trait.
Le bénéfice de cette intransigeance : protéger la crédibilité de l'agence face aux directions achats en refusant de monétiser des micro-fluctuations.
5. Restituer un gain, pas une fluctuation
Le livrable final doit refléter cette discipline. Un tableau de bord affichant une courbe unique qui monte et descend de manière erratique est un risque contractuel. La restitution doit distinguer visuellement ce qui est stable — la reconnaissance fondamentale de l'entité, les citations robustes récurrentes — de ce qui oscille — les requêtes périphériques, les hallucinations partielles.
Lors des comités de pilotage, livrez une fourchette, pas un point. Affichez la bande de bruit. Montrez le signal qui s'en extrait. Expliquez clairement que le gain de 5 % rapporté est un gain net, dont l'instabilité inhérente de 3 % a déjà été amputée. Cette transparence transforme la perception du service : vous ne vendez plus une métrique volatile, vous vendez une maîtrise de l'incertitude.