Combien de runs pour voir un gain ?
Une agence mesure 20 prompts, ne voit aucun changement et conclut à l'échec. En réalité, le protocole était statistiquement aveugle avant même de commencer.
L'échantillon qui ne peut rien voir
Une agence lance 20 requêtes, relève les citations générées, déploie une optimisation éditoriale et relance la même salve un mois plus tard. Le score stagne. La conclusion tombe en réunion de pilotage : l'intervention n'a rien donné. En réalité, un gain réel de trois points de part de voix était parfaitement invisible à ce niveau précis d'échantillonnage. Le protocole était aveugle avant même d'avoir envoyé la première requête.
La génération de texte par les LLM intègre une variance inhérente. Sur un jeu de données restreint, le bruit statistique masque mécaniquement le signal. Tirer une conclusion d'un test sous-dimensionné n'est pas une observation empirique, c'est un faux négatif systémique. Vous ne mesurez pas la performance de votre client, vous mesurez le hasard du modèle. Dimensionner correctement le socle initial protège la rentabilité de vos futures itérations en évitant d'abandonner des stratégies qui fonctionnent.
Calculer la puissance avant de mesurer
La puissance statistique n'est pas une option d'ingénieur, c'est un prérequis commercial. Elle se calcule avant la mesure, pas après coup pour justifier un échec ou un plateau. Elle répond à une question stricte : combien de requêtes et de répétitions sont nécessaires pour détecter un effet spécifique, par exemple une progression de deux points d'endossement ?
Conclure « pas de gain » sur un protocole trop léger est une faute méthodologique, pas un résultat.
Si la variance attendue dépasse la taille de l'effet espéré, le test est invalide dès sa conception. En méthodologie GEO, l'incertitude provient des paramètres de température des moteurs et des rotations d'index. Fixer l'effet minimal détectable dicte le volume d'appels API requis. Cette rigueur garantit que lorsque vous annoncez une hausse à un décideur, il s'agit d'une conquête réelle, pas d'une fluctuation d'échantillonnage. C'est pourquoi il faut systématiquement calibrez le scoreur avant de le croire sur des volumes mathématiquement viables.
Deux instruments, deux dimensionnements
Notre méthodologie sépare l'observation en deux instruments distincts, chacun calibré pour une mission précise. Le premier est le socle de tendance. Constitué de 86 requêtes de base, croisées sur 3 plateformes avec 3 passages, il génère exactement 774 réponses. C'est un bloc dense, stable, conçu pour être strictement comparable dans le temps et capter les évolutions de fond de l'autorité de la marque.
Le second instrument mesure la largeur de couverture. Il déploie un fan-out sémantique atteignant environ 3223 réponses en intégrant des variations de formulation et 9 personas rejoués. Ici, l'objectif n'est pas la comparaison millimétrée d'un mois sur l'autre, mais l'évaluation de la robustesse de l'entité face à l'étendue réelle de la demande. Ces volumes ne relèvent pas de la démesure technologique : ils représentent le seuil incompressible en deçà duquel l'analyse n'a aucune intégrité. Maîtriser cette double échelle permet de diagnostiquer simultanément l'ancrage d'une marque et son élasticité sémantique.
Répétitions et intervalles
Une requête unique ne capture qu'une vérité éphémère. Les moteurs génératifs sont non-déterministes : à prompt identique, la réponse diffère d'une itération à l'autre. C'est pourquoi le protocole impose trois passages successifs pour chaque combinaison de requête et de plateforme. Ignorer cette étape revient à photographier un objet en mouvement avec un temps de pose trop long.
Ces répétitions permettent de calculer des intervalles de confiance, souvent traduits par les bornes de Wilson pour les proportions. Au lieu de livrer un score absolu trompeur, la mesure exprime une incertitude bornée. Si la borne basse du nouveau cycle dépasse la borne haute du cycle précédent, le gain est acté. Signal ou bruit ? Décomposez la variance n'est plus une question philosophique, mais une équation résolue. C'est la raison pour laquelle vous devez appliquer le principe suivant : Livrez une fourchette, pas un point. Fournir des intervalles sécurise la relation agence-client en éliminant les débats sur les micro-variations sans importance.
Refuser de conclure trop tôt
Face à l'impatience d'un comité de direction, la tentation est forte de surinterpréter les premiers signaux d'une campagne. Pourtant, quand un protocole n'a pas encore accumulé la puissance statistique nécessaire pour trancher, le déclarer ouvertement est infiniment plus professionnel que d'inventer une corrélation hasardeuse. La transparence sur les limites de l'échantillon protège la crédibilité de l'agence.
L'optimisation générative demande du temps de propagation et un volume d'interrogation massif pour valider ses hypothèses. Si le volume de requêtes est insuffisant pour affirmer une victoire, il l'est tout autant pour acter un échec. Savoir Défendre un renouvellement quand rien n'a bougé exige de s'appuyer sur la solidité du protocole de mesure en cours d'accumulation plutôt que sur des promesses de résultats immédiats. Assumer les limites d'un instrument en cours de constitution assoit votre autorité technique et pérennise la valeur de votre accompagnement.