Significativité statistique

Probabilité qu'un écart observé ne soit pas dû au seul hasard.

La significativité statistique qualifie la probabilité qu'un écart mesuré reflète un effet réel plutôt qu'une fluctuation du hasard. Elle dépend de deux facteurs : la taille de l'échantillon et l'ampleur de l'écart. Une variation de CTR sur quelques dizaines d'impressions, ou un gain de citation sur trois exécutions, n'est pas concluante, si spectaculaire soit-elle.

Son rôle est défensif. En SEO comme en GEO, la tentation est constante de sur-interpréter le moindre mouvement d'un relevé à l'autre. La significativité pose la question saine : cet écart aurait-il pu survenir par pur hasard ? Si oui, on ne le présente pas comme un résultat. C'est ce qui distingue une agence rigoureuse d'un reporting réactif au bruit.

En pratique, on ne calcule pas une p-valeur sur chaque courbe, mais on adopte les réflexes qui en découlent : encadrer les proportions par un intervalle de Wilson, répéter les mesures instables via un triple-run, et ne qualifier un écart de signal que lorsqu'il dépasse manifestement le bruit de fond.