Calibrez le scoreur avant de le croire
Un classifieur annonce 78 % de citations « positives ». Sans échantillon labellisé à la main pour étalonner ce score, vous vendez une boîte noire à votre client.
L'instrument qu'on n'a jamais étalonné
Un classifieur annonce 78 % de citations « positives ». Personne n'a jamais vérifié à la main si l'étiquette « positive » du modèle correspond à ce qu'un humain, et plus spécifiquement le client, appellerait positif. On construit des reportings complets, on alloue des budgets et on valide des stratégies sur un instrument qu'on n'a jamais pris la peine d'étalonner.
Un scoreur cru sur parole mesure souvent autre chose que ce que son étiquette annonce. Il capte une corrélation statistique, une proximité vectorielle ou un lexique générique, mais il ignore le contexte métier. Vendre un tel chiffre sans baseline rigoureuse revient à piloter l'investissement d'une marque à l'aveugle, en espérant que la machine partage notre définition du succès.
Refuser le score brut et exiger un étalonnage systématique protège l'agence contre un effondrement de sa crédibilité lors de la première lecture critique des données par le client.
L'échantillon labellisé comme étalon
La solution exige de se salir les mains : il faut construire un jeu annoté manuellement, tiré du vrai domaine du client, pour tester le classifieur. Un dataset générique pré-entraîné ne suffit pas. Le vocabulaire de la cybersécurité n'a pas les mêmes polarités que celui de la cosmétique. Par défaut, votre modèle de sentiment a un accent qu'il faut impérativement corriger.
La méthode Sonar impose de prélever un échantillon représentatif des citations générées par les LLMs sur les requêtes cibles de la marque, puis de les soumettre à une équipe humaine. Ce travail fastidieux crée la vérité de terrain (ground truth). C'est le seul moyen de savoir si le modèle classe correctement les nuances, l'ironie ou les mentions factuelles propres au secteur.
Disposer d'un étalon propriétaire permet de prouver mathématiquement la validité de la mesure sur le vocabulaire exact du client, transformant une estimation floue en un actif opposable.
Mesurer l'accord inter-annotateurs
Avoir des humains qui lisent des textes ne suffit pas. Si deux analystes ne sont pas d'accord sur le caractère « positif » ou « neutre » d'une citation, comment exiger d'une machine qu'elle tranche avec certitude ? Sans métrique d'accord (comme le Kappa de Cohen ou le Fleiss), ni la vérité humaine ni la mesure machine ne sont fiables.
La calibration impose de faire annoter le même échantillon en double aveugle. C'est presque toujours la classe neutre qui concentre les ambiguïtés. Si l'accord humain plafonne à 80 %, votre classifieur automatisé ne pourra logiquement pas dépasser ce plafond de verre. Le score d'accord définit la limite théorique de performance de votre instrument.
Un classifieur de sentiment doit être confronté à un échantillon labellisé à la main avant qu'on lui accorde la moindre autorité. Sans accord inter-annotateurs mesuré, le score n'a aucune crédibilité.
Mesurer l'accord inter-annotateurs transforme une appréciation subjective en un seuil de fiabilité documenté, capable de résister à n'importe quel audit externe.
Deux modèles pour borner la confiance
Une fois l'étalon humain validé, la méthodologie LIMEN déploie une double vérification algorithmique. Nous confrontons un modèle spécialisé, finetuné pour la classification comme DistilCamemBERT, à un juge LLM (type GPT-4 ou Claude) paramétré à T=0. Bien que la température 0 n'est pas strictement déterministe, elle réduit la variance au minimum syndical pour une tâche d'évaluation.
L'objectif n'est pas de choisir l'un ou l'autre, mais de mesurer leur concordance. Quand DistilCamemBERT et le juge LLM s'accordent, et que cet accord valide l'étalon humain, nous obtenons un signal pur. Quand ils divergent, ils définissent l'épaisseur du trait de notre mesure.
Borner la mesure entre deux architectures distinctes garantit que la marge d'erreur est délimitée par une vérification croisée, et non par la confiance excessive accordée à un seul algorithme.
Du scoreur calibré au chiffre défendable
La calibration modifie fondamentalement la manière dont l'agence communique ses résultats. Vous n'affirmez plus « le sentiment positif est de 78 % ». La rigueur vous impose de livrer une fourchette, pas un point. Vous déclarez : « La part de citations positives se situe entre 74 % et 81 %, avec un niveau de confiance vérifié par étalonnage humain ».
- Ce que la calibration autorise : comparer des variations dans le temps avec une certitude statistique, isoler le signal du bruit.
- Ce qu'elle interdit : présenter le chiffre de sortie d'un LLM comme une vérité absolue, ignorer la marge d'erreur inhérente à l'ambiguïté du langage.
Assumer publiquement cette incertitude calibrée consolide votre posture d'expert technique et verrouille la confiance du décideur face à la solidité de vos reportings.