Embeddings contextuels

Vecteurs de mots variant selon la phrase, produits par des Transformers.

Les embeddings contextuels attribuent à un mot un vecteur qui dépend de la phrase où il apparaît. Le même terme reçoit des représentations différentes selon son sens, ce qui lève l'ambiguïté des mots polysémiques.

Ils sont produits par des modèles de type Transformer, dont les modèles de langage bidirectionnels employés par les moteurs. À la différence des embeddings statiques, qui figent un vecteur par mot, ils distinguent les emplois d'un même terme selon le contexte.

Pour une agence, c'est ce qui rend l'appariement sémantique fin : une requête ambiguë est rattachée au bon sens, et un contenu bien contextualisé est mieux compris. Ils sous-tendent le neural matching et la recherche sémantique ; d'où l'importance d'écrire des passages où le sens visé est clair dès le contexte immédiat.