Comparthing Logo
recherche d'informationsrecherchePNLplongementsintelligence artificielle

Expansion de requête vs plongements de requête fixes

L'expansion de requêtes enrichit dynamiquement les requêtes de recherche avec des termes supplémentaires lors de l'exécution, tandis que les représentations vectorielles fixes reposent sur des représentations précalculées qui restent constantes. Ces deux approches s'attaquent au problème de l'inadéquation du vocabulaire en recherche d'information, mais elles diffèrent considérablement en termes de flexibilité, de coût de calcul et d'adaptabilité aux nouveaux contenus.

Points forts

  • L'expansion de requête modifie le texte de la requête lui-même, tandis que les plongements de requête fixes l'encodent une seule fois dans un vecteur.
  • L'extension s'adapte au nouveau contenu en temps réel ; les représentations fixes restent figées après l'entraînement.
  • Les plongements fixes sont plus rapides pour l'inférence ; l'expansion est plus performante pour la gestion du vocabulaire rare.
  • Les systèmes hybrides combinant les deux approches surpassent systématiquement chacune des approches prises individuellement.

Qu'est-ce que Extension de requête ?

Une technique de recherche qui enrichit la requête initiale avec des termes connexes, des synonymes ou du contexte afin d'améliorer le rappel des résultats.

  • L'extension de requête modifie la requête de recherche elle-même en ajoutant des mots apparentés, des synonymes ou des termes de pseudo-pertinence avant la comparaison avec les documents.
  • Les méthodes classiques incluent le retour d'information sur la pertinence de Rocchio, qui ajuste les pondérations des requêtes en fonction des documents jugés pertinents.
  • Les approches neuronales modernes utilisent de grands modèles de langage pour générer à la volée des variantes de requêtes étendues.
  • Cette technique a été formalisée dans les années 1970 par des chercheurs comme Rocchio et Salton dans le cadre du système de recherche d'informations SMART.
  • L'expansion des requêtes améliore généralement considérablement le rappel, mais peut nuire à la précision si les termes d'expansion introduisent du bruit.

Qu'est-ce que Intégrations de requêtes fixes ?

Représentations vectorielles denses précalculées des requêtes qui restent statiques et sont réutilisées lors des recherches sans modification en cours d'exécution.

  • Les embeddings de requêtes fixes encodent la requête dans un seul vecteur dense à l'aide d'un modèle d'encodeur entraîné comme BERT ou un transformateur de phrases.
  • Une fois calculé, l'embedding ne change pas en fonction du corpus ou de la session de recherche.
  • La récupération s'effectue par une recherche approximative du plus proche voisin sur des représentations vectorielles de documents pré-indexées.
  • Des modèles tels que DPR (Dense Passage Retrieval) et Contriever ont popularisé cette approche pour la réponse aux questions en domaine ouvert.
  • Les plongements lexicaux fixes offrent une inférence rapide, mais peinent à traiter les termes rares ou hors vocabulaire que l'encodeur n'a pas vus pendant l'entraînement.

Tableau comparatif

Fonctionnalité Extension de requête Intégrations de requêtes fixes
Mécanisme central Ajoute des termes à la requête lors de l'exécution Encode la requête dans un vecteur statique
Adaptabilité au nouveau contenu Élevé — peut intégrer de nouveaux signaux Faible — gelé au moment de l'entraînement
Coût de calcul par requête Modéré à élevé (possibilité d'appels LLM) Faible — passage unique de l'encodeur
Gestion des termes rares Correspondance de termes forte et explicite Faible — dépend de la couverture du tokenizer
Compromis entre précision et rappel Améliore la mémorisation, peut nuire à la précision Équilibré mais dépendant du corpus
Exigences d'indexation Les œuvres à index inversé standard Nécessite un index vectoriel (FAISS, ScaNN)
Cas d'utilisation typiques Recherche lexicale, récupération hybride Recherche sémantique, pipelines RAG
Interprétabilité Haut — les termes sont visibles Faible — espace vectoriel opaque

Comparaison détaillée

Comment ils fonctionnent sous le capot

L'expansion de requête opère sur la représentation textuelle de la requête, en y ajoutant des synonymes, des concepts apparentés ou des termes extraits des documents les mieux classés. Les plongements de requête fixes adoptent une approche fondamentalement différente : un encodeur neuronal transforme la requête en un vecteur continu, et la similarité est mesurée dans cet espace de plongement. La première méthode reste cantonnée au monde des jetons discrets, tandis que la seconde réduit le sens à une dimension géométrique.

Flexibilité et adaptabilité

L'expansion de requêtes, en générant de nouveaux termes lors de la recherche, peut s'adapter à la collection de documents, au comportement des utilisateurs et aux tendances récentes. À l'inverse, les plongements de requêtes fixes sont intégrés lors de l'entraînement et ne peuvent s'ajuster aux variations du vocabulaire ou aux nouveaux contenus indexés sans un réentraînement. L'expansion est donc plus réactive, mais aussi plus variable d'une exécution à l'autre.

Considérations relatives aux performances et aux coûts

Les plongements fixes sont particulièrement performants dans les applications sensibles à la latence, car un seul passage dans l'encodeur est peu coûteux et le vecteur résultant peut être mis en cache. L'expansion de requêtes, surtout lorsqu'elle s'appuie sur de grands modèles de langage, engendre une surcharge par requête. Cependant, elle évite les coûts d'infrastructure importants liés à la maintenance d'un index vectoriel, qui peuvent représenter une charge considérable à l'échelle de milliards de documents.

Qualité sur différents types de requêtes

Les requêtes courtes et ambiguës bénéficient souvent d'un développement, car le contexte supplémentaire permet de lever l'ambiguïté. En revanche, les requêtes longues et bien formulées peuvent parfois en pâtir, car les termes ajoutés diluent le signal initial. Les plongements lexicaux fixes gèrent parfaitement les questions en langage naturel, mais rencontrent des difficultés avec les noms propres rares, le jargon technique ou les termes récemment inventés que l'encodeur n'a jamais appris.

Approches hybrides et modernes

La plupart des systèmes de recherche en production actuels combinent ces deux approches. Un modèle courant utilise des plongements lexicaux fixes pour le rappel sémantique et l'expansion de requête pour la précision lexicale, puis fusionne les deux listes de résultats. Des recherches récentes sur des techniques comme HyDE (Hypothetical Document Embeddings) brouillent encore davantage la frontière en utilisant un modèle linéaire de langage (LLM) pour générer un pseudo-document qui est ensuite intégré, fusionnant ainsi l'expansion et le plongement en une seule étape.

Avantages et inconvénients

Extension de requête

Avantages

  • + Rappel élevé
  • + termes interprétables
  • + Gère les mots rares
  • + Aucun index vectoriel nécessaire

Contenu

  • Peut nuire à la précision
  • Latence plus élevée
  • risque lié au bruit d'expansion
  • Poids difficiles à régler

Intégrations de requêtes fixes

Avantages

  • + Inférence rapide
  • + Correspondance sémantique
  • + Facile à mettre en cache
  • + Fort en requêtes naturelles

Contenu

  • Statique après l'entraînement
  • Comportement opaque
  • Besoin d'un index vectoriel
  • Faible sur des termes rares

Idées reçues courantes

Mythe

L'extension de requête améliore toujours les résultats de recherche.

Réalité

L'enrichissement des connaissances améliore la mémorisation, mais nuit souvent à la précision lorsque les termes ajoutés sont hors sujet. Un enrichissement aveugle peut noyer les résultats pertinents dans le bruit, c'est pourquoi les systèmes modernes utilisent des stratégies d'enrichissement sélectives ou apprises.

Mythe

Les embeddings de requêtes fixes comprennent n'importe quel mot que vous leur soumettez.

Réalité

Les encodeurs sont limités par leur tokenizer et leurs données d'entraînement. Les fautes d'orthographe, les noms de produits inédits ou le jargon spécifique à un domaine sont souvent découpés en sous-mots que le modèle n'a jamais vus, ce qui conduit à des représentations médiocres.

Mythe

La recherche vectorielle rend la recherche d'information traditionnelle obsolète.

Réalité

Les méthodes lexicales comme BM25 restent plus performantes que la recherche dense sur de nombreux benchmarks, notamment pour les requêtes riches en mots-clés. Les systèmes les plus performants sont hybrides, et non purement vectoriels.

Mythe

L'expansion de requêtes est une technique ancienne qui n'a plus d'importance.

Réalité

Les méthodes d'expansion basées sur LLM, telles que query2doc et HyDE, ont relancé le domaine, démontrant que l'expansion moderne surpasse largement les approches naïves de type « sac de mots ».

Mythe

Des modèles d'intégration plus grands signifient toujours une meilleure récupération.

Réalité

La loi des rendements décroissants s'applique rapidement, et un petit encodeur bien réglé avec une extraction de valeurs négatives strictes équivaut souvent à un modèle massif pour une fraction du coût.

Questions fréquemment posées

Quelle est la principale différence entre l'expansion de requête et les plongements de requête fixes ?
L'extension de requête ajoute des termes supplémentaires à la requête de recherche lors de l'exécution afin d'élargir la correspondance, tandis que les plongements de requête fixes convertissent la requête en un seul vecteur dense et le réutilisent. La première manipule du texte, la seconde manipule de la géométrie.
Quelle approche est la plus rapide lors de l'exécution de la requête ?
Les plongements de requêtes fixes sont généralement plus rapides car ils ne nécessitent qu'un seul passage d'encodage et une recherche du plus proche voisin. L'expansion de requêtes peut impliquer plusieurs appels LLM ou des boucles de rétroaction de pseudo-pertinence, ce qui ajoute de la latence.
Est-il possible de combiner l'expansion de requêtes et les plongements de requêtes fixes ?
Oui, et c'est de plus en plus la norme en production. Les pipelines hybrides exécutent les deux méthodes de récupération et fusionnent les résultats à l'aide d'une fusion de rangs réciproques ou d'un réalgorithme de classement appris, tirant parti des atouts de chacun.
Pourquoi les plongements lexicaux à requêtes fixes ont-ils des difficultés avec les termes rares ?
Les encodeurs segmentent les mots inconnus en sous-mots dont le sens peut être altéré. Sans exposition préalable lors de l'entraînement, le vecteur résultant est essentiellement une supposition, ce qui nuit à la précision de la recherche pour le vocabulaire technique ou totalement nouveau.
L'expansion de requêtes est-elle encore utilisée dans les systèmes d'IA modernes ?
Absolument. Des techniques comme HyDE, query2doc et la requête par retour en arrière reposent toutes sur des principes d'expansion, utilisant souvent de grands modèles de langage pour générer des réponses hypothétiques ou des concepts connexes qui améliorent la recherche en aval.
Les plongements lexicaux à requêtes fixes nécessitent-ils un réentraînement pour les nouveaux domaines ?
Souvent, oui. Les encodeurs généralistes fonctionnent correctement dans différents domaines, mais les domaines spécialisés comme la médecine ou le droit tirent profit de modèles adaptés au domaine. Un réglage fin sur des paires requête-document propres au domaine permet généralement d'obtenir des gains significatifs.
Qu’est-ce que le retour d’information pseudo-pertinent dans l’expansion de requête ?
Cette technique consiste à considérer que les documents les mieux classés lors d'une recherche initiale sont pertinents, puis à en extraire les termes fréquents pour élargir la requête. Elle est automatique, mais peut amplifier les erreurs si le classement initial est médiocre.
Quelle méthode gère le mieux les fautes de frappe et d'orthographe ?
Les plongements lexicaux à valeurs fixes sont généralement plus robustes aux fautes de frappe, car les encodeurs apprennent la correspondance sémantique approximative. L'expansion de requêtes basée sur la correspondance exacte des jetons échouera systématiquement avec les termes mal orthographiés, à moins qu'un correcteur orthographique ne soit intégré en amont.
Comment les index vectoriels comme FAISS s'intègrent-ils dans les plongements de requêtes fixes ?
FAISS, ScaNN et les bibliothèques similaires permettent une recherche rapide et approximative des plus proches voisins parmi des millions, voire des milliards, de vecteurs d'intégration. Sans elles, la recherche de similarité exacte serait excessivement lente à grande échelle.
L'expansion de requêtes fonctionne-t-elle bien avec les requêtes courtes ?
Oui, les requêtes courtes sont souvent les plus efficaces car elles contiennent peu d'informations au départ. L'ajout de termes associés enrichit les données du moteur de recherche, mais il faut veiller à ne pas s'éloigner de l'intention de l'utilisateur.

Verdict

Choisissez l'expansion de requêtes lorsque votre corpus est volumineux, que vos requêtes contiennent des termes rares ou techniques et que vous avez besoin d'une recherche interprétable et adaptable. Choisissez les plongements de requêtes fixes lorsque la latence est critique, que vos requêtes sont formulées en langage naturel et que vous pouvez vous permettre l'infrastructure d'indexation vectorielle. En pratique, les systèmes les plus performants utilisent les deux méthodes conjointement plutôt que d'en privilégier une seule.

Comparaisons associées

Adaptation au domaine vs formation au sein du domaine

Cette comparaison analyse les choix stratégiques en matière d'apprentissage automatique entre l'adaptation de domaine, qui transfère les connaissances d'un environnement source étiqueté vers un environnement cible différent, et l'entraînement dans le domaine, qui construit des modèles entièrement sur des données collectées à partir du contexte de déploiement cible exact.

Adaptation linguistique en IA vs systèmes d'IA indépendants du langage

L'adaptation linguistique en IA consiste à entraîner les modèles à gérer des langues spécifiques par le biais d'un réglage fin et d'un apprentissage par transfert, tandis que les systèmes d'IA agnostiques visaient à traiter n'importe quelle langue sans formation linguistique spécifique. Ces deux approches permettent de relever les défis du multilinguisme, mais diffèrent fondamentalement en termes d'architecture, de données d'entraînement et de déploiement en situation réelle.

Agents autonomes vs systèmes d'automatisation scriptés

Ce guide détaillé explore les différences structurelles et opérationnelles entre les agents autonomes et les systèmes d'automatisation scriptés. Si les outils scriptés offrent une prévisibilité inégalée pour les flux de travail rigides et répétitifs, les agents intelligents modernes exploitent le raisonnement cognitif pour naviguer de manière autonome face à des entrées variables, des obstacles techniques inattendus et des environnements de données non structurés et extrêmement complexes.

Agents basés sur des règles contre agents basés sur l'apprentissage

Cette comparaison architecturale oppose l'ingénierie déterministe des agents à base de règles à la nature adaptative et axée sur les données des agents à base d'apprentissage, en évaluant leur applicabilité dans le monde réel, leurs limites d'échelle et leurs performances en situation d'incertitude.

Agents conversationnels vs agents utilisateurs d'outils

Les agents conversationnels privilégient le dialogue naturel et les interactions textuelles, tandis que les agents utilisant des outils étendent les capacités de l'IA en invoquant des fonctions externes et des API. Ces deux types d'agents représentent des approches distinctes des systèmes d'IA autonomes : les modèles conversationnels excellent dans la communication, tandis que les agents utilisant des outils se spécialisent dans l'exécution de tâches concrètes.