intelligence artificiellevision par ordinateurrecherche d'imagesIA multimodalesystèmes de récupération
Recherche d'images composées vs recherche d'images traditionnelle
La recherche d'images composées permet aux utilisateurs d'effectuer une recherche à l'aide d'une image de référence et de modifications textuelles, tandis que la recherche d'images traditionnelle repose sur une seule image ou une seule requête textuelle. La recherche d'images composées offre des résultats beaucoup plus précis et ciblés, tandis que les méthodes traditionnelles restent plus rapides et plus largement utilisées sur les plateformes courantes.
Points forts
La recherche d'informations d'imagerie (CIR) combine les entrées image et texte, tandis que la recherche traditionnelle n'utilise qu'une seule modalité à la fois.
La récupération par composition capture l'intention de l'utilisateur en matière de modifications, et pas seulement la similarité visuelle.
La recherche d'images traditionnelle est plus rapide, plus aboutie et déployée à l'échelle d'Internet.
Le CIR s'impose comme un outil puissant pour le commerce électronique et les flux de travail de conception créative.
Qu'est-ce que Recherche d'images composées ?
Une technique d'IA qui combine une image de référence avec une requête textuelle pour trouver des images visuellement similaires mais modifiées correspondant à l'intention de l'utilisateur.
Le CIR a été officiellement introduit comme tâche de recherche vers 2021 par des chercheurs de Google et des institutions universitaires.
Il utilise généralement deux encodeurs pour l'image et le texte, fusionnés via des modèles basés sur des transformateurs comme CLIP ou BLIP.
Les jeux de données de référence courants incluent FashionIQ, CIRR et CIRCO, chacun contenant des milliers de triplets annotés.
L'innovation principale réside dans la possibilité pour les utilisateurs de spécifier ce qui doit changer dans une image de référence, et pas seulement son apparence.
Les systèmes CIR surpassent souvent la recherche traditionnelle pour des tâches très précises comme la recherche dans les domaines de la mode et de la décoration intérieure.
Qu'est-ce que Recherche d'images traditionnelle ?
Méthodes classiques de recherche d'images qui comparent une image ou une requête textuelle unique à une base de données en utilisant la similarité visuelle ou par mots-clés.
La recherche d'images traditionnelle existe depuis les années 1990 et reposait initialement sur les métadonnées, les noms de fichiers et les balises manuelles.
Les systèmes modernes utilisent des techniques de recherche d'images basées sur le contenu (CBIR) qui analysent des caractéristiques au niveau du pixel comme la couleur et la texture.
Lancé en 2001, Google Images traite aujourd'hui des milliards de requêtes par jour grâce à des modèles d'apprentissage profond.
La recherche d'images basée sur le texte dépend du texte environnant de la page Web, des attributs alt et des légendes plutôt que de l'image elle-même.
Les outils de recherche d'images inversée comme TinEye et Google Lens s'appuient sur des algorithmes de hachage perceptuel et de correspondance de caractéristiques.
Tableau comparatif
Fonctionnalité
Recherche d'images composées
Recherche d'images traditionnelle
Type de requête
Modification d'image et de texte
Image ou texte unique
Technologie sous-jacente
transformateurs multimodaux (CLIP, BLIP)
Extraction de caractéristiques CNN ou correspondance de mots-clés
Précision sur l'intention
Élevé — capture les modifications de l'utilisateur
Faible à modéré — correspond uniquement à l'apparence
Maturité du déploiement
Émergent, principalement au stade de la recherche
Largement déployé sur les principales plateformes
Meilleurs cas d'utilisation
Mode, variantes de produits, modifications de design
Recherche web générale, correspondance faciale, doublons
Vitesse
Plus lent en raison du double encodage
Rapide, optimisé pour des milliards d'images
Compétences requises de l'utilisateur
Niveau modéré — nécessite une image de référence
Faible — un texte ou un téléchargement suffit
Gérer l'ambiguïté
Résout par la désambiguïsation du texte
Renvoie des résultats généraux, l'utilisateur peut filtrer manuellement.
Comparaison détaillée
Comment les requêtes sont traitées
La recherche d'images composées prend en compte simultanément deux éléments : une image de référence et une description en langage naturel des modifications à apporter. Le système recherche ensuite des images visuellement similaires à la référence, mais intégrant les modifications textuelles. La recherche d'images traditionnelle, en revanche, n'accepte qu'un seul élément à la fois : soit une image pour la comparaison visuelle, soit une chaîne de caractères pour la recherche par mots-clés. Cette différence fondamentale influe sur tous les aspects, de la précision à l'expérience utilisateur.
Exactitude et pertinence
Lorsque les utilisateurs ont une modification précise en tête, la recherche d'images assistée par ordinateur (CIR) surpasse largement la recherche traditionnelle car elle comprend l'intention et non la simple apparence. Par exemple, la recherche « cette robe en bleu » renvoie des variantes pertinentes, tandis qu'une recherche d'images classique ne trouverait que des robes visuellement similaires, quelle que soit leur couleur. Les méthodes traditionnelles excellent dans les tâches de similarité générale, mais peinent lorsque l'utilisateur souhaite un résultat proche mais nettement différent de la référence.
Pile technologique
Les systèmes de recherche d'images (CIR) s'appuient sur des modèles multimodaux qui interprètent conjointement images et textes, généralement construits sur des modèles de base comme CLIP, BLIP ou des architectures vision-langage plus récentes. Ces modèles encodent les deux types d'entrées dans un espace d'intégration partagé, permettant ainsi de calculer la similarité de manière pertinente. La recherche d'images traditionnelle utilise des pipelines anciens mais bien optimisés : extraction de caractéristiques par réseaux de neurones convolutifs (CNN) pour la recherche visuelle, ou index inversés avec pondération TF-IDF pour les requêtes textuelles. La nouvelle approche exige une puissance de calcul supérieure, mais offre une compréhension sémantique plus riche.
Applications concrètes
La recherche d'images traditionnelle domine les applications grand public grâce à son excellente évolutivité et sa facilité d'intégration aux infrastructures de recherche existantes. Google Images, la recherche visuelle de Pinterest et les banques d'images utilisent toutes des variantes de cette approche. La recherche d'images par ordinateur (CIR) gagne du terrain dans des domaines spécialisés comme le e-commerce, où les consommateurs recherchent des variantes de produits, et dans les outils créatifs où les designers ont besoin d'explorer différentes modifications d'images de référence. On peut s'attendre à voir apparaître des fonctionnalités de CIR dans les applications d'achat et les logiciels de conception au cours des prochaines années.
Limites et défis
La recherche d'images par ordinateur (CIR) reste confrontée à des difficultés liées à la rareté des jeux de données, car la création à grande échelle de triplets annotés (image de référence, texte de modification, image cible) est coûteuse. Les modèles peuvent également avoir du mal avec des instructions textuelles complexes ou ambiguës. La recherche d'images traditionnelle présente ses propres faiblesses, notamment en matière de compréhension sémantique : la recherche de « chien heureux » risque de ne pas trouver la photo d'un chiot joyeux, car ses caractéristiques visuelles ne correspondent pas aux attentes liées aux mots-clés. Ces deux approches continuent d'évoluer, et les systèmes hybrides représentent probablement l'avenir.
Avantages et inconvénients
Recherche d'images composées
Avantages
+Résultats tenant compte de l'intention
+Contrôle précis
+compréhension multimodale
+Idéal pour les variantes
Contenu
−Inférence plus lente
−Déploiement limité
−Nécessite une image de référence
−Des ensembles de données d'entraînement plus petits
Recherche d'images traditionnelle
Avantages
+Massivement évolutif
+temps de réponse rapides
+Facile à utiliser
+Large compatibilité
Contenu
−Ignore l'intention de l'utilisateur
−Difficultés avec les nuances
−Dépendance aux mots-clés
−Assistance limitée en matière de modifications
Idées reçues courantes
Mythe
La recherche d'images traditionnelle comprend en réalité ce que contient l'image.
Réalité
La plupart des outils de recherche d'images textuels traditionnels s'appuient sur les noms de fichiers, les textes alternatifs et le contenu environnant de la page web plutôt que sur l'analyse de l'image elle-même. Seuls les outils de recherche visuelle modernes utilisant l'apprentissage profond interprètent véritablement le contenu des images, et même ceux-ci ne possèdent pas le raisonnement compositionnel offert par la recherche d'images contextuelle (CIR).
Mythe
CIR est simplement une recherche d'images avec des étapes supplémentaires.
Réalité
La recherche d'images composées représente un paradigme fondamentalement différent. Au lieu de trouver des images similaires, elle trouve des images correspondant à une transformation décrite par l'utilisateur. Cela nécessite un raisonnement conjoint entre les modalités, et non un simple traitement séquentiel de deux requêtes distinctes.
Mythe
La recherche d'images inversée et la CIR sont la même chose.
Réalité
La recherche d'images inversée trouve les doublons ou les images visuellement similaires en se basant sur des caractéristiques de bas niveau. La recherche d'images contextuelles (CIR) va plus loin en comprenant les modifications textuelles et en renvoyant des images similaires mais intentionnellement différentes de la référence, ce que la recherche d'images inversée ne peut pas faire.
Mythe
CIR fonctionne parfaitement dès sa sortie de l'emballage.
Réalité
Les modèles CIR actuels peinent encore à traiter les instructions complexes, les références ambiguës et les requêtes hors distribution. Leurs performances varient considérablement selon les domaines, et les modèles nécessitent souvent un paramétrage précis pour des cas d'utilisation spécifiques, comme la recherche dans le secteur de la mode ou du mobilier.
Mythe
La recherche d'images traditionnelle est obsolète grâce à l'IA.
Réalité
Les méthodes traditionnelles restent la pierre angulaire de la recherche d'images en production chez des entreprises comme Google et Pinterest. Si l'IA les a améliorées, l'architecture de base d'extraction de caractéristiques et de mise en correspondance des similarités continue de traiter des milliards de requêtes chaque jour.
Questions fréquemment posées
Qu'est-ce que la recherche d'images composées en termes simples ?
La recherche d'images composées est une méthode de recherche qui consiste à fournir une image de référence accompagnée d'une instruction textuelle décrivant les modifications à apporter. Le système trouve ensuite des images similaires à votre image de référence, mais avec les modifications décrites. Par exemple, vous pouvez télécharger une photo d'un canapé rouge et saisir « en cuir » pour trouver des canapés similaires en cuir.
Comment fonctionne la recherche d'images traditionnelle ?
La recherche d'images traditionnelle fonctionne généralement de deux manières : la recherche textuelle, qui associe des mots-clés aux métadonnées de l'image et au texte environnant, et la recherche par contenu, qui analyse les caractéristiques visuelles telles que les formes, les couleurs et les textures. Les versions modernes utilisent l'apprentissage profond pour extraire des caractéristiques sémantiques, mais l'idée de base reste la même : interroger une base de données indexée à l'aide d'une requête unique.
Quelle approche est la meilleure pour le commerce électronique ?
La recherche d'images composées est généralement plus performante pour le e-commerce, car les acheteurs recherchent souvent des variantes d'un produit qu'ils apprécient déjà. Les recherches du type « cette veste en vert » ou « similaire, mais moins cher » sont exactement celles que la recherche d'images composées gère le mieux. La recherche traditionnelle convient pour une navigation générale, mais s'avère insuffisante lorsque les utilisateurs souhaitent des modifications spécifiques.
La recherche d'images informatisée (CIR) peut-elle remplacer entièrement la recherche d'images traditionnelle ?
Pas encore. La recherche d'images informatisée (CIR) exige davantage de ressources de calcul, dispose de données d'entraînement limitées par rapport aux systèmes traditionnels et n'est pas déployée à l'échelle de Google Images. Pour l'instant, les deux approches répondent à des besoins différents, et de nombreux experts prévoient que les systèmes hybrides combinant les deux deviendront la norme.
Quels jeux de données sont utilisés pour entraîner les modèles CIR ?
Les jeux de données de référence les plus courants pour la recherche d'images composites (CIR) incluent FashionIQ pour la recherche de vêtements, CIRR pour les images naturelles en général et CIRCO pour la composition en domaine ouvert. Ces jeux de données contiennent des triplets d'images de référence, de textes de modification et d'images cibles qui permettent aux modèles d'apprendre à interpréter les requêtes de composition.
Google Lens est-il une forme de CIR ?
Google Lens utilise certaines techniques d'IA multimodale, mais n'est pas à proprement parler un système de recherche d'images basé sur l'image (CIR). Il excelle dans la reconnaissance d'objets, l'extraction de texte et l'analyse de similarité visuelle, mais ne prend pas en charge nativement le flux de travail « image de référence + texte de modification » qui caractérise le CIR. Cependant, les équipes de recherche de Google ont publié des articles influents sur le CIR, ce qui laisse entrevoir une possible convergence technologique.
Quels modèles sous-tendent la recherche d'images composées ?
La plupart des systèmes de reconnaissance d'images s'appuient sur des modèles vision-langage comme CLIP, BLIP ou des architectures plus récentes telles que MagicLens et CoVR. Ces modèles offrent la capacité fondamentale d'aligner les images et le texte dans un espace d'intégration partagé, que le système de reconnaissance d'images exploite ensuite pour le raisonnement compositionnel.
Dans quelle mesure la recherche CIR est-elle plus précise que la recherche traditionnelle ?
Sur des plateformes de référence comme FashionIQ et CIRR, les modèles CIR les plus performants atteignent des scores de rappel à 10 chiffres (Recall@10) de 40 à 60 %, surpassant nettement les méthodes de similarité visuelle classiques. Cependant, la précision en situation réelle dépend fortement de la complexité de la requête et du domaine, les requêtes simples présentant des écarts plus faibles entre les deux approches.
Ai-je besoin de compétences en IA pour utiliser CIR ?
En tant qu'utilisateur final, non. Les systèmes de recherche d'informations vocales (CIR) sont conçus pour accepter des instructions en langage naturel ainsi que des images ; par conséquent, toute personne à l'aise avec une barre de recherche peut les utiliser. La création ou l'optimisation de modèles CIR requiert une expertise en apprentissage automatique, mais les applications grand public masquent cette complexité grâce à des interfaces simples.
Quels sont les principaux défis à relever pour l'adoption de la CIR ?
Les principaux obstacles sont le coût de création de données d'entraînement annotées, la charge de calcul liée à l'exécution de modèles multimodaux et la difficulté à gérer des instructions ambiguës ou spécifiques à un contexte culturel. Les préoccupations relatives à la protection de la vie privée lors du téléchargement d'images de référence freinent également l'adoption sur certains marchés.
Verdict
Optez pour la recherche d'images composées lorsque vous avez besoin de résultats précis et ciblés, et que vous disposez d'une image de référence ainsi que d'une modification claire en tête, notamment dans le domaine du e-commerce ou du design. Privilégiez la recherche d'images traditionnelle pour les requêtes courantes, l'exploration générale ou lorsque la rapidité et l'échelle priment sur un contrôle précis. À mesure que l'IA multimodale se développe, ces deux approches convergeront vers une expérience de recherche unifiée.
