La coincidència text-imatge connecta descripcions escrites amb elements visuals rellevants, mentre que la coincidència imatge-imatge troba similituds visuals entre imatges. Ambdues tenen funcions diferents en els motors de cerca, el comerç electrònic i els processos de formació d'IA, però es basen en estratègies d'incrustació i casos d'ús fonamentalment diferents.
Una tècnica de recuperació que emparella descripcions en llenguatge natural amb imatges corresponents mitjançant espais d'incrustació compartits.
Un procés de visió per computador que identifica similituds visuals entre imatges basant-se en el contingut, l'estil o l'estructura.
| Funcionalitat | Coincidència de text a imatge | Coincidència d'imatge a imatge |
|---|---|---|
| Modalitats d'entrada | Consulta de text + base de dades d'imatges | Consulta d'imatges + base de dades d'imatges |
| Arquitectura central | Codificador dual amb aprenentatge contrastiu | Extractors de característiques CNN o Vision Transformer |
| Casos d'ús principals | Cerca basada en text, classificació de zero-shots, subtítols | Cerca inversa d'imatges, deduplicació, reconeixement visual de llocs |
| Models clau | RETALLAR, ALINEAR, PUJAR, Florència | ResNet, DINOv2, LoFTR, SuperGlue |
| Mètrica de similitud | Similitud de cosinus a l'espai d'incrustació de les articulacions | Distància euclidiana o distància de Hamming en vectors de característiques |
| Tipus de dades d'entrenament | Conjunts de dades d'imatge-text aparellats del web | Conjunts de dades d'imatges etiquetades o col·leccions d'imatges autosupervisades |
| Punts de referència comuns | MS-COCO, Flickr30k, ImageNet (fotografia sense cap) | Oxford5k, París6k, Oxford revisitat |
| Capacitat intermodal | Sí, uneix el llenguatge i la visió | No, només funciona dins de la visió |
Els sistemes de coincidència text-imatge aprenen a alinear la semàntica del llenguatge amb les característiques visuals, és a dir, entenen el que representa una imatge en termes humans. Els sistemes de coincidència imatge-imatge, en canvi, se centren purament en patrons visuals com ara formes, textures i disposicions espacials. Els primers interpreten el significat, mentre que els segons interpreten l'aparença.
L'entrenament d'un comparador de text a imatge requereix conjunts de dades aparellats massius on cada imatge inclou un peu de foto o text alternatiu, motiu pel qual models com CLIP necessitaven centenars de milions de parells extrets de la web. Els sistemes d'imatge a imatge poden entrenar-se en imatges sense etiquetar mitjançant l'autosupervisió o en conjunts de dades més petits, cosa que els fa més flexibles quan les dades aparellades són escasses.
Trobaràs coincidències de text a imatge sempre que escriguis una descripció en un motor de cerca o utilitzis eines d'IA que generen imatges a partir de sol·licituds. La coincidència d'imatge a imatge apareix a la cerca inversa d'imatges, la detecció de drets d'autor i les recomanacions visuals de productes on els usuaris pengen una foto per trobar articles similars.
La coincidència de text a imatge destaca quan els usuaris poden descriure el que volen però no tenen una imatge de referència, cosa que la fa ideal per a cerques creatives i exploratòries. La coincidència d'imatge a imatge guanya quan la precisió importa i existeix una referència visual, com ara trobar la variant exacta del producte o identificar un punt de referència específic.
Ambdós enfocaments es beneficien d'incrustacions precalculades emmagatzemades en bases de dades vectorials per a una recuperació ràpida a escala. Tanmateix, els sistemes de text a imatge sovint requereixen més emmagatzematge perquè mantenen dos codificadors i necessiten gestionar entrades lingüístiques diverses, mentre que els sistemes d'imatge a imatge de vegades poden utilitzar hashes perceptius compactes per a una coincidència lleugera.
La coincidència de text a imatge pot trobar qualsevol imatge si la descriviu prou bé.
Aquests sistemes depenen completament de les imatges presents a la base de dades i dels conceptes que es veuen durant l'entrenament. Les imatges altament específiques, de nínxol o privades no es podran recuperar ni tan sols amb descripcions perfectes.
La coincidència imatge a imatge sempre troba resultats visualment idèntics.
Els sistemes moderns d'imatge a imatge utilitzen característiques profundes que capturen la similitud semàntica, de manera que poden retornar imatges visualment diferents però conceptualment relacionades, com ara diferents races de gossos quan se'n busca una.
CLIP i models similars entenen les imatges de la mateixa manera que ho fan els humans.
Aquests models aprenen associacions estadístiques entre text i píxels. No tenen una comprensió real, es poden deixar enganyar per exemples contradictoris i, de vegades, passen per alt detalls visuals evidents que els humans noten a l'instant.
La cerca inversa d'imatges utilitza la mateixa tecnologia que la coincidència de text a imatge.
La cerca inversa d'imatges normalment es basa en la coincidència imatge a imatge amb hash perceptual o funcions CNN. La coincidència text a imatge és un sistema separat que requereix una consulta de text en lloc d'una imatge carregada.
Més dades d'entrenament sempre signifiquen un millor rendiment d'adaptació.
La qualitat, la diversitat i la curació de les dades importen tant com la quantitat. Els subtítols sorollosos, els conjunts de dades esbiaixats o els parells duplicats poden perjudicar la precisió de la recuperació, fins i tot amb milers de milions d'exemples.
Trieu la coincidència de text a imatge quan els vostres usuaris cerquin amb paraules i necessiteu una comprensió semàntica del llenguatge i la visió. Opteu per la coincidència d'imatge a imatge quan l'objectiu principal sigui la similitud visual, la detecció de duplicats o la cerca inversa d'imatges. Molts sistemes de producció combinen tots dos per a una experiència de cerca més rica.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
