人工智能计算机视觉图像检索多模态学习机器学习

文本到图像匹配与图像到图像匹配

文本到图像匹配将文字描述与相关的视觉元素联系起来，而图像到图像匹配则寻找图片之间的视觉相似性。两者在搜索引擎、电子商务和人工智能训练流程中扮演着不同的角色，但它们所依赖的嵌入策略和应用场景却截然不同。

亮点

文本到图像匹配通过共享嵌入将语言和视觉联系起来，从而实现零样本能力。
图像匹配完全侧重于视觉相似性，不需要文本上下文。
CLIP 通过对 4 亿个网络抓取文本对进行训练，彻底改变了文本到图像的检索方式。
图像到图像的系统能够大规模地支持反向图像搜索和视觉产品推荐。

文本到图像匹配是什么？

一种利用共享嵌入空间将自然语言描述与相应图像配对的检索技术。

OpenAI 于 2021 年 1 月发布的 CLIP 等模型率先实现了大规模应用，该模型使用 4 亿个图像-文本对进行了训练。
使用双编码器，将文本和图像投影到共享的向量空间中进行相似性比较。
支持零样本分类，使模型无需针对特定任务进行训练即可识别类别。
构成了现代基于文本的图像搜索引擎和内容审核系统的基础。
常用的评估基准包括 MS-COCO、Flickr30k 和跨模态检索任务。

图像到图像匹配是什么？

一种计算机视觉过程，它根据内容、风格或结构来识别图像之间的视觉相似性。

依靠卷积神经网络或视觉变换器进行深度特征提取，以比较视觉特征。
被广泛应用于谷歌图片和TinEye等反向图片搜索引擎。
支持产品去重、近似重复检测和视觉位置识别等应用。
通常采用感知哈希、CNN嵌入或学习描述符，如SuperPoint和LoFTR。
基准测试包括 Oxford5k、Paris6k 以及用于图像检索的 Revisited Oxford 和 Paris 数据集。

比较表

功能	文本到图像匹配	图像到图像匹配
输入方式	文本查询 + 图像数据库	图像查询 + 图像数据库
核心架构	具有对比学习的双编码器	CNN 或 Vision Transformer 特征提取器
主要应用场景	基于文本的搜索、零样本分类、字幕	反向图像搜索、去重、视觉位置识别
关键模型	剪辑、对齐、闪烁、佛罗伦萨	ResNet、DINOv2、LoFTR、SuperGlue
相似性指标	联合嵌入空间中的余弦相似度	特征向量上的欧氏距离或汉明距离
训练数据类型	来自网络的图像-文本配对数据集	已标注图像数据集或自监督图像集合
通用基准	MS-COCO、Flickr30k、ImageNet（零样本）	牛津5公里跑，巴黎6公里跑，重访牛津
跨模态能力	是的，它连接了语言和视觉。	不，仅在视野范围内运作。

详细对比

各个系统如何理解内容

文本到图像匹配系统学习将语言语义与视觉特征相匹配，这意味着它们能够理解图像在人类语言中描绘的内容。而图像到图像匹配系统则完全专注于形状、纹理和空间布局等视觉模式。前者解读意义，后者解读外观。

培训方法和数据要求

训练文本到图像匹配器需要海量的配对数据集，其中每张图像都带有标题或替代文本，这就是为什么像 CLIP 这样的模型需要数亿个从网络上抓取的图像对。图像到图像的系统可以通过自监督训练在未标记的图像上进行训练，或者在规模较小的精选数据集上进行训练，这使得它们在配对数据稀缺的情况下更加灵活。

实际应用

当你在搜索引擎中输入描述或使用根据提示生成图像的AI工具时，就会遇到文本到图像的匹配。图像到图像的匹配则出现在反向图像搜索、版权检测和视觉产品推荐中，用户上传照片即可找到类似商品。

不同情境下的优势

当用户能够描述想要查找的内容但没有参考图片时，文本到图像的匹配效果最佳，因此非常适合创意性和探索性的搜索。而当需要精确定位且存在视觉参考时，例如查找确切的产品型号或识别特定地标，图像到图像的匹配则更胜一筹。

计算方面的考虑

两种方法都受益于预先计算并存储在向量数据库中的词嵌入，从而实现大规模快速检索。然而，文本到图像系统通常需要更多存储空间，因为它们需要维护两个编码器并处理各种语言输入，而图像到图像系统有时可以使用紧凑的感知哈希值进行轻量级匹配。

优点与缺点

文本到图像匹配

优点

+ 零样本识别
+ 自然语言查询
+ 跨模态灵活性
+ 较强的语义理解能力

继续

− 需要海量配对数据
− 更高的计算成本
− 语言歧义问题
− 复杂的双编码器设置

图像到图像匹配

优点

+ 无需文本数据
+ 紧凑型哈希选项
+ 快速视觉比较
+ 非常适合重复使用

继续

− 缺乏语义语言理解能力
− 对图像编辑很敏感
− 受视觉特征限制
− 抽象查询方面存在困难

常见误解

神话

只要描述得足够清楚，文本到图像匹配技术就能找到任何图像。

现实

这些系统完全依赖于数据库中已有的图像以及训练过程中学习到的概念。即使提供完美的描述，高度专业化、小众或私密的图像也无法检索。

神话

图像匹配总是能找到视觉上完全相同的结果。

现实

现代图像到图像系统使用能够捕捉语义相似性的深度特征，因此可以返回视觉上不同但概念上相关的图像，例如在搜索某种狗时返回不同品种的狗。

神话

CLIP 和类似模型能够像人类一样理解图像。

现实

这些模型学习文本和像素之间的统计关联。它们缺乏真正的理解能力，容易被对抗样本欺骗，有时还会忽略人类一眼就能注意到的明显视觉细节。

神话

反向图像搜索使用的技术与文本到图像匹配的技术相同。

现实

反向图像搜索通常依赖于图像到图像的匹配，并结合感知哈希或卷积神经网络（CNN）特征。文本到图像的匹配则是一个独立的系统，它需要的是文本查询，而不是上传的图像。

神话

更多的训练数据总是意味着更好的匹配性能。

现实

数据质量、多样性和整理与数据数量同等重要。即使拥有数十亿个样本，嘈杂的标题、有偏差的数据集或重复的样本对实际上也会降低检索准确率。

常见问题解答

文本到图像匹配和图像到图像匹配的主要区别是什么？

文本到图像匹配以文字描述作为输入，查找与该描述匹配的图像；而图像到图像匹配以图像作为输入，查找视觉上相似的图像。前者可以跨模态操作，后者则仅限于视觉领域。

哪种模型最适合文本到图像的检索？

OpenAI 的 CLIP 仍然是一个常用的基准模型，但像微软的 Florence、谷歌的 ALIGN 和 Salesforce 的 BLIP 等较新的模型在标准基准测试中通常表现更佳。最佳选择取决于您的延迟要求、数据集大小以及是否需要多语言支持。

图像到图像的匹配可以在不使用深度学习的情况下实现吗？

是的，像感知哈希、SIFT特征和颜色直方图这样的传统方法无需神经网络也能进行图像匹配。然而，深度学习方法通常在具有挑战性的基准测试中取得更高的准确率，因为它们能够捕捉到更丰富的语义特征。

CLIP 如何进行零样本分类？

CLIP 将图像和候选文本标签编码到同一个嵌入空间中，然后选择与图像嵌入具有最高余弦相似度的标签。这使得它能够将图像分类到它从未明确训练过的类别中。

评估图像检索系统时会使用哪些数据集？

常用的基准数据集包括用于文本到图像任务的 MS-COCO 和 Flickr30k，以及用于图像到图像检索的 Oxford5k、Paris6k 和 Revisited Oxford 和 Paris 数据集。这些数据集提供标准化的查询和真实相关性判断。

文本转图像匹配与文本转图像生成是同一回事吗？

不，它们是完全不同的任务。匹配是从数据库中检索现有图像，而生成则是使用稳定扩散或DALL-E等模型从头开始创建新图像。两者都使用文本输入，但产生的输出本质上不同。

如今反向图像搜索的准确率如何？

像谷歌图片这样的现代反向图像搜索引擎，对于热门地标、产品和人脸的搜索结果准确率很高，但对于经过大量编辑的图像、模糊不清的主题或低分辨率的查询则表现不佳。不同类型内容的搜索结果性能差异显著。

这些匹配系统能够处理多语言查询吗？

标准版 CLIP 主要使用英文数据进行训练，但像 Multilingual CLIP 和 mCLIP 这样的多语言版本支持数十种语言。图像匹配系统本质上与语言无关，因为它们只处理像素。

对比学习在这些系统中扮演什么角色？

对比学习是文本到图像匹配的主流训练范式，它教会模型在嵌入空间中拉近匹配对之间的距离，同时拉开不匹配对之间的距离。图像到图像匹配系统也使用对比损失，尤其是在像 SimCLR 和 DINO 这样的自监督模型中。

矢量数据库如何加快图像检索速度？

FAISS、Milvus 和 Pinecone 等向量数据库存储预先计算好的向量嵌入，并使用近似最近邻算法在几毫秒内找到相似的向量。这避免了将每个查询与每张图像直接进行比较的需要，而这种比较在大规模应用中速度会非常慢。

裁决

当用户使用文字搜索，且需要跨语言和视觉进行语义理解时，请选择文本到图像匹配。如果视觉相似性、重复检测或反向图像搜索是主要目标，则应选择图像到图像匹配。许多生产系统实际上会将两者结合起来，以提供更丰富的搜索体验。