Learning Transferable Visual Models From Natural Language Supervision 解读

SoRound
71 阅读1小时+

背景：

最近使用了 clip 用于提取人脸特征，对底层实现原理感兴趣，于是使用了 deepseek 来帮忙阅读这篇论文。

CLIP论文解读与翻译目录

一、概述与背景
1.1 论文简介

原文： 当前的计算机视觉系统通常被训练用于预测一组预定义的物体类别。

这种受限的监督形式限制了它们的通用性和可用性，因为要指定任何其他视觉概念都需要额外的标注数据。

直接从与图像相关的原始文本中学习是一种有前景的替代方案，它利用了更广泛的监督来源。我们证明，预测哪个标题与哪个图像相匹配这一简单的预训练任务，是在从互联网收集的4亿个（图像，文本）对数据集上从头开始学习先进图像表示的一种高效且可扩展的方法。

在预训练之后，自然语言被用来引用已学习的视觉概念（或描述新概念），从而实现了模型在下游任务上的零样本迁移。

我们在超过30个不同的现有计算机视觉数据集上评估了该方法的性能，涵盖的任务包括光学字符识别（OCR）、视频中的动作识别、地理定位以及多种细粒度物体分类等。

该模型在大多数任务上都能实现非平凡的迁移，并且通常无需任何特定于数据集的训练即可与全监督基准模型竞争。

例如，我们无需使用ImageNet中的128万个训练样本，就通过零样本方式匹配了原始ResNet-50在ImageNet上的准确率。我们在 github.com/OpenAI/CLIP 上发布了代码和预训练模型权重。

🔍 要点解读：

要点说明
问题背景传统计算机视觉模型依赖于固定类别的标注数据，泛化能力受限，扩展成本高。
核心思想利用互联网上大量存在的“图像-文本”配对数据作为监督信号，让模型学习视觉与语言的对应关系。
方法创新采用对比学习目标，训练模型判断图像与文本是否匹配，而非直接生成文本或分类。
关键优势1. 零样本迁移能力强：无需下游标注即可完成多种任务。 2. 高效可扩展：数据规模达4亿对，模型可随算力提升持续改进。 3. 任务通用性高：涵盖OCR、动作识别、地理定位等多样化视觉任务。
实验验证在超过30个数据集上验证，零样本性能可与全监督模型竞争，体现了强大的泛化能力。
开源贡献提供完整代码与预训练模型，促进后续研究与应用。

📌 一句话总结：

CLIP 提出了一种基于图文对比学习的预训练范式，通过大规模互联网图文对训练，实现了强大的零样本视觉理解与迁移能力，打破了传统视觉模型依赖固定类别标签的局限。

1.2 研究背景与动机

✅ 原文翻译：

在过去的几年中，直接从原始文本学习的预训练方法彻底改变了自然语言处理（NLP）领域。像自回归和掩码语言建模这样的任务无关目标，在计算量、模型容量和数据规模上跨越了多个数量级，稳步提升了模型能力。

“文本到文本”作为一种标准化输入输出接口的发展，使得任务无关的架构能够零样本迁移到下游数据集，无需专门的输出头或针对数据集的定制化。像GPT-3这样的旗舰系统现在在许多任务上与专门定制的模型性能相当，同时几乎不需要任何特定于数据集的训练数据。

这些结果表明，现代预训练方法在网络规模文本集合中可获得的总体监督，已经超过了高质量众包标注的NLP数据集所能提供的监督。

然而，在其他领域，如计算机视觉，在众包标注的数据集（如ImageNet）上预训练模型仍然是标准做法。那么，直接从网络文本中学习的可扩展预训练方法，能否在计算机视觉领域带来类似的突破？先前的工作令人鼓舞。

早在20多年前，Mori等人（1999）就探索了通过训练模型来预测与图像配对的文本文档中的名词和形容词，以改进基于内容的图像检索。Quattoni等人（2007）证明，通过在学习预测图像相关标题中单词的分类器权重空间中进行流形学习，可以获得数据效率更高的图像表示。Srivastava & Salakhutdinov（2012）探索了在低级图像和文本标签特征之上训练多模态深度玻尔兹曼机来进行深度表示学习。Joulin等人（2016）现代化了这项工作，并证明训练用于预测图像标题中单词的CNN可以学习到有用的图像表示。他们将YFCC100M数据集中图像的标题、描述和话题标签元数据转换为一个词袋多标签分类任务，并表明预训练AlexNet来预测这些标签所学习到的表示，在迁移任务上的表现与基于ImageNet的预训练相似。Li等人（2017）随后将这种方法扩展到除了单个单词外还预测短语n-gram，并展示了他们的系统通过基于学习到的视觉n-gram词典对目标类别进行评分并预测得分最高的类别，从而零样本迁移到其他图像分类数据集的能力。采用更现代的架构和预训练方法，VirTex、ICMLM和ConVIRT最近展示了基于Transformer的语言建模、掩码语言建模和对比目标从文本中学习图像表示的潜力。

尽管作为概念验证令人兴奋，但使用自然语言监督进行图像表示学习仍然很罕见。这可能是因为在常见基准上已展示的性能远低于其他方法。例如，Li等人（2017）在零样本设置下在ImageNet上仅达到11.5%的准确率。这远低于当前最先进方法88.4%的准确率，甚至低于经典计算机视觉方法50%的准确率。相反，范围更窄但针对性更强的弱监督使用方法提升了性能。Mahajan等人（2018）表明，预测Instagram图像上与ImageNet相关的标签是一种有效的预训练任务。当对这些预训练模型进行ImageNet微调时，准确率提高了5%以上，并改善了当时的最先进水平。Kolesnikov等人（2019）和Dosovitskiy等人（2020）也证明了通过预训练模型来预测带有噪声标签的JFT-300M数据集的类别，可以在更广泛的迁移基准集上获得巨大提升。

这类工作代表了当前在从有限数量的有监督“黄金标签”学习和从几乎无限量的原始文本学习之间务实的中间地带。然而，这并非没有妥协。这两项工作都精心设计并因此限制了它们的监督范围，分别仅为1000和18291个类别。自然语言凭借其通用性，能够表达并因此监督更广泛的视觉概念集合。这两种方法也都使用静态的softmax分类器进行预测，缺乏动态输出的机制。这严重限制了它们的灵活性，并制约了它们的“零样本”能力。

这些弱监督模型与最近直接通过自然语言学习图像表示的探索之间，一个关键的区别是规模。

Mahajan等人（2018）和Kolesnikov等人（2019）在数百万到数十亿图像上训练其模型长达数年加速器时间，而VirTex、ICMLM和ConVIRT在十几二十万图像上训练了数天加速器时间。

在本工作中，我们弥合了这一差距，并研究了大规模使用自然语言监督训练的图像分类器的行为。得益于互联网上大量公开的此类数据，我们创建了一个包含4亿（图像，文本）对的新数据集，并证明从零开始训练的一个简化版ConVIRT——我们称之为CLIP（Contrastive Language-Image Pre-training）——是一种从自然语言监督中学习的高效方法。

我们通过训练跨越近2个数量级计算量的八个模型系列，研究了CLIP的可扩展性，并观察到迁移性能是计算量的平滑可预测函数。我们发现CLIP类似于GPT家族，在预训练期间学会了执行一系列广泛的任务，包括OCR、地理定位、动作识别等许多其他任务。

我们通过在超过30个现有数据集上对CLIP进行零样本迁移性能基准测试来衡量这一点，并发现它可以与先前的特定任务有监督模型竞争。

我们还通过线性探测表示学习分析证实了这些发现，并表明CLIP在计算效率更高的同时，性能也超过了最好的公开ImageNet模型。此外，我们发现零样本CLIP模型比具有同等准确率的监督ImageNet模型鲁棒得多，这表明对任务无关模型的零样本评估更能代表模型的实际能力。这些结果具有重要的政策和伦理意义，我们将在第7节讨论。

🔍 要点解读：

核心要点详细说明
1. NLP的成功范式以GPT系列为代表的任务无关的预训练+零样本迁移模式在NLP领域取得革命性成功，证明了从海量无标注文本中可以学习到通用、强大的语义表示。
2. CV领域的滞后与机会计算机视觉领域仍严重依赖人工标注的封闭类别集（如ImageNet的1000类）进行监督学习。这限制了模型的通用性和可扩展性。CLIP旨在将NLP的成功范式迁移到CV。
3. 早期探索与局限利用自然语言监督图像学习并非新想法，已有超过20年的研究历史。但早期方法或因模型能力、或因数据规模、或因任务目标（如预测具体单词）的限制，性能远未达到实用水平。
4. 近期“折中”方案以Instagram标签、JFT-300M为代表的弱监督方法使用极多类别（万级）但仍是封闭集合的预测任务，取得了显著进展。但这本质上仍是“超大号”的分类任务，丧失了自然语言开放、动态的本质优势。
5. CLIP的核心定位与创新
  • 回归本质：直接利用原始、开放的自然语言作为监督信号。
  • 填补关键差距：以前所未有的大规模（4亿图文对）和高效的对比学习目标，克服了以往方法在规模与效率上的瓶颈。
  • 目标转变：从“预测配对文本的具体内容”转变为“判断图像与文本是否匹配”，这是一个更容易学习且与下游零样本任务直接对齐的代理任务。
6. 研究意义CLIP不仅追求性能提升，更旨在系统性研究：
  • 可扩展性规律：性能是否随计算量平滑增长？
  • 任务涌现能力：模型是否会自发学习OCR、地理定位等任务？
  • 鲁棒性：零样本模型是否对分布偏移更鲁棒？
  • 社会影响：如此通用的视觉模型带来哪些新的机遇与风险？

📌 本节总结：

本节系统性地阐述了CLIP工作的思想渊源与现实动机。其核心逻辑是：NLP领域通过“从原始文本中进行任务无关预训练”实现了范式革命，而CV领域仍受制于封闭世界的监督学习。尽管早期研究意识到了自然语言作为监督信号的潜力，但因规模、方法或目标局限而未能成功。CLIP的提出，旨在通过大规模图文对比学习这一技术路径，将NLP的成功范式系统性地引入CV，从根本上探索学习开放、通用、可零样本迁移的视觉概念体系的可能性和规律。

Q&A：

Q：什么是年加速器时间？

A：一个用来量化训练一个模型所需计算资源总量的标准方式，它是一种更科学、更可比较的“成本”度量单位。

我们可以把它分解开来理解：

1.  “加速器”是什么？

  • 指专门为大规模并行计算设计的硬件，主要是 GPU（图形处理器）  和 TPU（张量处理器） 。它们是训练现代AI模型的“引擎”。

2.  “加速器时间”是什么？

  • 指的是  “一块加速器连续工作的时间” 。
  • 例如，“1个GPU年”意味着用1块GPU不间断地训练整整1年（365天 * 24小时）。

3.  “数年加速器时间”意味着什么？

  • 这表示训练该模型所消耗的总计算量非常巨大。

  • 它有两种常见理解方式：

    • 方式一（实际用时）：  论文中提到的 Mahajan et al. (2018) 模型，可能使用了大量的GPU（例如上千块）进行训练，使得实际挂钟时间缩短到几周或几个月，但所有这些GPU工作的总时长累加起来，相当于一块GPU工作了好几年（例如22个GPU年）。
    • 方式二（等效成本）：  这是一种标准化的成本度量。它告诉你：“训练这个模型所需的计算资源，相当于我们日常生活中‘一个人工作数年’的概念，只不过现在是‘一块顶级计算芯片工作数年’。”这能直观地让人感受到其计算开销的规模。
1.3 主要贡献与核心思想

✅ 原文翻译（综合整理）：

核心思想：  我们的方法从一个简单的预训练任务出发：预测给定的文本片段是否与给定的图像配对。我们在一个包含4亿（图像，文本）对的新数据集（WIT）上，从零开始训练一个双塔模型，该模型包含一个图像编码器和一个文本编码器。

训练目标是最大化批次中真实配对图像和文本嵌入之间的余弦相似度，同时最小化所有不匹配对之间的相似度。这种对比性语言-图像预训练方法，我们称之为CLIP。

在推理时，我们利用已训练好的文本编码器，将任意一组类别名称或描述（例如“一张狗的照片”、“一张猫的照片”）动态地嵌入到同一多模态空间中。

对于一张新图像，我们计算其图像嵌入，并选择与之余弦相似度最高的文本嵌入所对应的类别作为预测结果。这就构成了一个零样本分类器，无需任何额外的训练或参数更新。

主要贡献：  通过这种范式，我们展示了：

  1. 规模化学习：CLIP是学习视觉概念的一种高效且可扩展的方法。其性能随着模型大小、数据量和计算量的增加而平滑、可预测地提升。
  2. 零样本竞争力：在超过30个计算机视觉数据集上，零样本CLIP的性能与具有监督训练的ResNet-50基线模型竞争力相当，有时甚至超越。它无需使用任何训练样本，就能匹配原始ResNet-50在ImageNet上的准确率。
  3. 任务涌现：CLIP在预训练过程中学会了执行一系列广泛的开放世界任务，包括OCR、地理定位、动作识别和细粒度分类等，而这些任务并未被明确标注。
  4. 鲁棒性增强：零样本CLIP模型展现出比同等准确率的监督ImageNet模型更强的鲁棒性，能更好地应对自然分布偏移。
  5. 范式启发：这项工作表明，在计算机视觉领域，采用任务无关的、网络规模的大规模预训练是可行的，并能带来与NLP中类似的能力涌现，为未来的通用视觉系统指明了方向。

🔍 要点解读：

核心维度核心思想解读对应贡献与突破
方法论核心“判断图文是否匹配”的对比学习：将复杂的“从图像生成描述”或“预测具体单词”的任务，简化为一个更高效的二元关系判断任务。采用图像-文本对比学习目标，训练模型在一个共享的嵌入空间中判断图像与文本的匹配关系，而非直接生成文本或进行封闭集分类。1. 效率突破：相比生成式目标（如VirTex），对比学习目标使训练效率提升数十倍，使得在大规模数据上训练变得可行。 2. 对齐接口：直接建立了视觉与语言概念在统一空间中的对齐，这是零样本迁移的技术基础。
数据规模核心构建超大规模高质量图文对数据集（WIT） ：认识到数据的量与质是关键，主动从互联网收集、过滤了4亿对数据，比之前常用的数据集（如YFCC100M）大一个数量级，且文本描述更自然、丰富。规模化成功的前提：证明了“自然语言监督”这条路径的潜力，必须建立在足够大的数据规模之上。CLIP的成功是“方法效率”与“数据规模”共同作用的结果。
模型架构核心灵活的双编码器架构：图像编码器（ResNet或ViT）和文本编码器（Transformer）彼此独立，通过一个投影层映射到共享空间。这种设计简单、灵活，且易于扩展。1. 证明了ViT在CLIP范式下的卓越效率。 2. 架构的通用性使得后续研究和应用可以轻松替换或升级任一侧的编码器。
零样本推理核心“动态分类器” ：将分类问题重构为图文匹配问题。分类器的权重并非固定的模型参数，而是由文本编码器根据提供的类别描述即时生成的。这彻底摆脱了对固定类别体系的依赖。实现开放世界识别的关键：用户可以用任意的语言描述来定义类别，模型无需重新训练即可执行新任务。这提供了前所未有的灵活性。
系统性贡献全面的实证研究：不仅报告性能，更系统地研究了模型的可扩展性规律、多任务涌现能力、鲁棒性以及社会影响，为未来研究提供了宝贵的基准和洞见。超越了单纯的“提出新模型”，而是推进了整个研究方向，为构建通用视觉-语言模型树立了方法论典范和评估标准。

📌 本节总结：

CLIP的主要贡献并非一个孤立的算法创新，而是一套完整、可扩展的范式，其核心思想在于：
通过高效的对比学习目标，在海量互联网级的图文对上，训练一个将视觉与语言对齐的双塔模型，从而让模型获得通过自然语言进行零样本推理的通用能力。

这一工作证明了，在视觉领域复制NLP中“预训练+提示”的范式是可行的，它将计算机视觉从学习一组固定的视觉模式，推向了学习一个与语言联通的通用视觉接口的新阶段。

————————————————————————————————————————————

Q&A

Q1：为什么是余弦相似度？

A:

余弦相似度的计算公式为：
sim(𝐢, 𝐭) = (𝐢 · 𝐭) / (‖𝐢‖ ‖𝐭‖)，即两个向量的点积除以它们模长的乘积，结果在 [-1, 1] 之间。

在CLIP中，图像嵌入 𝐢 和文本嵌入 𝐭 都是经过 L2归一化 的，这意味着 ‖𝐢‖ = 1，‖𝐭‖ = 1。此时，余弦相似度 退化为简单的点积：
sim(𝐢, 𝐭) = 𝐢 · 𝐭。

首先，对嵌入进行L2归一化后，所有向量都被约束在一个单位超球面上。（这里不仅仅是一个三维球体，而是一个多达512维的空间） 其次，在单位超球面上，点积直接对应于向量夹角的余弦值。最大化点积等价于最小化向量间的夹角。这使得模型的学习目标非常直观：让匹配的图文对在嵌入空间中的“方向”尽可能一致。

CLIP的损失函数本质上是一个  “多分类”的交叉熵损失。在计算每个图像（或文本）对所有文本（或图像）的匹配概率时，需要将点积（相似度）输入Softmax函数。归一化后的点积数值范围相对可控，使得Softmax的输出不会过于极端，梯度更易于计算。

简单比喻：想象两个人在一个巨大的球形房间里，房间表面代表嵌入空间。他们只能沿着球面移动。衡量他们是否“观点一致”（图文匹配），不是看他们离球心多远（模长），而是看他们在球面上是否站在同一个“点”（方向）。余弦相似度就是用来测量他们站立方向一致性的完美工具。

————————————————————————————————————————————

Q2： 如何找到不匹配的对？ A： 每张图片都配有一个描述性文本，它们理应是语义匹配的。关键在于，CLIP在一个训练批次内巧妙地构造了负样本。

具体做法（核心技巧）：

  1. 组成批次：随机采样 N 个真实的（图像，文本）对，组成一个训练批次。

  2. 编码计算：用图像编码器编码所有 N 张图像，得到 N 个图像嵌入 I_1, I_2, ..., I_N。用文本编码器编码所有 N 段文本，得到 N 个文本嵌入 T_1, T_2, ..., T_N。

  3. 计算相似度矩阵：计算一个 N × N 的相似度矩阵 S，其中 S[i][j] 代表第 i 张图像与第 j 段文本的余弦相似度。

    text

        文本1  文本2  ...  文本N
图像1 [ sim(I1,T1), sim(I1,T2), ..., sim(I1,TN) ]
图像2 [ sim(I2,T1), sim(I2,T2), ..., sim(I2,TN) ]
...
图像N [ sim(IN,T1), sim(IN,T2), ..., sim(IN,TN) ]

  4. 定义正负样本：

    • 正样本：矩阵的对角线元素 S[i][i]，因为批次构建时，(图像i，文本i) 是原始数据中配对的。
    • 负样本：矩阵中所有非对角线的元素 S[i][j] (i ≠ j)。例如，(图像1，文本2)、(图像1，文本3) 等等，这些都是“不匹配”的配对，因为图像1原本的标题是文本1。

训练目标可以表述为：对于每一行（每个图像），希望其与对应文本的相似度远高于与本行其他文本的相似度；同时，对于每一列（每个文本），希望其与对应图像的相似度远高于与本列其他图像的相似度。

为什么这种方式有效？
这种方法被称为  “批次内负采样”  或  “N对损失”  。它极其高效，因为：

  • 无需额外标注：负样本是从批次内其他样本自动生成的，没有额外的标注成本。
  • 海量负样本：一个批次为 N，就能产生 N² - N 个负样本。当 N 很大时（CLIP中 N=32768），模型在每一步都能接触到海量、多样的负样本，这对学习清晰的语义边界至关重要。
  • 对称性：这种构造方式天然地对称处理了图像和文本，使得学习是双向的。

截屏2025-12-08 16.44.15.png

二、方法详解
2.1 自然语言监督的概念与优势

✅ 原文翻译：

我们方法的核心是从自然语言中包含的监督信息中学习感知能力。

正如引言中所讨论的，这根本不是一个新想法，然而，用来描述这一领域工作的术语各不相同，甚至看似矛盾，其动机也多种多样。Zhang等人（2020）、Gomez等人（2017）、Joulin等人（2016）和Desai & Johnson（2020）都介绍了从与图像配对的文本中学习视觉表示的方法，但他们分别将各自的方法描述为无监督、自监督、弱监督和有监督。

我们强调，贯穿这一系列工作的共同点并非任何具体方法的细节，而是对自然语言作为一种训练信号的认可。所有这些方法都是在从自然语言监督中学习。尽管早期工作在使用主题模型和n-gram表示时曾努力应对自然语言的复杂性，但深度上下文表示学习的改进表明，我们现在拥有了有效利用这一丰富监督来源的工具。

与其他训练方法相比，从自然语言中学习有几个潜在的优势。与图像分类的标准众包标注相比，扩展自然语言监督要容易得多，因为它不要求标注必须是经典的“机器学习兼容格式”，例如经典的N选一多数投票“黄金标签”。相反，处理自然语言的方法可以被动地从互联网上大量文本中包含的监督信息中学习。与大多数无监督或自监督学习方法相比，从自然语言中学习还有一个重要优势，那就是它“不仅仅”学习一种表示，而且还将该表示与语言联系起来，从而实现了灵活的零样本迁移。在接下来的小节中，我们将详细说明我们最终确定的特定方法。

🔍 要点解读：

核心要点详细说明
1. 正本清源：统一“自然语言监督”概念本节开篇即指出该领域术语的混乱（无监督/自监督/弱监督/有监督）。CLIP论文主张统一使用  “自然语言监督”  这一术语，其核心特征是将自然语言本身作为训练信号的来源，而不纠结于具体技术实现形式的命名差异。这是一种范式层面的概括。
2. 技术进步使潜力得以释放早期工作受限于浅层的文本表示（如主题模型、n-gram），难以处理自然语言的丰富语义和上下文。深度上下文表示学习（如Transformer、BERT）的成熟，是CLIP能有效利用自然语言监督的关键前提，使模型能够真正理解文本的语义。
3. 核心潜力（优势）分析本节清晰地阐述了自然语言监督相对于传统方法的三大根本优势： ① 极致的可扩展性：互联网上天然存在海量的“图像-描述文本”配对数据，这种监督的获取是被动、廉价、几乎无限的，而人工标注成本高昂、定义封闭、扩展困难。 ② 语义的连贯性：它避免了传统监督学习将丰富语义压缩成一个离散ID标签的信息损失问题。文本描述可以包含属性、关系、场景、动作等综合信息。 ③ 零样本迁移的内在桥梁：这是最关键的一点。自监督学习（如对比学习）虽然也能学到好的表示，但它缺少与外部世界的语义接口。自然语言监督在训练时，就同时建立了视觉特征与语言概念之间的对齐。这使得在推理时，直接用新的语言描述（零样本）就能激活对应的视觉概念，无需任何梯度更新。
4. 与自监督的对比论文明确指出，仅学习“好的表示”是不够的。一个在ImageNet上通过旋转预测等任务训练的模型，其表示可能很好，但你无法直接告诉它“找一张考拉的照片”。而CLIP因为训练时就在做“图文匹配”，所以它天然就理解“考拉”这个文本对应的视觉概念。

📌 本节总结：

本节并非介绍CLIP的具体方法，而是从更高层面论证了 “为什么自然语言监督是一条值得探索的根本路径” 。它厘清了概念，并点出了其规模化潜力、语义丰富性和零样本泛化能力这三大核心优势。这些优势正是CLIP方法设计的出发点和试图最大化利用的目标。可以说，本节为CLIP整个工作奠定了 “道”  的基础，后续章节则是具体的 “术”  的实现。

2.2 大规模数据集构建（WIT数据集）

✅ 原文翻译：

现有的研究主要使用了三个数据集：MS-COCO、Visual Genome和YFCC100M。虽然MS-COCO和Visual Genome是高质量的众包标注数据集，但以现代标准来看规模较小，各自仅有约10万张训练照片。

相比之下，其他计算机视觉系统在高达35亿张Instagram照片上训练。YFCC100M拥有1亿张照片，是一个可能的选择，但每张图像的元数据稀疏且质量参差不齐。许多图像使用自动生成的文件名（如20160716_113957.JPG）作为“标题”，或包含相机曝光设置的“描述”。在过滤后仅保留带有自然语言标题和/或英文描述的图像后，数据集缩小了6倍，只剩下1500万张照片。这大约与ImageNet的规模相当。

自然语言监督的一个主要动机是互联网上公开存在大量这种形式的数据。由于现有数据集未能充分反映这种可能性，仅基于它们来评估结果会低估这一研究方向的潜力。为了解决这个问题，我们从互联网上各种公开可用的来源构建了一个包含4亿（图像，文本）对的新数据集。为了尽可能覆盖广泛的视觉概念，我们在构建过程中搜索那些文本包含一组50万个查询词之一的（图像，文本）对。

我们通过每个查询最多包含2万个（图像，文本）对来近似地类别平衡结果。最终数据集的单词总数与用于训练GPT-2的WebText数据集相似。我们将这个数据集称为WIT，即WebImageText。

🔍 要点解读：

核心要点详细说明
1. 已有数据集的局限性论文明确指出，传统高质量标注数据集（MS-COCO， Visual Genome）规模太小（仅10万级），无法发挥大规模预训练的潜力。而现有的较大规模网络数据集（YFCC100M）又存在文本质量低下（多为文件名、相机参数等无意义文本）的问题，无法提供有效的语义监督。
2. 规模与质量的权衡这里揭示了一个关键矛盾： 质量优先（人工标注）→ 规模小，成本高，泛化有限。 规模优先（网络爬取）→ 噪声大，信号弱。 CLIP选择了一条中间道路：从网络海量数据中，通过精心设计的过滤与查询策略，主动构建一个规模极大且文本语义质量较高的数据集。
3. WIT数据集构建的核心策略
  • 主动查询，而非被动收集：不是随机爬取图片和旁边的文字，而是使用一个包含 50万个查询词 的列表主动搜索。这确保了数据集中视觉概念的广覆盖性和语义相关性。
  • 类别平衡：为防止头部查询词（如“猫”）主导数据集，对每个查询的结果数量设置上限（2万对）。这避免了数据集的极端长尾分布，有助于模型均衡地学习各种概念。
  • 规模空前：4亿对的数据量，比此前常用于图文任务的YFCC100M（1亿对，且过滤后仅剩1500万对有效数据）大一个数量级以上，为其性能突破奠定了数据基础。
4. 与NLP的呼应论文特意提到WIT的总词数与训练GPT-2的WebText数据集相似。这并非偶然，它暗示了CLIP的雄心：在视觉领域复制NLP中“在海量自由文本（WebText）上预训练通用模型（GPT） ”的成功范式，只不过将“自由文本”替换为“图像-文本对”。
5. 数据作为关键创新在深度学习领域，高质量的基准数据集（如ImageNet）和超大规模训练数据集（如JFT-300M）本身都是重大贡献。WIT数据集的构建是CLIP项目不可或缺的一部分，它证明了 “从网络文本中学习视觉概念”  这条路，在拥有足够规模和质量的数据时，是完全可以走通的。

📌 本节总结：

本节阐明了CLIP成功的数据基石。其核心信息是：要想利用自然语言这一“弱监督”信号学会通用视觉概念，必须为其提供“强规模”的数据基础。  WIT数据集通过主动查询与平衡采样的策略，在互联网的嘈杂信息中，有效地挖掘出了4亿个高质量的图文语义对。这不仅仅是数据量的堆积，更是一次精心设计的数据工程，为CLIP模型能够有效地从自然语言中学习提供了高质量的“教材”。没有WIT，CLIP的许多能力（如强大的零样本泛化）将无从谈起。

————————————————————————————————————————————

2.3 选择高效的预训练方法：对比性预训练方法（CLIP核心算法）

截屏2025-12-08 16.45.05.png

✅ 原文翻译：

最先进的计算机视觉系统使用巨量的计算资源。Mahajan等人（2018）需要19个GPU年训练他们的ResNeXt101-32x48d，Xie等人（2020）需要33个TPUv3核心年训练他们的Noisy Student EfficientNet-L2。考虑到这两个系统都只是被训练来预测1000个ImageNet类别，那么从自然语言中学习一个开放视觉概念集合的任务似乎令人生畏。在我们的研究过程中，我们发现训练效率是成功扩展自然语言监督的关键，并且我们基于这一指标选择了最终的预训练方法。

我们最初的方法类似于VirTex，从头开始联合训练一个图像CNN和一个文本Transformer来预测图像的标题。然而，我们发现在高效扩展这种方法上遇到了困难。在图2中，我们展示了一个6300万参数的Transformer语言模型（其计算量已经是其ResNet-50图像编码器的两倍），学习识别ImageNet类别的速度比一个预测相同文本的词袋编码的简单基线模型要慢三倍。

这两种方法有一个关键的共同点。它们都试图精确预测每张图像附带的文本的确切词语。这是一个困难的任务，因为与图像共现的描述、评论和相关文本种类繁多。最近在图像的对比表示学习工作中发现，对比目标可以比其等效的预测目标学习到更好的表示。其他工作也发现，尽管图像的生成模型可以学习高质量的图像表示，但它们需要比达到相同性能的对比模型多一个数量级的计算量。注意到这些发现，我们探索训练一个系统来解决一个可能更容易的代理任务：仅预测哪段文本作为一个整体与哪张图像配对，而不预测该文本的确切词语。从相同的词袋编码基线开始，我们在图2中将预测目标替换为对比目标，并观察到零样本迁移到ImageNet的速率进一步提升了4倍效率。

给定一个包含 N 个（图像，文本）对的批次，CLIP被训练来预测该批次中 N × N 种可能的（图像，文本）配对中哪些真实发生了。

为此，CLIP通过联合训练一个图像编码器和一个文本编码器来最大化批次中 N 个真实配对的图像和文本嵌入之间的余弦相似度，同时最小化 N² − N 个不正确配对的嵌入之间的余弦相似度。

我们在这些相似度分数上优化一个对称的交叉熵损失。据我们所知，这种批次构建技术和目标最初在深度度量学习领域被提出，称为  “多类别N对损失” ，后来被Oord等人（2018）推广用于对比表示学习，称为 InfoNCE损失，最近又被Zhang等人（2020）在医学影像领域适应于对比（文本，图像）表示学习。

🔍 要点解读：

核心要点详细说明
1. 效率是规模化扩展的关键瓶颈本节开篇明义：训练强大视觉模型本身已需数十个加速器年的计算量。若要在其基础上学习开放的、复杂的自然语言概念体系，找到一种计算效率极高的预训练方法是首要前提，否则任何想法都无法付诸实践。
2. 初始尝试：生成式目标的失败团队首先尝试了类似VirTex的图像字幕生成方法。直觉上，生成任务“更难”，应能学到更丰富的语义。但实验证明，一个大型Transformer语言模型学习识别ImageNet类别的速度，反比一个简单的词袋分类器慢3倍。这暴露了生成式目标的根本缺陷：模型需耗费大量算力去学习自然语言的复杂语法、词序和风格，这对于下游的视觉语义对齐任务而言，是巨大且低效的负担。
3. 核心转变：从“生成词语”到“判断配对”这是CLIP方法论的核心突破。它将任务从需要精确重构语言细节的“密度估计”问题，简化为一个学习语义关联的“匹配”问题。 • 旧任务（低效） ：“为这张图片生成标题：‘一只可爱的猫坐在沙发上’。” • 新任务（高效） ：“判断这段文本‘一只可爱的猫坐在沙发上’是否与这张图片匹配？” 后者不要求模型学会生成“可爱的”这个词，只要求它能理解“猫在沙发上”的视觉概念与文本描述相符，任务难度和计算开销大幅降低。
4. 效率的阶梯式飞跃这一转变带来了两次巨大的效率提升： ① 从生成到词袋：将Transformer语言模型替换为简单的词袋编码，效率提升3倍。 ② 从词袋到对比：将预测词袋的预测目标替换为对比目标，效率再提升4倍。 累计效率提升高达12倍。这个数量级的提升，使得在4亿对数据上训练模型从“理论可能”变成了“实践可行”。
5. 对比学习机制：批次内负采样CLIP采用InfoNCE损失（即多类别N对损失）。对于一个包含N个真实图文对的批次，模型通过最大化对角线上真实配对 (I_i, T_i) 的相似度（正样本），同时最小化所有非对角线上 N²-N 个错配 (I_i, T_j) 的相似度（负样本）来进行学习。这种方式无需额外标注，能在一个批次内高效产生海量、多样的负样本。
6. 坚实的理论基础与规模化验证CLIP并非凭空发明，而是对已有技术的卓越整合： • 多类别N对损失/InfoNCE：提供了对比学习的核心框架。 • ConVIRT：在医学影像领域验证了图文对比学习的有效性。 CLIP的贡献在于，首次系统性地、以前所未有的规模将此范式应用于通用领域的自然语言-图像对学习，并证明了其通向通用视觉能力的巨大潜力。

📌 本节总结：

本节揭示了CLIP设计中最关键的工程与算法洞见：在探索利用自然语言监督的路径上，极致的训练效率是解锁其潜力的首要前提。通过将任务目标从生成精确文本这一“艰巨任务”，果断简化为判断图文语义匹配这一“本质任务”，并采用高度优化的对比学习框架，CLIP获得了比基线方法高出一个数量级的训练效率。这一选择是深刻的务实精神体现：它摒弃了让模型学习语言生成所有细节的负担，转而专注于学习视觉与语言在语义核心上的对齐。正是这一高效、精准的目标设定，使得利用互联网级数据训练通用视觉-语言模型从设想变为现实。

2.4 模型架构选择与扩展（ResNet / ViT + Transformer）

✅ 原文翻译：

我们为图像编码器考虑了两种不同的架构。对于第一种，我们使用ResNet-50作为基础架构，因其被广泛采用且性能经过验证。我们对原始版本进行了一些修改，采用了He等人（2019）的ResNet-D改进和Zhang（2019）的抗锯齿rect-2模糊池化。我们还将全局平均池化层替换为一种注意力池化机制。该注意力池化实现为一个单层的“Transformer风格”多头QKV注意力层，其中查询（query）以图像的全局平均池化表示作为条件。

对于第二种架构，我们试验了最近提出的Vision Transformer（ViT） 。我们紧密遵循其实现，仅做了微小的修改：在Transformer层之前，对合并的图像块嵌入和位置嵌入添加了一个额外的层归一化，并使用了一个稍有不同的初始化方案。

文本编码器是一个Transformer，架构修改如Radford等人（2019）所述。作为基础尺寸，我们使用了一个6300万参数、12层、512宽度、8个注意力头的模型。

该Transformer处理文本的小写字节对编码表示，词汇表大小为49，152。出于计算效率考虑，最大序列长度限制为76。文本序列用[SOS]和[EOS]标记括起来，Transformer最高层在[EOS]标记处的激活被视作文本的特征表示，该表示经过层归一化后，线性投影到多模态嵌入空间。

文本编码器中使用了掩码自注意力，以保留用预训练语言模型初始化或添加语言建模作为辅助目标的可能性，尽管这方面的探索留待未来工作。

以往的计算机视觉研究通常通过单独增加模型的宽度或深度来扩展模型。对于ResNet图像编码器，我们采用了Tan & Le（2019）的方法，该方法发现将额外的计算量平均分配到宽度、深度和分辨率上，优于仅将其分配到模型的一个维度。

虽然Tan & Le（2019）为他们的EfficientNet架构调整了分配给每个维度的计算比例，但我们使用了一个简单的基线：将额外计算量平均分配用于增加模型的宽度、深度和分辨率。对于文本编码器，我们只按比例扩展模型的宽度，使其与计算出的ResNet宽度的增加成比例，完全不扩展深度，因为我们发现CLIP的性能对文本编码器的容量不那么敏感。

🔍 要点解读：

核心要点详细说明
1. 图像编码器：双架构并行探索CLIP没有押注于单一架构，而是同时探索了卷积网络（ResNet）  和纯Transformer（ViT）  两条技术路径。这体现了其方法论的系统性和前瞻性： • ResNet：代表经过充分验证、性能稳定的主流架构。CLIP对其进行了现代化改进（如抗锯齿池化、注意力池化），旨在最大化其潜力。 • ViT：代表新兴的、基于全局自注意力的架构。CLIP紧跟前沿，验证其在超大尺度图文数据上的有效性。此举也为后续研究（如CoCa, ALIGN）普遍采用ViT作为视觉主干奠定了基础。
2. 核心架构修改细节对ResNet的修改旨在提升其表征能力： • 抗锯齿模糊池化：缓解下采样时的混叠效应，提升模型对空间变换的鲁棒性。 • 注意力池化：用动态的、内容自适应的聚合机制（一个Transformer注意力层）替换静态的全局平均池化，使模型能更智能地汇总空间特征，聚焦于关键区域。
3. 文本编码器：简洁而强大的Transformer文本编码器基于GPT-2的架构，设计简洁高效： • 掩码自注意力：虽然训练时是双向的（对比任务不需要掩码），但保留此能力为未来引入语言建模任务预留了空间。 •  [EOS]标记作为表征：与BERT使用[CLS]标记类似，CLIP使用序列末尾标记[EOS]的激活作为整个文本的概括性表征，这是一种成熟且有效的做法。
4. 科学的模型扩展策略CLIP的扩展策略是其可预测性能的关键： • 视觉侧：均衡扩展：遵循EfficientNet的核心理念，将额外计算量同时用于增加ResNet的宽度、深度和输入图像分辨率。这避免了单一维度扩展带来的收益递减，实现了更优的性能-计算比。 • 文本侧：宽度优先扩展：实验发现CLIP性能对文本编码器的深度不敏感，因此仅扩展其宽度，并与视觉编码器的宽度增长成比例。这体现了以数据为驱动的工程洞察：在图文对比任务中，视觉理解的复杂性可能是主要瓶颈，因此将计算资源优先分配给图像侧是更高效的。
5. 架构服务于目标所有架构选择都紧紧围绕  “高效学习图文对齐”  这一核心目标： • 双塔（two-tower）设计编码效率高，便于预计算和缓存。 • 最终的轻量级投影层将两个模态映射到同一空间，保持了模型的简洁和灵活性。

📌 本节总结：

本节详尽阐述了CLIP的“硬件”部分——模型架构。其核心在于务实与前瞻并存的混合策略：一方面，通过改进成熟的ResNet来获取稳定性能；另一方面，大胆集成新兴的ViT以探索上限。更重要的是，CLIP提出并实践了一套数据驱动的、非均匀的模型扩展原则：在视觉侧进行宽度-深度-分辨率的均衡扩展以应对复杂视觉世界的建模需求，而在文本侧则采用保守的宽度扩展，将计算资源用在“刀刃”上。这种深思熟虑的架构设计与扩展策略，是CLIP能够高效地从海量噪声数据中提炼出精准的视觉-语言联合表示，并最终实现强大零样本能力的重要工程基础。

————————————————————————————————————————————

Q：文本编码器：简洁而强大的Transformer，能简单介绍一下Transformer吗？

A： Transformer是一种完全基于自注意力机制的深度神经网络架构，它在2017年由谷歌的论文《Attention Is All You Need》中提出，并彻底颠覆了自然语言处理领域，后来也广泛应用于计算机视觉、语音和多模态任务。

一、核心思想：自注意力机制

想象你读一句话：“这只猫坐在垫子上，因为它很柔软”。要理解“它”指代什么，你需要让“它”这个词去“关注”句子中所有其他词，并发现与“柔软”属性最相关的是“垫子”，而不是“猫”。自注意力机制就是这个“关注”过程的数学实现。

  • 计算过程：对于输入序列中的每个词，自注意力机制会计算它与序列中所有词（包括它自己）的关联度（注意力分数），然后用这些分数作为权重，对所有词的“值”信息进行加权求和，从而得到该词新的、富含上下文信息的表示。
  • 核心优势：它允许模型在处理任意位置的词时，直接“看到”并融合序列中所有其他位置的信息，不受距离限制。

截屏2025-12-08 17.50.45.png

1. 输入表示

  • 词嵌入：将每个输入词（或子词）转换为一个固定维度的向量。
  • 位置编码：由于自注意力本身不包含顺序信息，需要显式地为每个词的位置注入一个表示顺序的信号（正弦波或可学习的向量）。这是图中  “+ 位置编码”  的关键步骤。

2. 编码器层（图中核心部分，可堆叠多次）
这就是CLIP文本编码器的基本单元，每一层都包含两个核心子层：

  • ① 多头自注意力层（Multi-Head Self-Attention Layer）：这是Transformer的灵魂。

    • “多头”  ：模型并行地进行多组自注意力计算（即多个“注意力头”），每组可以关注句子不同方面的信息（例如，一个头关注语法结构，另一个头关注指代关系），最后将结果合并，增强了模型的表达能力。
    • 在CLIP中的作用：让模型充分理解描述文本的全局语义，例如理解“一只在草地上奔跑的棕色小狗”中，各个物体、属性和动作之间的关系。

  • ② 前馈神经网络层：这是一个应用于每个位置的独立、相同的全连接网络。它对自注意力层输出的每个位置的特征进行非线性变换和升维/降维。

  • 残差连接与层归一化：每个子层周围都使用了残差连接和层归一化，这是稳定训练深度网络、加速收敛的关键技术。

3. 输出
对于CLIP，它不需要像翻译那样输出序列。它采用了一个非常巧妙且标准的方法：

  • 在输入序列的开头和结尾分别加上特殊的 [SOS] (Start of Sentence) 和 [EOS] (End of Sentence) 标记。
  • 取最后一个（最高层）编码器输出的、对应 [EOS] 标记的向量，作为整个输入文本的“概括性语义表示” 。如图中所示，这个向量就是CLIP文本侧的最终输出，它将被映射到与图像特征共享的嵌入空间中进行对比。

三、为何Transformer如此强大并适合CLIP？

特性解释对CLIP的益处
长程依赖建模自注意力机制能直接计算序列中任意两点的关系，不受距离限制。理解长文本描述中的复杂关系（如“除了猫以外的动物”）。
高度并行化与RNN/LSTM需顺序计算不同，Transformer所有位置的注意力计算可同时进行。极大提升训练速度，这是处理CLIP中4亿文本-图像对的关键。
强大的表征能力多头注意力允许模型从不同子空间学习信息，前馈网络提供非线性变换。能够捕捉和提炼从低级词汇到高级语义的丰富文本信息。
灵活性编码器-解码器架构适应多种任务。CLIP只需编码器部分。设计简洁，目标明确（为文本生成高质量的语义嵌入）。

📌 总结

Transformer，特别是其编码器部分，是CLIP文本编码器的理想选择。  它通过多头自注意力机制高效、并行地提炼文本的全局语义，生成一个强大的文本表征向量。这个向量与图像表征向量在对比学习目标下被拉近，从而建立了视觉与语言之间精确的语义桥梁。可以说，没有Transformer，CLIP所依赖的高质量、可扩展的文本理解将难以实现。

————————————————————————————————————————————

2.5 训练策略与超参数设置

✅ 原文翻译：

我们训练了5个ResNet系列模型和3个Vision Transformer模型。对于ResNet，我们训练了一个ResNet-50，一个ResNet-101，以及另外3个遵循EfficientNet风格的模型扩展的模型，它们分别使用大约4倍、16倍和64倍于ResNet-50的计算量。它们分别被记为RN50x4、RN50x16和RN50x64。对于Vision Transformer，我们训练了一个ViT-B/32、一个ViT-B/16和一个ViT-L/14。

我们训练所有模型32个周期。我们使用Adam优化器，并对所有权重（不包括增益和偏置）应用解耦权重衰减正则化。我们使用余弦调度来衰减学习率。

初始的超参数是通过在基准ResNet-50模型（训练1个周期时）上结合网格搜索、随机搜索和手动调优来设定的。由于计算资源限制，对于更大的模型，我们采用启发式方法来调整超参数。

可学习的温度参数 τ 被初始化为等效于0.07的值，并进行了裁剪以防止将logits缩放超过100倍，我们发现这对于防止训练不稳定是必要的。

我们使用了一个非常大的小批次大小32,768。混合精度被用来加速训练并节省内存。为了节省额外内存，我们使用了梯度检查点、半精度Adam统计量和半精度随机舍入的文本编码器权重。

嵌入相似度的计算也被分片处理，单个GPU仅计算其本地批次嵌入所需的成对相似度子集。最大的ResNet模型RN50x64在592块V100 GPU上训练了18天，而最大的Vision Transformer在256块V100 GPU上训练了12天。

对于ViT-L/14，我们还在更高的336像素分辨率下额外预训练了1个周期以提升性能，类似于FixRes的做法。我们将这个模型记为ViT-L/14@336px。除非另有说明，本文中报告为“CLIP”的所有结果都使用这个我们发现性能最好的模型。

🔍 要点解读：

核心要点详细说明
1. 系统化的模型探索CLIP的训练并非单一模型，而是一个完整的系列： - 5个ResNet变体：从标准RN50到计算量高达64倍的RN50x64，系统地探索了卷积网络在图文对比任务中的可扩展性。 - 3个ViT变体：包含不同patch大小和深度，验证了Transformer架构在此范式下的效率和潜力。 这种系统性探索为其后的可扩展性分析（第3节）提供了坚实的数据基础。
2. 训练基本设置采用了现代深度学习训练的最佳实践组合： - 优化器：Adam + 解耦权重衰减 (Loshchilov & Hutter, 2017)，这是训练Transformer和大型CNN的稳定选择。 - 学习率调度：余弦退火，提供平滑的衰减过程，有助于模型收敛。 - 训练周期：固定32个epoch。在大规模数据上，更长的训练通常带来收益，但32个epoch是在计算成本和性能收益间取得的平衡。
3. 超参数选择策略体现了务实与高效的工程原则： 1. 分层调优：先在基础模型（RN50）上通过系统搜索（网格、随机、手动）确定基准超参。 2. 启发式迁移：由于在大模型上重新进行详尽搜索成本过高，采用启发式方法调整（如按计算量比例缩放学习率）。这是一种在研究可行性与计算成本之间的现实折衷。 3. 关键参数：温度参数 τ 被设计为可学习的对数参数化标量，并通过裁剪约束其范围。这避免了将其作为敏感超参数反复调优的麻烦，同时通过裁剪确保了训练稳定性。
4. 核心工程优化技巧这是CLIP能够成功训练超大规模模型和批次的关键： - 超大批次（32,768） ：对比学习从海量负样本中受益。如此大的批次能在单个训练步中提供极其丰富的负样本对 (N² - N)，极大提升了学习效率。 - 混合精度训练：使用FP16进行前向和反向传播，在保持数值稳定性的同时，显著加速计算并减少GPU内存占用。 - 内存优化组合拳： - 梯度检查点：用时间换空间，重新计算中间激活，大幅降低内存消耗。 - 半精度Adam统计量：将优化器状态保持在FP16。 - 半精度文本编码器权重：进一步压缩模型存储。 - 计算分片：将巨大的相似度矩阵计算分布式地分到多个GPU上，解决了大规模批次带来的计算和内存瓶颈。
5. 训练成本与后期优化- 训练成本：最大的模型需要数百块顶级GPU训练近两周，凸显了此项研究的巨大计算投入。 - FixRes技巧：对最佳模型（ViT-L/14）在更高分辨率（336px）下进行一个周期的额外微调。这是一个简单却有效的后处理技巧，通过使测试分辨率与训练后期阶段更匹配，从而提升模型性能，最终产生了文中报告的最佳模型 ViT-L/14@336px。

📌 本节总结：

本节揭示了CLIP成功的  “工程基石”  。它远不止是算法思想的胜利，更是一系列深思熟虑的训练策略、精妙的超参数选择和极其专业的分布式工程优化共同作用的结果。从系统性的模型系列设计，到务实高效的超参数设定方法，再到应对超大模型和批次的内存与计算挑战的“组合拳”优化技巧，每一个环节都至关重要。CLIP的训练过程本身，就是一次大规模深度学习系统工程的典范，展示了如何将前沿算法思想在超大规模计算集群上高效、稳定地转化为实际能力。没有这些扎实的工程实践，CLIP的宏大设想将无法落地。

三、实验设计与结果分析
3.1 零样本迁移实验
  • 3.1.1 零样本分类流程

✅ 原文翻译（综合整理）：

CLIP经过预训练，可以预测一张图像和一段文本是否在其数据集中配对。为了执行零样本分类，我们重用此能力。

对于每个数据集，我们使用数据集中所有类别的名称作为潜在的文本配对集合，并根据CLIP预测最可能的（图像，文本）对。更详细地说，我们首先通过各自的编码器计算图像的特征嵌入和所有可能文本的特征嵌入。然后计算这些嵌入之间的余弦相似度，通过温度参数 τ 缩放，并通过softmax归一化为概率分布。

可以这样解读：图像编码器是计算机视觉主干，为图像计算特征表示；而文本编码器是一个超网络，它基于指定类别所代表视觉概念的文本，生成线性分类器的权重。

按照这种解释，CLIP预训练的每一步都可以看作是在优化一个随机创建的、针对某个计算机视觉数据集的代理任务的性能，该数据集每个类别有1个样本，并通过自然语言描述定义了总共32,768个类别。

对于零样本评估，我们一旦通过文本编码器计算出零样本分类器，就将其缓存起来，并为所有后续预测重用。这允许将其生成的成本分摊到数据集的所有预测中。

🔍 要点解读：

核心步骤详细说明技术内涵
1. 任务定义与文本准备将传统分类任务重新定义为  “图文匹配”  问题。为数据集的每个类别准备一段自然语言描述（例如，对于ImageNet的“贵宾犬”，文本是“一张贵宾犬的照片”）。思维范式的转变：模型不再回答“这是1000类中的哪一类？”，而是回答“这张图像与哪个文本描述最匹配？”。这使得模型能够处理开放集合的任务。
2. 编码与相似度计算图像编码器将图像转换为特征向量 I。文本编码器将所有类别描述转换为一组特征向量  {T1, T2, ..., Tk} 。计算 I 与每个 T_i 的余弦相似度。重用预训练能力：这正是训练时优化的目标——匹配的图像文本对应具有高相似度。推理过程与训练目标高度一致。
3. 概率化与预测将相似度分数输入softmax函数，得到每个类别的概率。选择概率最高的类别作为预测结果。可解释的决策：softmax输出可以理解为图像与每个文本描述的匹配置信度，决策过程透明。
4. “动态分类器”的视角文本编码器生成的嵌入向量  {T_i}  可以被视为一个线性分类器的权重矩阵。整个零样本分类过程等价于：先用图像编码器提取特征 I，然后与这个  “动态生成”  的分类器权重进行点积运算并归一化。核心创新点：分类器不是固定的模型参数，而是根据任务描述即时生成的。这彻底消除了模型对预定义类别体系的依赖，实现了真正的开放世界识别。
5. 缓存机制由于一个数据集的类别描述是固定的，可以预先计算并缓存所有文本嵌入  {T_i} 。对于该数据集的每张新图像，只需计算一次图像嵌入 I，然后进行高效的矩阵乘法运算即可。工程优化：这使零样本推理的计算成本极低，几乎与标准图像分类前向传播相同，非常实用。

📌 本节总结：

零样本分类流程是CLIP理论最优雅的实践体现。它通过一个简单的  “编码-匹配”  框架，将预训练阶段的图文对比能力无缝转化为下游的分类能力。其精髓在于  “动态分类器” ——模型的“知识”不是固化在最后的分类层权重中，而是内化在图文编码器对齐的共享语义空间里。用户只需用自然语言“描述”任务，模型就能即时“组装”出对应的分类器。这一过程高效、灵活，且与训练目标高度同构，是CLIP实现强大零样本泛化的核心机制。

  • 3.1.2 提示工程与集成方法

✅ 原文翻译（综合整理）：

大多数标准图像分类数据集将命名或描述类别的信息（这支持基于自然语言的零样本迁移）视为事后才考虑的。绝大多数数据集仅用标签的数字ID标注图像，并包含一个文件将这些ID映射回英文名称。对于许多数据集，我们观察到这些标签的选择可能有些随意，并且没有预见到与零样本迁移相关的问题，而零样本迁移依赖于任务描述才能成功迁移。

一个常见问题是一词多义。当类别名称是提供给CLIP文本编码器的唯一信息时，由于缺乏上下文，它无法区分该词指的是哪种含义。在某些情况下，同一个词的多种含义可能作为不同的类别包含在同一数据集中！

我们遇到的另一个问题是，在我们的预训练数据集中，与图像配对的文本仅仅是单个单词的情况相对罕见。文本通常是某种描述图像的完整句子。为了帮助弥合这种分布差距，我们发现使用提示模板  “一张{标签}的照片。”  是一个很好的默认设置，有助于指明文本是关于图像内容的。这通常比仅使用标签文本的性能更好。

与围绕GPT-3的“提示工程”讨论类似，我们也观察到，通过为每个任务定制提示文本，可以显著提高零样本性能。一些非详尽的例子如下：

  • 在细粒度图像分类数据集上，指定类别有帮助。例如，在Oxford-IIIT Pets上，使用  “一张{标签}的照片，一种宠物。”  效果很好。
  • 对于OCR数据集，我们发现将要识别的文本或数字用引号括起来可以提高性能。
  • 对于卫星图像分类数据集，指定图像是这种形式会有所帮助，我们使用  “一张{标签}的卫星照片。”  的变体。

我们还试验了集成多个零样本分类器作为另一种提高性能的方法。这些分类器通过使用不同的上下文提示来计算，例如  “一张大{标签}的照片”  和  “一张小{标签}的照片” 。

我们在嵌入空间而非概率空间进行集成。这允许我们缓存一组平均后的文本嵌入，因此当分摊到许多预测时，集成的计算成本与使用单个分类器相同。我们观察到，集成多个生成的零样本分类器可以可靠地提高性能，并将其用于大多数数据集。

🔍 要点解读：

核心问题解决方案原理与效果
1. 分布差距使用提示模板（如“A photo of a {label}.”）。原理：CLIP预训练时看到的文本多是完整句子。简单类名（如“dog”）与训练数据分布不符。添加提示词将其包装成更常见的句子形式，能缩小分布差距，使文本编码器工作在其熟悉的“领域”内。 效果：仅在ImageNet上，这一简单改动就带来  +1.3%  的准确率提升。
2. 一词多义添加上下文描述。例如，在Oxford-IIIT Pets中，将“boxer”扩展为“a photo of a boxer, a type of pet.”。原理：自然语言充满歧义。提供上下文（如“一种宠物”）可以消除歧义，引导文本编码器生成与目标任务更匹配的语义向量。 效果：针对性的上下文描述能显著提升细粒度分类任务的准确性。
3. 任务类型适配设计领域特定的提示模板。例如，OCR任务用引号，地理定位任务用“卫星照片”。原理：不同视觉任务有其独特语境。定制化提示能更精准地锚定文本描述的语义，使其与图像编码器看到的视觉模式对齐。 效果：这是“提示工程”的核心，通过语言引导模型激活最相关的视觉知识。
4. 单一提示的局限性多提示集成。使用一组在语义上互补的提示（如描述大小、颜色、视角等）。原理：单个描述可能无法涵盖类别的所有视觉特征。多个描述可以从不同角度“刻画”同一概念，集成后能形成更全面、鲁棒的类别表示。 效果：在ImageNet上，集成80个提示将性能进一步提升了  +3.5% 。与基础模板结合，共带来近  +5%  的显著提升。
5. 高效的集成策略在嵌入空间平均。先平均多个提示生成的文本嵌入，再用这个平均嵌入去匹配图像。原理：与分别计算每个提示的概率再平均相比，在嵌入空间平均只需一次图像编码和相似度计算。 效果：这是一种“免费”的集成，几乎不增加推理开销，却能稳定提升性能，极具实用价值。

📌 本节总结：

提示工程与集成方法是释放CLIP零样本潜力的  “关键调节器” 。它们揭示了CLIP作为一个“基于语言接口的模型”的一个重要特性：其性能对输入文本的措辞高度敏感。这项工作将NLP中的“提示工程”思想系统地引入计算机视觉，并发展出  “嵌入空间集成”  这一高效技巧。这不仅仅是性能优化的手段，更深刻地说明：要让模型出色地工作，我们必须学会用它能理解的“语言”与之沟通。这一部分为后续如何更好地使用和开发此类模型提供了至关重要的实用指南。

  • 3.1.3 与 Visual N-Grams 的对比

✅ 原文翻译（综合整理）：

在表1中，我们将Visual N-Grams与CLIP进行比较。最好的CLIP模型将ImageNet上的准确率从概念验证的11.5%提高到76.2%，并且匹配了原始ResNet-50的性能，尽管没有使用该数据集可用的128万个众包标注训练样本中的任何一个。

与Visual N-Grams的比较旨在帮助理解CLIP的性能，不应被解释为CLIP和Visual N-Grams之间的直接方法比较，因为这两个系统之间许多与性能相关的差异并未得到控制。例如，我们使用的数据集大了10倍，使用的视觉模型每次预测所需的计算量增加了近100倍，可能使用了超过1000倍的训练计算量，并且使用了Visual N-Grams发表时尚不存在的基于Transformer的模型。

作为一个更接近的比较，我们在Visual N-Grams训练的相同YFCC100M数据集上训练了一个CLIP ResNet-50，并发现它在一个V100 GPU日内就达到了他们报告的ImageNet性能。这个基线也是从头开始训练的，而不是像Visual N-Grams那样从预训练的ImageNet权重初始化。

表1：CLIP与先前零样本迁移图像分类结果的比较

aYahooImageNetSUN
Visual N-Grams72.411.523.0
CLIP98.476.258.5

🔍 要点解读：

对比维度Visual N-Grams (2017)CLIP (2021)意义与启示
核心方法学习一个视觉n-gram词典，通过n-gram概率计算匹配得分。通过对比学习，在统一嵌入空间中学习图文语义匹配。范式演进：从基于局部语义单元（n-gram）的统计模型，演进为基于全局上下文语义的深度表示学习模型。
ImageNet 零样本准确率11.5%76.2%量变引起质变：性能从“概念验证”级别飞跃到“实用”级别，证明了大规模图文对比学习路线的巨大成功。
技术栈与规模• 数据：YFCC100M (约1500万有效图文对) • 视觉模型：相对较小的CNN • 文本表示：n-gram统计• 数据：WIT (4亿图文对，≈27倍) • 视觉模型：大规模ResNet/ViT • 文本表示：Transformer深度上下文编码 • 算力：高出数个数量级时代的进步：CLIP的成功是更大规模的数据、更强大的模型架构（Transformer）、更高效的学习目标（对比学习）和空前计算投入共同作用的结果，反映了4年间AI基础设施与算法的全面进步。
关键控制实验不适用在相同数据（YFCC100M）上，CLIP ResNet-50仅用1个GPU日就复现了其性能。剥离规模因素，验证方法优越性：这一实验至关重要。它表明，即使在同等数据规模下，CLIP所采用的对比学习范式本身也远比旧的n-gram方法更高效、更强大。新方法的进步是根本性的。
历史定位开创性的探索，首次系统研究从网络文本中进行零样本迁移，但性能有限。将这一研究方向推向成熟和实用化，确立了大规模图文对比预训练的主导地位。承前启后：Visual N-Grams提出了愿景，CLIP实现了它。对比彰显了AI研究中，当一个正确的方向（自然语言监督）与时代的技术条件（数据、算力、算法）相结合时，所能产生的突破性进展。

📌 本节总结：

与Visual N-Grams的对比，是一次  “历史对话” 。它清晰地丈量了从2017年到2021年，在“从自然语言学习视觉”这一道路上所取得的跨越式进步。CLIP不仅将零样本性能提升了数十个百分点，更重要的是，它通过一个控制实验证明：这种提升主要源于方法范式的根本性革新（对比学习 vs. n-gram统计） ，而不仅仅是数据或算力的堆砌。这一对比强化了CLIP工作的核心价值：它找到并验证了一条可扩展、高效率的实现通用视觉-语言对齐的技术路径，从而将这一领域从“有趣但弱小”的探索阶段，推进到了“强大且实用”的发展新阶段。

3.2 表征学习分析（线性探测实验）

✅ 原文翻译：

尽管我们通过上一节的零样本迁移广泛分析了CLIP的任务学习能力，但更常见的是研究模型的表征学习能力。 评估表征质量的方法有很多，对于“理想”表征应具有哪些属性也存在分歧。在模型提取的表征上拟合线性分类器并测量其在各种数据集上的性能是一种常见方法。

另一种方法是测量模型端到端微调的性能。这增加了灵活性，并且先前的工作令人信服地证明，在大多数图像分类数据集上，微调优于线性分类。

虽然微调的高性能出于实际原因激发了对其的研究，我们仍然选择基于线性分类器的评估，原因如下：

我们的工作重点是开发高性能的、任务和数据集无关的预训练方法。

微调，因为它在微调阶段使表征适应每个数据集，可以补偿并可能掩盖预训练阶段在学习和鲁棒性上的失败。

线性分类器，由于其有限的灵活性，反而突出了这些失败，并在开发过程中提供了清晰的反馈。

对于CLIP，训练有监督的线性分类器还有一个额外的好处，即其方法与其零样本分类器非常相似，这便于在第3.1节中进行广泛的比较和分析。

最后，我们的目标是在许多任务上与一整套现有模型进行比较。研究66个不同模型在27个不同数据集上需要调整1782个不同的评估。微调开启了一个大得多的设计和超参数空间，这使得公平评估变得困难，并且计算成本高昂，正如其他大规模实证研究所讨论的。相比之下，线性分类器需要最少的超参数调整，并具有标准化的实现和评估流程。

🔍 要点解读：

核心要点详细说明
1. 评估范式的选择：线性探测 vs. 微调论文明确选择了线性探测作为核心评估方法，并给出了三个层次的理由： - 诊断性：线性分类器能力有限，无法“掩盖”预训练表征的缺陷。性能好坏直接反映了预训练表征的固有质量，对研发是清晰的信号。 - 一致性：CLIP的零样本分类器本质是“动态生成”的线性分类器。使用线性探测便于与零样本性能进行直接、公平的对比，分析任务学习与表征学习的关系。 - 可行性与公平性：在大规模比较中（66个模型×27个数据集），微调会引入巨大的调参复杂性和计算成本，难以保证比较的公平和可复现性。线性探测则流程标准化，结果更可靠。
2. 实验设计概要- 数据集：使用两个评估套件：经典的12数据集套件（Kornblith et al., 2019）和本文扩展的27数据集套件（包含OCR、地理定位、动作识别等新任务）。 - 模型对比：评估了66个预训练模型，涵盖CLIP系列、监督学习模型（EfficientNet, BiT）、自监督模型（SimCLRv2, BYOL, MoCo）、多模态模型（VirTex）等。 - 流程：从每个模型的倒数第二层提取特征，训练一个L2正则化的Logistic回归分类器，通过验证集调优正则化强度，在测试集报告结果。
3. 主要结果（12数据集套件）- 小规模CLIP模型（RN50, RN101）优于ImageNet-1K训练的ResNet，但不及在更大数据（ImageNet-21K）上训练的BiT-M模型和同量级的EfficientNet。 - CLIP模型扩展性优异：最大的CLIP ResNet（RN50x64）在整体性能和计算效率上均略微超过了当时最好的公开模型（Noisy Student EfficientNet-L2）。 - ViT的效率优势：CLIP ViT模型比CLIP ResNet模型计算效率高约3倍，验证了ViT在大规模数据下的效率优势。
4. 主要结果（27数据集套件）- 优势全面显现：所有CLIP模型，无论规模大小，在计算效率上均超越所有对比模型。最佳模型的平均性能优势从2.6%扩大至5%。 - 揭示更全面的能力图谱：自监督模型（如SimCLRv2）在更广泛的评估中表现更好，说明传统评估套件可能偏向ImageNet相关任务，而多样化评估更能反映模型的通用性。
5. 任务层面的深入分析最佳CLIP模型在27个数据集中，在21个上优于Noisy Student EfficientNet-L2。优势显著的领域包括： - OCR（SST2, HatefulMemes） - 地理定位与场景识别（Country211, SUN397） - 视频动作识别（Kinetics700, UCF101） - 细粒度分类（Stanford Cars, GTSRB） 这暴露出传统ImageNet监督的局限：其过于狭窄的类别定义（如所有交通标志只有一个标签）可能导致学习到的表征丢失类内细节，从而损害下游细粒度任务的性能。

📌 本节总结：

本节通过严谨的线性探测实验，从表征学习的角度评估了CLIP。核心结论是：

  1. CLIP学习到了更通用的视觉表征：在涵盖OCR、地理定位、动作识别等多样化任务的27个数据集评估中，CLIP模型展现了全面的领先优势，尤其是在计算效率上。这表明自然语言监督能引导模型学习比传统图像分类更丰富、更通用的视觉特征。
  2. 模型扩展规律明确且有效：CLIP的性能随着模型规模和数据量的增加而平滑、可预测地提升，并且Vision Transformer在此范式下相比卷积网络具有显著的效率优势。
  3. 评估体系需要与时俱进：实验表明，局限于传统图像分类任务的评估套件会高估狭义监督模型（如BiT-M）的通用性，并低估从更广泛监督信号（如自然语言）中学习到的表征的价值。推动评估向任务多元化发展至关重要。
  4. 自然语言监督的独特价值得到印证：CLIP在需要深层语义理解（OCR）、场景上下文（地理定位）和动作理解（视频）的任务上表现突出，这直接受益于自然语言描述所提供的、远超物体名词标签的丰富监督信息。

总之，线性探测实验强有力地证明：大规模自然语言监督是一种高效的学习通用视觉表征的范式，其学习到的特征能更好地迁移到一系列超越传统对象分类的视觉任务中。

3.3 自然分布偏移下的鲁棒性测试

✅ 原文翻译：

2015年，有消息宣布深度学习模型在ImageNet测试集上超过了人类性能。然而，随后的研究反复发现，这些模型仍然会犯许多简单的错误，而测试这些系统的新基准常常发现它们的性能远低于其ImageNet准确率和人类准确率。是什么解释了这种差异？人们提出并研究了各种想法。

一个常见的解释主题是，深度学习模型极其擅长发现并利用在其训练数据集中存在的相关性和模式，从而提高了在分布内的性能。然而，这些相关性和模式中有许多实际上是虚假的，并不适用于其他分布，导致在其他数据集上的性能大幅下降。

我们谨慎地指出，迄今为止，大多数此类研究都将其评估局限于在ImageNet上训练的模型。回顾讨论的主题，从这些初步发现中过度概括可能是一个错误。这些失败在多大程度上可归因于深度学习、ImageNet，还是两者的某种结合？CLIP模型通过自然语言监督在非常大的数据集上训练，并且能够实现高零样本性能，这为从不同角度研究这个问题提供了机会。

Taori等人（2020）最近进行了一项全面的研究，旨在量化和理解ImageNet模型的这些行为。Taori等人研究了ImageNet模型在评估自然分布偏移时的性能变化。他们测量了7种分布偏移的性能：ImageNetV2、ImageNet Sketch、Youtube-BB和ImageNet-Vid、ObjectNet、ImageNet Adversarial和ImageNet Rendition。他们将这些数据集（都由来自不同来源的新图像组成）与合成分布偏移（如ImageNet-C、Stylized ImageNet或对抗性攻击）区分开来，后者是通过以各种方式扰动现有图像创建的。

在这些收集的数据集上，ImageNet模型的准确率远低于ImageNet验证集所设定的期望。一个ResNet-101在这些自然分布偏移上评估时，其犯的错误数量是ImageNet验证集上的5倍。

然而，令人鼓舞的是，Taori等人发现，在分布偏移下的准确率会随着ImageNet准确率的提高而可预测地增加，并且可以很好地建模为对数转换后准确率的线性函数。Taori等人利用这一发现提出，鲁棒性分析应区分有效鲁棒性和相对鲁棒性。有效鲁棒性衡量的是在分布偏移下准确率的提升，超出了由已记录的在分布内和分布外准确率之间关系所预测的部分。相对鲁棒性捕捉的是分布外准确率的任何提升。

直观上，一个零样本模型不应该能够利用仅在特定分布上成立的虚假相关性或模式，因为它没有在该分布上训练过。因此，我们有理由期望零样本模型具有更高的有效鲁棒性。在图13中，我们比较了零样本CLIP与现有ImageNet模型在自然分布偏移下的性能。所有零样本CLIP模型都大幅提高了有效鲁棒性，并将ImageNet准确率与分布偏移下准确率之间的差距缩小了多达75%。

虽然这些结果表明零样本模型可以更加鲁棒，但它们并不一定意味着在ImageNet上的监督学习导致了鲁棒性缺口。CLIP的其他细节，如其庞大且多样的预训练数据集或使用自然语言监督，也可能导致更鲁棒的模型，无论它们是零样本还是经过微调的。

作为一个初步实验，我们测量了CLIP模型在通过L2正则化的逻辑回归分类器使其适应ImageNet分布后，其性能如何变化。我们在图14中可视化了从零样本分类器到线性分类器性能的变化。尽管使CLIP适应ImageNet分布使其ImageNet准确率总体提高了9.2%，达到85.4%，并与Mahajan等人（2018）的2018年SOTA准确率持平，但在分布偏移下的平均准确率略有下降。

在从零样本到全监督的连续谱上，我们研究有效鲁棒性如何变化。在图15中，我们可视化了在最佳CLIP模型特征上训练的0-shot、1-shot、2-shot、...、128-shot和全监督逻辑回归分类器的性能。我们看到，虽然少样本模型也表现出比现有模型更高的有效鲁棒性，但随着训练数据增加，分布内性能提高，这种优势逐渐减弱，并且对于全监督模型而言，这种优势大部分（尽管不是完全）消失了。此外，零样本CLIP明显比具有同等ImageNet性能的少样本模型更鲁棒。

🔍 要点解读：

核心要点详细说明
1. 问题背景：深度模型的“脆弱”泛化传统在ImageNet上训练的模型，虽然在测试集上准确率高，但常被发现在真实世界分布变化（如不同拍摄风格、背景、视角）下性能大幅下降。这表明模型可能过度依赖训练数据中的虚假相关性（如“卡车常出现在公路上”），而非学习本质的视觉概念。
2. 关键概念：自然 vs. 合成分布偏移- 自然分布偏移：从不同来源收集的全新图像（如素描、网络视频、不同设备拍摄）。 - 合成分布偏移：对现有图像进行人工扰动（如加噪声、改变风格、对抗攻击）。 论文强调研究自然分布偏移更重要，因为针对合成偏移的改进技术（如数据增强）常常无法推广到自然偏移。
3. 分析框架：有效鲁棒性与相对鲁棒性- 相对鲁棒性：模型在分布偏移数据集上准确率的绝对提升。 - 有效鲁棒性：提升的幅度超出了仅靠提升ImageNet准确率所能带来的预期部分。它衡量的是模型真正获得了超越原始分布的泛化能力。
4. 核心发现：零样本CLIP具有卓越的有效鲁棒性相比同级别ImageNet准确率的传统模型，零样本CLIP的有效鲁棒性显著更高，将ImageNet与分布偏移之间的性能差距缩小了高达75% 。这是因为零样本模型未在目标分布（如ImageNet）上训练，因此无法“过拟合”该分布特有的虚假模式，被迫学习更通用的特征。
5. 关键实验：适配ImageNet的代价当使用ImageNet训练数据在CLIP特征上训练一个线性分类器（模拟监督适应）后： - ImageNet准确率大幅提升9.2% 。 - 但在自然分布偏移下的平均准确率反而略有下降。 这强烈表明，对特定数据集的监督适应，可能会以牺牲模型原有的、更通用的鲁棒性为代价。增益可能主要来自“钻营”特定数据集的偏见。
6. 少样本学习的鲁棒性权衡研究从零样本到全监督的连续谱发现： - 使用越少的任务特定数据，有效鲁棒性越高。 - 随着使用的训练数据增多，模型在目标分布上的性能（相对鲁棒性）提高，但其超越性的泛化能力（有效鲁棒性）逐渐减弱。 这揭示了通用性与特异性之间的根本权衡。

📌 本节总结： 本节通过对自然分布偏移的系统性测试，揭示了CLIP一个极其重要的特性：其零样本预测方式赋予了它远超传统监督模型的、对于分布变化的本质鲁棒性。

核心结论是：

  1. 零样本评估是鲁棒性的“压力测试” ：由于没有机会过拟合目标数据集的偏见，零样本性能更能反映模型对视觉概念的真实理解程度。
  2. 监督学习可能损害通用性：实验证明，即使是简单的线性适配，也能在提升目标数据集性能的同时，轻微损害模型在其他分布上的表现。这提示我们，追求在单一基准上的高分数，有时会与构建真正通用的视觉系统这一目标相悖。
  3. 通往更鲁棒系统的路径：这项工作表明，推动研究向大规模任务无关的预训练和基于零样本/少样本的广泛评估转变，将鼓励开发出泛化能力更强、更可靠的系统。CLIP在此指明了方向：通过从海量、多样化的自然语言监督中学习，模型可以建立更纯净、更本质的视觉概念表征，从而在面对真实世界的复杂性时，表现出更稳健的性能。
4. 与人类性能的对比

✅ 原文翻译：

CLIP与人类性能和人类学习相比如何？为了更好地了解人类在与CLIP类似的评估设置中的表现，我们在我们的一个任务上评估了人类。我们想了解人类在这些任务上的零样本性能有多强，以及如果他们被展示一两个图像样本，人类性能会提高多少。这可以帮助我们比较人类和CLIP的任务难度，并识别它们之间的相关性和差异。

我们让五位不同的人类受试者观察Oxford IIT Pets数据集测试集中的3669张图像中的每一张，并选择37种猫或狗品种中哪一种最匹配图像（如果他们完全不确定，则选择“我不知道”）。在零样本情况下，人类没有被提供任何品种的示例图像，并被要求在不进行互联网搜索的情况下尽最大能力进行标注。在一样本实验中，人类被提供了每个品种的一张样本图像，在两样本实验中，他们被提供了每个品种的两张样本图像。

一个可能的担忧是，人类受试者在零样本任务中不够积极。人类在STL-10数据集上94%的高准确率以及在注意力检查图像子集上97-100%的准确率增加了我们对人类受试者的信任。

有趣的是，人类仅通过每个类别一个训练示例，就从平均54%的性能提高到了76%，而增加一个额外训练示例的边际收益很小。从零样本到一样本的准确率提升几乎完全集中在人类不确定的图像上。这表明人类“知道他们不知道什么”，并且能够根据单个示例更新他们最不确定的图像上的先验知识。鉴于此，虽然CLIP在零样本性能方面是一种有前景的训练策略，并且在自然分布偏移测试中表现良好，但人类从少数示例中学习的方式与本文中的少样本方法之间存在巨大差异。

这表明，正如Lake等人（2016）和其他人所指出的，仍然需要算法上的改进来缩小机器和人类样本效率之间的差距。由于CLIP的这些少样本评估没有有效利用先验知识，而人类利用了，我们推测找到一种将先验知识正确整合到少样本学习中的方法是CLIP算法改进的重要一步。据我们所知，在高质量预训练模型的特征之上使用线性分类器是少样本学习的接近最先进的方法，这表明最好的少样本机器学习方法与人类少样本学习之间仍然存在差距。

如果我们绘制人类准确率与CLIP零样本准确率的关系图（图16），我们会发现对CLIP最困难的问题对人类来说也困难。就错误的一致性而言，我们假设这至少是由于两个因素：数据集中的噪声（包括错误标注的图像）以及分布外的图像对人类和模型来说都很难。

表2：人类在Oxford IIT Pets上的表现比较

全数据集上的多数投票准确率猜测上的多数投票准确率全数据集上的准确率猜测上的准确率
零样本人类53.757.069.763.9
零样本CLIP93.593.593.593.5
一样本人类75.780.378.581.2
两样本人类75.785.079.286.1

🔍 要点解读：

核心要点详细说明
1. 实验目的通过与人类在相同任务（Oxford IIT Pets细粒度宠物分类）上的零样本和少样本性能进行对比，从认知科学角度评估CLIP的能力边界，揭示机器与人类学习方式的差异。
2. 人类表现的关键模式- 零样本到一样本的巨大飞跃：人类仅凭一个示例，准确率就从54%跃升至76%，提升达22个百分点。这体现了人类强大的从先验知识进行归纳和概念更新的能力。 -  “知道自己不知道” ：人类在不确定时会选择“我不知道”，而准确率提升主要来自这些不确定的样本，说明人类能有效识别认知边界并利用新信息进行更新。 - 样本效率的边际递减：从一样本到两样本的提升很小，说明一个清晰的示例已足够人类形成稳定的概念。
3. CLIP与人类的核心差异- 零样本性能倒挂：在零样本设置下，CLIP（93.5%）远超人类（53.7%） 。这是因为CLIP在预训练中已见过大量宠物图片，而人类受试者可能不具备相关品种知识。 - 少样本学习模式不同：人类仅需极少数示例就能大幅提升，而CLIP的少样本学习（在其特征上训练线性分类器）虽然有效，但未能像人类一样有效利用先验知识进行快速概念形成与调整。这揭示了当前机器学习在样本效率和灵活的知识整合方面与人类的差距。
4. 错误一致性分析图16显示，CLIP觉得困难的图像，人类也倾向于觉得困难。这表明二者可能受到相似因素的挑战： - 数据集固有的噪声与歧义（如标注错误、图像模糊）。 - 真正的分布外或异常样本。 这种一致性表明，CLIP的“困难”在一定程度上反映了任务的客观难度，而非模型的随机缺陷。
5. 对算法改进的启示- 缩小样本效率差距：需要开发能够更有效整合已有知识（即预训练表示）  的少样本学习算法，而不仅仅是简单的线性探测。 - 迈向更人类化的学习：理想的学习者应能像人类一样，在已有知识基础上，通过极少数示例快速形成新概念，并能明确识别认知不确定性。

📌 本节总结：

本节通过与人类进行对比实验，提供了一个评估CLIP能力的独特视角。核心结论是：

  1. CLIP在“知识广度”上占优：由于在海量数据中预训练，CLIP在零样本设置下对许多任务（如宠物分类）表现出远超普通人类受试者的知识储备，这是一个令人印象深刻的成就。
  2. 人类在“学习效率”上领先：人类展示出从极少数示例中快速学习新概念的非凡能力，这凸显了当前机器学习（包括CLIP）在样本效率和灵活的知识整合与更新方面仍存在根本性差距。
  3. 二者互为补充的评估视角：错误的一致性表明，CLIP的某些失败可能源于任务的客观困难，而非模型缺陷。同时，人类的学习模式为未来改进少样本学习算法提供了灵感：如何让模型像人类一样，在强大先验的基础上，进行快速、精准的概念更新？

这项工作不仅量化了CLIP与人类的相对性能，更重要的是，它揭示了迈向更通用、更高效人工智能的下一步关键挑战：如何将大规模预训练获得的知识与人类级别的样本效率和概念学习能力结合起来。

5. 数据重叠分析

✅ 原文翻译：

在一个非常大的互联网数据集上进行预训练时，一个值得关注的问题是可能无意中与下游评估数据存在重叠。这一点很重要，因为在最坏的情况下，一个评估数据集的完整副本可能会泄露到预训练数据集中，从而使评估失去作为泛化能力有意义测试的价值。防止这种情况的一种选择是在训练前识别并移除所有重复项。虽然这保证了报告真实的保留性能，但它需要提前知道模型可能评估的所有数据。这样做的缺点是限制了基准测试和分析的范围。添加新的评估将需要昂贵的重新训练，或者由于重叠而面临报告未量化收益的风险。

因此，我们记录发生了多少重叠以及由于这些重叠导致的性能变化。为此，我们使用以下步骤：

  1. 对于每个评估数据集，我们对其样本运行一个重复检测器。然后手动检查找到的最近邻，并设定每个数据集的阈值，以在最大化召回率的同时保持高精度。使用此阈值，我们创建两个新的子集：重叠（包含与训练样本相似度高于阈值的所有样本）和干净（包含相似度低于此阈值的所有样本）。我们将未修改的完整数据集记为全部以供参考。我们首先记录数据污染的程度，即重叠子集中的样本数量与全部数据集大小的比率。
  2. 然后，我们计算CLIP RN50x64在三个划分上的零样本准确率，并报告 全部 - 干净 作为我们的主要指标。这是由重叠导致的准确率差异。当它为正值时，是我们估计的由于对重叠数据的过拟合而导致整个数据集报告准确率的膨胀程度。
  3. 由于重叠量通常很小，我们还进行了二项式显著性检验：我们将干净子集上的准确率作为零假设，并计算重叠子集的单侧（更大）p值。我们还计算了重叠子集的99.5% Clopper-Pearson置信区间作为另一项检查。

该分析的摘要如图17所示。在研究的35个数据集中，有9个数据集完全没有检测到重叠。这些数据集大多是合成或专业领域的，不太可能作为普通图像发布在互联网上（例如MNIST、CLEVR和GTSRB），或者由于包含我们数据集创建日期之后的新数据而保证没有重叠（ObjectNet和Hateful Memes）。这表明我们的检测器具有较低的误报率，这很重要，因为误报会低估我们分析中污染的影响。重叠率的中位数为2.2% ，平均为3.2% 。由于重叠量小，总体准确率很少偏移超过0.1%，只有7个数据集超过此阈值。其中，只有2个在经过Bonferroni校正后具有统计显著性。检测到的最大提升仅为0.6% （在Birdsnap上，其重叠率为12.1%）。最大的重叠发生在Country211，为21.5% 。这是因为它构建自YFCC100M，而我们的预训练数据集包含了YFCC100M的一个过滤子集。尽管重叠率如此之高，但Country211的准确率仅增加了0.2%。这可能是因为训练中伴随示例的文本通常与下游评估所测量的特定任务无关。Country211测量地理定位能力，但检查这些重复样本的训练文本发现，它们通常不提及图像的位置。

🔍 要点解读：

核心要点详细说明
1. 问题的严重性与应对策略在互联网规模数据上预训练，数据污染（训练集与测试集重叠）是不可避免的严重问题，可能导致性能评估虚高，无法反映真实泛化能力。CLIP没有选择“绝对纯净”但成本极高且不灵活的事前去重方案，而是采用更务实的事后量化分析，透明地报告重叠程度及其影响。
2. 重复检测器的设计与挑战论文发现，使用CLIP自身的语义嵌入空间进行相似度检测并不理想，因为它对语义相似（如“两只不同的猫”）而非像素/结构相似过于敏感，导致误报和漏报。因此，他们专门训练了一个针对视觉相似性的重复检测器，通过大量数据增强（裁剪、缩放、压缩、色彩抖动等）来学习鲁棒的图像相似性，保证了检测的准确性。
3. 主要分析结果- 重叠率普遍很低：中位数仅2.2%，表明严重的完全拷贝泄露并非普遍现象。 - 对性能影响极小：绝大多数数据集上，重叠导致的准确率膨胀不超过0.1% 。仅有2个数据集的影响在统计上显著。 - 最大影响的案例分析：即使在重叠率高达21.5%的Country211数据集上，准确率也仅虚高0.2%。原因是：任务不匹配——训练时的配对文本（如“一张风景照”）并未包含评估所需的地理位置信息，因此模型无法从重叠中“学到”答案。
4. 分析的意义与局限性- 增强结论可信度：该分析强有力地证明，CLIP在众多数据集上报告的卓越零样本性能主要来源于真实的泛化能力，而非数据泄露。 - 为社区建立方法：提供了一套系统量化数据污染影响的方法论。 - 承认局限性：检测器并非完美（可能存在未检出的重复），且“重叠”与“干净”子集间可能存在除重叠外的分布差异，这些都可能影响分析的精确性。但总体结论是稳健的。
5. 与先前工作的结论一致该结果与Mahajan等人（2018）和Kolesnikov等人（2019）在大规模预训练中的发现一致，即虽然存在少量重叠，但对整体性能排名和结论影响甚微，验证了CLIP分析方法的可靠性。

📌 本节总结：

数据重叠分析是确保CLIP评估结果严谨性和可信度的关键质量检查环节。通过构建专门的重复检测器并进行细致的量化分析，论文得出了核心结论：在互联网规模数据上预训练虽然无法避免与下游评估集的少量重叠，但这种重叠对CLIP报告的零样本性能影响微乎其微（通常<0.1%）。

这项工作表明，CLIP所展现的强大泛化能力是真实的，并非由数据泄露所驱动。同时，它也为大模型时代如何负责任地评估模型性能、如何透明地处理和分析不可避免的数据污染问题，提供了一个重要的方法论范例。

6、CLIP的优势与局限性

✅ 原文翻译（综合整理）：

CLIP 展现出多项关键优势，使其成为一种新颖且强大的视觉表征学习范式：

  1. 高效的零样本迁移能力：CLIP 无需下游任务任何标注数据，即可在广泛任务上达到有竞争力的性能，为开放世界视觉感知提供了灵活接口。
  2. 卓越的可扩展性：模型性能随计算量、数据规模和模型容量的增加而平滑、可预测地提升，遵循清晰的扩展定律，为后续改进指明了方向。
  3. 从自然语言中获取的丰富监督：相比固定类别标签，自然语言提供了更广泛、更细粒度的监督信号，使模型能够学习更通用的视觉概念和更鲁棒的表征。
  4. 强大的多任务涌现能力：在预训练中，模型自发地学习了包括 OCR、地理定位、动作识别、细粒度分类等在内的多种任务，证明了其学习能力的广度。
  5. 增强的分布外鲁棒性：零样本 CLIP 在自然分布偏移测试中表现出比同等精度的监督 ImageNet 模型更强的鲁棒性，说明其更少依赖特定数据集的虚假相关性。

🔍 要点解读：

核心优势内涵与影响
零样本泛化核心突破。通过自然语言这一通用接口，模型能将预训练知识泛化到未见过的任务和概念上，极大降低了应用门槛。
可预测的扩展性性能与规模（数据、算力、模型）呈幂律关系，意味着持续投入能获得稳定回报，为更大规模研究提供了信心。
监督信号的质量与规模自然语言是语义丰富、获取成本极低的监督源。CLIP 成功将互联网规模的弱监督转化为高质量的视觉表征。
多任务统一建模单个模型无需特定结构调整即可应对多种视觉任务，向着通用多模态智能体迈出重要一步。
本质鲁棒性由于训练数据极其多样且任务形式（图文匹配）更接近本质语义理解，模型对分布偏移的敏感性降低。
6.2 局限性分析

✅ 原文翻译（综合整理）：

尽管取得了显著进展，CLIP 仍存在许多局限：

  1. 绝对性能仍有差距：在许多数据集上，零样本 CLIP 的性能仍显著低于经过充分微调的最先进模型。要达到全面领先，估计还需要约 1000倍 的计算增长，这在当前硬件下不切实际。
  2. 对抽象和系统化任务表现不佳：在需要计数、推理距离、解谜等抽象或系统化推理的任务上，CLIP 的零样本性能接近随机水平。
  3. 对真正分布外数据泛化能力弱：例如，在 MNIST 手写数字识别上，CLIP 的零样本准确率（88%）甚至低于在像素上训练的简单逻辑回归模型。这表明其泛化仍严重依赖于预训练数据分布，未能根本解决深度学习的脆性泛化问题。
  4. 数据效率低下：CLIP 依赖海量数据（4亿对）进行训练，未能改善深度学习固有的数据低效问题，只是通过更容易获取的监督形式（文本）来补偿。
  5. 零样本到少样本的性能落差：与人类不同，CLIP 在获得少量标注样本时，性能提升并不显著，有时甚至出现下降。这表明其未能有效整合先验知识与新证据。
  6. 输出形式受限：CLIP 本质上是一个检索/匹配模型，只能从给定的选项中选择，缺乏像图像描述生成那样的创造性和自由输出能力。
  7. 评估方法的潜在偏差：研究中使用了下游数据集的验证集进行多次迭代开发，这可能使零样本评估不那么“纯粹”；且评估数据集的选择可能无意中偏向 CLIP 的优势。

🔍 要点解读：

局限性根源与挑战
计算与性能鸿沟通往人类级别通用视觉的路径仍需巨额计算资源，存在可及性问题。
抽象推理短板当前范式侧重于从关联中学习模式，缺乏显式的逻辑推理和符号操作机制。
分布泛化的根本难题模型仍是在“记忆”并插值训练分布，而非学习可组合的、因果性的视觉基元。
数据饥渴方法并未突破深度学习对数据量的基本依赖，只是改变了数据来源。
知识整合不灵活模型架构与训练目标使其难以像贝叶斯学习者那样动态、高效地更新信念。
交互与生成能力缺失对比学习框架本质上是判别式的，限制了其作为通用智能体与人交互和创造的能力。
评估的循环依赖大模型时代，构建完全独立于训练数据的评估集愈发困难。
7、社会影响与伦理考量

✅ 原文翻译（综合整理）：

CLIP 能够执行任意图像分类任务的能力，使其具有广泛的社会影响。一方面，它可以赋能图像检索、无障碍技术等有益应用。另一方面，它也可能被用于监视、偏见放大等有害场景。

偏见问题：我们的分析表明，CLIP 放大了训练数据中存在的社会偏见。例如，在将人脸图像分类为“罪犯”或“动物”类别时，模型对黑人、年轻人等群体表现出更高的错误率。这些偏见源于训练数据中的不平等呈现和固有的社会偏见。

监视能力的增强：CLIP 的零样本能力使得构建定制化的监视工具（如人员识别、活动分析）变得更加容易，且无需针对性的训练数据，可能降低此类技术的滥用门槛。

责任与治理挑战：由于 CLIP 能够根据任意文本提示创建分类器，其潜在用途难以完全预测和监管。这要求开发者、部署者和政策制定者共同思考如何评估、审计和规范此类通用技术的使用。

未来的研究方向：我们呼吁社区共同致力于：1) 开发更全面的能力与风险评估基准；2) 研究偏见缓解与公平性提升技术；3) 建立透明的模型评估与审计规范。

🔍 要点解读：

伦理维度具体表现与关切
偏见与歧视模型继承了互联网数据中的性别、种族、年龄等偏见，可能导致在招聘、执法等高风险场景中产生歧视性输出。
隐私与监视强大的零样本识别能力可能被用于大规模监控，侵蚀个人隐私，并可能被威权政府滥用。
技术滥用门槛降低无需标注数据即可定制分类器，使恶意行为者更容易开发有害应用。
责任归属模糊由于模型是通用的，其创造者、部署者、使用者在发生危害时的责任难以界定。
环境影响大规模训练带来巨大的碳足迹，引发环境正义的关切。
8、结论与展望

✅ 原文翻译（综合整理）：

本研究探讨了将 NLP 中成功的任务无关、网络规模预训练范式迁移到计算机视觉领域的可能性。我们发现，采用这一“配方”可以在视觉领域催生类似的行为。具体而言，对比性语言-图像预训练（CLIP）  是一种高效且可扩展的方法，能够从自然语言监督中学习高性能的视觉表征。

为了优化其训练目标，CLIP 模型在预训练期间学会了执行多种任务。这种任务学习能力随后可以通过自然语言提示来利用，实现到许多现有数据集的零样本迁移。在足够规模下，这种方法的性能可以与针对特定任务的有监督模型竞争，尽管仍有很大的改进空间。

这项工作为未来研究开辟了多个方向：

  1. 改进零样本和少样本学习：探索更有效的提示设计、知识整合方法，以缩小与监督模型的性能差距。
  2. 结合生成能力：将 CLIP 与生成模型（如图像字幕）相结合，以获得更灵活的输出形式。
  3. 增强抽象与推理能力：研究如何将符号推理和系统化泛化融入此类模型中。
  4. 推进公平与鲁棒性：开发技术以减轻偏见，并提高模型在具有挑战性的分布偏移下的可靠性。
  5. 探索新范式：CLIP 的成功激励了在多模态领域进行更大规模、更统一预训练的探索，例如训练单个模型处理图像、文本、音频等多种输入。

🔍 要点解读：

核心结论对未来研究的启示
范式迁移成功证明了“大规模预训练+提示”范式在视觉领域的可行性，开启了多模态预训练的新时代。
效率与扩展性是关键对比学习是实现高效大规模多模态学习的关键目标函数。未来的模型将继续沿规模扩展。
自然语言作为通用接口语言是连接不同任务和模态的强大工具。未来的通用智能体很可能以语言为核心交互界面。
数据、任务、评估的扩展需要更大规模、更多样化的数据，更丰富的任务定义，以及更全面的评估套件来推动领域发展。
伦理与社会影响不容忽视技术的快速发展必须与对其社会影响的深思熟虑和主动治理同步进行。

📌 全文总结

CLIP 论文提出并验证了一个简单而强大的范式：通过在大规模互联网图像-文本对上进行对比学习，可以训练出能够理解开放世界视觉概念并执行零样本迁移的模型。  其核心贡献在于：

  1. 方法论上：确立了图文对比学习作为高效学习视觉-语言联合表征的黄金标准。
  2. 工程上：成功实施了超大规模（4亿对）训练，并系统研究了其扩展规律。
  3. 能力上：首次系统展示了单一视觉模型在零样本条件下跨越数十个不同任务的强大泛化能力。
  4. 启示上：标志着计算机视觉从封闭集识别向开放世界理解的关键转变，并为多模态通用人工智能（AGI）的研究铺平了道路。

CLIP 不仅是一个高性能的模型，更是一个研究纲领，它指明了通过扩大数据规模、改进模型架构和训练目标来逐步实现更通用视觉智能的清晰路径。同时，它所带来的伦理挑战也提醒我们，在追求能力突破的同时，必须将安全性、公平性和责任置于核心位置。

Q & A

补充
Q：如何将一张图片/一段文字 转换为一个多维的向量呢？
A：

1. 预处理：图片标准化与分块

输入的原始图片（如 512x384 的RGB图片）首先会被调整大小并裁剪成一个固定的正方形尺寸（例如 224x224 像素或 336x336 像素，具体取决于模型版本）。这是为了适应后续神经网络的输入要求。像素值通常会被归一化到 [0, 1] 或 [-1, 1] 的范围内。

2. 特征提取：通过图像编码器主干网络

这是最核心的一步。CLIP 主要实验了两种强大的编码器架构，将标准化后的图像像素矩阵转换为一个丰富的特征表示。

方案A：基于 ResNet 的编码器（改造版）

CLIP 并未使用原始 ResNet，而是进行了几项关键改进：

  • ResNet-D 改进：使用改进的卷积下采样结构，减少信息丢失。

  • 抗锯齿池化：在下采样时加入轻微模糊，使模型对小的平移更鲁棒。

  • 注意力池化（替换全局平均池化） ：这是最重要的一点。在 ResNet 的最后，传统的做法是“全局平均池化”，即对所有空间位置的特征取平均值。CLIP 用一个 单层 Transformer 多头注意力机制 代替了它。

    • 工作原理：模型会生成一个可学习的“查询”向量，让它去“注视”由卷积网络生成的所有空间位置的特征（这些特征作为“键”和“值”）。
    • 效果：模型不再平等对待所有区域，而是可以自适应地、有选择性地聚焦于图像中语义上最重要的部分（比如图中的主体物体），然后将这些信息聚合成一个全局特征向量。
方案B：基于 Vision Transformer 的编码器

这是更现代、在CLIP中表现也更高效的方案。

  1. 图像分块：将 224x224 的图像切割成一系列 16x16（或32x32）的小方块（Patch） 。例如，16x16 的切分会产生 196 个 Patch。

  2. 线性投影：将每个 Patch 展平（16x16x3=768）后，通过一个线性变换层，将其映射为一个低维向量（例如512维）。这个向量被称为  “Patch 嵌入” 。

  3. 添加位置与特殊标记：

    • 在所有 Patch 嵌入序列的最前面，添加一个额外的、可学习的 [CLS] 标记。
    • 为每个 Patch 嵌入加上一个可学习的位置编码，以告知模型各个 Patch 在原始图像中的相对位置。

  4. Transformer 编码：将上述序列（[CLS] 标记 + 196 个 Patch 嵌入）输入到一个标准的 Transformer 编码器中。经过多层自注意力机制和前馈网络的计算，模型能够综合所有 Patch 的信息，进行全局的视觉语义理解。

  5. 提取 [CLS] 标记表征：Transformer 最后一层的输出中，对应 [CLS] 标记的那个向量，被认为是对整个图像内容的“概括性总结” ，被用作图像的初步表征。

3. 映射与归一化：对齐到多模态空间

从上述主干网络（ResNet或ViT）得到的全局特征向量，其维度（如2048维或768维）与文本编码器的输出维度可能不一致。因此，需要将其映射到一个统一的、维度更低的多模态嵌入空间。

  • 线性投影：通过一个简单的线性层（即一个全连接层，无激活函数），将主干网络的输出向量投影到一个固定的维度（如 512维 或 768维）。这个维度就是图像和文本共享的嵌入空间维度。

  • 为什么不用非线性层？  论文中发现，在如此大规模的数据下，线性投影与非线性投影效果相当，且更简洁高效。

  • L2 归一化：对投影后的向量进行 L2 归一化，即让向量的模长变为1。这是关键一步，它确保：

    1. 后续计算余弦相似度时，直接等价于点积运算，计算高效。
    2. 相似度的数值范围被限制在 [-1, 1] 之间，使训练更稳定。
    3. 模型学习的重点是向量的方向（即语义内容），而非其模长（即置信度强度）。

文字：

步骤一：文本分词与编码

  1. 分词：首先，文本被切分成模型能理解的子词单元。

    • 例如，句子被加上特殊标记 [SOS] 和 [EOS]，然后切分成像 [“一只”, “在”, “草地”, “上”, “玩耍”, “的”, “棕色”, “小狗”] 这样的token序列。
    • CLIP使用一个包含约49k个词汇的Byte Pair Encoding分词器。

  2. 转换为ID：每个token被映射到词汇表中对应的数字ID，形成一个数字序列。

  3. 转换为初始向量：每个ID通过一个词嵌入层 被转换成一个固定维度的稠密向量。此时，文本变成了一个 [序列长度, 嵌入维度] 的矩阵。

步骤二：通过Transformer编码器进行特征提取

这是最关键的一步。CLIP的文本编码器是一个Transformer模型（具体是GPT风格的简化版Transformer，只使用编码器部分）。

  1. 添加位置信息：由于Transformer本身不考虑词序，需要为每个词向量加上位置编码，以保留单词在句子中的顺序信息。

  2. 多层自注意力与前馈网络：

    • 这个嵌入矩阵会输入到多层的Transformer块中。
    • 每一层中，自注意力机制 让模型能够根据上下文动态地“理解”每个词。例如，它会学习到“小狗”是“玩耍”的主语，“棕色”是修饰“小狗”的。
    • 通过层层传递和抽象，模型从原始的单词信息中提取出整个句子的全局语义信息。

步骤三：提取“整体表示”并投影到多模态空间

  1. 获取 [EOS] 标记的特征：在Transformer的输出中，对应 [EOS]（句子结束）标记位置的向量，被视作整个输入文本的聚合表示。这个向量浓缩了整个句子的语义。

  2. 线性投影：这个 [EOS] 向量会通过一个特定的线性投影层。

    • 为什么需要这一步？  这是CLIP对比学习训练的关键。CLIP的训练目标是让匹配的图片-文本对的向量在同一个高维空间中尽可能接近，而不匹配的对尽可能远离。
    • 图片编码器（Vision Transformer）也会产生一个图片特征向量。
    • 这个线性投影层的作用，就是将文本特征映射到与图片特征共享的同一个语义空间。训练完成后，这个空间中的向量可以直接进行比较（例如计算余弦相似度）。

步骤四：归一化（可选但标准）

为了使相似度计算更加稳定和有效，CLIP通常会对最终输出的文本向量和图片向量进行 L2 归一化。即将向量的长度缩放到1，只保留方向信息。此时，相似度直接由两个向量的点积或余弦相似度决定。

关键

  • 对比学习是灵魂： 整个文本编码器的参数（包括Transformer和投影层）都是在与图片编码器的对比损失 中学习到的。模型从未被直接要求“理解”文本，而是被训练去判断“这段文字是否描述那张图。通过完成这个任务，它被迫学会了强大的语义表示。
  • 向量是“语义坐标” ： 你可以把最终的512维向量想象成在一个高维语义空间中的一个点的坐标。语义相似的文本（如“小狗”和“宠物狗”）在这个空间中的坐标会非常接近。
  • 与图片编码器的对称性： 图片编码器（ViT或ResNet）也经过一个完全对称的过程：图片 -> 分块 -> 嵌入 -> Transformer/CNN -> 特征提取 -> 线性投影 -> 归一化 -> 图片向量。最终，文本和图片在同一个空间相遇。

Q：如果一段文字中包含多个特征，图片只满足了部分特征，该文字的匹配率也会很高？

A：

1. 训练目标的本质：整体语义匹配，而非细粒度验证

CLIP的训练目标很简单：让匹配的（图像，文本）对的嵌入向量尽可能靠近。它不要求模型去精确验证文本中的每个形容词、名词或子句是否都在图像中出现。

  • 模型学到的是一种“统计相关性”或“主题一致性” 。例如，如果训练数据中大量出现描述为“一只白色的小猫在沙发上玩耍”的图片，模型会学会将“白色”、“小猫”、“沙发”、“玩耍”这些概念关联起来，并形成一个综合的语义表示。
  • 当面对一张只有“一只白色的小猫在沙发上（但没有玩耍）”的图片，以及文本“一只白色的小猫在沙发上玩耍”时，模型计算的相似度可能依然会很高，因为核心主题（白色小猫在沙发上）高度匹配，而缺失的次要特征（“玩耍”这个动作）可能不足以将整个文本向量的方向拉离图像向量太远。

2. 注意力机制的作用：聚焦于显著特征

无论是ViT还是带注意力池化的ResNet，CLIP的图像编码器都具备注意力机制。它会自动学习聚焦于图像中最显著、信息量最大的区域。

  • 文本编码器同理：Transformer也会对文本中的不同词语赋予不同的注意力权重。
  • 这意味着，如果文本中的主要特征（如主体对象“小猫”）与图像完美匹配，而次要的、修饰性的特征（如“玩耍”）不匹配，模型在计算整体相似度时，主要特征的权重会更高，从而导致最终相似度依然偏高。

3. 训练数据的“噪声”使模型具备容忍度

CLIP在4亿个从互联网爬取的（图像，文本）对上训练。这些文本描述通常是不精确、带有主观性甚至包含错误的。例如：

  • 一张猫坐着的图，可能被配文“可爱的猫在跑”。
  • 一张有狗有公园的图，可能被简单描述为“在公园里”。

因此，CLIP从训练之初就被迫学会处理这种“部分匹配”和“噪声” 。它学到的不是严格的逻辑蕴含关系（“文本中所有描述都必须被图像满足”），而是一种更宽松的、基于共现概率的语义关联。

CLIP的相似度评分是一个连续的、概率性的度量，而不是二元的“匹配/不匹配”。对于“文字包含多个特征，图片只满足部分”的情况：

  • 如果满足的是核心、显著的特征，相似度可能依然很高。
  • 如果未满足的特征是关键的区别性特征，相似度会降低。
  • 如果未满足的特征是次要的、修饰性的，相似度受影响较小。

这种特性使得CLIP非常适用于图像检索、零样本分类等需要语义关联性的任务，但在需要严格、细粒度验证的场景（如“图片是否精确满足所有文字要求”）中，可能需要更专门的模型或额外的推理步骤。

avatar
文章
阅读
粉丝