偏好学习直接预测机器学习排行监督式学习人工智能rlhf推荐系统

偏好建模与直接预测建模

偏好模型学习不同选项之间的相对排名和选择，而直接预测模型则根据输入特征估计绝对结果。这两种人工智能范式在决策过程的表征方式上存在根本差异：偏好模型擅长捕捉人类的判断，而直接预测模型则致力于获得精确的点估计值。

亮点

偏好模型在人类自然而然进行比较而非评分的领域表现出色，从而降低了主观领域的标注成本和噪声。
直接预测能够提供经过校准的概率，这对于医疗保健和金融领域在不确定性下进行决策至关重要。
RLHF 已将偏好建模作为使大型语言模型与人类意图保持一致的主导范式。
直接预测需要明确的目标标签，而偏好模型则通过相对比较来学习，无需了解真实值。

偏好建模是什么？

学习选项之间的相对排名和成对偏好，而不是绝对值。

偏好模型起源于计量经济学，最早可追溯到20世纪50年代的布拉德利-特里配对比较模型。
现代实现通过 RLHF 为推荐系统、搜索排名和大型语言模型对齐提供支持。
这些模型需要的是比较数据（A 与 B），而不是标明的绝对结果，这使得数据收集变得独特。
Plackett-Luce 模型和 Borda 计数法将成对比较方法扩展到了完整的排序场景。
偏好学习是ChatGPT和Claude等系统中宪法人工智能和奖励建模的基础。

直接预测建模是什么？

使用监督学习，直接从输入特征预测绝对目标值或分类。

直接预测包括回归、分类和神经网络方法，这些方法将输入映射到输出。
均方误差和交叉熵损失是训练的主要指标，旨在优化单点精度指标。
这些模型构成了医疗保健、金融和自主系统等领域传统机器学习的基石。
在此范式中，特征工程和表征能力直接限制了预测质量。
随机森林和梯度提升等集成方法代表了先进的直接预测技术。

比较表

功能	偏好建模	直接预测建模
核心目标	了解项目之间的相对排名	预测绝对输出值
训练数据格式	成对比较、排名或选择数据	带有真实标签的已标注输入输出对
损失函数	成对损失、铰链损失或排序损失（例如，BPR、RankNet）	均方误差 (MSE)、平均绝对误差 (MAE)、交叉熵或 Huber 损失
输出结果解读	得分或概率表明 A 项优于 B 项。	类上的点估计或概率分布
典型应用	推荐、搜索排名、RLHF、联合分析	预测、诊断、图像识别、回归任务
校准要求	通常需要校准才能映射到绝对概率	自然地生成经过校准且评分恰当的概率
数据效率	主观判断通常更有效；人类更容易进行比较而非绝对评分。	需要明确的标签；对于罕见事件，可能需要大量数据。

详细对比

基本学习目标

偏好建模的根本在于探究“哪个更好？”，而非“价值几何？”。这种转变彻底改变了模型获取信息的方式。直接预测追求的是真实标签，而偏好建模追求的是相对判断的一致性。在实践中，这意味着偏好模型可能永远无法得知一部电影的绝对质量，但它可以可靠地判断用户更喜欢《教父》而不是《吉利》。

数据收集和标注负担

人类很难始终如一地给出绝对分数。如果你让别人给一家餐厅打分（1-5星），得到的答案往往杂乱无章。但如果让他们在两家餐厅中做出选择，结果就会清晰得多。偏好建模正是利用了这种认知上的怪癖。直接预测需要成本更高、通常也更嘈杂的绝对标签，不过最近的研究表明，合成偏好数据可以缩小这种差距。

模型架构和训练动态

直接预测模型通常将特征输入到标准架构，最终输出到单个输出头。偏好模型通常使用双编码器或孪生架构来联合处理成对特征，但现代实现越来越多地使用带有特殊提示的单个模型。Bradley-Terry 模型及其神经变体创建隐式效用函数来生成排名，这种结构上的差异在直接预测模型中并不存在。

评估指标和成功标准

直接预测的成败取决于准确率、均方根误差 (RMSE) 或 F1 值——我们是否击中了目标？偏好模型则使用肯德尔 tau 系数、NDCG 值和成对准确率来衡量预测结果。这些指标反映了不同的失效模式。一个 RMSE 值极佳的直接预测模型可能仍然无法对备选方案进行准确排序，而一个排序完美的偏好模型却无法揭示绝对值的大小。

现代人工智能中的对齐与安全

RLHF（随机游走式高斯函数）在语言模型领域的革新，使偏好建模成为关注焦点。直接预测难以捕捉“有益且无害”这一目标——因为没有标准答案标签。相比之下，偏好建模能够引发人们对哪种回应更优的判断，从而无需明确定义价值即可实现价值一致性。这种区别塑造了当前人工智能安全研究的方向。

优点与缺点

偏好建模

优点

+ 能够自然地处理主观判断。
+ 减轻标注负担
+ 无需显式值即可实现对齐
+ 适用于反馈稀疏的情况

继续

− 没有绝对的尺度可以保证
− 需要仔细抽取配对样本。
− 可以放大多数人的偏好
− 更难进行概率校准

直接预测建模

优点

+ 自然校准的输出
+ 成熟的理论基础
+ 直接优化目标指标
+ 丰富的工具和库

继续

− 昂贵的绝对标签
− 难以应对主观目标
− 对标签噪声敏感
− 仅限于对齐任务

常见误解

神话

对于大多数任务而言，偏好建模和直接预测是可以互换的。

现实

结构上的差异至关重要。基于成对数据训练的偏好模型无法直接输出绝对值，需要额外的校准步骤。反之，强行将直接预测应用于排序任务通常会降低基于偏好数据原生训练的模型的性能。

神话

偏好建模仅对推荐系统有用。

现实

推荐系统使这些方法得以普及，而偏好建模如今已成为语言模型、医疗方案排序乃至机器人领域中RLHF（反向传播高斯函数）的主要驱动力。这种范式的应用范围远远超出产品推荐，扩展到任何相对判断能够捕捉重要结构的领域。

神话

直接预测根本无法产生排名。

现实

任何直接预测模型都可以通过对每个项目进行单独评分并排序来生成排名。然而，这种间接方法通常不如直接基于偏好数据训练的模型，尤其是在绝对值存在噪声或排名任务涉及细微差别时。

神话

偏好建模需要比直接预测更多的数据。

现实

情况往往恰恰相反。人类更容易做出比较性判断，也更倾向于做出一致性判断，而非绝对评分，这意味着偏好数据的收集速度更快，且每次判断的噪声更小。总体标注负担通常也使得主观任务更适合采用偏好方法。

神话

RLHF 使用纯粹的偏好建模，没有任何直接预测成分。

现实

现代RLHF流程实际上结合了这两种范式。偏好模型（奖励模型）提供排名信号，但底层语言模型通常使用直接预测（下一个词元预测）进行预训练。最终的系统是混合架构，而非纯粹的偏好架构。

常见问题解答

机器学习中的偏好建模是什么？

偏好模型是一种机器学习方法，它基于比较数据而非绝对标签来学习对不同选项进行排序或选择。偏好模型并非预测某部电影的评分为 4.5 星，而是学习用户更喜欢哪部电影。这些模型为推荐引擎、搜索结果排名提供支持，并且越来越多地用于通过 RLHF 等技术实现大型语言模型的对齐。

直接预测与基于偏好的方法有何不同？

直接预测使用带标签的示例将输入特征直接映射到目标输出——例如根据房屋面积预测房价或根据症状诊断疾病。而基于偏好的方法则不会遇到绝对目标；它们从“A 比 B 好”之类的陈述中学习。这意味着直接预测提供的是实际的数字或类别，而偏好建模提供的是排序和相对判断。

何时应该使用偏好模型而不是直接预测？

当问题涉及主观品质、人类判断或难以量化的价值观时，偏好建模是理想之选。它适用于需要使人工智能系统与人类偏好保持一致、对搜索结果进行排序或推荐产品的情况。而当需要校准后的概率用于决策、存在且重要的真实情况，或者目标本身就是数值型的（例如预测需求或分子特性）时，直接预测则更为有效。

能否将直接预测模型转换为偏好模型？

理论上可以，但结果各不相同。一种常见的方法是先训练一个直接预测模型，然后利用其输出生成合成的成对比较数据，用于偏好训练。另一种方法，称为“成对”或“对决”模型，则将成对数据输入到同一架构中，学习偏好头。然而，基于偏好数据从头开始训练的模型通常优于转换后的模型，尤其是在区分细微差别方面。

偏好建模中主要使用哪些算法？

经典方法包括用于成对比较的 Bradley-Terry 模型和用于完整排序的 Plackett-Luce 模型。在现代深度学习中，RankNet、LambdaRank 和 LambdaMART 多年来一直主导着排序学习领域。如今，RLHF 中的神经偏好模型通常采用 Bradley-Terry 公式，并结合大型 Transformer 骨干网络，优化人类偏好判断的交叉熵损失。

RLHF 被认为是偏好建模还是直接预测？

RLHF本质上是一个偏好建模系统，尽管它也封装了直接预测组件。RLHF中的奖励模型基于人类对不同输出的偏好比较进行训练。然而，其底层语言模型采用直接预测（下一个词元预测），最终的策略优化则使用强化学习。因此，它是一种混合架构，其中偏好建模提供了关键的对齐信号。

偏好建模的局限性是什么？

偏好模型本身并不产生绝对值——你知道A比B好，但不知道好多少。它们会继承并放大偏好提供者的偏见。策略性或不一致的人工评分者会造成噪声。选择要比较的配对本身也成为一个优化问题；比较的配对太少，会遗漏结构；比较的配对太多，标注成本就会飙升。

如何评估偏好模型？

排名指标占据主导地位：肯德尔tau系数和斯皮尔曼rho系数衡量与真实排名的相关性；NDCG根据位置重要性对排名进行加权；成对准确率则简单地询问有多少比例的对被正确排序。在RLHF（随机游走式预测）的背景下，研究人员还会使用与基线相比的胜率以及对输出质量的人工评估。与直接预测不同，没有一个单一的指标可以涵盖所有方面。

偏好模型可以同时处理两个以上的项目吗？

当然，不过情况会更复杂。Plackett-Luce 模型将 Bradley-Terry 模型扩展到了完整的排序问题。像 ListNet 这样的列表式方法针对的是整个有序列表，而不是逐对元素进行优化。在实践中，许多系统为了便于计算，会将多元素问题分解为多个成对比较问题，但这会牺牲一些统计效率。

哪些行业最能从直接预测建模中受益？

在任何需要精确量化估算来驱动决策的领域，金融服务业都利用直接预测进行信用评分和欺诈检测；医疗保健业将其应用于疾病进展和诊断预测；制造业依靠它进行需求预测和预测性维护；气候科学则利用它进行天气和长期气候预测。这些领域的共同点在于：它们都具有可衡量的结果，并且都非常重视经过校准的不确定性。

偏好模型比直接预测模型更节省数据吗？

通常情况下确实如此，但情况比较复杂。对于主观任务，人类能够做出比绝对评分更清晰的比较判断，因此每次标注可以获得更多信息。然而，可能的配对总数呈二次方增长，因此覆盖偏好空间可能需要大量数据。当人类能够轻松进行比较，且主动学习能够选择信息丰富的配对时，效率提升最为显著。

什么是 Bradley-Terry 模型？它对偏好建模有何重要意义？

布拉德利-特里模型由统计学家拉尔夫·布拉德利和米尔顿·特里于1952年提出，该模型为每个项目分配一个潜在的强度或技能参数，然后将一个项目胜过另一个项目的概率建模为它们强度差异的逻辑函数。它之所以重要，是因为它为大多数现代偏好模型提供了数学基础。RLHF中使用的神经网络变体本质上是这一核心思想的深度学习实现，并扩展到了文本等高维输出。

裁决

当相对判断自然而然、绝对标签成本高昂或不可行，或者需要使系统与人类价值观保持一致时，应选择偏好模型。当精确的定量估计至关重要、存在真实值，或者下游决策需要校准概率时，直接预测仍然更胜一筹。许多生产系统现在都混合使用了这两种方法。