神话
一个基于“整个互联网”训练的模型将无所不知。
现实
即使网络规模庞大，如果特定类型的逻辑或学术数据在数万亿个令牌中代表性不足，模型也可能存在明显的盲点。
机器学习数据战略人工智能开发数据质量
模型性能中数据多样性与数据集大小的关系
2026 年构建高性能模型往往需要在数据量和数据多样性之间做出选择。虽然更大的数据集允许更复杂的架构并减少过拟合，但高度的数据多样性可以确保模型能够真正应对现实世界中不可预测的复杂情况，而不会在极端情况下出错。
亮点
- 数据集的大小是引擎，而多样性是方向盘。
- 在创意任务中，小型、多样化的数据集往往比庞大、重复的数据集更有优势。
- 现代模型的发展趋势是，2026 年的模型将从“更多的数据”转向“更好的数据”。
- 大型数据集中的冗余是造成训练计算资源浪费的主要原因。
数据集大小是什么？
用于训练机器学习模型的唯一示例或标记的总数。
- 海量数据集对于训练深度神经网络等高容量模型至关重要，可以防止模型简单地记忆训练点。
- “金吉拉缩放定律”表明，为了获得最佳计算效率，模型大小和数据大小应该按相同的比例增加。
- Common Crawl 是 LLM 的主要工具，现在可提供 PB 级数据，但其中很多数据需要进行严格的过滤才能使用。
- 增加样本数量有助于模型更好地估计基础数据分布的“平均”行为。
- 通常情况下，更大的数据集会在标准化基准测试中带来更好的性能，其中测试数据与训练数据相对应。
数据多样性是什么？
训练数据中涵盖了各种不同的场景、风格和极端情况。
- 多样性是防止生产环境中出现“灾难性遗忘”和算法偏见的主要防御手段。
- 规模较小、高度多样化的数据集通常比规模较大、重复性高的数据集表现更好，因为它能让模型接触到更多独特的逻辑模式。
- 合成数据生成等技术正被越来越多地用于注入原始网络抓取所缺乏的多样性。
- 像“The Pile”这样的精选语料库将学术论文、代码和书籍结合起来，迫使模型学习多领域推理。
- 高多样性使得模型能够泛化到训练过程中未明确涵盖的“零样本”任务。
比较表
| 功能 | 数据集大小 | 数据多样性 |
|---|---|---|
| 主要关注点 | 统计显著性和稳定性 | 泛化能力和鲁棒性 |
| 模型目标 | 降低方差和噪声 | 扩展模型的“已知”世界 |
| 关键指标 | 令牌数/行数 | 语义覆盖率/异常值密度 |
| 主要风险 | 收益递减和高昂的计算成本 | 如果品种选择不当，则会导致结果不一致。 |
| 采购 | 自动刮取和散装收集 | 专家策展和合成增强 |
| 非常适合 | 稳定、可预测的环境 | 动态的、实际的应用 |
详细对比
规模定律与质量上限
多年来，业界一直奉行“多多益善”的信条。虽然增加数据集规模确实能让模型捕捉到更细微的差别，但我们正面临收益递减的瓶颈，再增加十亿条重复的网页文本对准确率的提升微乎其微。多样性则扮演着倍增器的角色；通过引入新的域名或风格，无需指数级增长存储空间，就能有效提升性能上限。
野外泛化
如果模型是基于庞大但单一的数据集（例如数百万张在明亮日光下拍摄的照片）训练的，那么它在夜间场景下的表现就会始终不佳。而多样性正是解决这一问题的关键。通过优先考虑光照、角度和场景的多样性，而非单纯追求数量，开发者可以构建出不仅能“记忆”世界，而且真正理解其内在规律的模型。
对抗偏见和幻觉
数据集的大小在偏见问题上可能是一把双刃剑。如果一个大型数据集主要由单一视角构成，模型就会极力强化这种狭隘的观点。相反，以多样性为先的方法会主动寻找代表性不足的数据点，这是减少偏差、确保模型对全球用户仍然有用的关键步骤。
策展的成本
管理海量数据集主要是一个硬件和流水线工程问题，涉及分布式存储和快速 I/O。然而，确保数据多样性却是一个以人为本的工程挑战。它需要领域专家识别缺失的数据，并运用“智能采样”或合成生成等技术来填补这些空白。虽然这种方法通常每字节成本更高，但每次洞察的价值也更高。
优点与缺点
数据集大小
优点
- + 稳定的统计平均值
- + 允许更大的模型
- + 更容易实现自动化
- + 已验证的扩展路径
继续
- − 高计算能耗
- − 收益递减
- − 更高的仓储成本
- − 可能掩盖偏见
数据多样性
优点
- + 更优的泛化能力
- + 减少幻觉
- + 处理特殊情况
- + 更小的存储占地面积
继续
- − 难以找到
- − 需要专家策划
- − 数据不一致的风险
- − 更难衡量
常见误解
神话
添加更多数据总能修复失效的模型。
现实
如果一个模型在处理某个特定的推理任务时遇到困难，添加更多相同的数据通常不会有帮助；你可能需要注入特定类型的多样化“推理”数据来弥补差距。
神话
合成数据只是“假的”，会损害性能。
现实
2026 年，合成数据经常被策略性地用于提供真实世界数据集所缺乏的多样性，例如罕见的安全场景或复杂的数学证明。
神话
GPU成本的唯一重要指标就是尺寸。
现实
虽然较大的数据集需要更长的处理时间，但极其多样化的数据集可能需要更多的训练轮次，模型才能成功“消化”其多样性，这也会影响成本。
常见问题解答
对于预算有限的小型创业公司来说，哪一点更重要？
对于初创公司而言，数据多样性几乎总是更明智的投资。你可能无法在原始数据量或计算能力上超越科技巨头，因此，你的竞争优势在于拥有更高质量、更多样化的、针对你特定领域的定制数据。这使你能够创建专门的模型，比通用的大型模型更能有效地处理独特的行业案例。
过多的多样性真的会损害模型的性能吗？
是的，如果多样化的数据过于嘈杂或相互矛盾，就可能导致所谓的“概念漂移”，或者仅仅是让模型变得混乱。如果多样性包含太多缺乏清晰模式的相互冲突的例子，模型可能难以收敛到稳定的答案。我们的目标是“结构化多样性”——用不同的方式展现同一个真理，而不是随机的混乱。
如何衡量数据集的“多样性”？
衡量数据多样性比衡量数据大小（以GB为单位）要困难得多。工程师通常使用“语义密度”或“嵌入分析”来评估数据对不同概念的覆盖程度。通过将数据映射到向量空间，可以观察数据是集中在一个区域（低多样性）还是分散在整个空间（高多样性）。
有可能达到100%的多元化吗？
严格来说，答案是否定的，因为现实世界是无限的，而且瞬息万变。然而，我们的目标并非完美，而是“充分覆盖”。我们需要足够的多样性，这样当模型遇到新事物时，就能将其与已知的事物联系起来。关键在于构建一个强大的模式库，而不是绘制一幅完美的现实地图。
最近研究人员为什么都在谈论“去重”？
去重是指从数据集中移除相同或几乎相同的条目。事实证明，在庞大的数据集中出现 10,000 次相同的句子实际上会损害模型，因为它会学习“鹦鹉学舌”式的重复语句，而不是学习新的内容。通过去重，可以减小数据集的大小，同时通过确保每个词元都发挥作用来有效地增加多样性。
数据多样性有助于提高人工智能安全性吗？
没错。安全训练依赖于让模型接触各种各样的“对抗性”样本——本质上就是想方设法欺骗它。如果安全数据不够多样化，用户就可能找到一种略微不同的方式提出有害问题，而模型尚未接受过识别此类问题的训练。
“金吉拉”规则在数据选择中仍然适用吗？
金吉拉规则可以很好地帮助你估算特定参数数量所需的数据总量，但它并没有告诉你这些数据应该是什么。现代团队会利用这条规则进行数据量预算，同时使用“数据筛选器”来确保他们使用的每一GB数据都尽可能多样化且高质量。
我能否利用多样性来减少模型的计算量，从而训练出一个更高效的模型？
没错，这正是2026年的最大趋势之一。通过使用规模只有大型数据集十分之一但多样性却与之不相上下的“精选”数据集，通常可以用更少的电力和时间达到相同的性能水平。这种“以数据为中心”的方法正是开源模型如今能够与行业巨头竞争的主要原因。
裁决
如果你正在处理像预测信用评分这样定义明确、稳定的任务，那么应该优先考虑数据集的大小，以便捕捉每一个统计细微差别。但是，如果你正在构建一个需要推理或与人互动的AI，那么多样性才是你创建模型时最宝贵的资产，它能确保模型在遇到新情况时不会崩溃。
相关比较
OKR中的领先指标与滞后指标
要驾驭绩效追踪的世界，必须牢牢掌握领先指标和滞后指标。滞后指标确认已经发生的事情，例如总收入；而领先指标则作为预测信号，帮助团队实时调整策略，以实现远大目标。
背景与统计数据
理解背景与统计数据之间的相互作用是高水平分析的标志。统计数据为群体中发生的情况提供了一个严谨的数学框架，而背景则为其增添了至关重要的实质内容，解释了这些模式存在的原因以及哪些具体情况影响了最终的数字。
被动监测与预测性监测
选择合适的系统健康策略往往取决于时机。被动式监控会在事件发生后立即向团队发出警报，以最大限度地减少持续停机时间；而预测式监控则利用历史数据模式和机器学习技术，在潜在的资源耗尽或故障影响用户之前就发出预警。
充分简化与完全数据复杂度
在现代分析中，如何在充分降维和保留数据全部复杂性之间做出选择是一项基础性决策。降维侧重于去除噪声，在不损失预测能力的前提下提取核心统计信号；而保留复杂性则旨在揭示所有原始细节，从而发现那些细微的概括性描述可能无意中抹去的复杂非线性关系。
充分统计量与原始数据表示
这份技术对比分析了充分统计量和原始数据表示在操作上的差异。原始数据保留了所有观测到的细微差别，而充分统计量则将数据集压缩成紧凑的形式，同时又不丢失估计模型参数所需的任何信息。