Comparthing Logo
人工智能机器学习数据科学模型训练深度学习

训练中的数据质量与数据数量

在机器学习中，数据质量和数据数量都会影响模型性能，但它们的作用方向却截然不同。质量指的是训练数据的清洁度、相关性和标注质量，而数量则侧重于数据的整体规模。通常情况下，平衡两者才能获得最佳结果，但越来越多的研究表明，数据质量往往更为重要。

亮点

  • 针对特定任务，注重质量的数据集可以优于规模更大、噪声更大的数据集。
  • 尺度定律表明，随着数据量的增加，模型性能会按预期提高。
  • 标签准确率对最终模型性能的影响通常比数据集大小更大。
  • 最佳平衡取决于模型是专才模型还是通才模型。

数据质量是什么？

衡量机器学习模型训练数据的清洁度、准确性、相关性和标记质量的指标。

  • 高质量数据具有一致的标记性、无噪声，并且能够代表模型需要解决的问题领域。
  • 谷歌和斯坦福大学的研究表明，规模较小、精心整理的数据集在特定任务上可以胜过规模庞大、噪声较大的数据集。
  • 质量涵盖所有数据点的准确性、完整性、一致性、及时性和有效性。
  • 数据清洗、去重和对抗过滤等技术可以在训练开始之前提高数据质量。
  • 标签质量至关重要——错误标记的示例可能会教会模型错误的模式，对性能的损害甚至超过数据缺失。

训练中的数据量是什么？

用于训练机器学习和深度学习模型的数据集的总容量或大小。

  • 像 GPT-4 和 PaLM 这样的大型语言模型，都是用从公共网络抓取的数千亿个词元进行训练的。
  • OpenAI 和 DeepMind 的缩放定律研究表明，随着数据集大小的增加，模型性能会以可预测的方式提高。
  • 数量使模型能够学习罕见模式、边缘案例以及各种语言或视觉表示。
  • 更大的数据集通过在训练过程中让模型接触更多样化的例子来减少过拟合。
  • 收集和处理海量数据集的成本很高，通常需要分布式计算基础设施和数月的处理时间。

比较表

功能 数据质量 训练中的数据量
定义 培训示例的清晰度、准确性和相关性 可用于训练的示例总数
主要收益 从具有代表性的无噪声数据中获得更好的泛化能力 来自不同示例的更广泛的模式覆盖
成本 标签和清洁工作需要大量人力。 高昂的计算和存储基础设施成本
对过拟合的影响 通过精确信号减少过拟合 通过数据多样性减少过拟合
可扩展性 难以规模化——需要专家审核 通过网络爬虫和自动化更容易扩展
测量 错误率、标签一致性、完整性评分 样本数、标记数或字节数
最适合 医学或法律等专业领域 需要广泛知识的通用模型
忽视风险 模型会从噪声中学习到错误的模式 模型在罕见或未曾见过的情况下会失效。

详细对比

核心理念

数据质量将每个训练样本都视为宝贵的，关注它是否能教会模型正确且有用的知识。数据数量则持相反观点，认为足够多的平庸样本最终也能平均成有用的结果。这两种理念各有其道理，现代人工智能研究也越来越倾向于将它们视为互补而非对立的力量。

性能权衡

资源有限时，投资于质量通常比追求数量更能快速见效。一个用 10,000 张高质量医学图像训练的模型，往往优于一个用 100 万张噪声图像训练的模型。然而，一旦质量达到合理的阈值，增加样本数量就能持续提升性能——尤其对于那些需要广泛世界知识的基础模型而言更是如此。

成本与实用性

高质量数据成本高昂，因为每个样本都需要人工审核、标注和验证，这通常需要领域专业知识。而数据量的成本则体现在另一个方面——存储和处理PB级信息需要庞大的基础设施。构建生产级人工智能系统的公司通常发现，提高数据质量虽然会增加每个样本的成本，但在小规模应用中却能带来更高的投资回报率。

领域依赖性

在放射学或法律文件审查等特定领域，质量至关重要，因为模型需要精准完成特定任务。而对于通用聊天机器人或图像生成器，数量则更为重要，因为模型必须处理无数的主题和风格。合适的平衡点取决于你构建的是专业型机器人还是通用型机器人。

研究证据

2023 年的“DataComp”基准测试表明，将大型数据集筛选到质量最高的子集，比使用全部数据能构建出更好的模型。同时，Chinchilla 扩展性论文也证明，数据量仍然至关重要——模型每个参数大约需要 20 个训练样本才能发挥其全部潜力。这两项发现都表明，真正的问题不在于质量与数量的取舍，而在于如何合理分配资源。

优点与缺点

数据质量

优点

  • + 更清晰的模型输出
  • + 更高的领域准确率
  • + 减少计算浪费
  • + 更易于调试

继续

  • − 生产成本高昂
  • − 难以扩展
  • − 需要专业人员
  • − 收集速度较慢

数据量

优点

  • + 更广泛的覆盖范围
  • + 处理特殊情况
  • + 随计算规模变化
  • + 支持基础模型

继续

  • − 仓储成本不断累积
  • − 可能包含噪音
  • − 收益递减
  • − 基础设施密集型

常见误解

神话

更多的数据意味着更好的模型。

现实

不一定。如果新增数据存在噪声、标签错误或无关信息，反而会降低模型性能。研究反复表明，规模较小、数据更干净的数据集通常比规模较大、数据更杂乱的数据集能生成更准确的模型。训练前进行数据质量过滤几乎总是有益的。

神话

数据质量仅对小型数据集才重要。

现实

质量在任何规模下都至关重要。即使是基于数十亿个样本训练的模型，如果其中很大一部分包含错误或偏差，也会受到影响。大型模型会记住噪声，这些噪声会在部署过程中以意想不到且有害的方式显现出来。

神话

带标签的数据总是比不带标签的数据好。

现实

这取决于任务和标注质量。标注质量差的数据可能比没有标注更糟糕，而海量的未标注数据却能为自监督学习系统提供强大的支持，使其性能媲美监督学习方法。标注质量比标注本身的存在更为重要。

神话

你需要数百万个样本才能训练出一个有用的模型。

现实

迁移学习彻底改变了这一切。借助 BERT 或 ResNet 等预训练模型，只需数百或数千个特定领域的高质量样本，就能取得显著成果。过去那种每个任务都需要海量定制数据集的时代已经基本结束了。

神话

数据数量和质量是相互矛盾的两股力量。

现实

实际上，它们是互补的。最佳训练流程会同时最大化这两方面——尽可能多地收集数据，并严格筛选高质量数据。将它们视为相互取舍的两难选择是一种伪命题，会导致次优决策。

常见问题解答

数据质量比数据数量更重要吗？
对于大多数实际应用而言，答案是肯定的——质量往往能带来更高的性价比。然而，质量和性价比都很重要，理想的比例取决于您的具体应用场景。一个好的经验法则是先将质量提升到可接受的水平，然后根据资源情况逐步扩大产量。
我的模型需要多少训练数据？
这取决于模型架构、任务复杂度，以及你是在微调预训练模型还是从头开始训练。微调可能只需要几百到几千个样本，而从头开始训练一个基础模型则需要数十亿个样本。Chinchilla 扩展定律表明，每个参数大约需要 20 个 token 才能达到最佳训练效果。
什么因素决定了训练数据的高质量？
高质量数据应准确、标注一致、能够代表真实世界的分布情况、无重复数据，并且与目标任务相关。此外，数据来源应合法合规，收集过程应符合伦理规范，并附有完整的出处记录和任何已知局限性的说明。
我可以使用合成数据来增加数量吗？
是的，合成数据生成已成为扩充训练集的一种流行方法，尤其是在真实数据稀缺或成本高昂的情况下。像 GPT-4 这样的模型可以生成逼真的训练样本，但需要注意质量控制——合成数据可能会放大生成模型中存在的偏差。
机器学习中的数据管理是什么？
数据整理是指选择、清洗和组织训练数据，以最大限度地发挥其效用。它包括去除重复数据、过滤掉低质量样本、平衡类别分布，并确保数据能够代表你想要解决的问题。良好的数据整理往往是模型优劣的关键所在。
如何衡量数据质量？
常用方法包括标注者间一致性评分、标签一致性自动检查、特征分布统计分析以及留出验证性能。一些团队还会使用专门的数据验证工具，例如 Great Expectations 或自定义质量仪表板，来跟踪质量指标随时间的变化。
更多的训练数据能否降低过拟合的风险？
一般来说，是的，因为更大的数据集能让模型接触到更多样化的样本，从而更难记住特定的模式。但是，如果新增数据重复或质量低下，则可能无济于事。数据多样性与数据量同样重要，都能有效防止过拟合。
人工智能中的缩放定律是什么？
缩放定律描述了模型大小、数据集大小和性能之间可预测的关系。OpenAI、DeepMind 等机构的研究表明，当参数、数据量或计算资源增加时，损失会呈幂律下降。这些定律有助于研究人员预测增加资源后性能能提升多少。
我应该优先收集更多数据还是优先清理现有数据？
如果现有数据存在严重的质量问题，清洗数据通常比收集更多数据更快见效。脏数据会加剧问题——添加更多脏数据只会让模型学习更多错误模式。先从提高数据质量入手，等到数据处理流程能够产生可靠输出后再扩展数据量。
基础模型如何处理数据质量？
基础模型通常使用质量参差不齐的网络规模数据进行训练，然后通过诸如 RLHF（基于人类反馈的强化学习）和指令调优等技术进行优化。这种两阶段方法使模型能够充分利用海量数据，同时通过有针对性的微调，在下游任务中保持高质量。

裁决

当您在特定领域工作、预算有限或需要高精度完成特定任务时，应优先考虑数据质量。而当您构建的通用模型必须处理各种输入数据，或者您已在当前规模下最大限度地提高了数据质量时，则应优先考虑数据量。实际上，最强大的AI系统会将两者结合起来——既要精心整理大型数据集，又要积极过滤噪声。

相关比较

AI 错误检测与人工审核对比

人工智能质量检测利用机器学习模型大规模标记低质量或人工智能生成的内容，而人工审核则依靠训练有素的编辑通过判断和上下文来评估内容质量。每种方法各有优势，许多组织现在都将两者结合起来以获得最佳效果。

AI管道中的迭代检索与一次性检索系统

人工智能流程中的迭代检索通过多次搜索和推理循环来优化结果，而一次性检索系统则只需一次遍历即可获取信息。迭代方法擅长处理复杂的多跳查询，而一次性方法则优先考虑速度和简洁性，适用于简单的查询。

AI伙伴 vs 人类友谊

人工智能伴侣是旨在模拟对话、情感支持和临场感的数字系统，而人类友谊则建立在共同的生活经验、信任和情感互惠之上。本文将对比探讨这两种连接方式如何在日益数字化的世界中塑造沟通、情感支持、孤独感和社会行为。

AI计算排放与传统云排放对比

人工智能计算产生的排放主要来自训练大型模型的高能耗GPU集群，而传统云的排放则来自运行日常工作负载的通用数据中心。人工智能工作负载的单次任务耗电量远高于传统云，但传统云的运行规模要大得多。

AI检测与基于规则的检测

现代数字环境需要强大的防御机制，但其底层方法却截然不同，威胁、欺诈或异常情况的检测方式也大相径庭。基于规则的系统依赖于严格的预配置条件来标记已知威胁，而人工智能模型则通过分析行为来发现不常见的异常情况。在两者之间做出选择意味着需要在绝对确定性和适应性灵活性之间取得平衡。