在机器学习领域，有一句广为流传的话："Garbage in, garbage out"——输入的数据质量决定了输出的模型质量。这句话在大模型微调中尤为准确。与传统的机器学习模型不同，大模型具有强大的学习能力和记忆能力，它们能够从数据中提取深层次的模式和知识，但同时也更容易受到数据中噪声和偏见的影响。一个精心构建的高质量数据集，可能只需要几千条样本就能训练出效果出色的模型；而一个粗制滥造的数据集，即使数量再多，也可能让模型学坏，甚至产生有害的输出。本文将系统性地介绍数据集构建与清洗的最佳实践，帮助开发者打造高质量的训练数据。
数据格式：统一标准的重要性
在开始收集数据之前，首先需要确定统一的数据格式。规范化的数据格式不仅便于后续处理，也是保证数据质量的基础。对于大语言模型的监督微调（SFT），最常见的两种格式是 Alpaca 格式和 ShareGPT 格式。Alpaca 格式采用指令-输入-输出的三元组结构，非常适合标准的多轮对话任务；ShareGPT 格式则更接近真实的对话记录，支持多轮交互的完整保存。
Alpaca 格式的结构包含四个核心字段：instruction（指令）、input（输入）、output（输出）和可选的 system（系统提示）。其中 instruction 描述了模型需要完成的任务，input 提供了任务的上下文或条件，output 是期望的正确答案。例如，一个简单的问答任务可能是：instruction 为 "请回答以下问题"，input 为 "中国的首都是哪里"，output 为 "北京"。这种格式清晰直观，适合大多数单轮任务的数据构建。
ShareGPT 格式则采用对话列表的形式，每个样本是一个完整的对话历史。它更适合收集真实用户的对话数据，能够保留多轮交互中的上下文信息。对于需要模型学习对话策略或角色扮演的场景，ShareGPT 格式是更好的选择。实际项目中，很多团队会同时使用两种格式，根据任务特性选择合适的结构，甚至开发自定义格式来满足特定需求。
无论选择哪种格式，都需要注意几个关键原则：字段命名保持一致，避免使用中文或特殊字符作为键名；输出文本要完整准确，不要出现截断或不完整的内容；每条样本都要有明确的格式校验，确保没有缺失字段或格式错误。一个好的做法是在数据收集阶段就设计好 JSON Schema 校验规则，自动过滤不符合规范的样本。
数据收集：多源策略与质量平衡
高质量数据集的来源通常不止一个，多源数据策略能够提供更丰富的信息和更强的泛化能力。公开数据集是最便捷的起点，HuggingFace Datasets、GitHub、论文附录等都有大量可用的资源。中文场景下，可以参考一些知名的中文指令微调数据集，如 Belle、Guanaco、OpenChat 等。但在使用公开数据集时，一定要注意检查数据质量和许可证限制，避免引入版权问题或低质量样本。
真实用户数据是最有价值的来源之一。它反映了实际应用场景的需求和语言习惯，模型学习后更容易产生自然的输出。收集真实数据时，需要注意用户隐私的保护和数据脱敏处理。对于敏感信息（如姓名、电话、地址等），必须进行匿名化处理或直接过滤。同时，要警惕数据中的偏见和有害内容，这些可能通过模型学习后被放大，造成不良后果。
合成数据是近年来兴起的一种有效策略。通过精心设计的提示词，让强大的语言模型（如 GPT-4）生成训练数据，可以快速扩充数据集规模。这种 Self-Instruct 方法特别适合冷启动场景——当还没有足够的真实数据时，合成数据可以作为初始训练集，引导模型建立基本能力。但需要注意，合成数据的质量和多样性完全依赖于生成模型的能力，如果生成模型本身有缺陷或偏见，这些问题会传播到下游模型中。因此，合成数据通常需要人工抽查和审核，确保质量合格后再投入使用。
编辑
数据清洗：去除噪音与提升质量
原始数据往往包含各种问题，需要经过严格的清洗才能用于训练。清洗工作通常包括以下几个环节：去重处理、格式校验、内容过滤和抽样审核。去重是最基本的步骤，重复的样本不仅浪费训练资源，还可能导致模型对某些模式过度记忆。精确去重可以使用哈希比对，模糊去重则需要借助文本相似度计算。
格式校验确保每条样本都符合预定义的结构规范。这包括字段完整性检查（是否缺少必要字段）、类型检查（数值字段是否为数字）、长度检查（文本是否过长或过短）等。自动化脚本可以完成大部分格式校验工作，但一些复杂的质量问题（如逻辑错误、事实性错误）仍然需要人工判断。
内容过滤是敏感数据处理的重要环节。训练数据中不应包含违法违规、歧视性、暴力色情等有害内容。这些内容不仅可能导致模型产生不当输出，还可能带来法律和伦理风险。常用的过滤方法包括关键词匹配、分类器判断和人工审核。对于中文场景，可以参考一些公开的有害内容检测工具和敏感词列表。值得注意的是，过滤规则的设计需要平衡严格性和召回率——过于严格可能过滤掉有用的样本，过于宽松则可能放过有害内容。
抽样审核是质量保证的最后一道防线。即使经过自动清洗，仍然建议对数据进行随机抽样，人工检查样本质量。建议的抽样比例在 0.5% 到 2% 之间，具体比例可以根据数据量和质量要求调整。审核过程中记录的问题类型和比例，可以指导后续的清洗策略优化。如果抽样审核发现问题样本的比例较高，说明自动清洗流程需要改进。
数据配比与分布：艺术与科学的结合
数据集中不同类别样本的比例，直接影响模型学习后的能力偏向。这是一个需要精心平衡的问题：如果某类样本过多，模型可能会过度擅长该类任务而忽视其他能力；如果某类样本过少，模型可能无法学习到足够的知识。一个常见的问题是对话数据中指令-following 样本过多，导致模型变得"过于顺从"而缺乏创意；或者某类任务样本过少，导致模型在该任务上表现不佳。
解决配比问题的方法之一是分层采样。在构建训练集时，可以根据任务类型（如问答、翻译、摘要、对话等）或领域（如科技、医学、法律等）进行分层，确保每个类别都有合理的代表。另一种方法是课程学习（Curriculum Learning），先让模型学习简单、基础的样本，再逐渐增加复杂样本的比例。这种渐进式的学习方式有时能取得更好的效果。
数据增强技术也可以在一定程度上缓解数据不平衡的问题。对于某些任务，可以通过同义改写、 back-translation（回译）、 prompt-based generation（基于提示的生成）等方法扩充样本数量。但数据增强需要谨慎使用，因为它可能引入新的噪声或改变样本的原始分布。对于需要精确记忆的事实性知识，增强后的样本质量往往不如原样本。
对于希望简化数据管理流程的团队，集成化的平台可以提供很多便利。LLaMA-Factory Online 提供了数据集管理功能，支持多种数据格式的导入和校验。平台内置了基本的数据清洗规则，可以自动完成去重、格式校验等预处理工作。更重要的是，平台支持在训练过程中动态调整数据配比，让开发者可以快速实验不同的数据分布策略，找到最优的方案。通过这种可视化的管理界面，即使没有专业的数据工程背景，也能构建出高质量的训练数据集。
数据是模型的根基，高质量的数据是训练出优秀模型的前提。希望这份指南能够帮助开发者建立系统的数据工程意识，在数据准备阶段就打好基础，为后续的模型训练铺平道路。
