第七阶段：数据集评估与效果验证（优化数据质量）
本阶段核心目标是评估数据集的质量与可用性，结合模型训练效果，反向优化数据集，形成“数据-训练-评估-迭代”的闭环。
7.1 数据质量评估
• 核心指标评估：评估数据集的准确率（无错误、无误导）、完整度（无缺失、无遗漏）、丰富度（覆盖场景、领域全面）、多样性（避免单一内容冗余），形成数据质量评分。
• 标注质量评估：评估标注数据的一致性（不同标注人员的标注结果差异）、标注错误率，针对标注问题，优化标注规范，返工不合格样本。
• 数据污染/泄漏检测：检测训练集与验证集、测试集的交叉情况，检测数据中是否包含模型评估相关的内容（如MMLU测试集内容），避免数据污染导致模型评估失真。
7.2 模型效果反向评估数据
• 薄弱领域分析：通过模型评估结果，分析模型的薄弱环节（如数学推理能力差、法律知识不足），反向定位数据问题（如该领域数据量不足、质量不高），补充对应数据。
• 幻觉问题分析：针对模型输出的幻觉内容（如虚假信息、错误知识），分析数据原因（如数据中存在错误信息、事实性数据不足），优化数据筛选规则，补充高质量事实性数据。
• 安全漏洞分析：针对模型的安全漏洞（如输出敏感内容、恶意响应），分析安全数据的不足（如恶意query覆盖不全、拒绝话术不规范），补充安全红队数据，优化安全对齐样本。
7.3 自动化与人工评估结合
• 自动化评估：通过困惑度（PP）评估数据的自然度，通过下游任务精度（如MMLU、GSM8K得分）评估数据的可用性，通过模型输出的一致性评估数据的稳定性。
• 人类偏好评分：组织人工对模型输出进行评分，结合人类偏好数据，评估数据集对人类偏好的适配程度，优化偏好数据的标注策略。
输出物：数据质量评估报告、模型评测报告（数据相关部分）、数据优化建议清单。
