对企业来说,“模型能不能做出来” 更多是技术与成本问题;而 “能不能合法上线” 是强监管、高风险、周期长、材料重的合规生死线 —— 直接决定产品能否运营、会不会被罚、甚至能否存续
根据《生成式人工智能服务管理暂行办法》,提供具有舆论属性或者社会动员能力的生成式人工智能服务,应当按规定开展安全评估,并履行算法备案等手续;国家网信办后续公告也明确,已上线的生成式 AI 应用或功能,应在显著位置或产品详情页面公示所使用的已备案或已登记服务情况。
这意味着,大模型合规已经不只是“备案材料问题”,而是产品上线、模型调用、数据治理、内容安全、持续运营的一整套监管闭环。
一、完整备案和登记备案有什么区别?
在实务中,很多企业最容易混淆的是:自己到底要做“完整备案”,还是做“登记备案”。
可以简化理解为:
编辑
| 需要注意的是,登记备案不是“什么都不用做”。即使企业调用的是已经备案的大模型,只要自己的产品面向公众提供生成式 AI 功能,仍然需要关注产品入口、公示展示、用户协议、安全提示、输出内容管理、日志留存、投诉举报等义务。 | |
二、大模型备案大致需要经过哪些流程?
不同地区、不同类型产品、不同服务形态的具体要求可能有所差异,但从企业准备角度看,大模型备案通常可以拆成七个阶段。
编辑
1. 产品定位与备案路径判断
首先要明确产品到底是什么:
- 是基础模型,还是应用产品?
- 是自研模型,还是调用第三方模型?
- 是内部使用,还是对公众开放?
- 是否涉及文本、图片、音频、视频、数字人等深度合成能力?
- 是否具有舆论属性或者社会动员能力?
- 是否涉及金融、医疗、教育、政务、法律等高敏行业场景?
这一步决定后续走完整备案、登记备案,还是需要同步考虑算法备案、深度合成备案、数据安全、个人信息保护等其他合规事项。
2. 模型与服务能力梳理
企业需要把模型能力讲清楚,而不是只写“本产品基于大模型提供智能问答服务”。
通常需要梳理:
- 模型名称、版本、来源;
- 底座模型情况;
- 是否微调、蒸馏、训练;
- 是否使用 RAG、插件、联网搜索、工具调用;
- 输入输出类型;
- 主要服务场景;
- 用户群体;
- 内容生成边界;
- 风险控制机制。
监管关注的是:企业是否真正理解自己的模型如何产生输出,以及是否具备控制风险的能力。
3. 备案材料准备
材料通常包括主体材料、产品材料、模型材料、数据材料、安全材料、制度材料、测试材料、整改材料等。
图示:提交至网信办过审版本材料
其中最容易被低估的是安全制度和测试材料。很多企业只准备了营业执照、产品介绍、模型说明,却没有形成完整的安全评估报告、测试题集、拦截记录、整改记录、人工审核机制和投诉处置机制。
4. 安全评估与整改
安全评估不是最后补一个报告,而是备案中的核心环节。企业需要通过测试题库、关键词库、人工审核、技术检测、红队测试等方式,对模型输出风险进行系统评估。
发现问题后,还需要形成整改闭环:问题样本、风险类型、触发原因、整改措施、复测结果、责任人、整改时间都应当留痕。
图示:安全评估测试题、拦截词
5. 属地沟通与初审
企业一般需要与属地网信部门进行材料沟通和递交。属地初审会关注材料完整性、备案路径是否准确、产品是否已经上线、服务范围是否清晰、安全评估是否充分等问题。
6. 反馈修改与复核
备案过程往往不是一次性提交就结束。监管部门可能要求企业补充说明模型来源、数据授权、关键词库建设、测试题集构成、内容安全策略、人工审核机制、上线展示方式等。
企业应建立“问题反馈—材料修订—技术整改—复测验证—版本留痕”的内部协同机制。
7. 公示上线与持续监管
完成备案或登记后,并不代表合规工作结束。已上线的生成式 AI 应用或功能,应当在显著位置或产品详情页面公示所使用的已备案或已登记服务情况,包括模型名称、备案号或上线编号。(国家工商总局)
后续如果模型版本、服务能力、应用场景、调用方式、主体信息发生变化,还需要关注变更、重新评估或补充说明。
四、安全评估为什么是备案中的核心环节?
安全评估之所以重要,是因为它直接回答一个问题:模型上线后,企业有没有能力控制违法违规、有害、侵权、歧视、虚假、泄密等风险?
《生成式人工智能服务管理暂行办法》要求,生成式 AI 服务提供者应当依法承担内容安全、数据安全、个人信息保护等责任;有关主管部门监督检查时,提供者还应按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明,并提供必要支持。(国家工商总局)
同时,GB/T 45654—2025《网络安全技术 生成式人工智能服务安全基本要求》已经发布,并于 2025 年 11 月 1 日实施,该标准规定了生成式 AI 服务在训练数据安全、模型安全、安全措施等方面的要求。(全国标准信息公共服务平台)
安全评估通常应覆盖以下六个维度:
1. 训练数据与语料来源安全
重点检查训练语料是否来源合法、授权清晰、可追溯,是否包含违法违规内容、个人信息、商业秘密、未经授权作品、内部资料等。
企业不能只写“数据来源合法”,而要能说明:
-
数据来源类别;
-
授权依据;
-
数据规模;
-
数据清洗规则;
-
标注规则;
-
不合格数据剔除机制;
-
数据留痕方式。
2. 模型输出内容安全
重点测试模型是否会输出:
- 违反法律法规和公序良俗的内容;
- 危害国家安全、公共安全的内容;
- 暴力、色情、赌博、毒品等违法违规内容;
- 歧视性、偏见性内容;
- 虚假信息、谣言、误导性内容;
- 教唆违法犯罪或规避监管的内容。
3. 个人信息与隐私保护
企业需要关注用户输入、训练数据、日志记录、客服会话、企业知识库中是否包含个人信息。尤其是智能客服、销售助手、HR 助手、医疗健康问答、教育产品,更容易涉及个人信息处理。
4. 知识产权与商业秘密保护
模型训练语料、知识库文件、用户上传资料、代码片段、商业报告、合同文本、客户名单、供应商信息等,都可能涉及知识产权或商业秘密风险。
如果企业无法证明数据来源和授权范围,后续备案、安全评估和商业合作中都会形成明显风险点。
5. 高风险场景与特殊群体保护
涉及未成年人、医疗、金融、法律、就业、教育、公共服务等场景时,模型输出可能对用户权益产生实质影响。企业应设置更严格的提示、限制、人工复核和免责声明机制。
6. 安全管理与运营机制
监管关注的不只是模型当下能不能通过测试,还包括企业上线后能不能持续治理。
例如:
- 是否建立投诉举报入口;
- 是否有人工审核人员;
- 是否有关键词库和风险样本库;
- 是否保存日志;
- 是否有应急处置机制;
- 是否有模型更新后的复测机制;
- 是否能对用户违规使用采取限制、暂停、终止服务等措施。
五、企业备案准备过程中最容易踩哪些坑?
1、以为“调用已备案模型”就完全不用管
这是最常见误区。调用已备案模型可以降低模型层面的合规压力,但应用层面的责任仍然存在。企业仍需说明产品场景、调用方式、用户入口、输出控制、安全提示、公示展示和投诉处置机制。
2、备案路径判断错误
有些企业明明是自研或深度微调模型,却按简单登记思路准备材料;也有企业只是内部测试工具,却过早按对客上线产品准备复杂材料。
路径判断错误会直接导致材料方向偏差。
3、产品介绍写得像宣传稿,不像备案材料
备案材料不是融资 BP,也不是官网介绍。监管更关心的是:
- 服务对象是谁;
- 生成什么内容;
- 影响什么场景;
- 风险在哪里;
- 企业怎么控制;
- 出问题怎么处置。
“行业领先”“智能高效”“全场景赋能”等宣传性表述,对备案帮助有限。
4、安全评估题库数量不足、分类不清
很多企业只准备几十条测试题,且题目集中在普通问答场景,无法覆盖监管关注的风险类别。
较规范的做法是建立分层测试题库:
- 拒答类题目;
- 非拒答类题目;
- 边界诱导类题目;
- 违法违规类题目;
- 歧视偏见类题目;
- 个人信息类题目;
- 知识产权与商业秘密类题目;
- 行业高风险场景题目;
- 多轮对话绕过题目;
- 提示词攻击题目。
图示:安全评估测试题
5、关键词库只是“网上找一份敏感词表”
关键词库不是越多越好,也不是简单堆词。关键词库应与产品场景、风险分类、测试样本、拦截策略和人工复核机制相匹配。
企业需要说明:
- 关键词来源;
- 分类规则;
- 更新频率;
- 命中后的处置方式;
- 人工复核流程;
- 误杀和漏拦优化机制。
6、只有整改动作,没有整改记录
安全测试发现问题并不可怕,真正的问题是没有记录。
整改记录至少应包含:
- 问题编号;
- 测试题目;
- 模型原始输出;
- 风险分类;
- 问题原因;
- 整改措施;
- 复测结果;
- 整改时间;
- 负责人。
没有整改记录,就无法证明企业具备持续治理能力。
7、上线页面没有公示备案或登记信息
不少企业完成备案或登记后,产品页面仍然没有展示模型名称、备案号或上线编号。根据国家网信办公告要求,已上线的生成式 AI 应用或功能,应在显著位置或产品详情页面公示相关信息。(国家工商总局)
六、企业应如何提前准备材料、题库、关键词库和整改记录?
1. 主体材料:证明“谁在提供服务”
包括营业执照、主体信息、联系人信息、服务域名、App 或小程序信息、服务器部署情况、实际运营主体说明等。
如果存在集团公司、技术提供方、运营主体、品牌方、客户方等多方关系,应提前厘清责任边界。
2. 产品材料:证明“提供什么服务”
包括产品说明书、功能清单、用户入口截图、服务对象、典型使用流程、输入输出示例、上线范围、收费模式、用户协议、服务协议、安全提示等。
3. 模型材料:证明“模型从哪里来、怎么用”
包括底座模型名称、版本、来源、授权情况、是否微调、是否蒸馏、是否接入 RAG、是否使用插件或工具调用、是否联网搜索、是否支持多模态输入输出等。
调用第三方模型的,应保留接口服务协议、模型备案或登记信息、调用架构说明、数据传输说明、权限控制说明。
4. 数据材料:证明“数据来源合法、处理可追溯”
包括训练数据来源说明、授权证明、数据类型、数据规模、清洗规则、标注规则、脱敏规则、数据安全管理制度、不合格数据剔除记录等。
对行业大模型而言,数据材料尤其重要。因为行业数据往往涉及商业秘密、客户信息、专有报告、合同文本、业务数据和内部知识库。
5. 测试题库:证明“模型经过系统性安全测试”
建议企业按风险类型建设测试题库,而不是按功能随意提问。
题库至少应覆盖:
- 基础安全类;
- 政治安全类;
- 违法犯罪类;
- 暴力恐怖类;
- 色情低俗类;
- 歧视偏见类;
- 虚假信息类;
- 个人信息类;
- 知识产权类;
- 商业秘密类;
- 未成年人保护类;
- 行业高风险类;
- 提示词攻击类;
- 多轮诱导类。
每条测试题应记录:题目编号、测试类型、预期结果、模型输出、是否通过、问题原因、整改措施、复测结果。
6. 关键词库:证明“有前置拦截和风险识别能力”
关键词库应当分类建设,而不是混在一个表里。常见分类包括:
- 违法违规关键词;
- 涉暴恐关键词;
- 涉色情低俗关键词;
- 涉赌博毒品关键词;
- 涉个人信息关键词;
- 涉商业秘密关键词;
- 涉知识产权关键词;
- 涉歧视偏见关键词;
- 行业高风险关键词;
- 提示词攻击关键词。
关键词库还应说明来源,例如法律法规、监管文件、公开安全风险样本、公开技术社区安全案例、企业历史投诉样本、红队测试样本、人工构造样本等。
7. 安全整改记录:证明“问题能闭环”
整改记录不是形式材料,而是企业安全能力的核心证据,建议建立统一台账: