从上线应用降级为个人demo:AI应用上线监管踩坑实录

33 阅读13分钟

一、上线了吗?有用户了吗?

当我拿着3个手搓小项目去求职前,我问 GPT:“我的项目好像有点太简单,不会被当成玩具项目吧?” GPT 笃定地说:“你的项目有评测数据、有端到端流程,当然不是玩具项目。”我放心地去了某厂一面,面试官扫了一眼我的项目,问出了我当时觉得匪夷所思的问题:“上线了吗?有用户了吗?”

我狐疑,然不解。

但,当我后续面试中,又一次被问到项目有没有上线,我陡然醒悟!这才是工程师真正判断是不是玩具项目的标准吧?上线部署 + 用户数据反馈闭环?GPT 你……

二、缺什么补什么

当我认识到上线与否对于求职项目来说是完全不同的分量后,我就开始了 AI 上线应用(PWA,因为最灵活、最便宜)的规划和搭建。然后是买域名,买服务器,申请SSL证书,最重要且繁杂的——申请 ICP 备案,以及AI应用需要单独进行网安的网站主体申请安全评估。需要填很多信息以及两周的时间,同期完成应用在云服务器的部署。当备案通过了也是真的开心,感觉离落地似乎近了一步。

但接下来是关于申请营业执照以接入支付 API,发现需要经营场所地址,于是开了个淘宝网店;发现需要居住证,于是办居住证。发现我租的某州特色房型居然办不了居住证……

到此分两条可行路径,一条是淘某平台代办营业执照,成本500-800元,几天能拿;另一条是接入不那么正规且收费的聚合支付平台(正规聚合支付同样要营业执照)。左右都是要付成本,后者还要担违规风险,好,我决定先免费给用户使用,不整支付了!

三、网安来电惊醒梦中人

又过一周,收到来电让我带电脑去公安局做安全评估的现场审核。彼时求职受挫耽搁了当周没去成。等到过完周末的周一上午,再次收到网安来电,我一阵心虚,正要解释,对方却说了三件我大为震惊的事:

  1. 用户必须实名认证才能使用应用,我用得“身份钥匙访问+邮箱验证绑定”不合规!
  2. 我使用个人身份进行 ICP 备案,如果用户输入或者 AI 输出出现违规甚至违法行为需要我个人担全责
  3. 含 AI 互动的应用监管极严,建议我不要个人开办,一旦出现被动违法情况我连无犯罪证明都开不了了!

我真是傻眼了,睡眼朦胧中惊觉自己可能变“张三”!上线全程我没敢错过任何通知或者手续,不敢用任何灰色或者有风险的服务,但我没想到网安法这部分可能产生违规违法风险!我赶紧去查相关法条了解情况。

踩坑一:必须用手机号+验证码实名

我参考了自己手机里日常在用的一款 AI 应用,使用轻量化的“ IP 生成身份钥匙”的登录方式,但居然并不合法,大意了,没有去根据官方规定进行核查。这种方式违反的法规包括:

《网络安全法》第二十四条(2016版+2025修正版):“……要求用户提供真实身份信息……”

《互联网用户账号信息管理规定》第九条:“……必须用移动电话号码、身份证件号等方式真实身份认证……”

《生成式人工智能服务管理暂行办法》也同样要求实名制……

这条的弥补措施还好办,补上实名登录就可以了,且不实名不能提供服务。

踩坑二:个人 ICP 备案网站一旦内容失控个人负全责

AI 生成内容不可控,这点尽管我的应用有层层明确限制也不能保证百分百安全。一旦有用户诱导 AI 生成涉黄、涉暴、政治敏感、诈骗、侵权等内容,我作为平台运营者负有主体责任,一旦出事我要背锅,轻则受到行政处罚,被警告、罚款和关停网站,重则涉嫌“拒不履行信息网络安全管理义务罪”。这里举点例子就能看出会有多被动了。比如内容层面,用户诱导生成上文提到的违规内容我的系统没拦住,被检测到几条就会罚我,约谈、责令整改、罚款警告、关停吊销甚至治安拘留,按严重程度和配合程度区分。“拒不履行信息网络安全管理义务罪”风险更小一点,只要不是违规信息规模达到一定程度或者“拒不改正”就稍好一些,但如果造成特别恶劣影响,比如涉及针对未成年人的某些诱导,也能不看规模直接入刑。

行政处罚记录会影响考公、政审和特殊行业的资格审查,刑事记录会导致个人开不出无违法犯罪证明,还会影响到子女的政审……具体涉及《网安法》、《生成式 AI 暂行办法》以及《刑法》中的相关法条,不再一一罗列。

为了规避以上风险,需要在所有用户输入接口增加内容审核API,AI 回答内容同样要审核,再配合 6 个月以上的日志留存,可以大幅降低行政与刑事风险。各平台均有相关的网络安全审核 API 服务可选择。

我在申请安全评估前其实做了一个基础的敏感词拦截,是基于安全评估环节系统提供的自评估报告逐条核对并实行的,根据报告中第 4 条“对用户账号和通讯群组名称、昵称、简介、备注、标识,信息发布、转发、评论和通讯群组等服务功能中违法有害信息的防范处置和有关记录保存措施”。我寻思这些我基本都没有,只有用户和 AI 的对话,这类对话信息网站不会留存、不会发布,应该造成不了重大社会危害吧?于是我用 AI 自定义了个敏感词库,用最简单的字符串匹配方式,对所有用户输入接口做了“命中即拒绝”,对所有模型输出做“风险词脱敏”,我当时觉得这样应该没问题了吧?现在看来有 4 个关键又不容易察觉的误区:

误区一:我以为“私聊不公开 = 风险低”

这是最大也最致命的误区,因为刚好和监管的逻辑完全相反——不公开的私聊,恰恰是最高危、也是安全评估最看重的部分,看的就是黑箱内容能不能管的住。管不住,就通不过安全评估。

误区二:我以为有“敏感词拦截”这一层就够

但关键词匹配能拦截的范围太少了,恶意用户随便拆个字、用谐音字、用形近字,我的关键词匹配根本拦不住,防护能力太有限,聊胜于无。

误区三:我以为自己写得规则能满足监管要求

但监管只认具备检测资质的第三方内容安全 API ,自己写的安全措施不满足监管标准。

踩坑三:个人ICP备案不允许开发AI互动类服务

这条是直接让我选择关站暂停访问的一条。

《互联网信息服务管理办法》(国务院 292 号令)第三条 + 第四条 + 第十九条,将互联网信息服务分为经营性(许可)和非经营性(备案)两类,个人 ICP 备案只能用于非经营性服务

我的 AI 面试陪练应用目前未接入支付,属于免费应用,只要一直免费就是非经营性服务。但同时个人 ICP 备案还有服务类型的限制:

《非经营性互联网信息服务备案管理办法》(工信部令第 33 号,2024 修订)第二十二条规定个人主体无法取得教育、文化、AI 交互类的前置审批,因此这些服务个人备案天然不允许

解决服务类型的限制,需要办理个体户营业执照,并用营业执照办理个体户 ICP 备案。但需要进行安全评估 + 算法备案。解决经营性信息服务的限制,需要依法设立公司,申请 ICP 许可证

也就是说,我用个人 ICP 备案任何一条都满足不了……

四、内容安全架构具体方案

补吧那就。这类安全架构之前确实没做过,于是做了点调研,具体方案如下。

步骤一:内容审核 API 选型

我搜集了常用的三家内容审核 API (仅文字审核方面)的大致信息如下。其中延迟无官方均值,但都在毫秒级别。

品牌阿某云腾某云百某云
价格7.5 元/万次30 元/万次新用户免费 5000 次/年,付费 15 元/万次
自动回复支持自定义不支持不支持
文本限制单次 600 字, 流式 ≤ 2000/5000 字10000字免费版 ≤ 2000 字,付费版 ≤ 5000 字
AccessToken QPS100 QPS/用户1000 QPS免费版 2 QPS,付费版 200 QPS

注:表格内信息采集时间为 2026 年 4 月 21 日。仅包含个人开发者视角的技术方案,针对企业的套餐、资源包等未计入。

个人开发者想省事的话,还可以直接使用带安全护栏的 API,比 “模型 API + 内容安全 API”贵约 100% 左右,不同厂商略有差距。带安全护栏的 API 可以输入输出双向自动审核,且安全评估和算法备案由平台来做,开发者只调用 API 的情况下不用重复做这两类申请。但主要法律责任仍由开发者承担。

我因为模型调用部分已经做完了,不想改已有架构,就在原有基础上增加了内容安全 API,选择的厂商是百某云,原因无他,唯免费尔。我的应用场景下,仅内容安全 API 的单轮输入 + 输出实测延迟在 300 ms左右,感觉不出来。

步骤二:内容审核架构

一般是采用“本地初筛 + API审核 + 结果分级”三层架构。审计日志需要详细记录用户 ID 、文本内容、审核结果和时间,作为被监管检查时的保命材料。

第一层——本地初筛

自己维护的前置敏感词拦截系统虽然不够专业,但可以节省 API 调用成本。直接用关键词匹配的暴力解法在短文本对话中尚可接受,更高效的方式是使用 DFA 算法,维护一个敏感词字典树,时间复杂度为 O(n),还能忽略干扰符号,比如,“诈#骗”。

第二层——内容安全 API 审核

首先鉴权,最简单的方式是将 AccessToken 缓存在内存中,只在程序启动时拿一次。过期前自动刷新。需要注意的是大部分文本审核接口单次限制 5000/10000 字符,超过必须分段上传,否则会截断或报错。另外 AccessToken 一般有 QPS 限制。

第三层——结果分级

厂商默认的“通过”和“拦截”判断一般偏保守,可以根据应用涉及的业务容忍度,对于不同标签类别的违规情况设置不同的置信度阈值,比如,涉及政治标签的违规内容阈值可以更高。一般来说,低于阈值则正常放行,疑似违规需要打入人工审核队列,高于阈值的违规文本直接拦截并在前端提示“内容包含违规信息”;但个人开发者不可能 24 小时守着后台审计疑似违规信息,只能要么牺牲一点用户体验、疑似 = 拦截,要么用户量少或者是内部工具、疑似 = 放行;所有“疑似”存库,发现误拦或误放后优化规则。真有什么事能拿出审计记录就够了。

对于 API 误杀的情况,小应用不需要做复杂的白名单,几行代码写个简单轻量的放行规则即可,比如,“笑死”、“讨厌啦”这些词是正常的,可以放进白名单。

需要额外注意的是 API 超时或失败情况,对于内容审核服务来说,必须默认拦截。“API 超时”不作为出现违规内容后的合理脱责理由,一样需要负全责。可以加重试和用本地 DFA 兜底。

但即使完成了以上这些举措,如果 API 漏放了违规内容,监管处罚的对象仍是主体责任人噢。

总之,个人开发者 + 个人 ICP + AI 互动类服务 = 法律上的“裸奔”

最后我的兜底举措:将网站的应用访问入口断开,改为静态网页+文字说明 Demo 地址,将简历中的“上线应用”字眼去掉,降级为个人 Demo,简历写非公开网址展示项目。这个应用落地之旅,暂时告一段落。我本想为求职攒攒项目经验,但上线 AI 应用背后的风险却远超我预期了。当然我这全是个人经验,也许其他开发者有更省力又合规的方式,只是我没发现。

原本 ICP 备案环节通过后我以为后续就好办了,没想到 ICP 备案属于工信部监管范围,尽管有 AI 服务标签,但并不包含网安审查,这部分后续单独由网安部进行。

现在感觉对手机里存在的 AI 互动小应用的开发者肃然起敬了,这背后为合规合法付出了多少汗水呀。我经历这一遭,对于网安法条、上线流程和安全架构有了更深了解,也算不白来。等我有时间了,我还是想把我的应用落地,以不公开内测的方式,风险更小些,毕竟是我面试表达训练经验的集成产物啊,我想看看我能做到什么程度,到底会不会有人用。等~