250407 对比国外内主流AI应用 | 分析现有风控措施和未来优化方向

187 阅读3分钟

一、 当前主流AI应用的内容风控手段对比

大前提:国内AI应用,须符合相关监管和法律法规要求。

1、相同点:①都在大模型内容输出上进行优化和纠偏,通过调整算法模型、设置人工标注标准等方式,降低算法偏见,提高内容的准确性与合规性。 ②都建立了用户惩罚机制,对违反规定的用户采取相应不同程度的处罚手段。

2、 不同点:差别主要体现在采用的技术模型和内容过滤的手段差异。

①chatGPT:基于Transformer架构,自然语言处理能力强。通过多语言数据训练实现敏感词过滤和语义识别。可能需加强在中文语境的理解,面对全球各国不同政策监管的考验,与相关机构展开合作应对未来的风控。

②DeepSeek:运用无监督学习与图神经网络技术,建立多维度风险识别模型,可实时监测异常。在专业领域的内容风控中表现较好。支持本地化部署,对隐私和数据安全要求较高的场景更有优势。

采用混合专家模型(MOE)中英双语优化,在国内语义理解具有优势。作为企业级应用,可与相关企业机构合作,共同制定风控标准。

③KIMI/豆包:多模态审核技术(文本、图像、语音)实施过滤敏感信息,如OCR技术用于涉密文件识别

二、 大模型纠偏

1、 增加人工复审机制;

2、 用户反馈;

3、 搭建并结合专业领域知识库,辅助判断;

4、在模型训练阶段接入意识形态等审核模块;

三、现有技术的局限性

1、机器审核能力仍需加强,如多模态能力、语义理解

2、可能会有误伤,造成用户误封

四、AI应用内容风控方面未来可加强的手段,从大方向可以分为:

1、加强技术创新与升级:不断迭代更新AI模型及自动识别能力,加大研发投入,以适应AI发展与应用的变化。

2、加强跨领域合作:加强如政府企业、科研机构等多方合作,共同研究和制定AI内容风控的标准和规范,促进不同行业间的经验交流,共同应对AI内容风控的挑战。

3、提升用户教育:加强用户对AI产品规范使用的教育和引导,减少用户误触风险进而封号的频率。

4、建立动态评估与调整机制,及时对风控策略进行优化。

ps:附部分平台协议—片段截图

DS用户协议(20250407-170346).jpg kimi用户协议(20250407-170346).jpg

*参考资料源:网络、AI应用及各平台官方公开信息

以上整理仅作为个人学习使用,同时欢迎行业前辈交流,共同进步。*