近年来，随着大模型技术的广泛应用，与之相关的信息安全事件频发，引起业界的广泛关注。攻击者利用各种手段，如恶意序列注入、角色扮演、伪造上下文等，企图从智能系统中套取敏感信息。这些攻击手段不仅威胁个人信息的安全，而且可能对整个组织机构造成不可估量的损害。
本文深入剖析当前针对大模型的敏感信息泄露攻击手段，并提出切实可行的防御策略，旨在加固大模型的安全防线，保障用户数据安全。
一、常见大模型敏感信息泄露攻击手段
1．恶意序列注入
恶意序列注入攻击可通过对攻击提示词进行码制转换来实现攻击，如使用Base64、Leetspeak、ciphey等编码机制进行码制转换。针对具备码制转换能力的大模型，攻击者可以控制编码转换，绕过大模型中基于特定关键词的内容过滤器，从而达到绕开安全机制的目的；针对不具备码制转换能力的大模型，攻击者通过构造特定的恶意编码序列，可诱使大模型输出与编码相关的训练数据，造成训练数据泄露。
恶意序列注入攻击主要有两种实现方式：一是探测性攻击。攻击者通过交互反馈记录，逐渐调整、优化注入的恶意序列，最终获取更多关于大模型训练数据的信息。二是对抗性攻击。攻击者通过设计对抗性样本，构造一系列输入序列，导致大模型输出不稳定或错误，从而影响模型的性能，使其更容易受到攻击结果。
2．角色扮演
角色扮演攻击是通过给大模型赋予一个角色，如柜员、教师、工程师、会计等，让大模型在扮演角色的过程中，输出符合该角色身份的信息，导致敏感信息泄露。
角色之于大模型，相当于程序代码在软件开发中的作用，它们都是驱动整个系统运作的核心元素。因此，攻击者对角色的操控，将对大模型的输出内容产生较大影响。
3．伪造上下文
伪造上下文攻击是指攻击者伪造虚假的攻击主题的历史交互记录，然后输入给大模型，让大模型误以为之前曾经与攻击者有过该历史会话，从而诱使大模型输出敏感信息，造成信息泄露。易被伪造上下文手段攻陷的大模型通常采用Transfomer架构。Transfo咖er架构是一种针对自然语言处理的深度学习架构，由于其具备自注意力机制，每一个输出的字符都基于之前的字符进行推算。因此，攻击者可以通过猜测大模型内部的表述模式，伪造出一段交互历史的上下文，让大模型误以为自身正在按照这个逻辑分支运行，从而达到攻击目的。
二、大模型敏感信息泄露攻击的通用防御策略
1．针对恶意序列注入攻击的防御策略
(1)加强输入序列检测
一是部署基于行为的检测系统，利用机器学习模型分析输入序列的正常行为模式，并自动标记偏离正常模式的异常序列；二是利用正则表达式和语法分析工具，对输入序列进行结构化检查，拦截不符合预期格式的请求。
(2)部署运行时防护
一是在大模型服务中集成运行时应用自我保护(Running Application self．Pmtection，RAsP)技术，实时监控和阻止恶意操作；二是利用沙箱技术隔离可疑的输入序列，并分析其行为，防止恶意代码执行。
(3)增强模型稳定性
一是采用对抗训练方法，通过向训练数据中注入对抗性样本来增强模型的稳定性；二是定期对模型进行压力测试和红队演练，模拟攻击场景，以检验和提高防御措施的有效性。
2。针对角色扮演攻击的防御策略
(1)角色行为分析
一是开发角色行为分析工具，实时监测大模型的输出内容，确保其符合角色设定的行为准则；二是设计角色权限框架，明确各角色可访问的数据和执行的操作，防范潜在的敏感信息泄露风险。
(2)上下文和角色验证
一是实施上下文验证机制，确保大模型在角色扮演场景中能够验证交互上下文的真实性；二是利用数字签名和区块链技术，为交互上下文提供不可篡改的验证手段。
3．针对伪造上下文攻击的防御措施
(1)会话一致性校验
一是强化会话管理协议，确保会话数据的完整性和一致性，防止会话被篡改或伪造；二是利用加密技术对会话标识进行保护，防止会话被劫持和伪造。
(2)历史交互记录审计
一是建立历史交互记录的审计日志，对大模型的输入输出内容进行详细记录和定期审查；二是利用自然语言处理技术，对历史交互记录进行语义分析，以识别和阻止基于伪造上下文的攻击。
(3)模型更新与补丁管理
一是建立自动化的模型更新和补丁管理系统，确保大模型能够及时得到安全修复；二是与安全论坛和威胁情报厂商合作，共享威胁情报，快速处理新出现的安全漏洞。
4．综合防御措施
(1)安全培训与意识提升
一是利用模拟钓鱼测试和安全教育平台，提高员工对大模型安全风险的认识；二是开展定期的安全培训，教授员工如何识别和防范针对大模型的攻击。
(2)安全审计与合规性检查
一是使用自动化的安全审计工具，持续监控大模型的安全状况，及时发现并修复安全漏洞；二是确保所有安全措施和流程符合法律法规要求。
三、金融机构针对大模型敏感信息泄露攻击的防御策略
金融行业的数据安全非常重要。金融数据具有高度敏感性，金融机构面临的网络攻击也极具复杂性和针对性。金融机构不仅需要处理大量的个人和企业敏感数据，而目．这些数据往往是高价值目标，容易成为网络犯罪分子的主要攻击对象；同时，金融机构一旦发生数据泄露，不仅会降低客户信任度，而且百丁厶毫引发重大的财务和法律风险。
因此，金融机构不应仅仅依靠通用的防御策略，而是需要采取更为严格和定制化的防御措施，以确保其大模型的安全性和数据的保密性。这些措施应该考虑到金融行业的特定需求和面对的挑战，包括但不限于监管合规性、数据的高价值性以及大模型敏感信息对攻击者的高度吸引力。以下是针对金融行业特点制定的大模型敏感信息泄露攻击防御策略，旨在补充和加强通用防御策略，助力金融机构构建更为全而的安全防护体系。
1．自动化威胁识别与响应系统的优化
随着攻击者技术的不断进步，金融机构自动化威胁识别与响应系统面临新的挑战。攻击者可利用高级技术(如机器学习模型逆向工程)来规避检测，甚至操纵自动化系统。金融机构须通过持续更新威胁情报数据库、采用行为分析和异常检测算法来强化自动化系统的识别能力。
2．深度伪造的防范
深度伪造技术使得金融机构面临前所未有的欺诈风险。对此，金融机构需要部署高级的生物识别技术和多因素认证系统，以确保身份验证的准确性。同时，应用先进的图像和视频分析工具，如深度学习模型，来识别和阻止深度伪造内容的传播。此外，引导用户识别深度伪造的技巧也是金融机构防范此类攻击的重要手段。
3．数据泄露与隐私侵犯的防护
大模型对数据的大量需求带来了数据泄露和隐私侵犯的风险。金融机构应实施严格的数据访问控制和加密措施，确保数据在收集、存储和处理过程中的安全。此外，遵循数据最小化原则，仅收集实现业务目标所必需的数据，并在不再需要时及时删除。同时，通过透明的数据处理政策和用户协议，增强用户对金融机构数据处理的信任。
4．模型窃取攻击的防御
模型窃取攻击威胁着金融机构的敏感数据安全。金融机构需不断对大模型进行加固，提升模型的查询和访问权限，以防止攻击者通过模型反向工程获取训练数据。同时，定期对模型进行安全评估，检查潜在的数据泄露风险，并及时应用安全补丁。
5．对抗性攻击的进化与应对
对抗性攻击的不断进化要求金融机构持续更新安全措施。通过对抗性训练，金融机构可以提高大模型对恶意输入的抵抗力。同时，金融机构应结合最新的机器学习研究成果，制定新的防御机制，以识别和抵御更隐蔽和复杂的对抗性攻击。此外，金融机构还应加强与学术界的合作，共享面向对抗性攻击的研究成果和防御策略。
随着信息技术的进步和法律法规的不断完善，金融机构的大模型数据安全实践也必将持续深化，以高效应对日益严峻的网络安全挑战。
文章作者：中国工商银行数据中心 王佳音
