某机构科学家研究临床AI时代的记忆化风险
新研究展示了如何测试AI模型，以确保它们不会因泄露匿名化患者健康数据而造成伤害。
在渴望数据的算法和网络攻击层出不穷的时代，隐私变得日益稀缺，而医学是少数几个保密性仍是执业核心的领域之一，这使得患者能够信任医生并告知敏感信息。但一篇由某机构研究人员合著的论文，研究了在去标识化电子健康记录（EHR）上训练的人工智能模型如何记忆特定患者的信息。该工作近期在2025年神经信息处理系统会议上发表，推荐了一套严格的测试设置，以确保定向提示无法揭示信息，并强调必须在医疗环境下评估泄露是否真正损害患者隐私。
通常在EHR上训练的基础模型会泛化知识，借助众多患者记录来做出更好的预测。但在“记忆化”情况下，模型依赖单一患者记录来生成输出，这可能侵犯患者隐私。值得注意的是，基础模型已知容易发生数据泄露。
“这些高容量模型中的知识可以成为许多社区的资源，但对抗性攻击者可以提示模型提取训练数据中的信息，”论文第一作者、某机构博后研究员Sana Tonekaboni说。鉴于基础模型也可能记忆私有数据的风险，她指出，“这项工作朝着确保我们社区在发布模型之前能够采取实用评估步骤迈出了一步。”
为了研究EHR基础模型在医学中可能带来的风险，Tonekaboni联系了某机构副教授Marzyeh Ghassemi。Ghassemi是某机构健康机器学习组的负责人，专注于健康领域的鲁棒机器学习。
恶意攻击者到底需要多少信息才能暴露敏感数据？泄露信息带来的风险是什么？为了评估这一点，研究团队开发了一系列测试，希望为未来的隐私评估奠定基础。这些测试旨在测量各种类型的不确定性，并通过衡量不同层级的攻击可能性来评估对患者的实际风险。
“我们确实试图强调实用性：如果攻击者必须知道你病历中十几项实验室检查的日期和数值才能提取信息，那么造成伤害的风险非常小。如果我已经能够访问那种受保护的源数据，为什么还需要攻击大型基础模型来获取更多信息呢？”Ghassemi说。
随着医疗记录不可避免的数字化，数据泄露已变得更加普遍。在过去24个月中，某机构（美国卫生与公众服务部）记录了747起影响超过500人的健康信息数据泄露事件，其中大多数属于黑客/IT事件。
患有特殊疾病的患者尤其脆弱，因为很容易将他们识别出来。“即使使用去标识化数据，也取决于你泄露了关于个体的哪种信息，”Tonekaboni说。“一旦识别出他们，你就知道了更多信息。”
在他们的结构化测试中，研究人员发现，攻击者掌握的有关特定患者的信息越多，模型就越可能泄露信息。他们演示了如何区分模型泛化情况和患者级记忆化，以便正确评估隐私风险。
论文还强调，某些泄露比其他泄露更有害。例如，模型泄露患者的年龄或人口统计信息，可被视为比泄露更敏感信息（如HIV诊断或酗酒）更良性的泄露。
研究人员指出，患有特殊疾病的患者尤其脆弱，因为很容易识别出他们，这可能需要更高级别的保护。“即使使用去标识化数据，这确实取决于你泄露了关于个体的哪种信息，”Tonekaboni说。研究人员计划将这项工作扩展到更具跨学科性，加入临床医生、隐私专家以及法律专家。
“我们的健康数据是私有的，这是有原因的，”Tonekaboni说。“其他人没有理由知道它。”
这项工作得到了某机构、某基金会、某国家科学基金会、某奖项、某研究学者奖以及某计划的支持。本研究使用的资源部分由某省、某国政府及赞助某机构的公司提供。FINISHED
