背景介绍
最近微信小程序「妙鸭相机」十分火爆。
「妙鸭相机」是一款小程序，可以制作数字分身，任意生成「自己」穿着各种制服的照片。您可以在小程序里上传照片后，就可以制作数字分身，任意生成「自己」穿着各种制服的照片。这些生成的照片很精致，光线和层次感都有。虽然说形象上有了一定的美化，但也没完全脱离原本的样子。除了这些，还有十几套可以选，有职场、情书、氧气等等，选完之后它会立即生成一组全新照片。
目前AI应用存在多种安全隐私问题，有法律上、也有技术上的。比如之前贝壳财发表了文章“实测爆火的妙鸭相机：隐私条款惹争议，能否“挑战”照相业？”。文中讨论了妙鸭相机的用户协议引发的质疑，但妙鸭相机回应称，原协议内容有误，并第一时间删除了相关条款。此外，该应用制作完数字分身后会就删除用户照片。
技术讨论
其实ChatGPT之前暴露过用户的数据隐私问题，比如三星员工使用ChatGPT导致企业机密泄漏的事件。微软和亚马逊也在防备员工在使用过程中泄密，禁止他们向ChatGPT分享敏感数据。
当AI模型将用户数据用于模型训练时，用户隐私就可能会遭到模型反演攻击（Model Inversion Attacks）。Model Inversion Attacks是指攻击者通过模型输出来推断训练数据。这种攻击方式可能会泄露模型的训练数据，从而导致隐私泄露。
目前学术界已经进行了相关研究，比如论文：Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures。下图是论文中的一张图片，左边为攻击提取的图像，右边是训练集的图像。我们可以明显看出两张图片的相似性。
当然上述的攻击，可以通过一些术进行缓解，比如差分隐私、模型蒸馏、模型剪枝等。未来随着法律和技术的逐渐完善，用户隐私保护一定会得到更好保护～
