隐私计算-SecretFlow-开源隐私计算框架

190 阅读4分钟

隐私计算是一类技术的统称,旨在实现数据的“可用不可见”,即在保护数据隐私的前提下完成计算任务。其核心目标是解决数据共享与隐私保护之间的矛盾,广泛应用于金融、医疗、政务等敏感数据场景。

隐语SecretFlow支持包括MPC、FL、TEE、HE、DP在内的多种主流隐私计算技术,以期通过良好的分层设计及开箱即用的隐私保护数据分析及机器学习等功能,降低开发者使用门槛。

SecretFlow优势

目前,隐私计算技术日益普及。然而,技术路线分散、专业门槛高,阻碍了进一步应用。SecretFlow即为应对隐私计算技术和应用的发展不确定性。SecretFlow将坚持以下原则,使框架具有最大的包容性和可扩展性,以应对未来隐私计算技术和应用的发展。

  • ·完备性:支持多种隐私计算技术,可灵活组装,满足不同场景需求。
  • ·透明性:构建统一的技术框架,尽量让底层技术迭代对上层透明应用,具有高内聚和低耦合。
  • ·开放性:不同专业方向的人可以轻松参与框架的建设,共同加速隐私计算技术的发展。
  • ·连接性:不同底层技术支持的场景中的数据可以相互连接。

SecretFlow架构

SecretFlow提供

  • ·设备抽象,将多方安全计算(MPC)、同态加密(HE)、可信执行环境(TEE)等隐私计算技术抽象为密文设备,将明文计算抽象为明文设备。
  • ·基于抽象设备的计算图,使数据分析和机器学习工作流程能够表示为计算图。
  • ·基于计算图的机器学习/数据分析能力,支持数据水平/垂直/混合分割等场景。

image.png

模块

层级模块模块简介
产品层SecretPad隐语打造的 AI 与数据分析平台,可快速帮助用户体验隐语核心能力。
Easy PSI独立 PSI 轻量级自研产品,满足用户想要单独使用 PS 的需求,具有轻量化部署、使用门槛低等优点。
Kusia基于 K3s 的轻量级隐私计算任务编排框架,旨在增强基础设施和协议,并提供统一的隐私计算基础。
调度层Kusia EnvoyEnvoy 是一个开源的边缘和服务代理,在控制平面中,Envoy 是节点与 Master、Master 与 Master 之间的流量代理,从 DomainRoute Controller 接收路由规则和身份认证、鉴权策略。
PSI隐语 PSI 和 PIR 的仓库,为 SecretFlow、SCQL、SecretPad 和 Easy PSI 提供隐私求交和隐匿查询功能。
SecretFlow隐语核心算法模块,为用户提供了丰富的隐私集合求交、隐匿查询、预处理、MPC 机器学习、联邦学习(含拆分学习)等核心算法。
AI&B&I 算法层Serving用于保护隐私的机器学习模型的服务系统,主要提供模型预测能力。
SCQL将 SQL 语句转换为明文密文混合执行图,并在联合数据库系统上执行。是一个允许多个互不信任参与方在不泄露各自隐私数据的条件下进行联合数据分析的系统。
TrustedFlow隐语基于可信硬件的隐私保护引擎,立足于可信执行环境技术,提供更保护和隔离的环境,其中封装了敏感数据,并且提供数据安全存储和计算能力。
设备层SPU基于 MPC 的密码计算设备,旨在提供具有可证明安全性的安全计算服务。SPU 可以被视为可编程设备,它并不是为直接使用而设计的,通常我们使用 SecretFlow 框架,该框架使用 SPU 作为底层安全计算设备。
HEU基于 HE 的隐语态密设备,实现了高性能的同态加密算法,降低同态加密的使用门槛,使得用户无需专业知识就能利用同态加密算法构建任意程序。
安全协议层YACL安全密码库,包含其他 SecretFlow 代码所依赖的常见密码学、网络和 io 模块。Yacl 中的加密模块实现了许多最先进的安全计算协议,包括 OT、VOLE、TPRE 等原语以及 PRG、RO 等工具。