资源描述
FATE 1 FATE 隐私 计 算开源框架 金融行业技 术应用报告 The Application and Development Report of Open Source Privacy Computing Framework(FATE)in Financial Industry 北京金融 科技产 业联盟 2023 年1 月 FATE 2 前 言 本 报 告 由 北 京 金 融 科 技 产 业 联 盟 开 源 专 业 委 员 会 组 织 编 写并拥有相关版权。凡转载、引用、摘录或以其他方式利用本报告观点、内容、图表的，都应注明“引用来源：北京金融科技产业联盟”。FATE 3 编制委员 会 主任：编委会成员（）：编写组 成员：统稿：参编单 位：另有 以下单位 也 为本次报告编制分析 提供了行业案例参考：FATE 4 目 录.5.7.8.9.10.12.12.16.21.21.22.25.27 FATE.30.30.32.36.36.38.38.40.43 FATE.44.44.44 FATE 5 概 述 2022 FATE FATE 6 FATE FATE 7 一、研究背景 80 ATM 1 FATE 8 2 1 2 3 FATE 9 1.2 FATE 10，在 3 55%FATE 1 FATE 2021 3 2035 1 数据来源：中国信通院隐私计算白皮书(2021)FATE 11 2021 2022-2025 2022 2 3 2 2020 年国务院办公厅印发 关于构建更加完善的要素市场化配置体制机制的意见，要求“探索建立统一规范的数据管理制度，提高数据质量和规范性，丰富数据产品。制定数据隐私保护制度和安全审查制度。推动完善适用于大数据环境下的数据分类分级安全保护制度，加强对政务数据、企业商业秘密和个人数据的保护。”3 2022 年国务院办公厅印发 要素市场化配置综合改革试点总体方案要求“探索原始数据不出域、数据可用不可见的交易范式，在保护个人隐私和确保数据安全的前提下，分级分类、分步有序推动部分领域数据流通应用。探索建立数据用途和用量 控制制度，实现数据使用可控可计量”。FATE 12 二、主流开源隐私计算框架介绍 2017 OpenMined PySyft GitHub star 2022 8 25 表 1 开源隐私计算框架概况4 开 源框 架名称 开 源机 构 主导机构 开 源时间 最 近版本 更新 总版本数 系 统特 点 PySyft OpenMined 国外 2017.7 2021.12 22 1.用于安全和私有深度学习的 Python库 2.基于PyTorch，使用 UnityGameEngine安全多方计算 3.联合学习、差异隐私 TF-Encrypted DropoutLabs,OpenMined,阿里巴巴 国外/国内 2018.3 2022.3 17 1.基于 TensorFlow 的安全多方计算框架 2.在底层集成了安全多方计算、同态加密等技术，利用预先构建的协议或使用TF-Encrypted 的可插拔架构构建和测试用户的协议。Asylo Google 国外 2018.5 2021.6 19 1.Asylo 是下一代机密运算框架，旨在提供一个在可信执行环境（TEEs）中执行的应用的开发框架和 SDK，以确保应用及资料的安全性。FATE 13 2.Asylo 是一个全新类型的框架，它包含用于加密敏感通信的功能和服务，有助于保护数据和应用程序。Asylo 框架的 出 现 使 得 更 多 的 开 发 人 员 能 够 使 用TEE，并支持各种硬件 从企业内部系统到云端 3.开发语言C/C+MesaTEE/ApacheTeaclave 百度 国内 2018.9 2022.4 4 1.内存安全 2.安全多方计算，区块链和云服务 3.约束所有控制流和数据流必须经过关键检查点，显著减轻了审计和访问控制的难度 4.通过利用包括IntelSGX 在内的TEE，安 全 地 将 云 用 户 的 数 据 和 代 码 执 行 隔离、加密起来，即使云计算环境里的操作 系 统、虚 拟 机 管 理 器（VMM/hypervisor）、或相邻的其他虚拟机被攻破或作恶，这些数据代码的完整性和保密性都能得到保障。用户也可以通过远程地验证执行环境，确保远程执行的代码是否符合预期 5.灵活可配置的安全等级 CrypTen Facebook 国外 2019.1 2020.4 1 1.安全多方计算框架，有一个通用 的、机器学习优先的API 设计 2.采用了一种命令式编程模型 FATE 微众银行 国内 2019.2 2022.4 34 1.工业级框架，统一计算，存储，通信抽象层，适配不同的计算引擎，存储引擎，通信引擎 2.提供一站式的联邦模型企业级服务解决方案。提供多插件支持联邦学习企业和科研应用 3.支持主流的分类、回归、聚类和迁移学习的联邦化算法 4.提 供 多 种 安 全 计 算 协 议 支 撑 上 层 应用，支持同态加密协议、秘密共享协议、不经意传输协议和 DH 密钥交换算法等 5.提供30 多个联邦算法组件 6.累计迭代34 个版本 TensorFlowFederated,TFF Google 国外 2019.3 2022.8 36 1.可以选择ML 模型架构 2.模型设计理念以数据为主 FATE 14 Occulum 蚂蚁集团 国内 2019.3 2022.7 41 1.提供轻量级的LibOS 进程，这些进程共享一个enclave 的单个地址空间，启动速度，进程间通信速度均有提高 2.支持各种类型的文件系统 3.使用Rust 从头开始构建的，减少低级别的内存安全错误 Fedlearner 字节跳动 国内 2020.1 2021.3 4 1.代码里有大量的 JS、HTML 模块，产品化程度高 2.采 用 云 原 生 部 署 方 案。数 据 存 放 在HDFS，用 MySQL 存 储 系 统 数 据，通 过Kubernetes 管理任务 PaddleFL 百度 国内 2020.2 2021.12 5 1.基于飞桨(PaddlePaddle)和Kubernetes 2.面向深度学习设计，提供在计算机视觉、自然语言处理、推荐算法等领域的联邦学习策略及应用场景 3.简化大规模分布式集群部署 4.二次开发接口允许各方定义私有化的数据读取器 5.提供了基础编程框架，并封装了一些公开的联邦学习数据集 FLEX 同盾科技 国内 2020.2 2020.12 1 一套标准化的联邦协议：约定了联邦过程中参与方之间的数据交换顺序，以及在交换前后采用的数据加解密方法 FedML 美 国 南 加 州大学 国外 2020.7 2022.4 1 支持三种计算范例：分布式训练、移动设备训练、独立仿真 Rosetta 矩阵元 国内 2020.8 2021.7 5 1.集成了 3 方 参 与 的 安 全 多 方 计 算（MPC）协 议、零 知 识 证 明 协 议Mystique 2.基于 TensorFlow 开发的隐私计算框架 IBMFederatedLearning IBM 国外 2020.8 2022.3 7 1.无需迁移即可在企业范围内收集、清理和培训具有大量数据的站点 2.适应数据格式、质量和约束方面的差异 3.在训练具有不同数据源的模型时遵守数据隐私和安全性 9NFL 京东 国内 2020.9/1.支持百亿级规模样本.百 T 级容量数据的超大规模的样本匹配、联合训练 2.实现分布式异步框架、Failover 拥塞控制等机制 FATE 15 Fedlearn 京东 国内 2020.10/自主研发的联邦学习平台，不同参与方之间交换更新参数所需的中间数值，采用增加扰动对这些数值进行保护，引入中心化数据交换的概念，采用异步计算框架 IntelOpenFL Intel 国外 2021.1 2021.4 157 1.OpenFL 是用于联邦学习的python3 库 2.OpenFL 是适用于数据科学家的灵活、可扩展且易于学习的工具 MindSporeFederated 华为 国内 2021.7 2022.7/开源联邦学习框架，支持面向千万级无状态终端设备的商用化部署，可在用户数据不出本地的前提下，使能全场景智能应用。特点是：隐私安全、分布式联邦聚合、联邦效率提升、灵活易用 NVFlare NVIDIA 国外 2021.7 2022.7 13 与模型无关、开源、可扩展的 SDK，允许研究人员将现有的 ML/DL 工作流程（PyTorch、RAPIDS、Nemo、TensorFlow）快速适配到联邦学习架构上 EFLS 阿里巴巴 国内 2021.10/弹性联邦学习解决方案,支持两个合作方在特征维度拓展样本，并进行联合训练 WeFe 天冕科技 国内 2021.10/致力于实现在非共享的情况下，充分保护各方用户数据安全，实现跨数据、跨行业的数据合作 FederatedScope 阿里巴巴 国内 2022.5 2022.7 2 支持大规模、高效率的联邦学习异步训练，能兼容不同设备运行环境，且提供丰富功能模块，大幅降低了隐私保护计算技术开发与部署难度 Primihub 原语科技 国内 2022.5 2022.8 3 1.集成密码学、机器学习技术和加密硬件等多种安全方案 2.提供一站式端到端的应用服务开发平台和可视化交互方式 3.实现十亿级规模大数据计算 SecretFlow 隐语 蚂蚁集团 国内 2022.7/通过架构设计，统一架构能够同时支持MPC、TEE 和联邦学习的方案 XFL 翼数联邦学习及XSCE 翼数安全计算 翼方健数 国内 2022.7 2022.7/在系统构架上强调轻量、高效、低依赖、高性能、易扩展、易集成，让开发者实现轻量级二次开发，帮助用户在不同应用场景实现“数据使用”自由 FATE 16 2/3 1 PySyft PySyft OpenMined 2017 Python PySyft TensorFlow PyTorch PySyft PySyft SyftTensor SyftTensors PyTorch SyftTensor SyftTensor 2 MesaTEE MesaTEE 2018 9 SGX Rust MesaTEE FATE 17 Python SQL MesaTEE MesaTEE MesaTEE KeyVault HSM/MesaTEE Level5 IntelSGX GBDT AI Tensorflow Caffe CNN/RNN MesaTEE 3 FATE FATE Federated AI Technology Enabler FATE 800 350 FATE(MPC)(HE)FATE FATE 18 FATE FederatedML Pipeline FATE-Flow FATE EggRoll Spark FATE FATE FATE-Board FATE-Serving FATE-Cloud 4 TensorFlow Federated TensorFlow Federated(TFF)TFF Keras Keras TFF TensorFlow TFF 5 Fedlearner Fedlearner 2020 Fedlearner Fedlearner PSI Fedlearner Fedlearner GRPC TensorFlow Fedlearner Kubernetes+HDFS/MySQL/Elasticsearch Kubernetes FATE 19 600T+220 Fedlearner 124%6 PaddleFL PaddleFL PaddlePaddle PaddleFL PaddleFL Data Parallel Federated Learning with MPC(PFM)Data Parallel,FedAvg DPSGD PFM MPC ABY3 PrivC PaddleFL docker Kubernetes 7 NVIDIA FLARE NVIDIA FLARE PythonSDK NVIDIA Federated Learning Application Runtime Environment NVIDIA FLARE NVIDIA FLARE FATE 20 NVIDIA FLARE Worker API NVIDIA FLARE NVIDIA FLARE API 8 Primihub Primihub 2022 5 Primihub MPC FL HE TEE Primihub FATE 21 三、金融业隐私计算开源生态建设现状 2020 2017 FISCO BCOS、FATE 22 1 2020 FATE FATE 23 2 2019 2 FATE Federated AI Technology Enabler AI 6 FATE FATE TSC FATE FATEv0.1 POC 2020 FATE 24 Clustar FATE TSC 10 12 Avatar PrivPy FATE 7 10 CCFAI 2021 3 FATE IEEEP3652.1 Guide for Architectural Framework and Application of Federated Machine Learning 4 AI 7 FATE TSC TSC FATE 25 FATE Rosetta 2022，有 FATE 26 No-free-lunch-+-5 FATE 27 图 1 金融业隐 私计算 开源生 态位全景 图 1 2018 Google Facebook IBM Intel NVIDIA FATE 28 FATE 30 30 图 2 FATE 发展里 程碑 FATE 50 OpenIslands 2 2022 8 FATE 19 FATE 29 3 84%30%75%FATE FATE 30 四、FATE 开源框架技 术分析 FATE FATE FATE 1 FATE FATE FATE FATE 31 图 3 FATE 平台系统架 构 2 FATE 1 FATE on EggRoll FATE EggRoll 图 4 以 EggRoll 为计算引擎 的 FATE 部署架构 2 FATE on Spark FATE Spark Spark FATE FATE 32 图 5 以 Spark 为计算引擎 的 FATE 部署架构 3 FATE 图 6 网络互联架 构 1.（FATE FederatedML）30 FATE 33 2 FATE-Flow,FATE-Flow 图 7 FATE-Flow 多方联合 任 务安全调 度 3 FATE-Board FATE-Board FATE 34 图 8 联邦模型可 视化 4 FATE-Serving FATE FATE-Serving FATE 35 图 9 FATE-Serving 架构 5 FATE EggRoll 图 10 EggRoll 架构 6 FATE Cloud FATE 36 FATE Cloud 图 12 FATECloud 核心功能 FATE FATE Paillier SPDZ MPC SSHE 3 DH ECDH RSA OT FedAvg KubeFATE FATE FATE 37 FATE KubeFATE Docker-compose Kubernetes Docker-compose Kubernetes FATE 38 五、未来展望 FATE 1 2 FATE 39 3 FATE GPU FPGA FATE CPU/GPU/FPGA 4 FATE KubeFATE FedLCM 1 FATE 40 2 3 5 AI FATE v1.5.0 FATE FATE Tensorflow Pytorch AI FATE AI 1.FATE FATE 41:FATE(FATE TSC)1）。2）SIG。SIG 某 一 领域。3）。，2.FATE 42 FATE FATE FATE 6 FATE 43 参考文献 1,.,J.,2021(000-011).2 2021.3.J.4 AI.2021.5 No Free Lunch Theorem for Security and Utility in Federated Learning Xiaojin Zhang,Hanlin Gu,Lixin Fan,Kai Chen,Qiang Yang 6,.J.,2022(001):037.FATE 44 附录：FATE 开源 框架的典型应用案例 FATE FATE FATE 1 FATE FATE FATE 45 图 15 银联小微企 业信用 评 估数据合 作方案 AUC 0.615 0.690 12.2%2 ERP FATE 46 FATE PSI RSA PSI FATE FATE Hetero-LR Y Hetero-LR AUC 12 FATE 47 图 16 微众银行 基于 FATE 改善小微 企业贷 款模型 效果 FATE 促进数据价值流通 3 FATE 48 900 FATE Homo-LR ID arbiter Arbiter LR AUC 14%FATE 49 图 17 微众银行使 用联邦 模 型前后效 果对比 AUC 1000 homo-LR 38 FATE 4 FATE 50 FATE FATE RSA FATE 18 AUC KS Lift AUC 0.839 0.879 4%KS 0.539 0.601 6%10%Lift 4.353 5.582 FATE 51 图 18 团险职域 营销逻 辑流 程图 5 FATE 52 FATE 19 图 19 机构客户 风险评 级对 照实验结 果 SecureBoost FATE SecureBoost BaaS FATE 53 表 4 机构客户 风险评 级存证 字段 6 FATE 20 FATE 54 图 20 联邦建模 平台架 构 1 2 80%FATE 55 3 A B C A B 1-5 6 21 图 21 A、B 机构 测试结 果 A A B B 14%0.824 0.824 0.8160.7790.889 0.88900.20.40.60.81本地单体 本地联合 联邦联合A 机构测试集 B 机构测试集 FATE 56 7 2020 FATE1.5LTS FATE 57 SecureBoost 5%34%8-FATE 58 1 1 50 2 PSI PSI 图 22 反欺诈风险 客户筛 选 图示 3 lightgbm SecureBoost 4 TOP100 38.46%TOP500 37.14%2 FATE 59 图 23 工行反欺诈 系统欺 诈 检测工作 流程 FATE 60 图 24 工行反欺诈 风险识 别 技术的产 业价值 9 Clustar FPGA FATE Clustar FPGA NVIDIAGPU XilinxFPGA FATE GPU+FPGA FATE 61 FATE FATE CPU FPGA GPU FPGA GPU Clustar FPGA GPU FPGA GPU 30 Clustar FATE CPU 3 60 FATE FPGA GPU 10 FATE 62 FATE AngelPowerFL 图 25 腾讯云安全 联邦学 习 平台技术 架构 PaaS SaaS FATE 63 PaaS FATE PowerFL PaaS SaaS SaaS 20%FATE FATE 64
展开阅读全文