可信人工智能白皮书.pdf

可 信 人 工 智 能 白 皮 书 中国信息通信研究院 京东探索研究院 2021 年7 月 No.202106版 权 声 明 本白皮书版 权 属 于 中 国 信 息 通 信 研 究 院 和 京 东 探 索 研 究院， 并 受 法 律 保 护 。 转 载 、 摘 编 或 利 用 其 它 方 式 使 用 本 白 皮 书 文 字 或 者 观 点 的 ， 应 注明 “ 来 源 ： 中 国 信 息 通 信 研 究 院 和 京 东 探 索研 究 院 ” 。 违 反 上述 声 明 者 ， 本 院将追究其 相关法律责任。前 言 当前，新一代人工 智能技术迅猛发展 ，并向社会各个领 域加速 渗 透 ， 给 人类 生 产生 活 带 来 了深 刻 变化 。 人 工 智能 在 带来 巨 大 机 遇 的同时， 也蕴含 着 风险和挑 战。习 近 平总书记 在 2018 年 10 月主持 中央政治 局第九 次 集体学习 时强调 ， “ 要加强人 工智能 发 展的潜在 风 险 研 判 和 防范 ， 维护 人 民 利 益和 国 家安 全 ， 确 保人 工 智能 安 全 、 可 靠、 可控 ” 。 增强人 工智能使 用信心， 推动人工 智能产 业 健康发展 已 经成为重 要关切 。 发展可信 人工智 能 正在成为 全球共 识 。2019 年 6 月，二 十国集 团（G20 ） 提出 “G20 人工智能原则 ” ， 强调要以 人为本、 发展可信 人 工 智 能 ， 这一 原 则也 得 到 了 国际 社 会的 普 遍 认 同。 欧 盟和 美 国 也 都 把 增 强 用 户信 任 、发 展 可 信 人工 智 能放 在 其 人 工智 能 伦理 和 治 理 的 核 心 位 置 。未 来 ，将 抽 象 的 人工 智 能原 则 转 化 为具 体 实践 ， 落 实 到 技 术 、 产 品和 应 用中 去 ， 是 回应 社 会关 切 、 解 决突 出 矛盾 、 防 范 安 全 风 险 的 必然 选 择， 是 关 系 到人 工 智能 长 远 发 展的 重 要议 题 ， 也 是 产业界急 需加快 推 进的紧迫 工作。 无论是回顾可信人 工智能的背景和历 程，还是展望新一 代人工 智 能 的 未 来， 本 白皮 书 认 为 人工 智 能的 稳 定 性 、可 解 释性 、 公 平 性 等 都 是 各 方关 注 的核 心 问 题 。立 足 当下 ， 本 白 皮书 从 如何 落 实 全 球 人 工 智 能 治理 共 识的 角 度 出 发， 聚 焦于 可 信 人 工智 能 技术 、 产 业 和 行 业 实 践 等层 面 ，分 析 了 实 现可 控 可靠 、 透 明 可释 、 隐私 保 护 、 明确 责 任 及 多元 包 容的 可 信 人 工智 能 路径 ， 并 对 可信 人 工智 能 的 未 来 发展提出 了建议 。 由于人工智能仍处 于飞速发展阶段， 我们对可信人工智 能的认 识 还 有 待 进一 步 深化 ， 白 皮 书中 存 在的 不 足 之 处， 欢 迎大 家 批 评 指 正。目 录 一、 可信人工智能发展背景 . 1 （一） 人工智能技术风险引发信任危机 . 1 （二） 全球各界高度重视可信人工智能 . 2 （三） 可信人工智能需要系统方法 指引 . 7 二、 可信人工智能框架 . 8 三、 可信人工智能支撑技术 . 12 （一） 人工智能系统稳定性技术 . 12 （二） 人工智能可解释性增强技术 . 14 （三） 人工智能隐私保护技术 . 15 （四） 人工智能公平性技术 . 17 四、 可信人工智能实践路径 . 18 （一） 企业层面 . 18 （二） 行业层面 . 25 五、 可信人工智能发展建议 . 27 （一） 政府层面加快推动我国人工智能监管及立法进程 . 27 （二） 技术研究层面需全面做好体系化前瞻性布局 . 27 （三） 企业实践层面需匹配业务发展实现敏捷可信 . 28 （四） 行业组织层面需搭建交流合作平台打造可信生态 . 28 参考文献 . 30图 目 录 图 1 可信人工智能相关论文数量图 . 4 图 2 企业开展可信人工智能实践情况 . 6 图 3 可信人工智能核心内容 . 8 图 4 可信人工智能总体框架 . 9 图 5 全球 84 份人工智能伦理文件中的主 要关键词 . 11 表 目 录 表 1 数据集中常见的固有偏见 . 24可信人工智能白皮书 1 一、 可 信人工 智能发展 背景 人工智能 作为新 一 轮科技革 命和产 业 变革的重 要驱动 力 量， 正在 对经济发 展、 社会 进步、 国际 政治经 济格局等 诸方面 产 生重大而 深远 的影响。2020 年人 工智能产 业保持 平 稳增长， 根据 IDC 测算，全 球 人工智能 产业规 模 为 1565 亿美元 ，同 比增长 12% ；根据 中国信息 通 信研究院 测算， 我 国产业规 模达到约 434 亿美元（3031 亿人民币 ） ， 同比增长 15% 。 人 工智能在 带来巨 大 机遇的同 时， 也蕴 含着风险 和挑 战。 习近 平总书 记 高度重视 人工智 能 治理工作 ， 强调 要 “确保人 工智 能 安全、 可靠、 可控 ” ，倡议 推动落 实二 十国集 团人工 智能 原则， 引 领全球人 工智能 健 康发展。 （一） 人 工 智 能 技 术 风险 引 发 信 任 危 机 当前， 人工 智能应 用的广度 和深度 不 断拓展， 正 在成为 信息基础 设施的重 要组成。 但在此过 程中， 人 工智能也 不断暴 露 出一些风 险隐 患，主要 体现在 以 下几个方 面： 算法安全 导致的 应 用风险。 以深度 学习 为核心的 人工智 能 技术存 在脆弱和 易受攻 击 的缺陷， 使得人 工智 能系统的 可靠性 难 以得到足 够 的信任。 如优步 （Uber ） 自动驾 驶汽车 未能及时 识别路 上 行人而致 其 死亡； 据美 国 财 富 杂志报 道， 一 家人工智 能公司 利 用 3D 面具和 合成照片 实施欺 骗 攻击，成 功破解 多 国的人脸 识别系 统 1 。 黑箱模型 导致算 法 不透明。 深度学 习具 备高度复 杂性和 不 确定性 ， 从而容易 引发不 确 定性风险 。 由于 人们 无法直观 地理解 决 策背后的 原 1 可信人工智能白皮书 2 因， 人工智 能与传 统行业的 进一步 融 合受到阻 碍。 如美 国德州某 学校 使用人工 智能系 统 判断老师 教学水 平， 由于系统 不能解 释 争议性决 策 的判断依 据，遭 到 该校教师 的强烈 抗 议，最终 导致系 统 下线。 数据歧视 导致智 能 决策偏见 。 人工 智能 算法产 生 的结果 会 受到训 练数据的 影响， 因 此， 如果 训练数 据 中存在偏 见歧视 ， 算法会受 到歧 视数据的 影响， 并 进一步固 化数据 中 存在的偏 见歧视， 导致依托 人工 智能算法 生成的 智 能决策形 成偏见 。 如 美国芝加 哥法院 使 用的犯罪 风 险评估系 统（COMPAS ）被证明对 黑人 存在歧视 2 。 系统决策 复杂导 致 责任事故 主体难 以 界定。 人 工智能 的系 统的自 动 化决策 受众多 因素 影响， 使得责 任主 体难以 界定。 对于 自动驾 驶、 机器人等 应用安 全 事故频发， 法学专 家表示， 从 现行法 律上看人 工智 能本身还 难以成 为 新的侵权 责任主 体， 但人工智 能的具 体 行为受程 序 控制， 发 生侵权 时 ， 到底是 由所 有 者 还是软件 研发者 担 责， 仍需 进一 步探讨 3 。 数据滥用 导致隐 私 泄露风险 。 生物 识别 信息的频 繁使用 使 得个人 隐 私数据 泄露的 可能 性增大 ，数据 一旦 丢失会 造成极 大的 安全风 险。 如 ZAO 通过用户协 议条款违 规收集 人 脸数据 4 ， 加重了人 们对隐私 数 据滥用可 能造成 刷 脸支付和 身份认 证 相关安全 风险的 担 忧。 （二） 全 球 各 界 高 度 重视 可 信 人 工 智 能 面对人工 智能引 发 的全球信 任焦虑 ， 发 展可信人 工智能 已 经成为 2 3 4 可信人工智能白皮书 3 全球共识。2019 年 6 月， 二十国集团 （G20 ） 提出 “G20 人 工智能原 则 ” ，在其 五项政 府建 议中明 确提出 的“ 促进公 共和私 人对 人工智 能 研发的投资力度，以促进可信赖的人工智能（Trustworthy Artificial Intelligence ） 的创 新 ； 需创建 一个策 略 环境， 为 部署值 得 信赖的人 工 智 能系统 开辟道 路 。 ” 已经成 为国际 社会 普遍认 同的人 工智 能发展 原 则。 学术界首 先推开 了 可信人工 智能的 大 门。 中国 科学家 何积 丰院士 于 2017 年 11 月香山 科学会议第 S36 次学术研讨 会首次 在 国内提出 了 可信人工 智能的 概 念， 即人工 智能技 术本身具 备可信 的 品质。 从学 术 研 究角度 ，可信 人工 智能研 究范畴 包含 了安全 性、可 解释 、公平 性、 隐私保护等多方面内容。2020 年 可 信 人 工 智 能 研 究 论 文 数 量 相 比 2017 年增长近 5 倍 ；美国国 防高级 研 究计划局 发布学 术 报告可 解 释 人工智 能并 开展 相关资 助活动 ，致 力于推 动可信 人工 智能发 展； 顶级会议 AAAI 连续 2 年组织可解 释 人工智能 （Explainable AI ） 专题 研 讨，并 一直保 持火 热的研 究态势 。同 时，围 绕着机 器学 习公平 性、 可问责和 透明性 的 研究已经 形成 “FAccT ML”（ Fairness, Accountability and Transparency in Machine Learning ）社区，在 此基础 上 ，ACM 从 18 年开始连 续 4 年发起学术 会议 ACM FAccT （ACM Conference on Fairness, Accountability, and Transparency）。可信人工智能白皮书 4 来源：Web of Science 官网 图 1 可信人工智能相关论文数量图 5 政府把增 强用户 信 任、 发展可 信人工 智能， 放在 其人工 智能伦理 和治理的 核心位 置 。2020 年欧盟的 人工智能 白皮书 1 提出了人 工 智 能“可 信生态 系统 ” ，旨在 落实欧 洲人 工智能 监管框 架， 提出对 高 风险人工 智能系 统 的强制性 监管要 求 。同年 12 月， 美国 白宫公布 了 一项名为促进政府使用可信人工智能的行政命令 6 ，该命令为联 邦机构使 用人工 智 能制定指 导方针 ， 旨 在促进公 众接受 并 信任政府 在 决策中使 用人工 智 能技术。 标准化组 织布局 可 信人工智 能标准 。ISO/IEC JTC1 SC42 专门设 置了 WG3 可信人工智能工 作组， 目 前已发布 信息 技 术 人工智能 人 工智能 的可信 度概 述 ，正 在推进信 息技术 人 工智能 评估神经 5 中国信息通信研究院根据 Web of Science 检索整理。 6 可信人工智能白皮书 5 网络的鲁 棒性 系 列研究工 作。 国内 成立全国 信息技 术 标准化技 术委 员会人工 智能分 技 术委员会 （SAC/TC 28/SC 42 ） ， 同步推 进相关研 究。 2020 年 11 月， 全 国 信息安全 标准化 技 术委员会 TC260 工作组发布 了 网络安 全标准 实 践指南 人工智 能 伦理道德 规范指 引 意见征求 稿， 针对可能 产生的 人 工智能伦 理道德 问 题， 提出 了安全 开展 人工智能 相 关活动的 规范指 引 。 企业积极 探索实 践 可信人工 智能 。 IBM Research AI 于 2018 年开 发多个人 工智能 可 信工具， 以评估 测试 人工智能 产品在 研 发过程中 的 公平性、 鲁 棒性、 可解释性、 可问责 性、 价值一 致性。 这些工具 已捐 献给 Linux Foundation 并成为了 开源项 目。 微软 、 谷歌 、 京 东、 腾讯 、 旷视等国 内外企 业 也在积极 开展相 关 实践工作 ， 图 2 梳理 了部分企 业 在可信人 工智能 方 面的探索 情况。可信人工智能白皮书 6 来源： 资料 整理 图 2 企业开展可信人工智能实践情况 7 结 合各 方的表 述，本 白皮 书认为 “可信 ”反 映了人 工智能 系统、 产品和服 务在安 全 性、 可靠 性、 可 解 释、 可问 责等一 系 列内在属 性的 7 根据公开资料整理。可信人工智能白皮书 7 可信赖程 度， 可信 人工智能 则是从 技 术和工程 实践的 角 度， 落实伦 理 治理要求 ， 实现 创 新发展和 风险治 理 的有效平 衡。 未 来 ， 随着人 工智 能技术、 产业的 不 断发展， 可信人 工 智能的内 涵还将 不 断丰富。 （三） 可 信 人 工 智 能 需要 系 统 方 法 指 引 当前对可 信人工 智 能的要求 及评价 方 法实操性 不断加 强。 各国都 意识到， 伦 理等 “ 软性” 约束 如果缺 乏相应落 地机制， 就容易出 现道 德漂白 （ethics washing ） 的情况 8 ， 因此 需要操作 性更强 的 手段。 2021 年 2 月， 德国发布 了 人工智能 云服务 一 致性评价 目录 AI Cloud Service Compliance Criteria Catalogue (AIC4) 9 ， 从实操层 面定义 了 评价云环 境 下人工智 能的可 信 程度。4 月 ， 欧盟 委 员会公布 了 “ 制定 人工智能 统 一 规则（ 人工智 能法 ） ”并修 订了相 关立 法提案 ，提出 了一 种平衡 和 相称的人 工智能 横 向监管方 法， 围绕 民生、 人民 基本权 益划分了 人工 智能的四 级风险 框 架， 并规定 了相应 的处罚方 式， 意图 通过法律 手段 提高市场 的信任 度 ， 推动人工 智能技 术的推广 和落地， 推进人工 智能 可 信。 5 月 ，美 国国 家标准 与技术 研究 院提出 了评估 人工 智能系 统 中用户信 任度的 方 法， 并发布 人工 智 能和用户 信任 （NISTIR 8332 ） 10 ， 从 实 操 层 面 定 义 了 评 价 人 类 使 用 人 工 智 能 系 统 时 的 信 任 体 验 。6 月 ，美国 国防部 致力 于通过 教育和 培训 建立可 信 赖的 人工 智能能 力， 通过系统 工程和 风 险管理方 法在整 个 采购生命 周期实 施 监管。 8 9 bsi.bund.de/SharedDocs/Downloads/EN/BSI/CloudComputing/AIC4/AI-Cloud-Service-Compliance- Criteria-Catalogue_AIC4.html 10 nist.gov/news-events/news/2021/05/nist-proposes-method-evaluating-user-trust-artificial-intelligence- systems可信人工智能白皮书 8 人工智能 立法进 程 不断加快， 但具体 细则仍需 进一步 明 确； 同时 产业界探 索可信 人 工智能也 逐步迈 入 深水区。 总 体上看， 针对可信 人 工智能的 实践仍 处 于相对分 散的状 态 ， 缺少一套 体系化 的方法论， 以 实现全面 贯彻相 关 治理要求， 体系化 落实相关 操作的 实 践性指引。 基 于此， 本白 皮书在 全面梳理 人工智 能 伦理约束、 规范立 法及优秀 实践 的基础上， 提出 “ 可信人工 智能框 架 ” ， 作为落 实人工 智能治理 要求 的一整套 方法论， 从产业维 度出发， 围绕企业 和行业 的 可信实践 进行 了深入剖 析， 致 力于 在人 工智 能治理 和 产业实践 之间搭 建 起连接的 桥 梁。 来源： 中国 信息 通信 研究 院 图 3 可信人工智能核心内容 企 业可 信实践 层面， 框架 以企业 人工智 能系 统生命 周期为 参照， 结合五项 可信特 征 要求， 针对 周期各 个环节提 出了实 操 性要求， 并 对 企业可信 文化及 可 信管理机 制建设 提 出了细节 性建议 。 行 业可信实 践 层面， 框 架从标 准 、评估及 保障三 个 维度进行 了详细 阐 述。 二、 可 信人工 智能框架 可信人工 智能从 学 术界提出， 到各界 积极研究， 再到产 业界开始可信人工智能白皮书 9 落地实践 ， 其内 涵 也在逐步 的丰富 和 演进。 本 白皮书 认 为， 可信 人工 智能已经 不再仅 仅 局限于对 人工智 能 技术、 产 品和服 务本 身状态的 界 定 ，而是 逐步扩 展至 一套体 系化的 方法 论，涉 及到如 何构 造“可 信” 人工智能 的方方 面 面。图 4 给出了 可 信人工智 能的总 体 框架。 来源： 中国 信息 通信 研究 院 图 4 可信人工智能总体框架 可信人工 智能是 落 实人工智 能治理 的 重要实践 ， 所遵 循的 可信特 征与人工 智能伦 理 和相关法 律法规 等 要求一脉 相承， 均将 以人为本 作 为其要求 。 从治 理 方式上来 看， 相 较 于伦理从 宏观层 面 做出指引 、 法 律以结果 为导向 做 出约束， 可 信人工 智 能深入到 企业内 部 管理、 研发 、 运营等环 节， 以及 行业相关 工作， 将 相关抽象 要求转 化 为实践所 需的 具体能力 要求， 从 而提升社 会对人 工 智能的信 任程度 。 可信特征 层面。 通 过对全球 范围内 已 经发布 的 84 份政策 文件按 照词频进 行梳理 ， 可 以看到当 前人工 智 能治理原 则已经 收 敛在 透明 性、 安全性 、 公平 性 、 可问责 、 隐私 保护 等五个方 面 2 。 尽 管 不同的组 织可信人工智能白皮书 10 由于其文 化背景、 业务性质 及管理 制 度等存在 差异， 对 于这些共 同原 则的理解 及实施 方 法有不同 倾向， 但 从产业维 度来看， 以上五项 共识 的核心理 念均是 围 绕如何构 建多方 可 信的人工 智能而 细 化提出的 。 这 五项共识 对于如 何 增强供给 侧和需 求 侧双方使 用人工 智 能的信任 ， 协 助监管机 构培育 可 信的健康 产业生 态 提供了指 引。 本 白皮 书参考全 球 五项共识（图 5 ） 、 中国人工智能产业 发展联盟（AIIA ）倡议以及发 布的 人 工智能 行 业自律公 约 3 和 可信 AI 操作指引 4 ， 总结提 出可靠可 控、 透明 可释、 数据 保护、 明确责任、 多元包 容 等五项 可信 特征要素 ，用以 指 引实践可 信人工 智 能时所需 具备的 操 作能力。可信人工智能白皮书 11 来源： 资料 整理 图 5 全球 84 份人工智能伦理文件中的主要关键词 11 可信支撑 技术层 面 ， 围绕着可 靠可控 、 透明可释 、 数据 保护、 明 确责任和 多元包 容 等可信特 征的要 求， 以理论研 究和技 术 创新为核 心 11 引自人工智能原则的全球格局（The global landscape of AI ethics guidelines ） ，中国信息通 信研究院整 理。可信人工智能白皮书 12 抓手， 从而 弥补当 前技术的 不足。 例 如研究可 解释的 新 一代人工 智能 算法、 具备 隐私保 护能力的 隐私计 算 技术等， 这 需要学 术界和工 业界 积极的探 索。 企业可信 实践层 面， 人工智能 在社会 上 的广泛应 用依赖 于 企业等 主体将技 术商品 化， 因此企业 在可信 人 工智能方 面的实 践 是可信方 法 论中的关 键一环。 应该意识 到没有 完 美的技术， 关键在 于如何正 确使 用技术： 一 方面需 要培育可 信文化 和 建设可信 管理制 度 等； 另一方 面 需 要 在 人 工 智 能 系 统 研 发 和 使 用 的 整 个 生 命 周 期 中 贯 彻 可 信 特 征 的 要求，从 产品源 头 确保“可 信”品 质 。 行 业可 信实践 层面， 可信 人工智 能需要 整个 行业的 参与和 实践。 主要包括 可信人 工 智能标准 体系的 建 设， 可信人 工智能 评估测试， 以 及人工智 能可信 保 障等， 通 过构建 保险 等社会化 方式分 担 人工智能 技 术和系统 应用带 来 的风险。 三、 可 信人工 智能支撑 技术 随着社会 各界对 人 工智能信 任问题 的 不断关注 ， 安全 可信 的人工 智 能 技 术 已 成 为 研 究 领 域 的 热 点 5,6 。 研 究 的 焦 点 主 要 是 提 升 人 工 智 能系统稳 定性、 可 解释性、 隐 私保护 、 公平性等 ， 这些 技术构成 了可 信人工智 能的基 础 支撑能力 。 （一） 人 工 智 能 系 统 稳定 性 技 术 人工智能 系统面 临 着特有的 干扰， 这些 干扰来自 于针对 数 据和系 统的多种 攻击方 式 ， 包括中毒 攻击、 对抗攻击、 后门攻 击等。 这些 攻 击技术既 可互相 独 立也可以 同时存 在 。 例如， 中毒攻 击通 过按照特 殊可信人工智能白皮书 13 的规则进 行恶意 评 论等方式， 向训练 数据集投 入干扰 数 据， 继而影 响 推荐系统 的准确 度 17 ； 对抗攻 击通过 在 道路交通 标志牌 上 贴上特殊 设 计的图案， 可以误 导自动驾 驶系统 使 其错误识 别路牌 上 的信息， 进 而 造成交通 事故 18 ；后门攻击 具有隐 蔽 性，可能 会被用 于 对 AI 供应链 发动攻击。 相比于 传统的软 件系统， 此类干扰 对人工 智 能系统的 稳定 性提出了 更高的 要 求。 人工智能 的稳定 问 题引起了 持续而 广 泛的研究 。 针对 人工 智能模 型的对抗 攻击与 中 毒攻击早在 2012 及 2013 年就已 出现。 其中， 对抗 攻 击的目 的在于 通过 构造针 对性样 本来 诱使人 工智能 系统 决策出 错； 而 中 毒 攻 击 的 目 的 在 于 通 过 向 人 工 智 能 模 型 的 训 练 数 据 集 注 入 中 毒 样本来劣 化训练 得 到的模型 的性能。 在此之后， 对抗攻 击相继发 展出 了 FGSM （Fast Gradient Sign Method）、 Carlini-Wagner 及 PGD （Projected Gradient Descent ） 等攻 击方 法； 而 中毒攻 击的 发展同样 十 分迅速， 在 其基础 上更出现 了后门 攻 击。 后门攻 击通过 后门样本 向人 工智能系 统植入 后 门， 从而达 到定向 操纵人工 智能系 统 的目的。 该 攻 击与中毒 攻击存 在 一定相似 性， 且 常通 过中毒攻 击的方 式 来向系统 植 入后门。 为 抵御这 些攻击， 一 些工作 提出各类 异常数 据 检测方法 来检 出并清除 对抗样 本 、 中毒样 本、 后 门 样本等恶 意数据 ， 从而减轻 恶意 攻 击带来 的干扰 ；通 过在对 抗样本 上进 行对抗 训练来 抵抗 对抗攻 击； 利用模型 剪枝、 后 门检测等 技术抵 抗 后门攻击 。 人工智能 的稳定 性 仍然面临 着较大 的 挑战。 一方 面， 各种 干扰手 段 层出不 穷、持 续演 进，而 新的攻 击方 法容易 让旧的 防御 方法失 效可信人工智能白皮书 14 另一方面， 干扰的 形式正在 逐步从 数 字世界向 物理世 界 蔓延， 例如 通 过 打 印 对 抗 样 本 等 手 段 能 够 直 接 对 自 动 驾 驶 和 人 脸 识 别 系 统 造 成 物 理层面的 干扰。 未 来在人 工智 能 稳定性 技 术 方面 的 研究将 持 续 增多 。 （二） 人 工 智 能 可 解 释性 增 强 技 术 目前， 以 深度学 习算 法为核心 的人工 智 能系统的 运作就 像 是一个 黑箱， 人们 只能看 到数据的 导入和 输 出， 而不清 楚内部 的工作原 理和 判断依据。 一方面， 人们对训 练得到 的 人工智能 模型为 何 能具有极 高 的性能尚 不清楚； 另一方面， 人工智 能系统在 做出决 策 时具体依 赖哪 些因素人 们也不 清 楚。 针对人工 智能算 法 可解释性 的研究 仍 处在初期 阶段， 部分 算法的 理 论 框 架 有 待 完 善 7,8,9,14,15 。 例 如 ， 优 化 算 法 的 有 效 性 在 决 策 树 、 支 持向量机 等一些 简 单的人工 智 能模 型 上已被很 好地证 明 。 然而， 对于 随机梯度 下降算 法 为何能高 效优化 深 度神经网 络， 学 术界 已经开展 了 大量的研 究， 但 目 前对于该 问题的 讨 论仍未有 定论。 又 如， 针对 人工 智能模型 如何利 用 数据特征 做出预 测， 学术界已 通过实 验 取得了一 定 的成果， 但 还缺乏 理论支撑。 为了使 人工智能 模型具 有 更好的可 解释 性， 研究 学者提 出可 以通过建 立适当 的 可视化机 制尝试 评 估和解释 模 型的中间 状态； 通过 影响函数 来分析 训 练数据对 于最终 收 敛的人工 智 能模型的 影响； 通 过 Grad-CAM （Gradient-weighted Class Activation Mapping ）方法分析 人工智能模型利用 哪些数据特征做出 预测；通过 LIME （Local Interpretable Model-agnostic Explanations ） 方法 使用简单 的 可 解 释 模 型 对 复 杂 的 黑 盒 模 型 进 行 局 部 近 似 来 研 究 黑 盒 模 型 的 可可信人工智能白皮书 15 解释性； 还有部 分研 究则提出 可以通 过 建立完善 的模型 训 练管理机 制 提升人工 智能系 统 实现过程 的可复 现 性。 在人工智 能的产 业 落地过程 中， 应 最大 限度地使 人工智 能 系统的 行为对人 类更透 明 、 更容易 理解、 更 可信。 一 味地相 信 人工智能 系统 所做出的 决策， 而不 对其决策 过程进 行 解释会极 大限制 人 工智能系 统 在国防、 法 律、 医 疗、 教育等 关键领 域的普及， 甚至引 发严重的 社会 问题。增 强人工 智 能系统的 可解释 性 迫在眉睫 。 （三） 人 工 智 能 隐 私 保护 技 术 人工智能 系统需 要 依赖大量 数据， 然而 数据的流 转过程 以 及人工 智能模型 本身都 有 可能泄漏 敏感隐 私 数据。 例如， 在 数据 流转的任 意 阶段， 恶 意攻击 者 可以对匿 名数据 集 发起攻击 ， 从而 窃 取数据； 在数 据发布阶 段， 恶 意攻 击者可以 使用身 份 重识别对 匿名数 据 集发起攻 击， 从而窃取 隐私信 息； 恶意攻击 者也可 以 直接针对 人工智 能 模型发起 攻 击， 从而 窃取隐 私 信息。 例 如， 模 型 反转攻击 可以根 据 受攻击模 型的 输出推断 并重建 其 训练数据， 从而窃 取隐 私信 息； 成员 推断攻击 可以 推断给定 数据样 本 是否来自 受攻击 模 型的训练 数据集 ， 从 而造成隐 私 泄露。 学界针对 上述隐 私 泄露问题 提出了 多 种针对性 的保护 方 法， 最常 见的为基 于差分 隐 私和基于 联邦学 习 的隐私保 护方法 。 差 分隐私最 早 由美国学者 Cynthia Dwork 10 于 2006 年提出， 是 人工智能 系 统隐私保 护能力的 一个主 要 量化指标 。 其核 心思 想是一个 具有优 秀 隐私保护 能 力的人工 智能算 法 应当对输 入数据 中 的微小扰 动不敏 感。 基于该思 想可信人工智能白皮书 16 可以通过 对数据 进 行下采样 、 顺序 置 换、 添加 噪声等 方 式， 来防 御攻 击 者进 行隐私 窃取。2016 年 ，谷歌 公司 的 一 项工作 首次将 差分 隐私 应用于深 度学习 中， 其通过在 模型训 练 过程中向 梯度加 入 高斯噪声 来 增强深度 模型的 隐 私保护能 力。 该 工作 展现了差 分隐私 法 在大规模 人 工智能模 型中的 应 用潜力。 目 前， 一些 头部科技 公司已 将 差分隐私 法 应用于部 分真实 的 业务中。 联邦学 习 19 在 2015 年提出 ， 其能在不 收 集 用户数 据的条 件下 进行人 工智能 模型 的训练 ，以期 保护 隐私信 息。 具体来说， 联邦学 习将模型 部署到 用 户设备； 各 用户设 备使用自 己的 私有数据 ， 计算 模 型参数的 梯度， 并 将其上传 中央服 务 器； 中央 服务 器对收集 到的梯 度 进行融合， 传回各 用户设备； 各用户 设备利用 融合 后的梯度 更新模 型 参数。 需 要指出 的 是， 一些 初步研 究 表明， 联 邦学 习方法仍 存在一 定 的隐私泄 露风险。 有实验显 示， 联邦 学习可能 泄露 一定量的 本地用 户 数据 11 ， 同 时有理 论指出 ， 联邦 学习 可能会在 一定 程度上弱 化人工 智 能系统的 隐私保 护 能力 12 。 因此， 还需 要针对联 邦 学习进一 步优化， 提升其用 户隐私 保 护的能力。 一个可 行的方向 是将 联邦学习 和差分 隐 私相结合 ， 以构 建隐 私保护能 力更强 的 人工智能 系 统。 在当前时 代下， 越 来越多的 隐私信 息 承载于数 据之中， 人们对隐 私数据保 护的关 注 更胜以往 ， 部分 国家 也开始从 立法层 面 制定隐私 数 据的使用 规范。 针对 隐私保护 进行研 究 能使得人 工智能 系 统符合法 律 的基本规 范和要 求 ，完善可 信人工 智 能的建设 。可信人工智能白皮书 17 （四） 人 工 智 能 公 平 性技 术 随着人工 智能系 统 的广泛应 用， 其 表现 出了不公 平决策 行 为以及 对部分群 体的歧 视。 学术界认 为， 导致 这 些决策偏 见的主 要 原因如下 ： 受数据采 集条件 限 制， 不同群 体在数 据中所占 权重不 均 衡； 在不平 衡 数据集上 训练得 到 的人工智 能模型 ， 可 能会为了 在整体 数 据上的平 均 性能，而 牺牲在 少 量数据上 的性能 ， 造 成模型 决策不 公 平。 为了保障 人工智 能 系统的决 策公平 性， 相关研究 者主要 通 过构建 完整异构 数据集， 将数据固 有歧视 和 偏见最小 化； 对数 据集进行 周期 性检查， 保证数 据 高质量性 。 此外 ， 还有通过 公平决 策 量化指标 的算 法来减轻 或消除 决 策偏差及 潜在的 歧 视。 现有 的公平 性指 标可以分 为 个体公平 性与群 体 公平性两 大类 13,16,20 。 其中， 个 体公平 性衡量智 能 决策对于 不同个 体 的偏见程 度， 而 群体 公平性则 衡量智 能 决策对于 不 同群体的 偏见程 度 。 另一方面， 基 于公 平性指标 的算法 则 大致能分 为 预处理方 法、 处理 中方法及 后处理 方 法共三大 类。 预处 理方法通 过删 除敏感信 息或重 采 样等方式 对数据 进 行清洗， 从而降 低数 据中存在 的 偏差。 处 理中方 法通 过在人工 智能模 型 训练过程 中加入 与 公平性量 化 有关的正 则项， 提 高训练得 到的模 型 的公平性， 例如， 有工作采用 R nyi 相关性作 为正 则项， 并 利用最 小- 最大优化 算法来 减 少模型预 测 与敏感属 性之间 的 任意潜在 相关性 。 后 处理方法 通过对 模 型输出进 行 调整， 进 一步提 高 训练得到 的模型 的 公平性， 例如， 有 工作基于 多重 精确度（Multiaccuracy ） 的 概 念 提 出 多 精 度 提 升 法 （Multiaccuracy Boost ） ，以减 轻黑 盒人工智 能系统 的 决策偏差 。可信人工智能白皮书 18 人工智能 在敏 感 领 域的应用 越来越 多 ， 包括招 聘、 刑 事 司法、 医 疗等， 其公 平性也 受到了广 泛的担 忧 。 公平性技 术能够 从技术角 度对 数据进行 均衡， 从 而进一步 引导模 型 给出公平 的结果， 这对于提 高人 工智能系 统决策 公 平性具有 重要意 义 。 当前越来 越多的 研 究关注到 人工智 能 在稳定性、 可解释 性、 隐私 保护、 公 平性等 问 题上的挑 战， 随 着 研究的不 断深入 ， 势必将会 涌现 出更稳定 、 更透 明 、 更公平 的人工 智 能理论及 技术， 而 这些技术 是未 来实现可 信人工 智 能的基石 与重要 保 障。 四、 可 信人工 智能实践 路径 本白皮书 参考中 国 人工智能 产业发 展 联盟发布 的可 信 AI 操作 指引 相 关内容 ， 结合调研 访谈人 工 智能企业 研发实 际 情况， 从 企业 和行业层 面总结 提 出了可信 人工智 能 的实践路 径。 （一） 企业层面 企业是人 工智能 技 术、 产品或 服务的 研发和使 用的核 心 主体， 也 是可信人 工智能 落 地实践中 最重要 的 主体。 可 信人工 智能 在企业的 实 践是一项 整体的、 发展的、 非 传统的 系统工程， 需要从 企业文化、 管 理制度等 方面入 手， 同时在人 工智能 系 统研发中 全面落 实 相关技术 要 求。 1. 将 可信人 工智能融 入企业 文化 企业文化 是一个 企 业整体价 值观、 共 同愿景、 使 命及思 维方式的 具体体现， 企业要 发 展可信人 工智能， 就 要把可信 理念融 入 企业文化 。 （1 ）企业管理 层要认 可 “可信” 的方向可信人工智能白皮书 19 作为企业 运营的 核 心， 企业 管理层 要在 发展可信 人工智 能 层面达 成一致， 全 面树立 以人为本 的价值 观 ， 认同透明 可释、 多元包容、 可 靠可控、 明 确责任 和隐私保 护的特 征 要素， 将可 信人工 智能融入 到企 业经营管 理的各 个 方面，以 促进企 业 整体可信 度的提 高 。 （2 ）员工要加 强“可 信 ”的学习 和实践 企业可以 制定有 关 可信人工 智能的 学 习培训计 划， 通 过邀 请外部 专家宣讲、 发放可 信人工智 能书籍 或 介绍材料 等方式， 在员工中 普及 “可信” 理念， 推 广使用可 信相关 技 术或工具 ， 鼓励 员 工在工作 中不 断创新和 实践可 信 人工智能 。 （3 ）企业要营 造“可 信 ”的文化 氛围 企业可在 办公场 地 、 网站、 宣 传资料、 新闻稿件 中， 体现 可信人 工智能的 元素， 展 现企业自 身探索 可 信人工智 能的实 践 案例， 鼓励 员 工探讨可 信人工 智 能话题， 激励在 可信 人工智能 实践中 做 出贡献的 团 队或个人 。 2. 完 善可信 人工智能 的管理 制度 管理制度 是实施 管 理行为的 依据， 是社 会再生产 过程顺 利 进行的 保证。企 业要实 现 可信人工 智能， 就 要在管理 制度中 有 所体现。 （1 ）建立可信 人工智 能 团队 在 企业 内部建 立专门 的团 队（或 虚拟组 织 ） ， 负责可 信人工 智能 的 管理工 作。建 议由 企业主 要负责 人担 任领导 职务， 便于 直接指 挥、 协调其他 部门参 与 可信人工 智能相 关 工作； 可根 据具体 业务情况， 细可信人工智能白皮书 20 分成若干 子组； 人 员构成