人工智能与风险管理报告：创新与信心偕行.pdf

人 工 智 能 与 风 险 管 理报告 创 新与 信 心 偕 行目录 1. 概要 01 2. AI 的简要 概 述 03 3. 当金融 服务 企业 大 规模 采用AI技 术 时可能会 遇 到的 挑 战 04 4. 在风险 管理体 系 中 嵌 入AI 07 5. 监 管者所 看 重的 具体是 什么呢 ？ 18 6. 监管AI 中的 一 些 反 思 22 7. 结语 24 后记 ： 中国AI 风 险管理和监管现 状 25 译者 26 作者 261. 概要 说起人工智能 （AI ）， 虽然它并不是一个 全新的概念 ， 但在近些年金融服务企业 开始逐渐意识到它的巨大潜力 。 AI可以提高运营效率 、 降低成本 ， 同时还 有助于企业实现战略转型 ， 更多 、 更好 地融入用户参与 。 然而 ， 一些客观限 制条件 ， 都在或多或少地阻碍着金融服 务企业大范围的推广使用AI技术 ， 包括数 据量和数据质量上的局限 、 对于AI潜在风 险的认知不足以及公司文化和现行规章 制度的限制 。 欧盟以及其他国际组织同样对于AI技术 有着极大的兴趣 。 尽管他们认识到AI可 以为金融市场 、 客户以及他们的内部工 作带来诸多益处 ， 但也认识到那些受监 管公司当采用AI时可能会产生的潜在风 险以及意料之外的后果 。 近些年来 ， 值得注意的是 ， 金融服务业 因对客户和市场的失当行为 ， 从而受到 众多经济上及其他形式上的制裁 。 由此 产生的对于公平对待客户和保证市场诚 信问题 ， 以及AI技术在监管领域中未经 测试与未经检验的特性的关注 ， 都意味 着金融服务企业对于采用AI解决方案应 该时刻保持谨慎 。 “ 有效的风险管理已经不再 是抑制创新的因素 ， 而是 公司 成功使用AI技 术的关键。” 为了能解决这些困难 ， 从而实现充分利 用AI技术的优势 ， 并且避免未来可能出现 的问题 ， 董事会和高级管理人员必须充 分理解这项技术 ， 包括它在企业中现有 或潜在的用途 ， 并从风险的角度出发来 仔细考虑AI的影响 。 在这种环境下 ， 有 效的风险管理已经不再是抑制创新的因 素 ， 而是公司成功使用AI技术的关键 。 “ 我们认为企业 面临的重 大 挑 战不是 在处 理 全 新类 型的 风险 ， 而 更多应 该 是 关 注 那 些难 以用 有效 且 及时 的 方式 去 分 辨的风 险 ， 或它们已经 以不同以往 的出现 方 式而显 现的风 险。” 关于刚刚提到的后一点 ， 这将是本文之 后所讨论的重点 。 我们认为企业面临的 重大挑战不是在处理全新类型的风险 ， 而更多应该是关注那些难以用有效且及 时的方式去分辨的风险 ， 或它们已经以 不同以往的出现方式而显现的风险 。 在 这篇文章中 ， 我们将讨论企业应该如何 重新审核并调整现有的风险管理框架 ， 以反映在当部署复杂AI应用时企业需要 关注的一些重要差异 。 1 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行比如说 ，AI可以不断的从新数据中学 习 ， 并通过建立复杂统计模型 ， 而后得 出结论 。 但这种结果并不是基于那些明 确且预先定义好的规则 ， 这就让企业难 以理解这其中支撑最终结论的决策机 制 。 在许多方面上 ， 这种挑战与面对管 理人力资源时所面临的挑战非常相似 。 然而 ， 不断发展的AI技术使其可审计性 以及可溯源性变得异常困难 ， 并且这种 技术发展的速度可能会导致在极短的时 间内产生大规模的错误 。 企业需要重新审核并且更新他们的风险 管理方式 ， 从而在不同的风险管理框架 全生命周期 （ 识别 ， 评估 ， 管控 ， 监 督 ） 阶段中管理风险 。 不断发展的AI技 术要求这些风险管理方式必须在更短更 频繁的时间间隔内得以应用 。 现有的风 险偏好声明也同样需要重新审核 ， 并且 需要添加一系列新的内容 ， 比如说公平 性原则等 ， 以便为风险管理框架的各个 阶段提供信息支持 。 “ 不断发 展的AI技 术使其可 审计性以及 可溯源性变得异 常困难 ， 并且 这种 技 术 发 展 的 速 度 可能会导致在极 短的时 间内产生 大 规模的错 误。” 在本篇文章中 ， 我们将会用简单的理论 性的风险管理框架来描绘出一些AI所带 来的挑战 。 例如 ， 一个保险公司如何在 产品定价过程中 ， 使用AI来做到风险模 型管理 。 最后 ， 我们将总结当监管者监 管AI时会遇到的挑战与选择 。 本篇文章旨在成为一个理解AI对于现有 风险管理方式和更为广泛的监管环境的 影响的起步点 。 通过强调这些需要关注 的领域 ， 我们希望帮助企业能够在制定 AI政策时 ， 或者更具体来讲 ， 在制定AI 风险管理框架的时候 ， 为它们提供更加 高效的解决方案和监管机制 。 2 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行2. AI的 简要 概 述 人工智能的概念最早可以追溯到20世纪 50年代 ， 那时候的研究人员开始考虑使 用机器模拟人类智能的可能性 。 然而 ，AI 技术却是在20世纪后期才得以真正蓬勃 发展 。 当时有几个技术因素发展达到顶 峰 ： 强大且价格低廉的计算资源 、 数据 总量和种类的增加 、 访问数据速度的提 高以及能够凭借最新且先进的算法来以 更加 “ 智能 ” 的方式分析数据 。 对于AI技术其实并没有一个单一解释 ， 但从广义的层面来讲 ，AI是一种计算机 系统的理论与发展方式 ， 它能够执行通 常需要人类智能才能操作的任务 。 这一 类的任务包括有视觉感知 ， 语音识别 ， 以及在不确定性下的决策和学习 。 关于缺乏对于AI定义的共识的原因 ， 可 能是因为AI并不是技术 ， 而是集合了模 仿人类行为的各种技术这一事实 。 其 中 ， 一些与金融服务企业有关并且将会 在本文中提到的关键技术有 ：提高金融服务企业的客户体验 “ 行为情感分析工具 （BEAT）”是德勤的语音分析平台 ， 它使用了深度学 习技术和各种机器学习算法来监测并分析语音交互 。 这其中有三个最核心 的功能 ： 1. 监 测 客户 语 音 交 互 2. 通 过自然 语 言处 理 （NLP ） 来识 别高风 险交 互 3. 将 语 音 交 互 映射 到 潜 在 的 负 面 结 果上 （ 比 如 投 诉 或 操 作 行为上的问 题），并且 提 供出现 这种问题的 可 能原因 。 BEAT会去分析顾客所说的词语和他们所用的语气 ， 然后使用机器学习技术来不 间断的开发并且加强这些分析语音交互的分析能力 。 而且当可学习的素材越多 的时候 ， 最终的风险评估准确度就越高 。BEAT的使用 ， 相较于传统解决方案 ， 可以让企业从评估准确率的角度看到显著的提升 。 BEAT已经发展到可以分析超过30种不同语言以及30 种不同的行为表征 。 它可以 为特定的风险要求和用户需求来进行定制服务 。 机器学习 Machine Learning 只需直接提供数据而无须遵循明确的程 序指令 ， 提高了计算机系统运行的性 能 。 机器学习的核心就是自动发现数据 中隐藏的模式并使用它们来进行预测的 这样一个过程 。 深度学习 Deep Learning 深度学习算法是一系列的机器学习算 法 。 由于它们在与语音和计算机视觉相 关的任务中表现的十分有效而变得越来 越受欢迎 。 但这是一种很复杂的技术 ， 大家难以准确地解释每个输入在最后是 如何驱动模型结果的 ， 所以通常导致它 们被定性为 “ 黑匣子 ”。 语音识别和自然语言处理 Speech Recognition and Natural Language Processing 拥有能够以人类的方式来理解并自动生 成出人类语言的能力 。 比如说从文本中 提取语义信息 ， 或者生成出语义自然 、 语法正确的可读文本 。 视觉识别 Visual Recognition 拥有能够识别图像中的对象 ， 场景和活 动的能力 。 计算机视觉技术使用成像处 理中操作和技术的序列来将分析图像的 任务拆解成许多可管理的部分 。 3 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行3. 当金 融 服务企业 大 规 模 采 用AI技术 时可 能 会 遇 到 的挑战 自从2008年的 金融 海啸之 后 ， 金融 服务 企业 一 直 致 力 于提高 自 身 成 本效 益 ， 并 在利润 压 力下保 持 竞 争力 。 为实 现 这一目标 ， 他 们 所 关注 的 其 中 一 个领 域 就 是技 术 ， 并 在 过去 几 年中开始更多 地去 使 用AI 技术 。 然而 ， 采用AI 技 术 的方 式并不是 唯一的 ， 有 很 多原因 导 致出现 了 这种 情况 。 关于AI 应 该 应 用于 何处 的 不同观 点 德 勤 最 近 对 与 欧 洲财 务管 理协会 （EFMA ） 合 作的3,000 多名企 业高 管 调 查 后显示 ， AI 能 对其公司产生 最 大 影 响的活 动和 功 能因行业而异 。 图1 ： 您 认 为您 公司所 开 发的人 工智能 技术在 哪 一 部 分 的 价 值链 上 产 生 了 最 大 的影 响 ？银行保险 顾 客服 务 65% 后 台 与 日 常运营 78% 后 台 与 日 常运营 52% 风 险 管理 56% 财务 顾问 42% 欺诈 检 测 56% 欺诈 检 测 31% 顾 客服 务 44% 风 险 管理 29% 合规 22% 总的来说 ， 从 这份 调 查 我们可以看 到 ， 在金融 服务 企业 中采用AI 技术还 仍处 于起步阶段 。 在 接受 调 查 的 公司中 ， 有40% 的企业 还仍 在学习如何在他们的公 司 中部 署AI ， 11% 的企业 还 没有开展任 何这 方面的活 动 。 只有32%的 企业已经 开始 参 与开发AI解决 方案 。 4 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行数据 数量 与 质量 AI 与 传 统技 术 解决 方 案 的 一 个 最重 要 的 区别是 ， 后 者 常常在 那 些 需 要用预 先设 定 清 楚的 规 则 框 架 完 成任 务 。 然而 ， AI 应用 可 以 自 行 分 析 数 据来 进 行 模 式 识别 ， 并以 此 为 基础 来 制 定决 策 。 此外 ， AI 还可根 据 给出的数 据 进 行 一 次性 或不间断 性的学习 来 完善决 策制 定 机制 。 这 意味着每 一 条AI 系 统 所 给出的建 议都 对于 所处 理的数 据的数 量 和 质 量 十 分 依 赖 。 总的来说 ， AI 解 决 方案 所 遇 到的 最 棘 手 的 困 难 就是 缺 少 大 量 高 质 量 数据 。 对于 金融 服务 企业 ， 因 为 受到 普 遍使 用 的传 统 系 统和 组 织 架 构的限制 ， 阻碍了数 据 之 间 的无 缝 流 动 ， 并 在 某 种 程 度 上 影 响了数 据 质量 ， 导致问题 愈发 加 剧 。 透明性 ， 可 审 计 性与 合 规 性 一些AI 解 决 方 案拥有 许多有 关决 策 制定 的隐 藏 层 ， 都影响着 最 后 生 成的结果 。 在 一些 复杂AI 应 用案 例中 ， 就比如那 些 使 用 了深 度学习技 术 的AI 应用 ， 可能 在 ： 维护 系统 ， 论 证其 中 需 要 理 解的部分 ， 并且 对 于那 些以AI 为 基 础 生 成的决 策拥有控制 权 等 方 面 上 阻 碍 了金 融 服 务 企 业 的 使 用 。 具体 来讲 ， 应判 断其 决 策 是 否 包含有适 用 性 、 公允性 ， 是 否与公司 价 值 观 和 风 险 偏 好相符 合等 。 “ 那些不断学习 ， 不断进化 ， 并且 拥 有许 多 有关 决 策 制 定 的隐 藏 层的AI 解 决 方案会使 可审计性和可溯源 性 变得 异 常困 难 ” 这 与 公 司 在面临人力 资源 上 的挑 战 无 异 。 然而 ， 可以说 ， 那 些不 断学习 ， 不断 进 化 ， 并 且拥有 许多有 关决 策 制定 的 隐 藏 层 的 AI 解 决 方案 会 使 可审 计 性和可溯 源性变 得更 加困 难 。 此外 ， AI 自我学习及 进 化 的 速 度 可 能 还会导 致在 极 短的时间内产生 大 规模 的 错 误 。 一些AI 解 决方 案 的 不 透 明 性还 会 与 现 有 的 法 律 法 规 产生 冲突 ， 就比如说 欧 盟的 “ 通 用数 据 保 护法案”（ GDPR）， 它 规 定了在 特定情 形下 企业需 要能够向客 户解 释 他 们 的 个人 数 据 是 如 何 被 使 用 的 ， 并且 能 够 给出那 些 假设性 结 论 的 合 理 解 释 ， 和那 些 会对顾客 会产生 重 大 影响且 完全 自 动生 成 的 结 论 的内部 机制 。 5 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行理解AI及 其 隐 藏 含义 AI 是 一 个既 复 杂但 又 快 速发 展的领域 ， 在 一 些非专业 人士的 眼中 ， 它被认为是 一项 难以控 制的 技 术 。 此外 ， AI 的 使 用会加 剧 企 业 的 现有风 险 ， 改变 风 险出现 的方 式 ， 甚至会为公 司带 来 新的风 险 。 金融 服务 企业 属 于 严格管控 产 业 ， 这其中 包含 了 复 杂多样的经 营范围和产 品 ， 并且 当公司处 理 业务 时必须 使 用严格 的审查 原则 。 可 以 说历 史上对 于 金 融 服 务 企 业 因 违 规而产生的 行 政 处 罚 ， 造 成了这 些 企 业 在 采用相对 不 了 解的技 术 以用 于受 监管 的业务 时 非常保 守 ， 这也 就 为 创 新 增 加了 另一重 阻碍 。 因 为 对于 这项技 术和其所带来的风 险 ， 相 对而 言 ， 不 熟 悉 也 不 了解 ， 这 就 造 成了过 度谨慎的现象 。 那 些重要的利益相关 方 ， 比如 风 险 部门 、 合 规部门 ， 以 及各业 务 部 门主管 ， 董事会 成员 和公 司 高 层 ， 除非他 们 对 于 这 项 技 术 充 分了解 ， 否则 就可能会 在批 准使用AI 上迟疑 ， 并且 对 企 业 内受 监 管业务AI技 术 的 使 用 保留解 释 权 。 要理 解这项技 术 ， 就要 不 止 了 解 它会带来的风 险 ， 同 时 也 要知 道 这 些风险 可 以如何降 低 ， 管 理 并监 控 。 如 何让利益相关 方 有一 个对于AI独立且整 体的认 知是 对公司而言非常困难的 。 可以使 用一些实际的用户案例 ， 使利益相关方知道 相 关 的 客户经 历 可以帮助了解 AI 能提供的 潜在益处 ， 同时也可以认识 到哪 些 方 面会出 错 ， 以及如何有效的规避或管理 风险 。 对 于人 才 的 影 响 对于采用AI 的 公司 ， 尤 其 是 那些 大 规 模 的企 业 ， 必须 充分 了 解这种 转变 对 其 企 业 文化 和 人才战 略 的 影 响 ， 并采 取 必 要 措 施 来 应 对任 何 不利影响 。 企业很 可 能 需 要 额外的 良 好 技 术 资源 来 帮 助设 计 、 测试和管 理AI 应 用程 序 。 目前这 方 面人才的 稀 缺 ， 以及 众多 金融 服务 企业 在 创新 上 所 面临 的 困境 都 使 得AI 的应 用 充满 挑 战性 。 因 此金融 服务 企业 需 要升 级 它 们的招聘 方 式和渠 道 ， 技 术 人 员需 要 选 择 有 利 于 职 业发 展的职 业 道 路 ， 同时 需 要 在 发 展 过 程中制 定 继 续留任 、 融合 新技 能 或者 是 改变 职 业 路 径 的战 略 。 AI 对 现 有 企业员工工 作 模式 影响可 能更为深 远 。 随着AI 的 技 术 发 展和应 用的 深 入 ， 一 些原有 人工处 理的任 务 可 以 借 助模式识 别等 技 术 自 动化 地 完 成 ， 因此 相关的劳 动力总需求 将 不 断减 少 。 同时 ， 就 业方式 也 会 有重 大 变 化 ， 例 如 减 少人 员 配 备 需 求 ， 或 将 现 有 员 工重新 分配 到 不 同 的 工 作 中 （ 这其中 可 能会存 在有相关 工 作的再 培 训的 问题）。 这些改变 都 可 能会 影响 员工 的 工 作 动 力 ， 如 果 不及 时 解 决 ， 可能 会导 致不 必 要的员 工 流 失 。 如果AI 应 用程 序实 施 失 败 或必 须在 短时间 内 关停 ， 但 这 时 已 经发生 的 那些 过 度 人 员流 失 ， 可 能会使公 司 无法 保 留 住 那 些必备的技 术能 力 和那 些能够 人 工执 行 流程的 技 术 人员 ， 甚 至对 公 司 未来业 务 发 展产 生 较大 影 响 。 6 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行4. 在风 险管 理 体 系 中 嵌入AI AI的应用和一般的创新过程一样 ， 都要 求企业要经历一次不断学习的过程 。 然 而 ， 这样的过程并不是要规避所有与AI 相关的风险 ， 而是要去开发工作流程和 处理工具 ， 从而让企业相信这些风险 ， 可以在整体的公司的风险观和偏好框架 所规定的范围内有效地被识别和管理 。 因此 ， 尽管存在着一些常见的误解 ， 但 一个行之有效的风险管理体系在企业的 创新能力发展中起着关键性作用 。 AI 应 用 程 序的固 有 风 险 性 质 我们认为 ， 管理AI所产生的挑战并不在 于处理这种全新的风险类型 ， 而是要 考虑到当我们把AI解决方案的复杂性和 发展速度纳入考量 ， 或者当以我们不熟 悉的方式出现情况时 ， 我们就难以采用 有效和及时的方式来识别这些风险 。 因 此 ， 企业不需要全新的流程来处理AI ， 但他们需要改进现有流程 ， 把AI因素纳 入考量 ， 并填补一些必要的管理空白 。 同时还需要去解决对所需资源水平以及 岗位角色和责任可能造成的影响 。 “ 企业 不需要全新的流程 来 处理AI ， 但他们需要改进现有 流程 ， 把AI因素 纳 入评估 ， 并 填补一些必要 的管理空 白。” 德勤AI风险管理框架提供了一种识别并 管理AI相关风险和管控的机制 。 在下一 页和以下各节中提供的表格中 ， 我们从 涵盖了60多个AI风险的总表中列出了一 些关键性的评估因素 。 这些评估因素都 会用一般术语来表达 ， 但实际上 ， 风险 等级和那些必要控制因素在不同案例下 不同的组织下会出现很大差异 。 科学的思维方式 采用和推进人工智能需要一个组织和在其中工作的人接纳更科学的思维 方式 。 这意味着需要能够接受最终产品的试错过程意 ， 接受风险和一 些最终结果证明是失败的测试工作 ， 并通过引入外部冲击或数据来观察结果 ， 以不断测试产品的可行性 。 从本质上讲 ， 它意味着在整个组织中创建一个 “ 沙 箱 ”（ 代表在商业情况下的受控隔离环境 ）。 这种心理上的转变不仅仅适用于 业务负责人或部门 ， 而且与组织中的所有领域都相关 ， 包括董事会和其他职能 部门 ， 如风险部 、 合规部 、 人力资源部和IT部门等 。 这其中 ， 需要所有三道防线 （ 业务线 ， 风险/ 合规和内部审计 ） 都参与进来的这 一点尤为重要 。 作为合规和监控的守护者 ， 充分参与沙箱可以使他们能够了解一 些关键的技术信息 ， 并从一开始就帮助形成适合的AI的风险管理政策 。 7 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行企业 风 险 类别 子 类 别示 例 AI 解 决方 案独 特的 关键 风险因 素示 例 模型 算法 风 险 偏 差性 因 为 依 赖 于 不 断 发展 的 数 据 集来驱 动AI 产生 决 策 ， 这使 得 识 别 模 型中的固 有偏 差 变 得更 加 困 难 。 输入 数 据中 的 固有 偏 差 可 能导 致 运行 效率 低下或 不公 允的结果出现 。 数据 科学 家 缺乏对 于 偏见 性 的 考 虑 ， 使 得 偏 差 风 险 从 一 开始就 注 定 无 法 得 到充分解 决 。 算法 风 险 不 准 确性 算 法 类 型 选择不正确 、 数 据质 量 不 佳 或算 法 参 数 选用 不 合 理 。 算法风 险 反馈 未 检测 到 不 当 反 馈 的 风险增 加 （ 尤 其 在那些 允 许 持 续 反 馈 和 学 习 的AI解 决 方 案中）， 这可能 会 影 响 解 决 方 案 产生 准 确结 果的能 力 。 算法 风 险 滥 用性 商业 用户可能 缺 乏 对 复 杂AI 模 型的充分 理 解 ， 或 错误 地 解释AI输出结果 从而导 致 出现错 误 结果 的可能性 增 加 。 技术 信 息与网 络 安全 当开发 者 不 再支 持 、 更 新或 免费 提 供 开 源 组件 （ 软件包 ， 编 程 语言 ， API 等）， 企业 对其组 件的 依 赖性 可 能会 引 入 安 全 漏洞 。 复 杂 算 法 使得 人 们 更 难 理解AI 解 决 方案是 如 何做 出 的决 策 ， 从而这可 能会 受 到 人 类 或其 他 机器 的 恶 意 操 纵 。 管 理 层更 迭 难以识 别 那 些为AI 解 决 方案 提 供信息的上 游系 统 发 生变化的影响 ， 这可能 会导 致在AI 与其外 部 环 境 交 互时 产生 无 法 预 料的后 果 。 IT 运营 在 某 些 情 况下 ， AI 应 用程 序 对 大 数 据的显 著 依 赖性增加 了 现 有IT 基础架 构 所 带 来 的 风险 ， 因为后 者 可能与AI 应 用不 兼容 （ 例如 ， 现 有 系统 无法 处 理 大数 据）。 合规 数 据 保护 由于AI 解 决 方 案 的 不 断 进 步 和不 透 明 的特 质 ， 这可能 会与 数 据 保 护 法案 （ 例如GDPR ） 相关的 合 规 风 险 增加 ， 其中包 括 ， 在 自动 决 策 生 成 领 域中 的 数 据主体 权利 。 合 规性 管 理 层 很难 理 解并 向 监 管机 构 证 明复 杂 的AI 应 用 程 序 是 如 何做 出这 项 决 策的 ， 例如那 些采 用神经网络的 应 用程 序 ， 其中包含 了 许 多类似 黑匣 子的隐 藏 决 策 层 。 行为 文化 由于 考虑 到实际 或可能 来自 的 监 管方 面 和 道 德 方 面的问 题 ， 大 规模 的 采用AI技 术可能 会出 现 文化 挑 战 。 担 心组织 内 职 位 变 化 从 而 产 生 负 面 影 响 。 产品创 新 已 开 发的产 品不 能满 足 客 户 需 求的风 险 （ 即为了使 用AI 而使 用AI），以 及可能 的 大 规 模 不当销 售而产 生 的 风 险 。 人才 岗 位与职 责 在AI全生命周期中 ， 可能 无 法明 确 定 义 职 位 ， 职 责 和责 任 ， 同时 ， 利益相关 者 （ 合 规部 ， 业务 部门 ， IT 部 及 编 程 人员 等 ） 缺 乏 持 续 参 与 和监控 可 能会 增加 出 错的风 险 。 招 聘与技 术 缺 乏 对正在 采 用的AI 解 决 方案的 理 解 、 使 用 的经验或 适 当 的监控 技能都 会 增加 风 险 。 由 于 组织 内 缺乏对 于精 通AI 的 人 力资 源 的整 合而产生 的 新风 险 。 过 度依 赖 少 数 具备AI 知 识 的 人 才和专 家 。 市场 对于少 量的大 型 第三方AI供 应商的过 度依 赖 ， 会 增 加 过 度 集 中风 险 ， 并且 ， 如果当其中一 个实体 破 产或 遭 受 重 大 运营 损 失的时候 ， 可能 会产生 连锁 反 应 。 如果算 法对 某些变量 （ 例如股 票市场 价格 ） 过于 敏 感 ， 则由于羊 群 效 应而导 致 的系 统性 风 险 增加 （ 即众 多组 织与其他 市场 参 与者行为相同）。 供 应方 黑 箱算法的 使 用可 能导 致供 应商 ， 运营商和AI 用户在 发 生问题 时 责 任 分 配 不明 确 。 同时 ， 黑 箱算法 会 增加 第三方AI供 应商失 败 的 风 险 ， 特 别 是在那些 较 小 的 新 公 司 可 能 没 有 足 够 的 管理 措 施 和 内 部控 制 的 经 验下 。 8 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行风险 偏好 公司的风险偏好是公司在任何时候为实 现其目标而准备接受的风险量 。 为了建 立有效的风险管理流程和控制系统 ， 任 何采用AI的策略都需要从一开始就与整 体风险偏好保持一致 。 同样 ， 我们也需要重新审视公司的风 险偏好 ， 并纳入AI的特定考虑因素 。 尽 管AI的引入不会改变公司整体的风险偏 好 ， 但是会影响判别风险的因素 ， 以及 会影响衡量和管理风险的工具 。 AI解决方案本身就可以增加或减少某些特 定类型的风险 （ 例如模型风险 ）， 并改 变公司当前和未来的风险概况 。 这就意 味着需要在每种风险类型的层面都需要 重新考量风险偏好 。 这其中不仅包含目 标风险级别 ， 还有那些能有效支持 、 管 理和监控该风险的政策和管理信息 。 当公司需要评估AI使用对其风险偏好的 影响时 ， 他们首先应制定一套清晰一致 的评估标准 。 例如 ：“ 这个AI解决方案 是否将面向外部 ？”， 回答这个问题有 助于确定AI使用案例中可能会涉及到的 风险类型 。 制定这一套标准问题可以帮 助企业了解 ， 无论是单从AI使用的层面 还是从整体而言 ， 哪些风险领域需要或 多或少的关注 。 风险 管理框 架 （RMF ） 的 全 生 命周 期 尽管具体 细 节 和 所用术 语 可能因 公司而 异 ， 但 从概 念 上讲 ， 风 险管 理 框 架 全生命 周 期包 含 四 个 关键 阶 段 ： 1. 识别 通 过 确定 哪些 风 险 可 能 对 公 司 的 业 务 战 略或 运营 会产生重 大 不 利影 响 ， 来 了解 风 险 环 境 。 此 阶 段 还 涉及 监 控 内 外部 运 营和监管环 境 ， 从而确定固有 风 险 格局的变化 ， 并 确 保 框架 持续 适 用于所 需 的目的 。 2. 分析 定 义 并 建 立 算 法 风险 评 估流 程 ， 以评 估 风 险暴 露 程 度 。 3. 管控 搭 建算 法风 险 管 控 框 架 ， 通 过 控制降 低固有风 险 ， 使 其 与风 险 偏 好水平 保 持一 致 。 4. 监 控与 报 告 设 计 一 个可以评 估 管 控 效 果 的 有 效 方 法 ， 其中包括 测 量其有 效 性 ， 容差阈 值 和 控 制 检测 等 相 关 指标 。 向 相关 管 理 层 报 告剩余 风 险概况 ， 控 制环 境 和 补救计 划的 状 态 。 在下面的章节中 ， 我们将会为风险管理 框架的每个阶段提出一些关键的AI考虑 因素 ， 并通过实例来说明公司应该如何 管理因使用AI解决方案 。 识别 分析 管控 监 控与 报告 1 2 3 4 9 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行1. 识别 金 融 服务 企 业中AI 的复 杂 性和 相 对不成 熟性 意 味着某 些 风 险 表现 出 来 的 方 式 及其 程 度可 能 会 随着时间的 推 移而发 展 ， 在 某 些 情况下 可能 还 会非常 迅 速 。 从行 为和 稳 定 度 的角 度 来看 ， 这可能 对公司产 生 重 大 影 响 （ 例 如大 规模 的 不当销 售）。 因此 ， 企 业需 要 定 期 进行重 新 评 估 ， 以确 定AI 应用的 风 险 情况自 引入 以 来 是否已经 发 生变化 ， 因 为 该 模 型已经 学 习了新 数 据 并已经 进 化 。 同样 ， 作为概 念 证明或仅供内部 使 用而开 发的AI 解 决 方案 ， 如果其 使用 范围扩大 ， 则 也需 要重 新 评 估 。 例如 ， 如 果 公司 计 划 扩展 最 初 开发 的AI 解 决 方 案的 适用范围 从 而为 外 部 客户 提 供 建 议 ， 但 此方 案最 开始 时 所 设 计的唯一 目 的 仅 为 提 供内 部 建 议 时 ， 则需要 了 解这 些 新客 户在使用过 程 中 可能 产 生 的 风 险 。 “ 金 融 服 务 企 业中AI 的复 杂 性和 相 对不成 熟性 意 味着某 些 风 险表 现出来的方 式 及其 程 度 可能会 随着时间的 推 移 而发 展 ， 在 某 些 情况下 可能 还会非常迅 速。” 值得注意的是 ，AI所对应的自身定义及 其风险也将发生变化 。 例如 ， 随着时间 的推移 ， 移动电话的定义及其功能的扩 展 ， 使得与移动电话有关的风险也发生 了巨大变化 。 企业需要确定如何将AI风险考虑因素整 合到现有的风险管理框架中 ， 以及需要 其改变的程度 。 这其中的考虑包括了监 管与伦理方面的影响 ， 例如算法偏差 ， 以及AI模型在不建立因果关系的情况下 从数据集推断的能力 。 我们在之后实例 中说明了这一点 。 但是 ， 一般而言 ， 对于复杂和不断发展 的AI应用 ， 企业需要审查其自身的管理方 法论 ， 采用一个全面且可持续的方法来 定义并识别风险 。 当识别AI风险时 ， 其中 应包括与AI应用有关的特定风险 （ 例如风 险分析应用程序 ） 以及因在整个公司内 广泛采用AI而引入的风险 （ 例如对员工关 系和企业文化的影响 。 为了识别AI解决方案产生的风险 ， 同样重 要的是要考虑那些 ， 更加广泛意义上的 公司层面的影响 ， 及其在短期与长期层 面上对公司的人力资本而产生的影响 。 识别 分析 管控 监 控与 报告 1 2 3 4 10 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行1. 识别 实例 如上 所 述 ， 风 险 分析AI模 型 产生的主要风 险之 一 是算法 偏 差和AI模 型在不 建 立因果 关 系的 情况下 从 数 据集 推 断的能力 。 例如 ， AI 财 产 保 险定价模 型可 能 会使 用各 种非 结 构 化数 据 来 评估财 产 。 这 些 数 据 可 能 根据 那些 仅 发生 一 次 的 本 地 事 件 （ 例如 狂 欢 节 或 示威 游 行 ） 从而将其捕 捉 到该区域的风 险 概 况 中 。 然 而 这 就 带 来了许 多风 险 ， 其中最 主要的风 险来 源于不 确 定性较 强的一 些 特 征 ， 例如 ， 那 些用于 定价的决 策驱动 因 子 。 次要风 险是 ， 在 该地 理位 置发 生 的任 何 一 次 性 事 件 都 有可 能 会被 定 性 为该位 置的 永久 型 风 险 。 此外 ， 相同的数 据可能会在 未 来用于不同的AI模 型中 ， 并 且 在无意 中会告诉 我们其 他 人的风 险 状 况 。 例如 ， 不同的AI模 型 可能 使 用相 同 的评估 数 据 用 于 评估风 险 状 况 ， 通 过标 记上 述 事 件 中 的参 与 者或 旁 观 者 的 照片 并 用他 们 的社 交 媒 体所 呈现的 内 容 来 对他们进行 评估 ， 从 而 为他们设 计 个 人汽车或 假 日 保 险的产 品 ， 而 无需 他们 的授权 。 在 这 个 例子 中 所 产 生的风 险是多 种多 样的 ， 包括 数 据 保 护 ， 客户 授 权和 错 误 定 价 ， 更 不用 说 道 德 考 量了 。 尽管 偏 差 性 、 模型 、 声 誉 和 监 管 风 险都 不 是 新型企 业 风 险 ， 但在AI使 用案 例中 ， 它们 可能以全 新 的 或不 熟 悉的方 式 表 现出来 ， 使 它们 更 加 难以被 识别 。 译者 注 ： 又例 如 ， 在债 券风 险 评 估 、 银 行 信 贷 检 查中 ， 对 于发债 企 业 、 贷 款客 户信用风 险的 分析 不仅基 于 企业的 基 本面信息 （ 如 财 务状 况）， 企业的舆 情 信息 也是AI模 型 分析 的 重 点 。 而 舆 情 分 析涉 及 到金 融 文本 这 一类非 结 构 化 数 据 ， 其来 源为 众多新闻网站 。 随 着有价 值 的 新 闻网 站 被 不 断 发 掘 ， 舆情监 控 范围 也在随 之扩大 ， AI 模 型在最初训练时的数 据源和后 续的数 据 来 源将 有 所不 同 。 而 数 据源的 变化 将 很 可 能导致 数 据 特 征的迁移 ， 例 如不同新闻网站的编 辑 具有 不同写 作风格和 词 语 表 达 ， 最 终可能导 致 最初的 模 型 逐 渐失 效 。 一个 比较好做法 是 对AI 模 型根 据 每天 或 一 个时间 窗 口 内 的新 增数 据 ， 进 行模 型 全 量 或 增 量 优化训练 ， 确保AI 模 型 适用于 最 新的数 据 源 。 部 分新 闻 网 站 对 于 通过 网 络 爬 虫 的 方 式 获取 其舆 情 信 息 ， 可能 会 存 在 限制的 情况 。 严格 遵守 各网站的 机器人协议 进 行 数 据 爬 取 ， 或 进 行 数 据 方 面的 合 作 才是 正 确 的 做 法 ， 否则 若处 理 不当可能会引发 声誉 和法 律风 险 。 在 这 个 例子 中 所 产 生的风 险是多 种多 样的 ， 包括 数 据 保 护和 授 权 、 数 据 特 征 迁移 ， 其中也涉 及 到道 德 风 险 。 尽管 算法 偏 差 、 声 誉 和 监 管 风 险都 不 是 新型企 业 风 险 ， 但在AI模 型的 使 用情 景中 ， 它 们可 能 以全 新的或 人 们 所不 熟 悉的方 式 表 现出来 ， 使 它们 更加 难 以 被识 别 。 11 人工 智能与风险 管理报告 | 创 新与 信 心 偕 行2. 分析 在每个AI应用开发之前 ， 都应 该去设计其风险评估过程 ， 并 由公司管理层同意 。 该过程 应仔细考虑那些可能会使某一特定应用 的风险更高或更低的关键性因素 （ 例如 监管 、 客户 、 财务或声誉的影响 ）。 例 如 ， 那些为客户提供财务建议的AI解决 方案 ， 其固有风险水平以及审查过程的 程度 ， 会与那些为内部员工提供IT故障 排除支持的解决方案不同 。 现有风险偏好和评估框架可能不够全 面 ， 无法涵盖AI解决方案中的一些特定 考虑因素 。 例如 ， 为了评估AI模型中的 偏差 ， 企业首先需要定义诸如 “ 公允 性 ” 等概念 ， 以及如何衡量它们 。 就如 同 “ 公平性 ” 等的这种企业价值观 ， 在 评估某些风险特性的方面发挥着重要作 用 ， 特别是当我们从行为和声誉的角度 来看 。 此外 ， 由于AI模型可以随着时间的推移 而不断进化 ， 企业可能会发现以前的一 些定义和评价指标可能无法充分解释或 评估模型中的决策驱动因素 。 因此 ， 评 估工作的开展需要变得更加的频繁和动 态 ， 同时 ， 我们也需要以 “ 自下而上 ” （ 针对每个单独的应用 ）， 和 “ 自上而 下 ”（ 整体风险偏好 ） 的方式来进行不 断修正评估流程 。 同时 ， 评估工作还需要有更高的参与 度 ， 以及更加广泛的利益相关者的赞 成 ， 这其中包括AI方面的专家