2019人工智能伦理风险分析报告.doc

人工智能伦理风险分析报告 二零一九年四月 I 目录 第一章 人工智能伦理研究的背景与意义 . 1 第二章 国内外人工智能伦理发展现状 . 3 国外发展现状 . 3 国内发展现状 . 6 第三章 人工智能技术 的伦理风险 . 8 算法相关的伦理风险 . 9 算法安全 . 9 算法可解释性 . 10 算法决策困境 . 14 数据相关的伦理风险 . 15 隐私保护 . 15 个人敏感信息的识别和处理 . 17 应用相关的伦理风险 . 19 算法歧视 . 19 算法滥用 . 24 长期和间接的伦理风险 . 26 算法与就业 . 26 算法与产权 . 27 算法与竞争 . 27 算法责任 . 28 第四章 人工智能伦理原则 . 29 1. 人类根本利益原则 . 31 2. 责任原则 . 31 第五章 伦理风险评估及其管理 . 33 人工智能伦理风险评估指标 . 33 算法方面 . 33 数据方面 . 34 社会影响方面 . 34 II 行业实践指南 . 35 风险管理框 架 . 35 风险管理流程 . 37 对相关人员进行培训 . 39 定期进行风险评估 . 39 第六章 结论 . 40 附录：国外有关人工智能基本原则的文献 . 42 1 第一章 人工智能伦理研究的背景与意义 自 1956 年的达特 茅斯会议 （ Dartmouth Conference） 提出人工智能概念以来， 人工智能的发展经历了“三起两落”的曲折历程。 2016 年 3 月，以 AlphaGo 以 4:1 战胜人类棋手为标志，人工智能开始逐步升温，并成为各国政府、科研机构、 产业界以及消费市场竞相追逐的对象。为了在新一轮国际竞争中掌握主导权，抢占人工智能发展的制高点，各国投入大量的精力和资金，开展人工智能关键技术 的攻关与应用相关的研究与产品开发，并纷纷推出了不同的人工智能平台与产品。 我国人工智能的应用范围极广。从行业应用的角度看，在制造、 物流、医疗、教育、安防等行业都有广泛应用。以制造业为例，当前的制造业不论是生产、流 通还是销售，都正趋于数据化、智能化。大数据和人工智能技术可以协助企业分 析生产过程中的全链路数据，实现生产效率、库存周转率、设备使用效率提升等 目标。在智能制造进程中，工业机器人成为人工智能的典型代表，成为智能制造 的重要实现端之一。就物流行业而言，人工智能的技术应用主要聚焦在智能搜索、 推理规划、模式识别、计算机视觉以及智能机器人等领域。如今，现代物流企业 纷纷尝试利用人工智能技术优化物流环节、提高物流效率。人工智能还能够帮助企业根据 市场销售情况、供应链生产情况、物流配送、仓储库存水平，甚至每个 环节的容错概率等等进行精准排产，最大限度利用已有资源。人工智能在医疗健康主要的应用领域则包括五个方面：临床决策支持、临床辅助诊疗系统、患者管 理、辅助手术和患者照护的自动设备，即各种机器人、医疗机构的管理以及新药的研发。 人工智能在自动驾驶、医疗、传媒、金融、工业机器人以及互联网服务等越来越多领域和场景下得到应用，一方面带来了效率的提升、成本的降低，另一 方面，人工智能系统的自主性使算法决策逐步替代了人类决策，而这种替代有时 非但没有解决已有的问题， 还让已有的问题更难解决，甚至给社会带来了全新的 问题。这些问题不仅仅引发社会的广泛讨论，更是限制人工智能技术落地的重要因素。其中最为典型的便是自动驾驶领域，社会的巨大需求与技术的不断成熟让 2 自动驾驶成为了全球炙手可热的研究与发展领域，而其潜在的风险又驱使人们去反思技术带来的伦理问题。各国已有法律与政策的难以适用以及新政策的模糊不 清也给自动驾驶技术的落地造成了困难。面对伦理风险与其潜能一样巨大的人工 智能技术，人们急需一个广泛、普遍的伦理探讨，并在这些探讨的基础之上找到路径、梳理规范，以保证人工智能的良性发展 目前，各国、各行业组织、社会团体和人工智能领域的商业公司纷纷提出人 工智能的伦理准则，对人工智能技术本身以及其应用进行规制。中国政府把人工 智能作为产业升级和经济转型的主要驱动力，鼓励、扶持并推动人工智能的发展。 在我国推动人工智能发展的关键时期，推动对人工智能伦理和社会问题的探讨有极为重要的意义。因此，本报告以人工智能应用引发的社会伦理问题为出发点， 在充分了解人工智能系统带来的伦理、法律和社会影响的基础上，分析人工智能 应用即自主性决策结果而产生的社会公平、安全及问责等伦理道德问题，例如算 法决策与歧视、隐私与数 据保护、算法安全与责任、算法解释、算法与产权、算 法与竞争、算法滥用以及强人工智能问题，通过遵循人工智能伦理原则与设计相 应的风险指标体系，对人工智能的研发和应用提供风险管理指引，以便为人工智 能伦理的行业实践提供初步的应用指南与建议，推动人工智能产业的良性、健康发展。 3 第二章 国内外人工智能伦理发展现状 5.2 国外发展现状 步入第三次人工智能发展浪潮以来，人工智能成为国际竞争的新焦点，各国各地区高度重视人工智能的发展，纷纷出台战略文件支持，促进人工智能的发展， 确保人工智能对经济和社会产生积极影响，并造福于个 人和社会。人工智能伦理由此成为各国人工智能政策的核心内容之一。 以欧盟为例，其以多举措推进人工智能伦理立法。早在 2015 年 1 月，欧盟议会法律事务委员会（ JURI）就决定成立一个工作小组，专门研究与机器人和人工智能发展相关的法律问题。 2016 年 5 月，法律事务委员会发布就机器人 民事法律规则向欧盟委员会提出立法建议的报告草案 （ Draft Report with Recommendations to the Commission on Civil Law Rules on Robotics，简称 报告草案 ）； 同年 10 月，发布研究成果欧盟机器人民事法律规则 （ European Civil Law Rules in Robotics） 1。此后，欧盟委员会将“人工智能和机器人的伦理标准等”纳入 2018 年欧盟立法工作的重点，要在人工智能和机器人领域呼吁高水平的数据保护、数字权利和道德标准，并成立了人工智能工作小组，就人工智能的 发展和技术引发的道德问题制定指导方针。在此背景下， 2018 年 3 月，欧洲科 学与新技术伦理组织 （ European Group on Ethics in Science and New Technologies） 发布关于人工智能、机器人及“自主”系统的声明 （ Statement on Artificial Intelligence， Robotics and AutonomousSystems） 2，呼吁为人工智能、机器人和 “自主”系统的设计、生产、使用和治理制定共同的、国际公认的道德和法律框架。 而在近日，欧盟委员会人工智能高级专家组 （ The European Commissions High-Level Expert Group on Artificial Intelligence） 于 2018 年 12 月 18 日发布了关于可信赖人工智能的伦理准则 （草案 ） （ “ Ethics Guidelines for Trustworthy AI” ） 1 曹建峰 .十项建议解读欧盟人工智能立法新趋势 EB/OL.2019-03-25tisi/4811. 2 欧洲科学与新技术伦理组织 .关于人工智能、机器人及自主系统的声明 R.曹建峰译 .北京 :腾讯研究院 , 2018. 4 3。在这个草案中，欧盟尝试提出了一个框架，确保在开发、推广或应用人工智 能的过程中，研发者能尊重基本权利、原则及价值。具有人权传统的欧盟秉持以 人为本的人工智能发展理念，希望通过人工智能价值引导人工智能发展，塑造其社会影响，造福个人和社会。这一系列举措表明了欧盟通过人工智能伦理规制、 约束人工智能向着有益于个人和社会发展的 决心。在技术和产业不占优势的情况 下，欧盟人工智能战略的重头戏放在了人工智能价值观，希望以此彰显欧盟发展人工智能的独特优势。 其他国家亦在积极推进人工智能伦理。美国特朗普总统于 2019 年 2 月 11 日签署了一项行政命令，正式启动“美国人工智能计划”，以刺激推动美国在人工 智能领域的投入和发展，这其中就包括了道德标准的要求，像白宫科技政策办公 室 （OSTP） 和美国国家标准与技术研究院 （ NIST）这样的政府机构将被要求制定标准，指导“可靠、稳健、可信、安全、可移植和可互操作的人工智能系统” 的开发。 英国政府 曾在其发布的多份人工智能报告中提出应对人工智能的法律、伦理和社会影响，最为显著的是英国议会于 2018 年 4 月发出的长达 180 页的报告英国人工智能发展的计划、能力与志向（ AI in the UK: ready, willing and able？） 4。该报告认为当前不需要对人工智能进行专门监管，各个行业的监管机构完全 可以根据实际情况对监管做出适应性调整。相反，该报告呼吁英国政府制定国家层面的人工智能准则 （ AI Code） ，为人工智能研 发和利用设定基本的伦理原则， 并探索相关标准和最佳实践等，以便实现行业自律。 此外，联合国教育、科学及文化组织（ United Nations Educational, Scientific and Cultural Organization，简称 UNESCO）的下设委员会 （ the World Commission on the Ethics of Scientific Knowledge and Technology of UNESCO，简称 COMEST）历时两年完成并于 2017 年 9 月发布机器 人伦理报告 （ Report of COMEST on robotics ethics） 5，建议制定国家和国际层面的伦理准则。 全球最大的专业学术组织电气和电子工程师协会（ Institute of Electrical and Electronics Engineers， IEEE）于 2016 年启动“关于自主 /智能系统伦理的全球倡 3 欧盟委员会人工智能高级专家组 .关于可信赖人工智能的伦理准则 J.青年记者 ,2019(01):88. 4 AI in the UK:ready, willing and able, publications.parliament.uk/pa/ld201719/ldselect/ldai/100/100.pdf, p.38. 5 UNESCO (2017) .Preliminary draft report of comest on robotics ethicsEB/OL.2018-05-12.unesdoc.unesco/images/0024/002455/245532E.pdf. 5 议”，其发布的“人工智能设计的伦理准则”白皮书目前已迭代到第二版，第三 版希望融入更多来自亚洲地区的声音。此外， 2017 年美国的未来生命研究所 （ future of life institute， FLI） 主持达成了 23 条人工智能原则，近四千名各界专家签署支持这些原则，在业界引起了较大反响。美国计算机协会 （ Association for Computing Machinery, 简称 ACM）提出的算法透明和可责性七项原则、负责任地发展人工智能的蒙特利尔宣言、 UNI Global Union 提出的人工智能十大原则等也代表着类似的人工智能伦理思考。 当然，面对社会公众的担忧和质疑，科技公司并非无动于衷，早已开始思考人工智能技术及其应用的社会经济和人类健康影响，并采取措施确保人工智能有 益于、造福于个人和社会，最终目的是希望人工智能在人类社会中扮演一个积极的角色，而非沦为破坏者。科技公司的举措主要体现在以下三个方面： 其一，积极拥抱人工智能伦理与社会研 究。如今，人工智能领域的一个重要 的风向标就是，人工智能研究不仅关乎技术，更关乎技术的伦理与社会影响。跨 学科、跨领域的研究在人工智能领域正成为一个显著的趋势。以 DeepMind 公司 为例，其于 2017 年 10 月 3 日宣布成立人工智能伦理与社会部门 （ DeepMind Ethics & Society），目的就在于补充、配合其人工智能研发和应用活动。 其二，提出人工智能价值观。面对人工智能引发的一些负面问题，谷歌、微 软等科技公司纷纷提出企业层面的人工智能价值观以赢得公众和公众的信任。比如，微软、谷歌、 IBM、 Sage、 SAP 等科技企业均提出了自己的人工智能原则。 其三，成立人工智能伦理委员会。早在谷歌收购 DeepMind 之时，其就承诺 建立一个人工智能伦理委员会 AETHER （ AI and Ethics in Engineering and Research Committee）。微软在其计算化未来：人工智能及其社会角色一书中透露其已经成立了一个人工智能伦理委员会 AETHER （ AI and Ethics in Engineering and Research Committee）， 确保将 其奉行的人工智能原则融入人工智能研发和应用。据其说法，这个委员会作为微软的内部机构，囊括了工程、研究、咨询、法律等部门的专家，旨在积极推动形成内部政策并应对潜在的问题。 该 AETHER 委员会的主要职责是，制定能够作用于微软人工智能产品和方案之 研发和应用的最佳实践和指导原则，帮助解决从其人工智能研究、产品和用户互 动中产生的伦理和社会问题。此外，今年 5 月，在经历了引起轩然大波的数据泄 6 露丑闻之后， Facebook 宣布成立人工智能伦理团队，负责防止其人工智能软件中的歧视。从其官网可以发现， Facebook 正在招聘人工智能政策、伦理、法律等方面的人员，表明其开始重视人工智能伦理相关的工作。 凡此种种表明，在人工智能技术研发和应用之外，人工智能伦理已经成为科技公司的主要关切之一。一方面在加强人工智能伦理相关的研究，另一方面通过 人工智能伦理委员会对人工智能技术、产品和应用形成伦理约束。与此同时通过对外传递其人工智能价值观树立产业良好形象。 5.3 国内发展现状 我国已经将人工智能伦理提上日程。 2017 年发布的新一代人工智能发展规划 6提出了中国的人工智 能战略，制定促进人工智能发展的法律法规和伦理规范作为重要的保证措施被提了出来。在该战略文件中，伦理一词出现 15 次之多，足见我国对人工智能伦理的高度重视。其释放的信号是，不仅要重视人工智能的社会伦理影响，而且要制定伦理框架和伦理规范，以确保人工智能安全、可靠、可控发展。 2018 年 1 月 18 日，在国家人工智能标准化总体组的成立大会上，人工智能标准化白皮书 2018 7正式发布。白皮书论述了人工智能的安全、伦理和隐私问题，认为设定人工智能 技术的伦理要求，要依托于社会和公众对人工智能伦理的深入思考和广泛共识，并遵循一些共识原则。 2018 年 9 月 17 日，国家主席习近平致信祝贺 2018 世界人工智能大会在沪召开。习近平在贺信中指出，新一代人工智能正在全球范围内蓬勃兴起，为经济 社会发展注入了新动能，正在深刻改变人们的生产生活方式。把握好这一发展机 遇，处理好人工智能在法律、安全、就业、道德伦理和政府治理等方面提出的新课题，需要各国深化合作、共同探讨。 在业内，腾讯研究院等研究机构亦非常重视人工智能伦理研究。以腾讯研究院为例，其在国内较早 开始关注并研究人工智能伦理和社会问题，率先将欧盟、联合国、 IEEE 等出台的人工智能伦理政策文件和报告译介到国内，并就算法歧 6 国务院 .新一代人工智能发展规划 (国发 201735 号 ) EB/OL. (2017-07-20) 2019-03-25. csjrw/2017/0720/58931.shtml. 7 中国电子科技标准化研究院 .人工智能标准化白 皮书 EB/OL.2019-03-25 cesi.ac/201801/3545.html. 7 视、人工智能安全、人工智能隐私、人工智能就业影响等输出了很多研究成果， 并与中国信通院互联网法律研究中心、腾讯 AI 实验室、腾讯开放平台一起出版了人工智能：国家人工智能战略行动抓手 8一书，书中战略篇、法律篇、 伦理篇以及治理篇着重讨论人工智能的社会和伦理影响，呼吁为人工智能的发展和应用制定共同的伦理框架。 当前，国内外各界都非常重视人工智能伦理和社会影响研究，希望在发展和应用人工智能这一新技术造福社会和人类的同时，也能意识到其可能带来的负面影响和伦理问题，确保人工智能安全、可靠、可控发展。 8 腾讯研究院 ,中国信息通信研究院互联网法律研究中心 ,腾讯 AILab,腾讯开放平台 .人工智能：国家人工智能战略行动抓手 M.北京 :中国人民大学出版 社 ,2017.