2019年大数据白皮书.pdf

大 数 据 白 皮 书 （ 2019年） 中国信息通信 研究院 2019年 12月版权声明 本白皮书 版权属于 中国信息通信研究院 ，并受法律保护 。 转载、摘编或利用其它方式使用 本白皮书文字或者观点的，应 注明 “ 来源： 中国信息通信研究院 ” 。违反上述声明者，本 院 将追究其相关法律责任。 前 言 当前，全球大数据正进入加速发展时期，技术产业与应用创新不断迈向新高度。大数据通过数字化丰富要素供给，通过网络化扩大组织边界，通过智能化提升产出效能，不仅是推进网络强国建设的重要领域，更是新时代加快实体经济质量变革、效率变革、动力变革的战略依托。 本白皮书是继大数据白皮书（ 2014 年）、大数据白皮书（ 2016 年） 、大数据白皮书（ 2018 年） 之后 中国信通院 第 四次发布大数据白皮书 。本白皮书在前三版的基础上， 聚焦 一年多来 大数据 各领域 的进展和趋势， 梳理主要问题并 进行展望 。在技术方面，重点探讨了近两 年最新的大数据技术及其 融合 发展趋势 ； 在产业方面 ，重点讨论了我国大数据产品的发展情况 ； 在数据资产管理方面， 介绍了行业数据资产管理、数据资产管理工具的最新发展情况 ， 并着重探讨了数据资产化的关键问题 ；在安全方面，从多种角度分析了大数据面临的安全问题和技术工具。 希望本白皮书的分析可以对政府和行业提供参考。 目 录 一、国际大数据发展概述 . 1 （一）大数据战略持续拓展 . 1 （二）大数据底层技术逐步成熟 . 2 （三）大数据产业规模平稳增长 . 3 （四）大数据企业加速整合 . 5 （五）数据合规要求日益严格 . 6 二、融合成为大数据技术发展的重要特征 . 8 （一）算力融合：多样性算力提升整体效率 . 8 （二）流批融合：平衡计算性价 比的最优解 . 9 （三） TA 融合：混合事务 /分析支撑即时决策 . 10 （四）模块融合：一站式数据能力复用平台 . 11 （五）云数融合：云化趋势降低 技术使用门槛 . 11 （六）数智融合：数据与智能多方位深度整合 . 12 三、大数据产业蓬勃发展 . 14 （一）大数据产业发展政策环境日益完善 . 14 （二）各地大数据主管机构陆续成立 . 17 （三）大数据技术产品水平持续提升 . 20 （四）大数据行业应用不断深化 . 22 四、数据资产化步伐稳步推进 . 25 （一）数据：从资源到资产 . 25 （二）数据资产管理理论体系仍在发展 . 26 （三）各行业积极实践数据资产管理 . 27 （四）数据资产管理工具百花齐放 . 29 （五）数据资产化面临诸多挑战 . 31 五、数据安全合规要求不断提升 . 35 （一）数据相关法律监管日趋严格规范 . 35 （二）数据安全技术助力大数据合规要求落地 . 36 （三）数据安全标准规范体 系不断完善 . 39 六、大数据发展展望 . 41 图 表 目 录 图 1 全球每年产生数据量估算图 . 1 图 2 2016-2020 年全球大数据市场收入规模预测 . 4 图 3 2016-2020 年全球大数据细分市场收入规模预测 . 5 图 4 国家大数据战略的布局历程 . 14 表 1 全国 31 省级行政单位代表性大数据产业政策 . 16 表 2 省级大数据主管机构 . 18 表 3 数据管理框架对比 . 26 表 4 数据价值的影响因素 . 32 表 5 我国大数据相关立法 . 35 表 6 2019 年数据安全相关立法进程 . 36 表 7 主要隐私数据保护技术对比 . 38 大数据白皮书（ 2019 年） 1 一、 国际 大数据发展 概述 近年来，全球大数据的发展仍处于活跃阶段。根据国际权威机构Statista 的统计和预测， 全球数据量 在 2019 年 有望达到 41ZB1。 数据来源： IDC、 Seagate、 Statista estimates 图 1 全球每年产生数据量估算图 2019 年以来 ， 全球 大数据技术、产业、应用等多方面的发展呈现了新的趋势，也正在进入新的阶段。 本章将对国外大数据战略、技术、产业等领域的最新进展进行简要叙述 。 （一） 大数据战略持续拓展 相对于几年前， 2019 年国 外 大数据 发展 在政策方面 略显平淡，只有美国的联邦数据战略第一年度行动计划（ Federal Data Strategy Year-1 Action Plan）草案 比较受到关注。 2019 年 6 月 5 日，美国发布了联邦数据战略第一年度行动计划草案，这个草案包含了每个机构开展工作的具体可交付成果，以1 ZB， 即 十万亿亿字节，相当于 240GB 大数据白皮书（ 2019 年） 2 及由多个机构共同协作推动的政府行动，旨在编纂联邦机构如何利用计划、统计和任务支持数据作为战略资产来发展经济、提高联邦政府的效率、促进监督和提高透明度 2。 相对于三年前颁布的联邦大数据研发战略计划，美国对于数据的重视 程度 继续提升，并出现 了聚焦点从 “技术 ”到 “资产 ”的转变，其中 更是 着 重 提到了金融数据和地理信息数据的标准统一问题。 此外，配套 文件中 “共享行动：政府范围内的数据服务 ”成为亮点， 针对 数据跨机构协同与 共享 ， 从执行机构到时间节点都进行了战略部署。 早些时候 ，欧洲议会通过了一项决议，敦促欧盟及其成员国创造一个 “繁荣的数据驱动经济 ”。该决议预计，到 2020 年，欧盟国内生产总值将因更好的 数据使用而增加 1.9%。 但遗憾的是， 据统计目前只有 1.7%的公司充分利用了先进的数字技术。 拓宽和深入大数据技术应用是各国数据战略的共识之处。据了解，美国 2020 年人口普查有望采用差分隐私等大数据隐私保护技术来 提高对个人信息的保护。英国政府统计部门正在探索利用交通数据，通过大数据分析及时跟踪英国经济走势，提供预警服务，帮助政府进行精准决策。 （ 二 ）大数据 底层技术 逐步 成熟 近年来 ， 大数据底层技术发展呈现出逐步成熟的态势 。 在大数据发展的初期，技术方案主要聚焦于解决数据 “大 ”的问题， Apache Hadoop 定义了最基础的分布式批处理架构，打破了传统数据库一体2 可参考 secrss/articles/11352 大数据白皮书（ 2019 年） 3 化的模式，将计算与存储分离，聚焦于解决海量数据的低成本存储与规模化处理。 Hadoop 凭借其友好的技术生态和扩展性优势，一度对传统大规模并行处理（ massively parallel processor, MPP）数据库的市场造成影响。但当前 MPP 在扩展性方面不断突破（ 2019 年中国信通院大数据产品能力评测中 MPP大规模测试集群规模已突破 512节点），使得 MPP 在海量数据处理领域又重新获得了一席之位。 MapReduce 暴露的处理效率问题以及 Hadoop 体系 庞大复杂的运维操作， 推动 计算框架不断进行着升级演进。随后出现的 Apache Spark 已逐步成为计算框架的事实标准。在解决了数据 “大 ”的问题后，数据分析时效性的需求愈发突出， Apache Flink、 Kafka Streams、 Spark Structured Streaming等 近年来 备受关注的产品 为流处理的基础框架打下 了 基础。 在此基础上，大数据技术产品不断分层细化，在开源社区形成了丰富的技术栈，覆盖存储、计算、分析、集成、管理、运维等各个方面。据统计，目前大数据相关开源项目已达上百个。 （ 三 ）大数据 产业规模 平稳增长 国际权威机构 Statista 在 2019 年 8 月发布的报告 显示 ，预计到2020 年，全球大数据市场的收入规模将达到 560 亿美元，较 2018 年的预期水平增长约 33.33%，较 2016 年的市场收入规模翻一倍。随着市场整体的日渐成熟和新兴技术的不断融合发展，未来 大数据 市场 将呈现稳步发展的态势，增速 维持在 14%左右。在 2018-2020 年的预测期内，大数据市场整体的收入规模将保持每年约 70 亿美元的增长，