金融领域大数据应用研究报告.pdf

大数据在金融领域的典型应用研究 中国支付清算协会金融大数据应用 研究 组 中国信息通信研究院云计算与大数据研究所 2018 年 3 月 1 版权声明 本报告版权属于 中国支付清算协会金融大数据应用 研究 组 ，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源： 中国支付清算协会金融大数据应用 研究 组 ”。违反上述声明者，本单位会将追究其相关法律责任。 编写指导： 王素珍 、何宝宏 编写小组： 丁华明 、赵计博、 韩涵、赵博 、何阳 2 前 言 近年来，我国金融科技快速发展，在多个领域 已经走在世界前列 。大数据、人工智能、云计算、移动互联网等技术与金融业务深度融合，大大 推动了我国金融业转型升级， 助力金融 更好地服务实体经济， 有效 促进 了 普惠金融 发展 。在这一发展过程中，又以大数 据技术发展最为成熟、应用最为广泛。从发展特点和趋势来看，金融云快速 建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇 和巨大的发展动力 。 为促进大数据技术在金融领域的创新和 安全应用，中国支付清算协会在金融科技专业委员会的基础上，成立了金融大数据应用研究组 ， 依托金融科技专业委员会开展相关研究验证和推广交流活动 ， 充分 发挥行业协会贴近市场和 研究机构的 优势 ， 深入研究 金融大数据应用理论和实践问题 。 研究组成立以来，在 组长单位中国信息通信研究院 云计算与大数据研究所的带领下，在广大成员单位的支持和配合下，积极开展市场 调研 ，努力 搭建交流平台 ， 探索行业标准 建设，开展了 许多富有成效的工作 ，取得了积极成果。 其中一项重要工作就是 面向成员单位征集金融大数据3 创新应用案例 ， 开展 重点 课题研究 。该项工作自 2017 年 11月启动以来，得到了广大成员单位的积极响应，共征集到 40多个有效案例。经专家严格评审，最终有 24 个案例获评 “金融大数据创新应用 优秀成果奖 ” 。研究组进一步整合获奖案例内容，结合课题研究成果撰写完成 大数据在金融领域的典型应用研究白皮书 并公开发布 ， 借此机会希望 促进 行业交流和优秀 成果的 学习 借鉴 ， 为推动金融大数据更好发展应用贡献一份智慧和力量 。 4 大数据在金融领域的典型应用研究 数据是数字经济时代的新型生产资料，基于数据的生产变革和业务模式创新正驱动着全球范围内经济社会各个领域的数字化、智能化转型，发展大数据已经成为国家战略。十九大报告明确指出，要推动“互联网、大数据、人工智能和实体经济深度融合。” 金融行业数据资源丰富，数据应用由来已久。从发展特点和趋势来看，金融云快速 建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势。 随着大数据技术的广泛普及和发展成熟，金融大数据应用已经成为行业热点趋势，在交易欺诈识别、精准营销、黑产防范、消费信贷、信贷风险评估、供应链金融、股市行情预测、股价预测、智能投顾、骗保识别、风险定价等涉及银行、证券、保险、支付清算 和互联网金融等多 领域的具体业务中，得到广泛应用。涌现出一大批技术创新、业务突破的应用案例。总结来看，对于大数据的应用分 析能力，正在成为金融机构未来发展的核心竞争要素。 5 毋庸置疑，金融大数据拥有着广阔的发展前景。然而，金融大数据应用也面临着数据资产管理水平不足、技术改造难度大、行业标准缺失、安全管控压力大和政策保障仍不完善等一系列制约因素。 为推动金融大数据更好发展应用 ，必须从政策扶持保障、数据管理能力提升、行业标准规范建设和应用合作创新等多个方面入手，不断强化 应用基础能力，持续完善 产业生态环境。 一、大数据的兴起与金融大数据的发展 （一）大数据的兴起 近年来，摄像头、可穿戴设备、 GPS 等传感器收集着大量音频、视频、图像等各类结构化和非结构化数据，随着电子商务、社交、综合信息网站等互联网应用的发展，数据基于网络大量产生并存储，信息量爆发式增长。据 IDC 的研究显示，全球数据总量年复合增长率 50%。这种增长速度意味着未来两年，全球新增的数据量将超过人类有史以来积累的数据总和。 IDC 预测，到 2020 年，全球数据总量将达到 40ZB（ 400 亿 TB），代表地球上每个人平均会产生 5TB 的数据。 人类正从 IT 时代走向 DT 时代，数据是数字化时代的“石油”，大数据就是数字化时代的“冶炼工艺”。通过数据的收集、 存储、分析和可视化技术，解决大数据海量、高速、多变、低密度的问题，使数据从散乱的信息，变成知识和智慧，帮助组织解决发展中遇到的实际问题。 6 麦肯锡公司早在 2011 年就已经预见到大数据时代的到来，并提出：“各个行业和领域都已经被数据渗透了，目前数据已成为非常重要的生产因素。对于大数据的处理和挖掘将意味着新一波的生产率不断增长和消费者盈余浪潮的到来。” 人们已经意识到，通过数据给社会创造 价值 的能力和用数据盈利的能力将成为所有组织的核心竞争力。 纵观金融行业的发展史，每次都是科技的创新推动着金融行业的发展与变革。电报技术、互联网技术的推出都对金融机构的服务模式和风控方式产生了重大影响。近几年，各国政府不断加大对科技创新的重视程度。科技创新的速度不断加快，并逐步与金融业务深度融合，以大数据、云计算、人工智能、区块链等为代表的新技术已逐渐成为金融发展的新动力。 普华永道调研显示，在所有金融科技中，大数据是金融行业投资和应用的首选。首先，从内在需求看，在互 联网金融模式的冲击下，整个金融业的运作模式正在重构，行业竞争日益激烈，基于数据的精细化运营需求日益迫切。其次，从应用基础上看，金融行业拥有海量数据资源。金融业是最有意愿进行信息化投入的行业之一，经过多年的信息沉淀，各系统内积累了大量高价值的数据，拥有用于数据分析的基础资源。最后，从产品供应上看，大数据产品已经越来越成熟，技术供给越来越丰富，部署成本直线下降。此外，部分先行者为大数据部署提供了宝贵的应用案例，使得金融大数7 据解决方案越趋完善。 （二）金融大数据的产生 金融数据产生的主体有 三 种：“人”、“机”、“ 物”。“人”指的是人类活动的数据，它是人类在活动过程所产生的各类数据，包括评论、通话记录、照片、网页浏览痕迹、交易记录等信息。“机”指的是信息系统产生的数据，这些信息主要以文件、多媒体等形式存在，包括审计、日志这样自动生成的信息。“物”指的是物理世界产生的数据，是通过摄像头、传感器等数字设备在监测中采集的数据，例如服务器运行监控数据、押运车监控数据等。 （三）金融机构数据获取方式 金融机构有三种数据获取的方式：在自有系统中沉淀、在网上采集和从第三方购买。 1.在自有系统中沉淀数据。 金融机构通常会部署数百个应用系统，这些系统在日常经营中持续产生和储存数据，经过长期的数字化运营积累，数据的规模已经较为庞大。以银行业为例，目前中国单家股份制商业银行累积的数据已经达到上百 TB。波士顿咨询的调研表示，银行业每创收 100 万美元，平均就会产生 820GB 的数据。 2.在网上采集数据。 金融机构在网上主要采集企业的舆情数据和个人的行动数据。企业舆情数据包括两大方面：一是政府公开数据：工商、司法、行政和一行三会的处罚 /涉诉数据等；二是企业经营动态数据：资产重组、投融资、高8 管变动、员工招聘、新产品发布和产品 销售情况等。个人行动数据也包括两大方面：一是基本属性数据：性别、年龄、学历、职业等；二是喜好数据：浏览页面、浏览商品、页面停留时间、关注的商品、支付的商品、产品评分、产品投诉、产品建议、加入的社群、经常互动的话题等。 3.从第三方购买数据。 金融机构购买的主要是企业的数据，在个人数据购买上比较谨慎。在个人数据交易上，大型金融机构普遍认为比较敏感，要谨慎对待。目前，大型金融机构从第三方购买个人数据的行动基本停滞， 主要从政府侧购买公共数据 ，例如公积金、社保和税务数据等。 （四）金融大数据的发展特点 1.金融云快速 落地奠定大数据应用基础。 金融云具备的快速交付、高扩展、低运维成本等特性，能够在充分考虑金融机构对信息安全、监管合规、数据隔离和中立性等要求的情况下，为机构处理突发业务需求、部署业务快速上线、实现业务创新改革提供有力支持。因此，金融业一直较为积极的推动云计算的落地。 目前，大型金融机构纷纷开启了基于云计算的信息系统架构转型之路，逐步将业务向云迁移。大型金融机构普遍青睐混合云架构，将非核心应用迁移到公有云上，再将部分核心应用迁移到私有云平台上，关键业务上继续使用传统架构。新兴金融机构如蚂蚁金服、微众银行等在诞生 之初就把所有IT 系统架构在云上。 9 2.实时计算分析能力是金融大数据应用的首要关注点 。金融机构的业务要求大数据平台具有实时计算的能力。目前，金融机构最常使用的大数据应用场景为精准营销、实时风控、交易预警和反欺诈等业务都需要实时计算的支撑。 以精准营销和交易预警为例，精 准营销要求在客户短暂的访问与咨询时间内发现客户的投资倾向，推荐 适合的产品。交易预警场景要求大数据平台在秒级完成从事件发生、到感知变化、到输出计算结果的整个过程，识别出客户行为的异常，并做出交易预警。因此，流式计算框架的实时计算大数据平台目前逐渐在金融机构得到应用，以满足低延时的复杂应用场景需求。 3.金融业务创新越来越依赖于大数据应用分析能力 。 客户对服务体验的要求越来越高，需要金融机构随时随地都能提供服务，产品设计的更易用、更直观，响应速度更快速。金融机构提供产品和服务的重点，也从简单的标准化，转变为个性化。 大数据能够在产品设计和客户服务两方面提高创新能力。在产品设 计上，大数据能够更好的利用现有数据，为客户进行全面的客户画像，识别客户的需求。基于精准的客户认知，金融机构可以细分客户的需求，从而针对性的设计出符合客户个性化需求的、场景化的产品。在客户服务上，大数据可以提高产品的自动化程度，从而扩大产品和服务的范围、拓宽客户基础，使得金融机构得以覆盖以前服务不到的