2021-2022图数据库分析报告.pdf_报告吧baogao8.com-

资源描述

2021-2022图数据库分析报告 3 前言当今时代，数据的关联可以产生重要的商业价值。无论我们是想了解在线社交网络中用户之间的关系，或者电子商务中用户和商品之间的关系，还是金融网络中信贷关系，理解和分析大量高度关联数据的能力将成为企业的核心竞争力。图处理技术在这其中扮演着重要的角色。大型互联网公司最早就意识到了这一点，并开始创建自己的专有图处理技术，这些技术被用于社交关系挖掘、网页检索与排序、推荐系统等，并获得了巨大的商业成功。图处理技术解决了当今宏观业务的一个大趋势：利用高度连接的数据中复杂、动态的关系来产生洞察力和竞争优势。相比关系数据库，图数据库是表示和查询连接数据的最佳方式。随着近几年的快速发展，通用的图数据库已经逐步成熟，基于图数据库的应用如知识图谱、风险防控、智能物联网在金融、电信、公共安全、医疗等行业快速落地，并形成了较好的应用效果。然而相比其他的数据库技术，图数据库还处于起步阶段，相关概念介绍、应用场景描述和选型实施的资料较少。本白皮书从概述、发展历程、应用场景、技术架构、选型要素和实施建议等多个维度介绍图数据库，力图为用户了解和选择图数据库提供一个全局视图。由于编写的水平和时间有限，难免有所纰漏，欢迎大家批评指正。 4 目录一、图数据库概述 .6（一）图数据库的概念 .7（二）图数据库发展情况 .10（三）图数据库的技术优势 .12二、图数据库应用场景 .15（一）知识图谱 .15（二）行业应用 .16三、图数据库技术详解 .19 （一）技术架构 .19（二）主流的图查询语言 .20（三）图数据的计算 .21（四）图处理引擎 .23四、图数据库选型要素 .25（一）基本能力 .25（二）分布式能力 .25（三）兼容能力 .26（四）管理能力 .26 （五）安全能力 .27（六）高可用能力 .27（七）性能 .27五、图数据库实施建议 .29 5 （一）业务理解 .29（二）图 Schema设计 .30（三）业务数据加工 .31（四）验证和测试 .32（五）监控运维 .32（六）从关系型数据库迁移到图数据库 .33六、总结和展望 .35 6 一、图数据库概述图是基于事物关联关系的模型表达，通过将实体与关系点边化的方式将知识结构化地保存，因此具有天然的可解释性，从而备受学术界和工业界的推崇。图数据是指采用图结构存储的数据。当前，通信、互联网、电子商务、社交网络和物联网等领域中积累了大量的图数据，其规模巨大并且不断增长： Facebook 的社交网络在 2011 年已超过 8亿顶点；而腾讯 QQ 社交网络目前在 10 亿个顶点的规模；在电信行业中，广州市仅一个月内由电话呼叫方和被呼叫方组成的图就超过4.5 千万个顶点、 1.5 亿条边；而 ClueWeb 1数据包含海量的网页， 2012年公布的数据集已经达到 10 亿个顶点、 425 亿条边，仅是存储边的列表文件就超过 400GB。图 1 社交网络传统的关系型数据库在处理这些关联数据时，大量的连接操作造1 ClueWeb12 数据集， lemurproject/clueweb12/specs.php 7 成性能成指数级下降；而 NoSQL 数据库（图数据库以外）采用的数据结构和分布式架构，更适合离散、关联关系弱的数据存储管理。图数据库中丰富的关系表示，完整的事务支持，提供了高效的关联查询和完备的实体信息。因此，有人认为图数据库是一项具有变革意义的技术，不仅仅是因为它提供了功能强大且新颖的数据技术，更是因为它带来了直接的商业利益，让人们有着充分的动机去替换已有的数据平台。2019 年初 Gartner 2数据与分析峰会上将图列为 2019 年十大数据和分析趋势之一，并认为到 2022 年，全球图处理及图数据库的应用都将以每年 100%的速度迅猛增长。接下来本章将从图数据库的概念、价值、发展情况以及与其它数据库的对比三个方面介绍图数据库的基本情况。（一）图数据库的概念图数据库以图论为理论基础，使用图模型，将关联数据的实体作为顶点（ vertex）存储，关系作为边（ edge）存储，解决了数据复杂关联带来的严重随机访问问题。在分类上，图数据库可归类为 NoSQL数据库。1. 图模型图是一组对象的集合，由顶点和边构成，顶点表示实体或实例，如人、账号、组织、业务等。它们可以类比于关系型数据库里的记录 2 Gartner2019 年十大数据和分析技术趋势， 8 （ record）或行（ row），或文档数据库（ document database）里的文档（ document）。边是将连接顶点的线，表示顶点之间的关联关系。边是图数据库中的关键概念，在关系型数据库或文档存储数据库中，没有对边的抽象概念进行直接实现。图模型主要包含属性图、 RDF 图两种。属性图模型属性图模型由顶点、边及其属性构成。图数据库通常是指基于属性图模型的图数据库。模型由以下 4 个部分组成：1) 顶点。顶点是事物（ Object）的抽象，可以是 “人 ”、 “书 ”等实体，也可以是 “端口 ”、 “IP”等抽象；2) 顶点的属性。顶点的属性是对事物的具体描述，根据顶点代表的类型不同，每个顶点可以有不同的属性，比如以 “人 ”作为顶点，属性可以是 “ 姓名 ” “身高 ”、 “生肖 ”等；3) 边。边是两个顶点间的关联关系，有向或无向。比如两个顶点是 “人 ”和 “职务 ”，那关系 “任职 ”是连接它们的边；4) 边的属性。和顶点的属性类似，每条边上也有属性。比如连接顶点 “人 ”和 “职务 ”的 “当选 ”边，属性就是具体的当选时间。图 2 属性图模型实例 RDF 模型 9 RDF（ resource description framework）模型原本是描述 Web 资源的标记语言，由 W3C 提出。 RDF 主要针对文本语义的场景，用三元组（ subject-predicate-object）来表达。因此基于 RDF 图模型的图数据库又称三元组数据库。通常意义的 RDF 模型在顶点和边上没有属性，只有一个唯一的资源描述符，这是与属性图模型最根本的区别。顶点属性可以通过顶点与属性值（ literal）之间的边来表示，边的属性则比较复杂，需要将每条边表示为顶点，然后再将属性与之相连。图 3 RDF 图模型实例属性图和 RDF 图的主要区别有： 1） RDF 图可以更好地支持多值属性； 2） RDF 图不支持两顶点间多个相同类型的边； 3） RDF 图不支持边属性。2. 图数据库图数据库基于图模型，对图数据进行存储、操作和访问，与关系型数据库中的联机事务处理（ Online Transactional Processing， OLTP）数据库是类似的 , 支持事务、可持久化等特性。图数据库根据底层存储实现的不同，可分为原生 (Native)和非原 10 生 (Non-native) 两种。原生图数据库：使用图模型进行数据存储，可以针对图数据做优化，从而带来更好的性能，例如 Neo4j。非原生图数据库：底层存储使用非图模型进行存储，在存储之上封装图的语义 ,其优点是易于开发，适合产品众多的大型公司，形成相互配合的产品栈，例如 Titan、 JanusGraph 底层采用 KV 存储非图模型。（二）图数据库发展情况自 2007 年第一款商用图数据库 Neo4j 诞生以来，图数据库的发展虽然不过十余年，却已经历了底层存储、架构等技术方面的重大变革，由最初的单机图数据库向分布式大规模图数据库发展。Graph 1.0：小规模原生图存储Graph 1.0 时代（ 2007 年 -2010 年），以 Neo4j 为代表，采用原生图的方式实现了图存储，获得了比关系型数据库快得多的复杂关联数据查询性能。如下图所示， OREILLY 出版的图数据库一书中在5000 万点和边的数据规模下，对比了 Neo4j 与关系型数据库在关联查询的时间对比，随着关联关系深度的增加，关系型数据库性能呈指数倍增长甚至无法执行，图数据库的优势不言而喻。然而，当时在软件架构设计上只支持单机部署，图数据库产品性能和业务扩展能力有限。表 1 Neo4j 与某关系型数据库在关联查询的性能对比 11 深度关系型数据库的执行时间（ s） Neo4j 的执行时间（ s）返回的记录条数2 0.016 0.01 2 5003 30.267 0.168 110 0004 1543.505 1.359 600 0005 未完成 2.132 800 000Graph 2.0：分布式大规模图存储Graph2.0 时代（ 2010 年 -至今），随着大数据和物联网的蓬勃发展，数据本身的丰富程度增加，数据之间的关联性增多，扩展性成为数据库行业共同的痛点，分布式架构的兴起催生了很多的分布式图数据库项目。在这一发展阶段，支持分布式大规模图存储是关注的重点，图存储是否以原生的方式实现，不再是那么重要的问题，例如 OrientDB选择了支持原生图存储，自研了分布式图数据存储模块，而JanusGraph 则是在其他数据库（ Cassandra、 HBase 等）之上封装实现图的语义。通过支持在通用硬件上进行水平扩展（ Scale Out），分布式图数据库具备了在海量关联关系数据的存储与实时深度查询上绝佳的性能，但是在全图分析等需要迭代计算的场景下仍需要结合图处理引擎（如 GraphX，参见第三章）进行离线计算与分析。我国的图数据库产业发展也随着时代的更替而蓬勃发展，产品形态丰富，经详细调研及初步估计，当前国内的图数据库已有 20 余款产品，主要有四类研发主体发起，其特点如下：（ 1）各大高校实验室、研究所在图数据库发展初期研究开发的数据库产品，主要聚焦于支持 RDF 图模型的图数据库； 12 （ 2）大型互联网企业由于自身积累的海量数据以及业务需求，催生相关的数据库产品。这些产品考虑到企业原有数据系统的情况，结合原有数据系统而开发的非原生图数据库不在少数，但绝大多数使用分布式架构以供企业内部使用，产品迭代较快，当前也有部分产品商业化；（ 3）新兴创业公司，他们的产品的最大特点是完全自主研发的图数据库，强调高性能与数据库的事务性，但是产品版本更新迭代相对较少，目前也在往分布式架构发展；（ 4）传统 IT 服务商在图数据库的发展浪潮下，也加快图数据库产品的研发步伐，并且通常与企业已有的其它产品（例如知识图谱工具）一同对外输出。总体来看，国内数据库产品以属性图为主，并且有向分布式发展的需求与趋势，强调对实时复杂图查询的性能，多使用自研的查询语言，部分产品支持 Cypher 或 Gremlin 等查询语言。（三）图数据库的技术优势大数据时代带来了新的业务场景和技术挑战，关系型数据库无法解决所有问题，因此留给了包括图数据库在内的 NoSQL 数据库广大的生存和发展空间。关系型数据库的优点在于实现了快速的逐行访问和保持数据一致性（ ACID 事务），为此，关系型数据库对数据模式和数据规范化有着严格的要求，这种要求对数据关系的查询产生了束缚。当数据规模变大 ,且数据间关系随之变得复杂时，使用关系模型检索时需要多 13 个表的属性执行连接操作，数据写入时也需考虑外键约束，从而导致较大的额外开销，产生严重的性能问题，因此传统关系型数据库更适合实体联系为一对一或一对多的应用场景。而图数据库则在处理复杂关系上有着天然优势，在海量数据的多对多的复杂实体联系场景中有着异常突出的性能表现。表 2 图数据库与关系型数据库对比分类图数据库关系型数据库数据模型图表存储对象半结构化数据结构化数据2-3度关联查询高效低效6-10度关联查询高效低效/不支持事务性支持支持在处理关联数据时，图数据库有三个非常突出的技术优势：高性能、灵活、敏捷。1. 高性能图数据库相较于关系型数据库和其它非关系型数据库，在处理深度关联数据时，具有绝对的性能提升。2. 灵活图数据库提供了极其灵活的数据模型，可以根据业务变化实时对数据模型进行修改，数据库的设计者无需计划数据库未来用例的详细信息。3. 敏捷图数据库的数据建模非常直观，而且支持测试驱动开发模式，每 14 次构建时可进行功能测试和性能测试，符合当今最流行的敏捷开发需求，极大地提高了生产和交付效率。 15 二、图数据库应用场景图数据库在如今的大数据时代因其在海量数据挖掘、复杂关联分析、实时查询等方面具有较大的优势而得到快速发展，为大数据领域创新提供了新的思路。图数据库的应用场景多样并不断丰富。如果说知识图谱是图数据库最为基础的底层应用场景，充分利用了其图模型在存储和查询的优势为多行业提供知识服务，那么金融风控、社交应用等则是更具有行业特点的高阶应用场景。接下来本章将介绍图数据库在知识图谱、金融风控、智能物联网的三个具体落地情况。图 4 图数据库、知识图谱与行业应用（一）知识图谱知识图谱本质上是一种基于图的数据结构语义网络知识图谱将实体表示为顶点的集合，将实体之间的关系表示为边的集合，通过结 16 构化的形式对知识进行建模和描述，利用可视化的图谱对知识进行展示。知识图谱使用三元组形式组织数据，关系复杂且更新、查询频繁，传统数据库无法适应存储此类模型的需求，图数据库也就因此而产生并发展。对于行业来说，知识图谱是面向多行业的新一代知识库技术；对于图数据库而言，知识图谱是图数据库关联最为紧密、应用范围最广的应用场景。知识图谱对海量信息进行智能化处理，形成大规模的知识库并进而支撑业务应用。知识图谱中图数据库具有存储和查询两方面的技术优势：从存储来看，图数据提供了灵活的设计模式。知识图谱中存储了多样、海量的数据。在关系型数据库中所有的数据库模式都需要提前定义，后续改动代价高昂。而图模型中，只需要重新增加模式定义，再局部调整图数据，便可完成在原有的数据源上增加标签或添加属性。从查询来看，图数据库提供了高效的关联查询。在用图数据库存储的知识图谱中，可以通过查询实体的边和其边上的标签（即联系）来快速地获取与其相联系的另一实体，而不用再进行各种表的关联操作，关系查询的效率显著提高。作为图数据库的底层应用，知识图谱可为多种行业提供服务，具体应用场景例如电商、金融、法律、医疗、智能家居等多个领域的决策系统、推荐系统、智能问答等。（二）行业应用过去几年，机器学习获得了空前的关注，使用通用模型从海量数 17 据中获得结论，降低了专业知识的需求。但机器学习的模型是黑盒模型，结果不具有可解释性。图是基于事物关联关系的模型表达，具有天然解释性，因此图数据库与图处理引擎集成的图系统带来的强大的图存储和分析能力，推动了图数据库在金融风控等典型应用场景的落地，也带来了物联网等新的行业应用发展方向。1. 金融风控互联网金融的兴起下，金融业务拓宽服务能力显著提升，但与此同时产生了大量的非结构化数据，数据量的剧增和关系的复杂多变性给金融风控带来了新的挑战。传统关系型数据库在海量非结构化数据存储和复杂关系挖掘方面具有天然的缺陷。相比之下，图数据库能够融合来自金融机构销售、审批、风控、电销、交易、催收等系统的多源数据以及第三方数据，打破数据孤岛，构建全方位用户关联网络。图数据库通过利用多维交叉关联信息深度刻画申请和交易行为，可以有效识别多种复杂的、规模化、隐蔽性的欺诈网络和洗钱网络；结合机器学习、聚类分析、连通图挖掘、风险传播等相关算法，可以实时计算用户的风险评分，在风险行为发生前预先识别，有效帮助金融机构提升效率、节省人工时间、控制成本、降低风险。应用图数据库的金融风控应用场景例如个人信贷业务，失联客户管理，金融反欺诈，洗钱路径追踪，企业图谱，个人 /企业征信等。2. 智能物联网物联网（ Internet of Things， IoT）近年来发展迅猛， “万物互联 ” 18 已是大势所趋。然而，物联网要实现智能化，仍面临许多挑战：网络中传感器产生的数据量大、数据变化迅速，而且数据之间往往相互关联、查询频繁。物联网领域中，图数据库在结合图处理引擎后还可以提供其所需的关联数据的高效复杂查询与计算能力。例如传统电力管理系统，使用关系型数据库储存传感器数据，电力供需错配、电流检查和全网状态评估等作业，涉及复杂、庞大、耗时的矩阵运算，很难在一个监视控制与数据采集周期内完成。基于图数据库的智能电力管理系统中，电力供需错配和电网状态检测作业所需的核心计算全部在图上完成，解出的值作为点和边的属性来存储，替代了开销巨大的矩阵运算，提高电网效率，同时能够检测并发现电网网络瓶颈，及时发出告警，减少电网网络故障和中断。应用图数据库的智能物联网场景例如智能交通、车联网、智能家居、网络流量控制、智慧农业、电网智能电力管理等。除了金融风控和智能物联网以外，图数据库还可以为公安、社交、地理等多个行业提供服务。 19 三、图数据库技术详解本章将从技术架构、图查询语言、图数据的计算、图处理引擎四个方面介绍图数据库相关技术栈。（一）技术架构图数据库的技术架构如下图所示，整体上采用分层架构的模式，从上往下依次是：接口层、计算层、存储层。图 5 图数据库系统架构（ 1）接口层：接口层对外提供服务，有如下几种方式：查询语言接口：提供除该图数据库原有查询语言之外例如Cypher、 Gremlin 等主流图查询语言接口。 API：提供 ODBC、 JDBC、 RPC、 RESTful 等接口与应用端交互。 20 SDK：在 Python、 Java、 C+等编程语言中通过库函数的方式调用图数据库的接口。可视化组件：通过图形化界面的形式展示和实现用户的交互。（ 2）计算层：提供对操作的处理和计算，包括语法解析、查询引擎、优化器、事务管理、任务调度和图算法实现等。其中，图算法可能是由图数据库本身提供，也可能是提供接口与图处理引擎对接。（ 3）存储层：图数据库有原生和非原生存储两种存储方式，图存储引擎提供了图数据结构、索引逻辑上的管理。（二）主流的图查询语言数据库查询语言可以分为命令式（ imperative）和声明式（ declarative）。命令式查询语言是一种描述计算机所需作出的行为的编程范型，系统需要顺序依次执行用户的指令，要求用户具备一定的编程能力，但执行效率高。声明式查询语言允许用户表达要检索哪些数据，仅需在逻辑上表述清楚查询结果需要满足的条件，剩下的由数据库优化执行，对用户负担较小。例如 SQL 是典型的声明式语言，C+和 Java 是命令式语言。与关系型数据库不同，图数据库领域目前没有统一的查询语言标准，大多数查询语言与产品紧密关联。声明式查询语言通常作为常规查询语言，提高图数据的易用性；而命令式查询语言用在对图数据性能有较高要求的场景，同时复杂图分析场景也多使用命令式语言。据了解目前国内一些图数据库产品使用的是自研的声明式查询语言。而常见的声明式图数据库查询语言包括 Cypher， Gremlin 和 SPARQL。 21 表 3 图数据库查询语言查询语言提出者介绍Cypher Neo4J 提出采用类 SQL 语法，其开源版本为OpenCypherGremlin Apache TinkerPop开源项目的一部分采用类 Scala 语法SPARQL W3C 标准 SPARQL 是一种用于资源描述框架 (RDF)的查询语言除了上述查询语言外，目前业界相当一部分产品使用自己开发定义的查询语言。在图数据库查询语言不一的情况下， 2019 年 6 月隶属 ISO/IEC 的 Joint Technical Committee 1（ JTC1，联合技术委员会 1）通过 Graph Query Language（ GQL，图查询语言）的标准提案，将在未来进行为期 48 个月的制定工作。（三）图数据的计算图数据库的使用场景主要是实时查询，用户通过图查询语言在图上做遍历、过滤和统计等操作，一般为局部查询，以满足实时的需求。图数据库为实时查询提供了两类常用的图算法：1)图遍历（ Graph Traversal）：也被称为图搜索（ Graph Search），是指访问图中每个顶点的过程。对图的访问和更新都以图遍历为基础。图遍历常见算法包括：广度优先搜索（ Breadth First Search,BFS）和深度优先搜索（ Depth First Search,DFS）。2)路径发现（ Path Finding）：用以识别最符合大型网络中两点之间某些条件下的最短路径。路径发现常见算法包括：最短路径 22 （ Shortest Path）、最小权重生成树（ Minimum Weight Spanning Tree,MST）和两两最短路径（ All Pairs Shortest Path， APSP）。此外，用户常常会提出比实时查询更为复杂的分

展开阅读全文