区块链新基建（三）：分布式存储给互联网带来了什么？.pdf

请仔细阅读本报告末页声明 证券研究报 告 |行业专题研究 2020 年 10 月 15 日 区块链 区块链新基建（三）：分布式存储 给互联网带来了什么？ 感谢分布式资本提供研究支持，以及 储迅信息技术 、 Crust Network 等代表性企业的交流分享 。 基于 分布式存储的前景： 分布式存储为互联网基础构架和商业模式带来的变革与创新空间，将开辟新的存储应用市场。 分布式存储采用不同于传统中心化存储的资源和市场激励方式，可以解决中心化互联网架构下安全性、时效性及成本问题，将带来互联网基础架构变革。另一方面，分布式存储为个人节点加入市场交换创造了基础，可以深度挖掘数据内容价值 ，开辟全新的存储空间和应用市场。目前的分布式存储仍面临 I/O 性能问题、数据价值分层、应用服务质量等技术瓶颈， 在实际应用中需要引入中心化组织进行弥补 。 以 IPFS 协议为代表的分布式存储 系统 带来 存储 新思路，将成为下一代互联网基础设施。 IPFS 协议 是一种 文件存储和内容分发网络协议 ，整合了 多种成功的分布式系统与区块链 技术 ，为用户提供统一的可寻址数据存储。 其本质是一个 P2P 的分布式存储系统，人人都可以作为存储文件的服务器，通过基于文件内容生成的唯一编码去访问网络中的文件资源。分布式存储系统可以与去中心化的区块链技术相结合，解决中心化互联网架构下数据存储的安全性、用户协作的时效性和存储与带宽成本的问题 ，将带来互联网基础架构的变革 。 分布式存储将充分激发个人存储资源和内容贡献的市场价值，创新互联网商业模式。 全球数据量的爆发式增长推动云 存储市场的快速发展 ， 边缘云计算和小型数据中心成为行业趋势，分布式存储有望率先打开个人云存储市场空间。个人可以将闲臵的存储资源投入到分布式存储系统进行市场交换，可以在互联网上安全地进行内容发布、交换和价值共享，分布式存储就这样推动着个人存储资源市场的资源配臵，而这在传统互联网巨头控制中心云模式下是无法实现的。 分布式存储 已和传统存储不断融合应用，现有的技术瓶颈 需引入中心化组织形式进行弥补。 现有的存储解决方案通常将分布式技术与传统存储方案相结合： 一方面，对数据进行分布式备份保存，使数据更接近边缘侧，同时避免数据的物理损坏和人为篡改；另一方面，通过一定程度的集中存储和集中管理来降低系统运维成本，提高服务质量。 现有的分布式存储仍面临若干技术瓶颈： 第一，目前的分布式存储暂时无法实现数据价值分层，难以实现有效激励，可以考虑 将 底层构架和应用层策略相结合 ；第二，分布式存储 从代码实现到协议层都有很大的优化空间 ，还会 受到网络规模限制 ， 存在 I/O 性能问题； 第三，存储数据价值较高的用户需 要承担更大的服务质量风险，付费意愿较弱，需要应用层解决方案。总之， 考虑到系统运维成 本、服务质量和宏观监管等问题， 未来的 分布式存储系统需要引入中心化组织形式来弥补运营成本。 投资建议 ： 目前 A 股上市企业中，涉及存储类的标的将长期受益于分布式存储带来的变革，包括兆易创新、北京君正、 同有科技、朗科科技、紫光国微 、长江存储等，具体内容请参考个股深度。 风险提示 ： 分布式存储商业模式落地不及预期；分布式存储技术发展不达预期 。 增持 （ 维持 ） 行业 走势 作者 分析师 宋嘉吉 执业证书编号： S0680519010002 邮箱： songjiajigszq 分析师 任鹤义 执业证书编号： S0680519040002 邮箱： renheyigszq 相关研究 1、通信：工信部再发文！从 3 点边际变化，看工业互联网发展提速 2020-02-25 2、区块链：布隆伯格建言加密货币监管框架，央行发布金融分布式账本规范 2020-02-24 3、区块链：央行发布金融分布式账本规范、区块链金融有望提速 2020-02-24 -16%0%16%32%2019-10 2020-02 2020-06 2020-10通信 沪深 300 2020 年 10 月 15 日 P.2 请仔细阅读本报告末页声明 内容目录 1 核心观点 . 3 1.1 核心推荐逻辑 . 3 1.2 我们区别于市场的观点 . 3 2 分布式存储将成为下一代互联网基础设施 . 3 2.1 以 IPFS 协议为代表的 分布式存储带来新思路 . 3 2.2 分布式存储将带来互联网基础架构变革 . 7 3 分布式存储开辟互联网基础设施产业新格局 . 9 3.1 分布式存储开发新的存储市场 . 9 3.2 分布式存储已和传统存储不断融合应用 . 10 4 分布式存储面临的技术瓶颈与发展机遇 . 12 4.1 数据价值分层是分布式存储经济激励的关键 . 12 4.2I/O 性能瓶颈需要底层和应用层联合优化解决 . 13 4.3 服务质量 保障 . 15 4.4 在应用、运营层面中心化组织与分布式存储将进一步融合 . 15 5 投资建议 . 16 风险提示 . 16 图表目录 图表 1： IPFS 协议的分布式系统 . 4 图表 2： IPFS 协议构架 . 4 图表 3：集中化的版本控制系统 . 5 图表 4：分布式版本控制系统 . 5 图表 5： Merkle DAG 数据结构及功能特点 . 6 图表 6： DHT 网络工作原理 . 6 图表 7：全球数据圈每年规模 . 7 图表 8： IPFS 协议关注的基础问题 . 7 图表 9： IPFS 与 HTTP 协议的对比 . 8 图表 10： IPFS 与 HTTP 寻址方式对比 . 8 图表 11：全球数据量增长状况 . 9 图表 12： 中国云存储市场规模及增速 . 9 图表 13：中国公有云市场规模及增速 . 9 图表 14：个人云盘行业用户渗透率及 MAU . 10 图表 15：储迅部分合作伙伴 . 11 图表 16：高性能分布式文件系统 . 11 图表 17： CRUST 技术架构：工作量证明层 MPoW、区块链共识层 GPoW 及分布式云存储 /计算层 . 12 图表 18： CRUST 部分合作伙伴 . 12 图表 19：数据价值分层是分布式存储经济激励的关键 . 13 图表 20： IPFS 与 HTTP 性能对比：远程读取操作的平均延迟 . 14 图表 21： IPFS 与 HTTP 性能对比：远程读取操作的延迟范围 . 14 图表 22： IPFS 与 HTTP 性能对比：远程读取操作的吞吐量 . 14 图表 23：分布式存储面临的技术瓶颈与发展机遇 . 15 2020 年 10 月 15 日 P.3 请仔细阅读本报告末页声明 1 核心观点 1.1 核心推荐逻辑 基于 分布式存储，将开辟新的存储应用市场 。 分布式存储采用不同于传统中心化 存储的资源和市场激励方式，不仅仅是充分利用分布式节点资源， 而是为 个人节点贡献的内容投入市场交换创造了基础，从而深度挖掘数据内容价值、 开辟 全新 的应用市场 ，这在传统的互联网公司控制中心云平台数据的情况下是无法实现的 。同时，分布式存储与中心化存储将不断融合，改变现有的互联网构架 和商业模式 。 1.2 我们区别于市场的观点 市场低估了 分布式存储为互联网基础构架和商业模式带来的变革与创新空间 。 市场通常将分布式存储视为一种新的技术，而忽略了分布式存储带来的个人存储资源、用户内容贡献价值挖掘和市场交换的潜力。在分布式文件系统的互联网上，个人存储资源可以投入到市场进行资源交换，为用户贡献的内容在数据确权、安全的基础上进行内容价值提供市场交换的平台。因此，分布式文件系统将会 催生更多的全新的互联网应用 ，而非传统互联网的技术迭代。 2分布式存储将成为下一代互联网基础设施 目前，互联网将海量计算机（智能移动）终端连接在一起，使得用户能够访问存储其他计算机终端上的海量数据。数据的传输与访问，是基于 HTTP（超文本传输协议）为代表的互联网协议实现的，数据是以计算机 （服务器） 终端 IP（或者说域名）为地址进行中心化存储的 ，具体存储数据的服务器节点就像一个集中式的仓库，要承担巨大流量访问、数据传输压力。能否将数据文件分散存在网络不同服务器节点上，革新互联网基础构架？ 类似 IPFS 这种分布式存储协议逐渐兴起，作为 HTTP 的补充，打造 面向全球、点对点的分布式版本文件系统，能将所有具有相同文件系统的计算设备连接在一起 。就 IPFS 而言，用户寻找的是存储在某地方的内容 （这些内容分散在不同的服务器节点） ，而不是某地址，就只需确认验证内容的哈希，这样就能过获得速度更快、安全、健壮、持久的网页。 我们将探讨分布式存储将如何带来互联网基础构架的变革，将创造怎样的新的应用场景和市场。 2.1 以 IPFS 协议为代表的 分布式存储带来新思路 IPFS 协议是一个将多种成功的 分布式系统思路与区块链相结合的文件存储和内容分发网络协议，为 用户提供 统一的可寻址数据存储 。 IPFS（ Inter-Planetary File System） 由Protocol Lab 提出，字面意义是星际文件系统 。其 本质是一个 P2P 的分布式 存储 系统，将所有具有相同文件系统的计算设备连接在一起，目标是补充甚至替代 超文本传输协议HTTP。与现有 Web 协议 不同的是，对于一个存放在 IPFS 网络的文件资源，不是用基于域名的地址去访问，而是通过基于文件内容 生成的唯一编码去访问， 不需要验证发送者的身份，只需要验证内容的哈希 ，可以让网页的速度更快、更安全。 IPFS 的网络上运行2020 年 10 月 15 日 P.4 请仔细阅读本报告末页声明 着一条区块链，即用来存储互联网文件的哈希值表，每次有网络访问，即要在链上查询该内容（文件）的地址。 IPFS 协议最大的特色是系统的耦合及设计的综合性，其 整合的分布式技术包括 BitTorrent 协议、版本控制系统 Git、 MerkelDAG、分布式哈希表 DHT和自认证文件系统 SFS。因此在 IPFS 系统中，人人都可以作为存储文件的服务器。 图表 1： IPFS 协议的分布式系统 资料来源： 公开资料整理， 国盛证券研究所 IPFS 协议借鉴了 BitTorrent 协议诸多优点，并进行了创新，打造持久且分布式存储和共享文件的网络传输协议。 BitTorrent（简称 BT）是一种 广泛应用的 内容分发协议， 特点是充分利用用户的上载带宽，使得下载用户越多，下载速度越快 。 在 中心化存储的 FTP、HTTP 协议中，每个用户下载所需文件 ，各个 用户 之 间没有交互。 如 HTTP，每次 当同时访问和下载文件的用户过多 时，由于 服务器处理能力和带宽的限制，下载速度 会 急剧下降 ，部分 用户 甚至会 无法访问服务器 。 而 BT 协议 下，分配器或文件持有者将文件发送给 一名用户，再由这名用户转发给其它 用户，用户之间相互转发自己所拥有的文件部分，直到每个用户的下载 全部完成。这种方法可以使 下载服务器同时处理多个大体积文件的下载请求，而无须占用大量带宽，因此常用于大型文档和自由软件的发布以降低服务器负担。 IPFS团队对 BitTorrent进行了创新，增加了信用和帐单体系来激励每个节点分享数据，称为 BitSwap 协议。 用户在 BitSwap 里分享数据会增加信用分，从其他节点接受数据则会降低信用分。如果用户只去检索数据而不分享数据，信用分就会越来越低，而被其它节点忽略。 图表 2： IPFS 协议构架 资料来源： 星际文件系统 IPFS 生态研究报告 ， 国盛证券研究所 2020 年 10 月 15 日 P.5 请仔细阅读本报告末页声明 类似于于互联网的七层协议模型， IPFS 构架分为八层子协议栈。 IPFS 作为分布式存储协议，核心 功能包括：文件内容多人协调和版本可回溯、不可篡改， DHT 管理带来的 离散性、伸缩性和良好的容错性 ，以及基于 IPNS 的文件域名系统。 内容版本方面， IPFS 使用 分布式版本控制系统 Git，支持多人协同工作， 记录每次 更新并 标记不同的版本号，一旦发生问题 ， 可以将文件回溯到之前的任何一个版本 。 本地版本控制系统 和 集中化的版本控制系统 都 是由 单一 服务器 保存所有文件的修订版本 ，一旦服务器发生故障，则面临丢失所有数据 的风险。 Git 是 分布式版本控制系统（ DVCS） 的一种 ， 客户端 除了保存最新版本的文件，还 把代码仓库 和 历史记录都 完整地镜像下来。这样， 任何一处协同工作的服务器发生故障， 都可以用 任何一个 本地仓库进行恢复。 Git还可以比较文件 变化细节，查出 谁进行了什么修改，从而可以在发生 问题 时快速准确的找出原因 。 更进一步，许多 DVCS 系统都可以指定和若干不同的远端代码仓库进行交互 ，用户 可以在同一个项目中 和不同工作小组的人相互协作， 根据需要设定不同的协作流程，而这在以前的系统中是无法实现的。 图表 3： 集中化的版本控制 系统 图表 4： 分布式版本控制 系统 资料来源： Git 官网 、国盛证券研究所 资料来源： Git 官网 、国盛证券研究所 IPFS 团队对 Git 数据结构进行改造，在 Merkle Tree 的基础上得到了 Merkel DAG，拥有内容寻址、防篡改、去重三大功能 。 IPFS 将文件 划分成单个大小不超过 256kB 的数据块，每个 数据块拥 有唯一的 哈希 值，并构造一个 Merkel DAG 将所有文件碎片组织起来 。 Merkel DAG 是实现版本化文件系统的一种核心数据结构， 比 Merkle Tree 的限制更少，但是保留了其两点精髓： 1）父节点 哈希 由子节点 哈希 决定，即父节点 哈希由子节点哈希拼接 的字符串 再次哈希而成； 2） 父节点中包含指向子节点的信息。 任何一个下层节点 的 改动 都将导致上层节点 哈希值 的 变动，最终 根节点的哈希值也 将变动，因此 Merkle DAG 的三大功能得以实现： 1） 内容寻址：使用多重哈希来唯一识别一个数据块的内容 ；2）防篡改：数据接受方只需一段 Merkle 路径上的 哈希值 ，就可以检查 数据是否被篡改 ；3） 去重：内容相同的数据块 的哈希是相同的，可 据此删除重复 数据，节省存储空间 。 2020 年 10 月 15 日 P.6 请仔细阅读本报告末页声明 图表 5： Merkle DAG 数据结构 及 功能 特点 资料来源： IPFS 白皮书 ， 国盛证券研究所 IPFS 的路由功能采用分布式哈希列表 DHT，帮助客户节点快速找到所需数据所在的节点 ，具有离散性、伸缩性和良好的容错性 。 DHT 是一种分布式 哈希表 ，通过存储的键值对提供 查询服务 ： 键值对存储在 DHT 中 ， 节点 可以 检索给定键对应的值 ， 键值对的映射由网络中所有的节点维护 。 在不需要服务器的情况下 ， 每个节点负责一小部分路由和数据存储 ， 从而实现整个 DHT 网络的寻址和存储 。即使有节点加入或 离开 ，对整个网络的影响也 很小 ，因此 DHT 可以扩展到非常庞大的节点 （ 上千万 ） 。 DHT 具有以下性质： 1）离散型：构成系统的节点之间都是对等的，没有中央控制机制进行协调； 2）伸缩性：不论系统有多少节点，都要求高效工作； 3）容错性：不断有节点加入和离开，不影响整个系统的工 作。 图表 6： DHT 网络 工作原理 资料来源： 维基百科 ， 国盛证券研究所 IPNS 是 IPFS 的文件域名系统， 像 HTTP 系统的域名（网址）一样 ， 使用户 搜索文件时只需查询文件名 ，而不受文件 内容变更的影响 。 IPFS 中文件的哈希值完全取决于文件内容， 不仅难以记忆，一旦 修改文件内容 其 哈希值也会发生改变， 每次 更新文件后都需更新引用 的哈希值 ，十分不便。为了能够在不破坏其 链接的情况下更改文件内容， IPFS团队使用了一种标记更新网址哈希的域名系统，即星际名称系统 IPNS。 IPNS 是一个去中心化的命名系统， 使用类似哈希的地址安全地指向可变内 容，每个文件都可以被协作命名为易读的名字，通过搜索就可以找到 文件。 自认证 文件 系统 SFS 对 文件 进行 命名，同时提供了 IPNS 以解决传播问题 ， 很好地解决了当前用户不习惯输入哈希值访问文件的 问题 ，在现有的互联网系统和 IPFS 系统间搭建了一个桥梁 。 简单 的 说，基于 IPFS 协议存储的文件是打散成许多可验证的碎片文件（数据通过哈希值编码进行唯一标记），分布在网络中，访问者通过内容编码找到这些文件的位臵后进行下2020 年 10 月 15 日 P.7 请仔细阅读本报告末页声明 载，由于是分散存储（同一个内容可能多台服务 器存储），不必须要求所有节点服务器都必须在线，以此 IPFS 希望达到创建持久且分布式存储和共享文件的网络传输协议的目标。而 HTTP 为代表传统的中心化存储差别十分明显 HTTP 的文件是中心化的方式存储，通过文件的域名进行访问，且域名文件服务器需要保持在线，否则将无法访问。 2.2 分布式存储将带来互联网基础 架构 变革 随着互联网与通信、人工智能、物联网、云计算 /边缘计算等技术的发展，万事万物都可以被记录并用数据表达，数据从单一内部小数据向多元动态大数据转变。据 IDC 预测，全球数据圈的规模将由 2018 年的 33ZB 增长至 2025 年的 175ZB，且文本、图片、视频等非 结构 化数据将拥有更高 的增长率，在整体数据圈的占比也将持 续增加。因此，需要更先进的互联网基础架构来对数据进行采集、存储和利用。 图表 7： 全球数据圈每年规模 资料来源： IDC， 国盛证券研究所 目前 ， 中心化互联网架构 下的主要问题集中在 安全性、时效 性和集中化三个方面， 而 以IPFS 为代表的 分布式存储 协议 将通过解决以下问题带来互联网构架的变革 ： 图表 8： IPFS 协议关注的基础问题 问题 描述 数据存储的安全性 分布式存储使数据脱离了集中管理，存储的安全性大大提高。 IPFS 协议将文件打碎成若干数据块并进行分布式存储，具有良好的防篡改作用。另一方面，整个网络中存在多个备份，可以有效避免战争、自然灾害等外在原因造成的中心数据丢失，有助于提高长期数据保存的安全性。 用户协作的时效性 所有网络终端节点都可以作为网络的运营者和服务器，使用者越多，下载速度越快。使用去中心化版本控制系统，用户可以和同一个项目中的不同工作小组相互协作，还可以根据需要设定不同的协作流程。每个用户的每次修改都被完整记录，方便文件的更新和回溯。 降低存储和带宽成本 中心化数据存储依赖于 IDC 机房，大数据时代背景下集中存储的硬件成本急剧上升。在中心化存储的协议中，用户之间没有交互，大量用户访问和下载文件是对服务器处理能力和带宽的极大挑战。使用分布式存储系统，可以充分利用用户存储空间和带宽资源，大幅降低存储和带宽成本。 与区块链技术结合 区块链的本质是一个去中心化的账本，其开发瓶颈之一是如何在链上存储大量数据。以 IPFS 为代表的分布式存储系统可能解决这个问题，成为未来区块链领域的基础架构。 资料来源：国盛证券研究所 2020 年 10 月 15 日 P.8 请仔细阅读本报告末页声明 图表 9： IPFS 与 HTTP 协议的对比 IPFS HTTP 采取分布式存储数据 采取中心化存储数据 通过内容寻址（网站内容生成唯一对应的哈希值），利用分布式哈希表（ DHT）查询、下载、验证 通过域名找到服务器所在 IP 地址，而后访问文件所在路径下载 单个节点不需要不间断运行 服务器需要不间断运行，否则连接就会中断，内容无法传送 保证网站数据的永久性，同时提供版本回溯功能 服务器端数据需要备份，否则删除不可恢复 可以突破中心网络带宽的限制，并降低延时 过渡依赖主干网，占用带宽和服务器存储，易受 管制、封锁、监控和 DDoS 攻击；易受天灾人祸影响 文件更新传播需要项目所有者更新版本后加密全网传播，节点在验证后进行更新，更新传播速度可能受限 中心化服务器，不存在文件更新传播的问题 资料来源：国盛证券研究所 传统的 HTTP 协议使用非对称架构实现网络的高并发 ，但是中心服务器难以负担过大的传输数据量，影响用户体验，云计算厂商和电信运营商需要为此付出较大的设备成本。IPFS 协议解决了热点文件的存储问题，但一个文件只有被不断访问才能确保其存储有效性，冷门且具有价值的文件容易丢失，主要原因是激励层缺失导致的节点不稳定性。 目前 ，一种对标 IPFS 的分布式技术 HTTPX（网格裂变系统）也在 悄然崛起，提供去中心化的 CDN 服务、存储服务和 GPU 算力服务。 HTTPX 兼顾了 HTTP 协议的优势，对路由和传输逻辑进行重新定义，采用对称架构，将网 络的分裂做到了前所未有的程度。 图表 10： IPFS 与 HTTP 寻址方式对比 资料来源：国盛证券研究所 HTTPX 是一种更轻量化、更灵活、性能更加完善的 P2P 技术 。 HTTPX 的技术架构设计属于网格设计，每一个节点既是独立个体也是全局功能体，可以支持存储、计算和传输数据。用户连接最近的节点接入 HTTPX 网络，该节点将寻址找到临近节点，发现百万级别的信息，定位资源存储节点，并通过最优网络传输路径回传到用户临近节点。 HTTPX和 IPFS 相比具有明显优势，有望将云计算服务推向新的高峰 ： 1）高 性能 ： 网格系统设计大幅缩短用户到节点的物理距离和网络距离 ，实际测试 中 TTL下降 60%， 提供更低延时的 优质 服务响应； 2）低成本： 为产业链服务， 定价较低；硬件 兼容性 高，可 部署到 家庭、社区、办公场所； 3）兼容性 强 ： 兼容 HTTP、 HTTPS 协议， 同时 提供 高级 HTTPX 开源代码接入模式； 4） 实力雄厚 ： 采用 P2P 思想， CDN 支撑能力出众； 提供存储、 GPU 资源的挖矿模式，真正做到一机多用 。 5） 快速发布： 带宽需求大， 发布周期短，资源提供方不用 担心项目延期带来的 资本 周转问题 。 2020 年 10 月 15 日 P.9 请仔细阅读本报告末页声明 3 分布式存储 开辟互联网基础设施产业新格局 3.1 分布式存储 开发新的存储市场 全球数据量 的爆发式增长推动云 存储市场的快速发展。 云存储是 一种以数据存储和管理为核心的云计算服务，指通过集群应用、网络技术或分布式文件系统等 ，将网络中大量不同类型的存储设备通过应用软件 集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。换句话说，云存储就是将 资源放到云上供人存取 ，用户 可以在任何时间、任何地 点 ， 通过 可连网装臵连接到云上方便地存取数据 。 图表 11： 全球数据量增长状况 资料来源： IDC， 国盛证券研究所 根据云存储服务性质的不同，可以分为公有云、私有云和混合云。其中，公有云面向包括个人、家庭、企业在内的多种客户；私有云由企业或组织使用及维护，用户在个性化等方面有更多的控制权；混合云将公有云和私有云进行混合和匹配，达成相对高性价比解决方案。 据 IDC 预测， 2025 年中 国数据规模将达到 48.6ZB，其中超过 80%为非结构化数据，且 由于发展滞后北美 4-5 年，中国云市场增速高于全球水平 。 2018 年中国云计算整体市场规模达 962.8 亿元，增速 为 39.2%。其中，公有云市场规模达到 437 亿元，增速为 65.2%，预计 接下来三 年 内 仍将快速增长。 图表 12： 中国云存储市场规模及增速 图表 13：中国公 有云市场规模及增速 资料来源： IDC、国盛证券研究所 资料来源：中国信息通信研究院、国盛证券研究所 分布式存储将开辟新的应用场景， 充分激发 个人存储资源 和内容贡献的 市场 价值，创新互联网商业模式。 随着 分布式存储技术和生态的发展，将充分激发个人存储资源市场的0.51 0.91 1.85 3.53 7.08 13.55 78.43% 103.30% 90.81% 100.57% 91.38% 0%20%40%60%80%100%120%02468101214162012 2013 2014 2015 2016 2017中国云存储市场规模（亿美元） 增长率 2020 年 10 月