互联网网络架构发展白皮书（2017年）.pdf

互联网网络 架构 发展 白 皮 书 （ 2017 年） 中国信息通信 研究院 2017年 12月 版权声明 本白皮书版权属于 中国信息通信研究院 ，并受法律保护 。 转载、摘编或利用其它方式使用 本白皮书文字或者观点的，应注明“ 来源：中国信息通信研究院 ” 。违反上述声明者，本院 将追究其相关法律责任。 前 言 作为 20 世纪人类最伟大的发明之一，互联网正逐步成为信息时代人类社会发展的战略性基础设施，推动着生产和生活方式的深刻变革，进而不断重塑经济社会的发展模式，成为构建信息社会的重要基石。 “十三五”期间，传统的互联网网络体系正在面临系列 变革与挑战。一方面云计算市场的快速平稳增长，持续带动网络变革、生态演进和国际拓展 ；另一方面 互联网技术与垂直行业的整合，催生出低时延高可靠、低功耗大连接等全新的网络场景，推动网络 架构朝着更为扁平、智能的方向变革。与此同时，电信运营商与互联网企业对于网络流量主导权的博弈将长期存在，未来还需继续探索均衡多方利益下的网络共生发展。 我院 2017 年首次撰写互联网网络 架构 发展白皮书， 希望 以互联网网络架构为切入点， 总结全球的发展历程与演进，呈现我国互联网网络整体架构以及在全球网络中的位置，提出我国互联网网络架构在发展过程中面临的问题以及演进路径，并展望未来互联网网络架构的发展趋势， 与大家共同 分享我院的研究积累，在互联网网络变革的浪潮中，与产业界共同推动互联网网络又快又好地发展。 目 录 一、 全球互联网网络架构发展历程及演进 . 1 （一） 互联网网络架构的定义与内涵 . 1 1 层级结构与网络主体是互联网网络架构基本构成 . 1 2 网络间的互联方式是互联网网络架构核心要素 . 2 （二） 全球互联网网络架构的发展历程 . 4 1 发展初期依托电信运营商架构全球互联网网络 . 4 2 逐步形成多类主体广泛互联共同架构 . 5 3 网络掌控力从基础网络层转向应用网络层 . 7 （三） 全球互联网网络流量流向的变迁 . 9 （四） 全球互联网网络架构演进 . 11 1 “网随云动”推动网络架构整体变革 . 11 2 云互联需求推动网络架构持续演进 . 12 3 互联网网络架构各类主体竞合关系日益复杂 . 14 二、 我国互联网网络架构发展状况 . 15 （一） 我国互联网网络整体架构及网络主体方 . 15 1 我国基 础电信运营商网络发展状况 . 16 2 我国大型互联网企业网络发展状况 . 20 （二） 我国互联网网络在全球中的地位 . 22 1 我国互联网网络能力的全球地位 . 22 2 我国互联网网络资源的全球地位 . 28 3 我国互联网网络性能的全球地位 . 31 （三） 我国互联网网络架构当前面临的问题 . 34 1 网间互联方式有待进一步丰富 . 34 2 我国交换中心体系有待继续探索、健全 . 35 （四） 我国互联网网络架构的改进目标与路径 . 36 三、 未来互联网网络架构的演进与展望 . 38 （一） 未来互联网网络架构的演进方向 . 38 （二） 互联网网络架构在产业方向的发展演进 . 40 （三） 互联网网络架构的前沿探索 . 41 中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 1 一、 全球 互联网网络 架构 发展历程及演进 （一） 互联网网络架构的 定义与 内涵 本报告主要 从网络拓扑学的角度来描述互联网网络架构， 探讨了互联网网络间的层级结构、网络主体、互联方式以及网络内部结构等内容。 1 层级结构与 网络 主体是 互联网网络架构 基本 构成 一直以来，互联网网络架构是分层分级的结构，如下图所示： 图 1 互联网网络架构层次结构 示意图 最底层是互联网基础网络，可以称之为基础网络层， 一方面负责将所有终端用户接入互联网中，另一方面也是一切互联网应用的基础承载网。这一层级的网络主要由电信运营商构建，可以是网络覆盖全球的顶级运营商，也可以是覆盖某区域、某国家甚至某几个城市的中小运营商。 电信运营商在这一层级因其覆盖范围、网络能互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 2 力的差异，同样形成了 Tier1-Tier3 的层级结构。 中间层与最高层均是叠加在基础网络层之上，主要面向互联网各类应用，这里统一称为应用网络层。 中间层网络主要是 为满足对互联网海量数据的处理需求，以及提供快速安全的计算、存储、分发、传送能力，在不改变 IP 网络属性的基础上，叠加新功能，采用的新 模式，从而能适应互联网应用多元化发展的要求。 中间层网络是对基础网络的补充与加强，不会产生直接面向终端用户的新互联网应用，而是服务于互联网的应用，也可称之为叠加网络层。 该层级涉及的企业涵盖面最广， 既有专营CDN 和云业务的第三方服务商，也有电信运营商和内容服务提供商，甚至经营网络基础设施的 IDC 服务提供商、软件服务提供商和硬件设备厂商也加入其中。 最高层是网络应用层，基础网络与叠加网络均为之服务。 这一层级包括 web、游戏、视频等各种互联网业务应用，其涉及的企业是各类互联网内容提供商的集合。 2 网络间的互联方式是互联网网络架构 核心要素 互联网之所以能够实现全球通达，主要依靠众多网络间的互联互通，互联可以发生在 单一层内也可以发生在基础网络层与应用网络层间。从互联方式来看，可以分为物理互联与逻辑互联。 物理互联是互联网网络之间的物理连接方式，可以分为直接电路相联以及交换中心互联。 直接电路，顾名思义，是两个互联网网中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 3 络通过彼此的互通路由器进行直接电路的连接；交换中心是 多个网络主体为连通各自网络而建立的集中交换平台，也是他们之间 交换流量和资源的服务场所。直接电路相连通常适用于较大网络之间的流量交换，交换中心互联通常适用于大网与小网，以及小网之间的小流量集中交换。 逻辑互联是互联网网络之间交换流量与路由信息的方式，可以分为对等互联（Peering ）与转接互联（Transit ）。 对等互联，指两个网络通过 IP 路由协议，相互公平地交换各自网络及其客户网络的路由可达信息，但不允许对方通过自己访问与自己建立对等互联关系的第三方网络，对等互联通常适用于规模相当的网络 之间，通常是免费模式，如全球顶级运营商 AT&T、NTT 、TATA 网络间就采取了对等互联。 转接互联，指处于主导地位的 网络向其他网络 提供（出售）自己网络的完全路由可达信息，后者通过前者而获得 互联网的通达性。与对等互联类似，转接互联也是通过 IP 路由协议实现不同网络之间的 流量和路由信息交换。但转接互联是典型的客 户提供者的商务关系，用户（通常是下游网络）购买提供者（通常是上游网络，处于主导地位）的业务，转接服务的提供者允许其客户访问自己网络中的任一目的地址，并允许其透过自己的网络访问其他网络，因此转接服务的客户方通常需要 按带宽规模 向提供方支付互联结算费用，如中国移动、中国联通购买了 AT&T、Verizon 等全球顶级运营商的转接 服务 。 互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 4 （二） 全球互联网网络架构 的发展历程 互联网诞生至今，全球互联网网络架构历经深刻变革，伴随着网络架构层级的丰富，网络自身的扁平化也在持续推进。 1 发展初期 依托电信运营商 架构 全球互联网网络 在互联网网络形成之初，能够提供的网络应用非常有限， 电信运营商作为基础网络层的主体，负责接入所有的互联网企业与终端用户。 在此阶段，互联网网络架构实则是基础网络层架构 ， 如下图所示： 图 2 初始阶段全球互联网网络架构 少数电信运营商搭建了全球性的互联网骨干网络，他们之间通过网络两两直联，构成了全球互联网的顶层架构。这些电信 运营商也被称之为 Tier-1 级运营商或全球顶级运营商。其他区域或地区级中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 5 的电信运营商，其互联网网络主要集中在某个区域或某个国家甚至某几个城市，他们通过购买 Tier-1 级运营商的转接服务，或者通过加强彼此之间的网络 对等互联 ，实现全球通达，这些电信 运营商被称之为 Tier-2 或 Tier-3 级运营商。而其他终端用户、互联网内容提供商、各类有上网需求的企业主要通过接入这些 电信运营商的网络实现连通。 2 逐步形成多类主体广泛互联共同架构 进入二十一世纪后， 随着互联网跨越式的发展，新业务新应用不断涌现，互联网日渐融入到人们工作、生活中 ，为满足 人们不断提升的互联网应用体验要求，互联网业务需要尽可能靠近用户端，也推动着互联网网络架构 一方面从基础网络单层结构扩展为基础网络与应用网络的多层结构，另一方面， 网络互联方式更加丰富，网络主体在多个层面广泛对等互联，推向架构逐步迈向扁平。 图 3 发展阶段全球互联网网络架构 互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 6 这一阶段的主要特征总结如下： 一是 Tier2、 Tier3 级运营商积极寻找互联机会。 随着 Tier2、Tier3 级运营商网络的扩张，网间流量快速增长 ，在 高昂转接结算费的压力下，下游网络开始寻找广泛对等 互联机会。根据 PCH 2016年全球对等互联调查报告， 互联 协议中 99.98%属于对等互联，仅有0.02%属于购买转接服务。与此同时，低连通度网络 1比例正在大幅缩减， 2011 年-2016 年，低连通度网络占比从 62%降至 35%，缩减近一半。 二是 各类互联网企业自建网络，形成应用 网络层。 随着互联网内容提供商 的规模扩张，业务节点的不断增加，完全依托电信运营商 网络难以实现多节点内容的实时同步与便利调度，互联网 内容提供商纷纷自建骨干网络。与此同时，随着互联网创新的活跃，互联网上出现了将互联网应用更便捷地推向用户终端的 CDN 服务商，提供弹性网络资源降低互联网应用开发 成本的云服务提供商，他们与互联网内容提供商一样，也搭建了自有骨干网，共同构建应用网络层。 三是交换中心的出现，促进网络扁平化演进。 互联网交换中心的出现，吸引了包括中小电信运营商、互联网内容提供商、学校、研究机构等网络的广泛接入。各类网络主体通过接入交换中心，实现“一点接入、多点连通” ，很好地满足了他们低成本、广覆盖的互1对等互联网络数量少于 10 个 中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 7 联需求，促进网络的扁平化演进。 3 网络掌控力从基础网络层转向应用网络层 现阶段，随着互联网应用形态的不断丰富，互联网应用创新的日益活跃， 互联网网络架构的应用网络层越发壮大，大型内容提供商、CDN 和云服务提供商开始掌握网络话语权 ，如下图所示： 图 4 现阶段全球互联网网络架构 这一阶段的特征总结如下： 一是交换中心成为网间互联架构重要 组成。 随着应用网络层的壮大，交换中心作为分发内容资源的有力推手，在全球范围内迅速发展，并进一步推动网间互联架构网状网演进。根据 Peeringdb 统计数据，目前全球交换中心已达到 600+个，遍及 119 个国家；交换中心建立的互联 关系约为直联的两倍；全球交换中心流量 保持50-100%年增长率，顶级交换中心承载流量达到 Tbps 量级，全球流量互通枢纽地位日益突出。根据 PCH 的统计，大型互联网交换中心互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 8 接入了数百家网络主体，如下图所示： 数据来源： PCH 图 5 全球 大型 交换中心接入网络数量 二是互联网企业成长壮大，具备与基础电信企业的对话能力。以 Google、微软等公司为代表的大型互联网企业开始了全面的网络基础设施布局，涉足了包括自有骨干网、海缆、宽带接入（有线、无线）、数据中心、云服务、 DNS 域名解析等多个领域。从节点来看，如 CDN 服务提供商 Akamai 在全球 100 多个国家、900 多个城市拥有超过 2500 多个节点，甚至高于全球顶级运营商的节点数量；从网络规模来看，全球互联网企业自建骨干网带宽复合增长率 70%，远超运营商骨干网带宽 39%复合增长率。由此，大型内容提供商议价能力和互联地位大幅提升， Google、Amazon 、 Facebook 等都与多家 Tier1运营商实现对等 互联 。 中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 9 表 1 国际大型互联网企业互联 网络数量 互联网企业 互联数量 2 购买转接数 对等互联数 Google.inc 3 345 Facebook.inc 16 332 Yahoo! 5 307 Amazon, Inc. 22 289 数据来源： HE 三是应用层网络正在牵引网络流量与网络 架构的变迁。 互联网的流量不再完全由基础网络层的路由策略决定，应用层网络通过部署全局负载均衡（ GSLB）、 CDN 等方式引导自有流量。从流量看， Akamai承载全球 30%的流量，而 Google 的网络一旦发生故障，将影响全球40%流量，这都充分说明了应用网络层对于网络的掌控力正在逐步加强。 （三） 全球互联网网络流量流向 的变迁 全球互联网发展驶入快车道，流量增长 不断提速 。 全球化背景下，区域之间、国家之间的信息往来日趋频繁。作为数据传输和资源共享的主要载体， 互联网在支撑企业跨境运营、公众跨境访问方面发挥了重要作用，其承载的数字化信息流量在加速增长。 2012 年-2016 年，全球互联网流量从 510.6 EB 攀升至 1125.6 EB，年复合增长率达到 21.9%；预计 2017 年-2021 年，全球互联网流量将以更高的速度增长至 3200 EB 以上，这对互联网网络架构有效承载流量提出更高要求。 2其中购买转接数为 2015 年的数据，对等互联数是 2017 年 11 月数据 互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 10 数据来源： Cisco White Paper 图 6 2012 - 2021 年 全球互联网流量增长情况（单位： EB） 从全球 互联网流量地理分布来看，流量集中度持续降低。2012-2016 年，北美洲在全球洲际带宽中的占比始终位居各大洲之首，但占比从 40%下降到 35%；欧美之间的洲际带宽占比从 34%下降到 21%；其他所有洲际方向的互联网带宽占比均有所提升，充分说明全球流量朝着更为均匀的方向演进，也充分表明互联网网络架构正在朝着地域均衡化的方向变迁。 2012 年 2016 年 数据来源： TeleGeography 图 7 2012 年 和 2016 年 全球互联网 流量地理 分布 010002000300040002012年 2013年 2014年 2015年 2016年 2017年 2018年 2019年 2020年 2021年上一年到达值 本年度增幅中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 11 配合完成视频分发、提升用户体验的 CDN 网络逐渐成为互联网流量的主要载体。 随着蓝光、4K 、超高清等技术渐被广泛应用于各类视频服务，互联网视频业务对全球互联网流量的贡献力度正在逐年增强。2012 年 -2016 年，互联网视频业务流量在全球互联网流量中的占比从 65%上升到 73%。而 CDN 网络作为保障视频业务质量的基础，受到愈来愈多的互联网视频服务提供商的青睐，而 互联网巨头倾向于自建 CDN 实现包括视频在内的多种静态自有内容的分发。由此， CDN 对互联网流量的承载和疏导作用日益凸显，自建 CDN 成为主力军。 2012 年-2016 年， CDN 承载流量在全球互联网流量中的占比从33.7%上升到 52.0%，其中 Google、 Amazon、 Facebook 和 Microsoft等巨头自建 CDN 的流量占比在 2016 年达到 61%；预计 2017 年 -2021年， CDN承载流量在全球互联网流量中的占比将持续累积至 70%以上，这恰好是网络掌控力转向应用网络层的例证。 数据来源： Cisco White Paper 图 8 2012 - 2021 年 CDN 承载流量的占比 （四） 全球 互联网网络 架构 演进 1 “网随云动”推动网络架构整体变革 0%20%40%60%80%100%2012年 2013年 2014年 2015年 2016年 2017年 2018年 2019年 2020年 2021年CDN流量占比 非 CDN流量占比互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 12 全球云计算市场 快速 平稳增长 ，流量规模不断攀升。 未来几年全球云计算市场进入稳定期，继续保持快速平稳增长。以公有云市场为例，根据 Gartner 预测，2017 年全球公有云市场将达到 2468亿美元，年增长率 18%，未来几年公有云市场年复合增长率为 16.3%，预计 2020 年将达到 3834 亿美元。同时，全球云计算流量规模保持同步增长。根据 Cisco 预测，未来几年云数据中心流量年复合增长率为 30%，预计 2020 年将达到 14.1ZB/年，占全球数据中心总流量的 92%。 云计算兴起改变互联网流量模型 ，以 DC 为中心网络重构全面启动。随着云计算的快速兴起，数据中心间流量交互需求显著 增长，互联网流量模型从数据中心 -用户向数据中心 -数据中心转变，根据Cisco 预测，到 2020 年数据中心间流量在数据中心外部流量中占比将达到 39%。为应对流量模型变化，适应云计算发展对网络的诉求，近年来全球运营商陆续发布网络重构战略，并开始着手推进网络云化，以 DC 为中心进行网络资源部署，预计将于 2020-2025 年完成网络重构调整。此外，越来越多的大型互联网企业开始构建 DCI（数据中心互联）网络，并通过 SDN 技术实现网络资源统一调度，与运营商网络重构战略不谋而合。例如，谷歌利用光纤资源把全球 12 个主要 IDC 进行了互联，并使用 SDN 进行资源调度，宣称可以达到 95%的链路利用率。 2 云互联需求推动网络架构持续演进 中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 13 随着云计算应用领域的不断拓展以及 SDN 技术成熟，公有云、私有云/ 企业数据中心逐渐成为互联互通重要主体，以云互联为目标部署网络的趋势显著。 随着云计算的快速兴起，全球企业开始广泛使用云资源，部分企业根据自身需要以及不同云公司的服务特点，甚至需要接入多个云资源。根据 RightScale2017 年云计算调查报告统计数据，1002 家受访企业中 95%使用云服务，使用云服务的企业中， 20%的企业接入多个公有云，平均每个企业接入 1.8 个公有云。云资源的广泛使用催生多种云互联需求，包括公有云内部互联、公有云和私有云互联、公有云之间互联等。 而交换中心 通过提供多云接入能够扩大业务服务的地理覆盖范围；能够通过自动部署以及高级业务监控管理简化操作及业务部署时间；基于一对多连接的流量聚合能够提高带宽使用效率，从而以更低价格服务更多客户；其安全、高吞吐量、低延时的网络能够促使客户将更多服务迁移至云端；还能够加入数据中心的企业客户生态中，所有的这些利好促使着交换中心朝着云交换中心方向变迁。国际上已经出现如 Equinix 和 Megaport 等云交换中心企业，这些企业将多家云服务商（ Google Cloud、Amazon AWS 、Microsoft Azure等）汇聚接入，为企业客户提供按需、动态、灵活的云计算接入服务，如下图所示。 互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 14 图 9 Equnix 多云接入交换中心架构 3 互联网网络架构 各类 主体竞合关系 日益复杂 未来，随着应用网络层的 持续壮大，互联网企业与电信运营商对于网络流量主导权博弈日益白热化，从而衍生出了复杂的 各类主体竞合关系。 一方面，互联网企业积极进入电信运营商领域。不论是 Google曾在美国试点的 GoogleFiber、搭建的浮空通信平台，还是 Google、百度、阿里、腾讯纷纷运营的公共递归 DNS，都属于互联网企业对于基础网络层业务的尝试。而迅雷、小米等诸多互联网企业试图将CDN 的缓存节点推向用户边缘，则算是对基础网络层服务的间接替代。 另一方面，电信运营商同样开始试水应用网络层业务。 德国电信、 Vodafone 等国际运营商，我国的三大运营商都开始运营云业务，中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 15 我国三大运营商还自建了 CDN 网络，此外，中国移动在全国部署的十大基地，这些都是电信运营商对应用网络层业务的探索。 而 Cisco 通过收购 Opendns 进军公共递归 DNS、华为推出华为云、IBM 推出“ 4 个 9”的公共递归 DNS，则是设备厂商和信息技术服务商进军互联网网络市场的表现。 随着互联网网络架构主体的 多样化，竞合关系的 复杂 化， 全球互联网网络架构正朝着“你中有我，我中有你”的方向演进。 二、 我国互联网网络 架构 发展状况 （一） 我国互联网网络整体架构及 网络主体 方 1994 年，随着中国教育与科研计算机网、中国科学技术网、中国金桥信息网的先后建成，并实现与美国 NSFNET 网络的互联，标志着中国互联网网络的正式诞生。 通过近 23 年的发展，与全球互联网网络一样，中国互联网网络同样形成了基础网络层和应用网络层（含叠加网络层和网络应用层）的层级结构。 我国的基础网络层， 其典型企业既有网络覆盖全国的中国电信、中国联通、中国移动、 鹏博士 等国家级互联网接入服务提供商 ，也有网络主要集中在某个省市或某几个省市的歌华有线、方正宽带、华数宽带等省级互联网接入服务提供商， 还有大量小区互联网接入服务提供商，仅负责某几个小区的终端用户接入。其中，中国电信、中国联通、中国移动是我国主导电信运营商，其运营的基础网络，互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 16 覆盖最广、承载用户最多，三家之间通过对等互联的方式实现互联互通，而其他电信运营商都是作为这三家的客户，通过购买三家的转接带宽接入其网中。 我国的叠加网络层 涉及的典型企业 既有电信运营商和内容服务提供商，也有专营 CDN 和云业务的第三方服务商。我国基础电信企业电信、联通、移动均有自己的 CDN，主要服务于 IPTV 等自有业务的分发；大型内容服务提供商通常也建有自己的 CDN 网络，如爱奇艺、新浪、搜狐等，主要用于自有视频等大流量业务的分发；此外，网宿科技、蓝汛、帝联是第三方 CDN 服务提供商，帮助互联网企业将业务推送到离用户最近的网络节点。云业务方面，我国基础电信企业，以 BAT 为代表的大型互联网企业，以网宿、蓝汛为代表的 CDN企业，以高升控股、供销大数据为代表的 IDC 企业，以金山为代表的软件服务企业，以华为为代表设备制造企业均有涉足云业务领域。 我国的网络应用层 ， 是最具中国特色的层级，在该层级中，除部分大型互联网内容提供商外，我国大量互联网内容提供商基本都依托基础网络与叠加网络开展业务，没有构建企业网络，该层级典型代表包括 综合门户类的新浪、搜狐 ，视频类的爱奇艺、乐视，搜索类百度、搜狗，电子交易类的阿里巴巴、京东，即时通信类的腾讯等互联网公司。 1 我国 基础电信运营商网络发展状况 考虑到我国基础电信运营商中国电信、中国联通和中国移动，中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 17 是国家级互联网接入服务提供商，也是我国主导电信运营商，拥有覆盖全国的、最为完整的基础网络，其运营的公众互联网承载了我国七成左右的家庭宽带用户，是我国规模最大的三张基础网络，同时也是我国互联网网络的典型代表。因此本节以三家主导电信运营商运营的公众互联网网络为例说明其网内、网间发展状况。 从网内结构来看，主要采用分层汇接方式，纵向分为骨干网、城域网和接入网三个层级。 首先，骨干网是最顶层的省际高速网络，基础电信运营商在各省省会及主要城市设置骨干节点，并在节点间设置直联链路，共同构成骨干网。骨干网内按分层方式设置核心节点、接入节点等，但近两年骨干网分层结构日渐模糊，逐渐向单层次、网状网（ full-mesh）发展。其次，骨干网之下设置省网及城域网，用于省内流量的疏导，但近年来，随着网络扁平的不断深化，大部分省网基本被取消。城域网内部架构通常采用分层星形汇接结构，一般分为两到三层，下层节点以星形汇接的方式上联至上层节点。城域网流量经过层层汇聚后，省际流量汇聚到骨干节点后再通过骨干网疏导。最后，城域网之下设置接入网，用于宽带用户 /企业接入互联网。接入网包含固定接入网和移动接入网两部分。固定接入网即宽带用户/ 企业通过 DSL、光纤等固定方式接入，随着光纤宽带网络建设加速实施，目前大部分用户采用光纤接入方式；移动接入网即移动用户通过基站的移动方式接入（不含 WIFI 方式），随着4G 网络大规模部署， 4G 用户逐渐成为主流，具体见下图。 互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 18 图 10 我国主导运营商公众互联网网络 网内 架构示意图 从网内带宽来看，公众互联网骨干网带宽增长迅猛，超过500Tbps。 随着大流量互联网应用的快速发展，骨干网压力日渐增大，各基础电信运营商一方面推动骨干网络的不断扁平，增加连接方向，减少转接跳数，另一方面积极筹建骨干网新平面，全面启用 400G 平台与原有骨干网共同承担省际流量疏导。截至 2017 年 6 月，我国基础电信运营商公众互联网的骨干网络总带宽已超过 500Tbps。 网间架构以直联为主，网间带宽接近 4T。 我国基础电信运营商的公众互联网网间主要通过设置在京沪穗等 13个城市的骨干直联点，以及设置在京沪穗的交换中心实现互联，如下图所示。 中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 19 图 11 我国主导运营商公众互联网网间架构示意图 与全球常用的互联结算方式有所不同的是，我国基础电信运营商之间采取了付费对等的结算方式。中国移动的公众互联网网络规模略小于中国电信与中国联通，因此需要向另外两家支付互联结算费用，截至 2017 年底，中国移动的结算单价为 12 万/G/月。 此外，为更好满足互联网业务需求，除上述公众互联网外 ，三大基础电信运营商还搭建了面向企业服务的精品网络， 以及 CDN、数据中心互联网（DCI ）等多个网络。 一是，三大运营商均搭建了企业精品网络， 用于企业专线、内部重点业务流量的疏导，精品网与公众互联网共用城域网与接入网，但完全独立建设骨干网，相较于公众互联网骨干网 70%左右的带宽利用率，精品网的骨干网带宽利用率长期保持 50%以下的轻载，以保证重点业务流量的疏导性能。 二是，三大运营商均搭建了 CDN 网络，主要用于 IPTV、视频等自有内容分发，已全面覆盖 31 省，部分 CDN 已下沉到 BRAS 层级，总流量达到百 T 以上。 三是，中国电信、中国联通还搭建了数据中心互联网络，用于数据中心间流量疏导。中国电信在原有骨干网基础上，打造了互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 20 全新 DCI 骨干网，形成 6 个骨干节点、两个云基地数据中心节点、13 个分布式 IDC 节点的框架结构。中国联通通过改造 IP 承载 A 网，建成了覆盖全国 300 余个地市的 DCI 网络。 2 我国 大型互联网企业网络发展状况 近年来，随着互联网 业务不断发展，大型互联网企业在网络体系中的地位得到显著提升。为了降低成本、在网络和流量调度方面获得更多的控制权，大型互联网企业开始打破电信运营商在基础网络上垄断地位，尝试自建网络基础设施并形成了相当规模的自有网络。具体情况如下： 从大型互联网企业网络结构来看，主要 采用分层 结构，纵向分为内容发布系统、 DCI 网络、 CDN 网络和用户端四个层级。首先， 内容发布系统是最顶层网络内容的源头，内容编辑通过该系统发布网络内容，并分发到源站服务器。 其次， 内容发布系统之下设置 DCI网络，大型互联网企业在数据中心部署源站服务器，并通过直联链路实现数据中心间互联。 DCI 网络根据情况可分为两到三层，上层为核心数据中心，下层为边缘数据中心。互联网企业发展初始完全依托基础网络实现数据同步，没有构建自身 DCI 网，但近年来，随着互联网流量激增，为降低成本、提高数据中心间流量疏导效率，越来越多的企业开始自建数据中心，并通过租用电信运营商专线或自建传输网络方式实现数据中心互联，形成自己的 DCI 骨干网络。同时，为了在网络和流量调度方面获得更多的控制权，更多的企业开中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 21 始申请 AS号码，希望以 BGP方式与电信运营商基础网络互联。 再次，DCI 网络之下设置 CDN 网络，大型互联网企业或自主部署或利用第三方服务提供商的 CDN 服务器，实现互联网内容在多个电信运营商网内的分发， CDN 网络根据情况也可分为两到三层，上层为中心层 CDN源节点，下层为边缘层 CDN 节点。 最后， CDN 网络之下为用户端，用户端在访问时通过全局负载均衡技术（ GLSB）就近访问 CDN 节点获取互联网内容。我国大型互联网企业网络架构示意图如下： 图 12 我国 大型 互联网企业网络架构示意图 从大型互联网企业网络覆盖情况来看，数张全国性 DCI 网络已落成并投入使用， CDN 网络亦可覆盖 31 省大部分电信运营商网络，并向国际延伸。 近年来，大型互联网企业积极构建全国性 DCI 网络，用于疏导数据中心间互通流量，目前已具备 TB 级流量承载能力。此外，大型互联网 企业 自建的 CDN 节点，数量可达数百个，以阿里为互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 22 例，目前阿里云海外 CDN 节点超过 300 个，覆盖全球六大洲、 34 个国家和地区。 （二） 我国互联网网络在全球中的地位 1 我国互联网网络能力的全球地位 从固定宽带接入能力来看，我国优于美英等发达国家。 在 固定宽带网络业务向 IP 业务的演进过程中 ,光纤宽带被广泛应用在骨干网、城域网和接入网，加快了“光进铜退”进程。据 Pointtopic 调查显示，2016 年，在全球固定宽带用户中，光纤宽带用户发展态势较快，占比已超过 50%。而在我国光纤宽带发展势头更为猛烈，全国所有地市基本建成光纤网络城市， 80%以上行政村实现光纤到村。根据工信部最新统计数据 ，截至 2017 年 6 月，互联网光纤接入 FTTH/0端口占互联网宽带接入端口总数比重已达 81%。 数据来源： Point Topic 2016 年全球宽带统计调查报告 图 13 2013 - 2016 年全球固定宽带不同接入技术用户占比情况 2016 年年底，英国通信管理局（ OFCOM）与美国联邦通信委员会0%10%20%30%40%50%60%70%80%90%100%电缆接入 铜线接入 光纤接入 其他中国信息通信研究院 互联网网络架构发展白皮书（ 2017 年） 23 （FCC ）发布英国和美国的固定宽带接入速率分别为 39.19Mbit/s 和39Mbit/s3。同期，根据中国宽带联盟公布的数据，中国平均固定宽带接入速率为 49.04Mbit/s4，是同期英国的 1.25 倍，是美国的 1.26倍。 从移动宽带接入能力来看，全球迈入 4G 时代，我国处于全球中位数水平。目前，全球 4G 网络发展进入成熟期，商用网络数量 600余个，在建 800 多个，4G 网络流量在移动流量中占比近 70%，远超其他移动网络 5。根据 Opensignal 于 2016 年 3 季度的统计，在参与测试的 77个国家中， 80%的国家 4G网络下载速率在 1030Mbps之间。我国 4G 网络平均下载速率为 21.74Mbps，略高于全球中位数21.67Mbps。与全球最高 4G 下载速率 45.86Mbps 相比，我国 4G 下载速率不到其一半。 3英国 OFCOM 数据由 SamKnows 根据 2016 年英国家庭固定宽带用户志愿小组测试数据加权平均统计得出；美国 FCC 数据由 SamKnows 针对 13 个美国 ISP 电信运营商的 4281 个用户测试样本的中位数统计得出； 4根据 2016 年第四季度三家基础电信运营商上报的我国家庭固定宽带用户签约速率数据统计得出。 5思科 2017 年 3 月发布的全球移动数据流量预测白皮书（ 2016-2021） 互联网网络架构发展白皮书（ 2017 年） 中国信息通信研究院 24 数据 来源 ： opensignal 图 14 全球 77 个国家 4G 下载速率（单位： Mbps） 从 国际海缆建设 情况 来看，欧美优势明显，我国拥有量相对匮乏。 自 1989 年首条国际海底光缆开通以来，国际海缆迅速成为疏导跨国、跨洲