中国联通CUBE-Net2.0开放硬件网络设备白皮书.pdf

中国联通 CUBE-Net2.0 开放 硬件 网络 设备 白皮书 中国 联通 2019 年 6 月 中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 目 录 目录 1 引言 . 2 2 发展趋势 . 3 2.1 业务发展 . 3 2.2 网络架构变革 . 3 2.3 开源和白盒化趋势 . 5 3 相关开源组织 . 6 4 软硬件解耦 . 8 4.1 白盒交换机架构 . 8 4.2 芯片方面 . 9 4.3 白盒交换机整机硬件方面 . 11 4.4 白盒交换机软件 . 12 5 白盒交换机组网方案 . 18 5.1 白盒交换机通信云内部组网方案 . 18 5.2 白盒交换机通信云间组 网方案 . 20 6 中国联通白盒交换机的创新应用 . 21 6.1 基于白盒交换机的 vBNG 转发面 . 21 6.2 基于白盒交换机的 UPF . 23 6.3 基于白盒交换机的 DC 出口路由设备 . 23 7 中国联通白盒网络设备规划 . 24 7.1 中国联通白盒交换机定义和目标 . 24 7.2 中国联通白盒交换机推进计划 . 25 7.3 白盒交换机软硬件采购模式 . 26 10 总结与展望 . 27 白皮书联合编写单位 . 28 中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 1 引言 近 十年， 移动互联网 的飞速发展 深刻地 改变了人类生活方式。物联网、 大数据和 云计算等 新兴 技术 正带动各行各业实现 信息化 和 数字化转型。 深陷人口 红利消失，逐步管道化 困境 的 运营商灵敏 地 嗅到了 这场变革中 新兴业务 的 潜在 价值 ，开始加速 挖掘 行业 客户需求， 积极寻求商业合作共赢 ， 努力 开辟新 的市场空间 。 未来网络服务呈现出新的特点，实时、按需提供、永远在线、自助服务已经成为数字时代所有行业新的用户体验标准。要实现最佳体验，就需要运营商采取基于互联网架构的运营系统，并具备互联网化的运营能力。快速增收，增加效率，敏捷服务成为运营商当前面临的重大课题。要实现这些目标，必须对运营商网络进行彻底转型。 随着云技术的不断成熟，把 IT 技术应用到 CT 领域已经成为可能，而SDN/NFV 技术结合云计算、大数据正好满足了这一网络转型对技术的要求。标准化组织也在积极推动 SDN/NFV 的快速成熟，产业界正通过共同努力加速这一技术的商 用化部署。 另一方面 随着 5G 迎来规模商用，数据流量爆发式增长，连接数量激增，业务场景多样化， 构建以 DC 为核心的全云化网络是网络转型的基础，经过提前规划，对网元按照业务要求进行分层部署、构建统一的云平台实现网络的弹性与自动化运维能力，极力打造敏捷、弹性、智能的云化网络，以满足未来网络业务的发展诉求。 从网络设备层面来看 ， 传统网络 设备 软硬一体，利用率低，缺乏敏捷性，新业务新网络上线周期长，难以适应未来网络发展需求，要求运营商网络尽快实现网络转型，以增强网络灵活性、敏捷性、开放性，实现低成本运营。 目前全球很多领先运营商都开始思考并启动了自己的面向未来网络的转型战略，中国联通在 2015 年发布新一代网络架构白皮书 CUBE-Net2.0，指明了未来网络的发展方向，并通过不断论证与实践，进一步提出中国联通网络转型通信云架构白皮书，希望能够为通信云建设指明方向。 中国 联通 于 2015年发布了新一代 网络技术体系和架构 白皮书 CUBE-Net2.0，指明了中国 联通网络 发展 方向。 本 白皮书 提出 中国联通 CUBE-Net2.0 开放硬件网络 设备 的概念 ， 本白皮书此版本 主要关注通信云内部 的 交换机设备， 文档 后续都将把通信云内部 开放硬 件 网络 设备 简称为 白盒交换机 。 旨在 通过 云化架构 演进 、多接入 融合 、 资源 智能管理和 边缘能力 开放 ， 打造 弹性 、 敏捷、开放、高效、智能的 移动 无线接入网 。 中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 2 发展趋势 2.1 业务 发展 业务的多样性和不确定性愈加突显，快速实现业务商业创新及有效提升用户体验，将成为通信网络演进最重要的驱动力。未来的应用和业务场景将更加多样化（从人与人连接到万物互联），业务速率体验需求从 Kbps 到 Gbps，时延体验需求从秒到毫秒，这对运营商网络能力和运营提出更高要求，运营商需要提供高效资源利用、网络按需部署以及业务敏捷发放的能力匹配业务需求。 区别于 个人客户， 行业 客户需求千差万别 且灵活 多变， 需为其提供定制化 服务 ， 实现 业务 快速响应 和交付。为 满足客户体验， 运营商迫切 需要 改变封闭僵化的运营思维， 摆脱重资产枷锁 ， 向更加 高效敏捷的方向发展， 以 开放的姿态拥抱多变 的外部需求 ，探索出一条可持续发展 的互联网化转型之路。 将 SDN/NFV、大数据 、人工 智能 等 IT 领域 技术应用到 CT 领域， 能够 助力运营商 重构 基础网络 资源 ， 开放移动网络 能力， 引入 互联网运营模式， 实现云管端协同发展 ，构建良性循环的合作生态 。 为适配业务在时延、带宽、连接等方面的更高需求，通信网络云化将成为趋势。借助 NFV/ SDN/云计算等领先技术，构建面向未来的通信云，支撑通信业务和能力开放，实现网络资源的虚拟化，打造高效、弹性、按需的业务服务网络。基于通信云提供灵活、开放、多元化的应用平台，实现业务和应用的持续快速创新，同时帮助运营商用架构的确定性来管理未来技术的不确定性。 2.2 网络架构变革 中国联通在网络转型中始终主张聚焦、创新、合作的理念，聚焦移动、固定、IoT、视频等基础管道能力，基于中国联通已有的网络建设部署与运营经验，为支撑网络的云化演进、匹配网络转型部署、统一构建基于 SDN/NFV/云计算为核心技术的通信 云基础设施。实现个人、家庭、政企、物联网等领域的业务创新，对外开放网络能力，构建合作生态。 通信云是基于中国联通已有网络建设部署与运营经验，为支撑网络的云化演进、匹配网络转型部署、统一构建基于 SDN/NFV/云计算为核心技术的网络基础设施。 为支撑网络 NFV 不同阶段集中或分布式部署要求，传统网络机房将逐步向中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 数据中心架构演进，从而构建通信云云化网络总体架构。云化网络总体架构沿用传统通信网络接入、城域、骨干网络架构，与现有通信局所保持着一定对应和继承关系，在不同层级边缘、本地、区域进行分布式 DC 部署，实现面向宽 带网 /移动网 /物联网等业务的统一接入、统一承载和统一服务。 整体网络 架构 通信云云化网络架构总体上可划分为四个层级单元部署，包含 3 层 DC 以及一层接入局房： 区域 DC：以省域 /集团 /大区控制、管理、调度和编排功能为核心，如集团OSS/NFVO，省云管平台、 NFVO、 VNFM 等，主要承载省域内及集团区域层面控制网元以及集中媒体面网元包括 IMS、 GW-C、 CDN（内容）、 MME 和 NB-IOT核心网等网元。 本地 DC：主要承载城域网控制面网元和集中化的媒体面网元，包括 CDN（内容）、 SBC、 BNG、 UPF、 GW-U 等网元。 边缘 DC：以终结媒体流功能并进行转发为主，部署更靠近用户端业务和网络功能，包括 CloudRAN-CU、 MEC、 UPF 等网元。 接入局所：以提升资源集约度和满足用户极致体验为主，实现面向公众 /政企 /移动等用户的统一接入和统一承载。考虑到接入局所主要部署接入型 /流量转发型设备，暂不考虑接入局所基础设施 DC 化改造。未来按需部署 Cloud RAN-CU/DU、 MEC 等网元，基于现有机房条件直接入驻。 中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 2.3 开源 和 白盒化 趋势 随着 运营商 网络转型步伐 加速 ， 运营商开始深刻认识 到 黑盒设备 的局限性，不仅仅 将眼光 局限在无线接入 设备通用化、云化， 甚至开始 将软、硬件的 彻底 开源和 白盒化作为 长期的目标 。 通信云内部 数据中心 交换机 设备采购成本 在 网络建设成本中 占比较高 。 降低 数据中心 交换机 设备 开发 门槛，通过引入更多 厂家形成规模效应 ， 进行 灵活的 软件 功能 和 硬件 配置匹配 ， 从而 降低 设备 成本 ，是运营商推动开源和 白盒化的 源 动力 。 另外 ，开源 和白盒化 还可以 加强运营商对 网络数据的 控制 ，从而更好地开放网络能力 、 实现 网络运维 与大数据 分析、机器 学习 等 技术 相 结合 。 推动 开源和白盒化 最重要 的是构建相应的生态系统，运营商在该生态系统中需要发挥主导作用， 深入研究 数据中心 交换机 设备 各硬件与软件 的 组成部分 ， 根据 设备的 运行 环境、业务需求 等分解软硬件关键 功能及指标 ，进行各部分 模块化设计， 定义 模块间接口标准， 理清 方案细节设计， 制定 设计规范 ， 最终推动设计方案共享。 在 这个过程中，运营商也应该重视 积极 参与 开源软件和社区 工作 。 开源和 白盒化是运营商的长期目标，但实现开源和 白盒化最根本 的原则是 不能损失 通信云网络 性能 。 对于 运营商来说 目前 数据中心 交换机 设备 的开源和白盒化 整体 仍 处于 研究的初级阶段， 还存在 许多 需要逐步尝试和探讨的内容。 评估设备各部分开源 和白盒化的 迫切性 及 难易程度，有规划 地 合力推动 其 发展 至关重要。 从 2010 年公开市场开始出现白盒交换机设备，各路玩家就尽显身手为白盒网络软件尝试各种突破口，数据中心是最先落地的场景。在商业模式不明朗的前期，一些初创公司基于 Linux 平台移植开源协议软件或者集成商用代码，为多款万兆白盒交换机提供了不同的软件版本，初步实现了软件与硬件的解耦与灵活组合；有了初创公司的市场宣传与引导， 2015 年相继 出现 OpenSwitch 和 SONiC 等纯开源软件，尤其是微软将其数据中心运 行的 SONiC 系统在 2016 年开源并提交在 OCP 组织，至此数据中心级白盒交换机有了软件和硬件的全部开放的实现。在巨大的市场驱动下，品牌厂商也纷纷加入了白盒网络软件的战局并享受开源的成果。部分企业或者将只有的路由协议解耦嫁接于开源平台之上，或者全盘接收开源软件将其移植到自研交换机芯片之上，如前所述，也有部分厂家直接引入白盒硬件，将其与自家操作系统对接，走品牌化白盒的路线。除了上述通过协议软件的归一化简化设备复杂度的流派，以 OpenFlow 起家的 SDN 方案通过将白盒设备的控制能力体现在逻辑集中的控制器当中达到相 同的目的，从早期的OpenFlow 到现在的 P4 可编程网络 设备 ，白盒设备作为数据平面只需要快速敏捷中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 的转发报文，谷歌联合 ONF 打造的开源项目 Stratum 就沿着这个方向继续细化控制与转发的解耦，将管理配置监控等多个层面标准化，为白盒设备探索另一条落地之路。无论是商用白盒软件还是开源操作系统，无论是中大规模数据中心还是相对封闭的企业环境，无论是 SDN/Openflow 还是传统 BGP，白盒交换机已经可以根据用户需求提供不同功能特性的方案，在 IT 环境中白盒网络软件已成气候。 3 相关 开源 组织 OCP OCP 全称是 Open Computer Project，是 2011 年 Facebook 发起的一个硬件开源组织。它的关注点主要在这些方面：存储设备、服务器主板、服务器机柜、虚拟 I/O、硬件驱动管理、数据中心基础架构设计，期望能够把涉及其中的硬件尽量标准化。 后续 成立网络组 对交换机的硬件进行标准化 ， 也包括 sonic、 sai、 onie、onl 等几个相关开源软件项目 ， OCP 网络硬件追求的是类似服务器的使用体验，包括控制平面与数据平面的高度模块化、软件与硬件解耦合，以实现定制的灵活性（ DIY），避免被供应商锁定。 OCP 网络 组 试图定义一套标准化的硬件设计，标准化包括：交换机硬件 电路板中都要用哪些类型的器件， CPU 跟各种器件之间用什么样的接口，芯片接口类型和数量，各个器件地址空间，镜像文件在 flash 中存放的位置等等，基于这样的硬件规范，各个厂商或者代工厂可以生产符合 OCP 标准的硬件交换机。 OCP的交换机开源包含三个层次：第一个层次是硬件开源且标准化 ;第二个层次是硬件驱动， bootloader, linux OS的开源 ;第三个层次包括各种开发和管理工具的开源 。 OCP 提供了一种全新的架构，个人和组织可以与其他人分享知识产权，促进了 IT 硬件行业走向开放。 OCP 成员可以向 OCP 提交硬件设计图纸、规格或者产品等。 如果是产品的话，厂商可以选择是否保留该产品的知识产权。如果厂商选择保留该产品的知识产权，那么这个产品就是“ OCP Inspired”； 如果厂商将该产品的知识产权也转移给 OCP，那么这个产品就是“ OCP Accepted”。 CORD CORD 是 ONF 旗下一个开源集成项目组织，中国联通作为 CORD 的创始成员也加入了 CORD 董事会，并且在 2016 年 12 月成立了中国联通 CORD 产业联盟，推进 CORD 技术在中国联通以及中国的应用。 CORD 项目的目标是将开放中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 的硬件和软件相结合，使电信运营商的电信机房（ CO , Central Office）拥有数据中心那样的经济性和敏捷性。 CORD 为电信运营商提供了一种新的方式 电信机房中的物理网络改用数据中心非常流行的 Spine-Leaf 架构，实现高效的无阻塞交换，同时将开放硬件和开放软件相结合，大量使用 NFV、 SDN 和云计算相关技术，提高服务交付速度和运维效率。 CORD 的本质其实就是将运营商中心化的网络架构转变为分布式的边缘网络，在重构 电信机房为数据中心的过程中借助云计算、 NFV 和 SDN 等技术来解决长久以来在技术、运维等方面的一些痛点。 CORD就是用 IT/互联网运营商的技术思路 /运维方法来解决电信运营商的技术、商业、管理、运维等问题。用开源软件和白 盒交换机 来构建技术模块，用通用的数据中心基础设施规模来降低成本。 CORD 认为 不改变设备硬件形态的网络虚拟化都不是真正的 虚拟化，不是真正的云化，也不是架构性的变革。通过这样的变革， 希望达到互联网公司的敏捷，同时创造高效的业务。 CORD 项目中 硬件只保留了简化的用户侧接口板。其他都被数据中心的硬 件消化。板间交换 /网络侧出口都被交换机替代。所有的业务和控制都在服务器上处理。不同的业务场景最终是通过 SDN 控制器对不同的应用层软件模块调度组合完成的。整个数据中心变成了一个通信设备，而且有良好的软硬件扩展性。 ODCC 开放数据中心委员会（ open data center committee， ODCC），前身为天蝎联盟，由数据中心相关的企业事业单位自愿结成的行业性的全国性的非营利性的社会组织。委员会旨在打造中国的数据中心开放平台，推动互联网产业发展和基础设施标准化、产业化进程。现有四个工作组，分别为服务器工作组、数据中心工作组、测试认证工作组和网络工作组，各工作组下设项目组。 网络 工作组下面 开中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 展 相关白盒交换机硬件标准项目 和 白盒软件凤凰 项目 。 TIP TIP 电信基础设施联盟（ Telecom Infra Project consortium， TIP）是 2016 年由Facebook 主导成立的一个开放组织，旨在重 新思考如何设计和部署电信网络基础设施。 TIP 将软件与硬件组件分离，以提高效率并创建创新解决方案，该项目主要集中在三个关键领域：接入、回传和核心网 /管理，运用开放的开放计算项目（ OCP）模型来刺激创新。 P4 P4 Language Consortium 成立于 2015 年 5 月 ， P4 Language Consortium 建立一个致力于使用和改进 P4 语言的蓬勃发展的开源社区，利用 P4 来描述转发平面如何处理数据包，促进 P4 语言的标准化和改进，帮助行业参与者开发符合规范的新技术，通过促进采用 P4 语言，使消费者 和行业受益。 P4 已经成立四个 Working Group， 分别是 Language Design Working Group、 API Working Group、Architecture Working Group 和 Applications Working Group。 目前 P4 已经成为开放网络基金会（ ONF）旗下的一个项目， ONF 将把 P4 工作置 于运营商主导的开源 SDN 项目之下，与所有 ONF 项目一样， ONF 旨在战略性地将 P4 活动与 Linux基金会结合起来，以推动开源的发展。 P4 项目将继续以前的运作方式，同时受益于与 ONF 的战略联盟以及 ONF 的运营基础设施和专业知识。 4 软硬 件 解耦 4.1 白盒 交换机 架构 由于运营商 网络设备 功能需求的数量和复杂性，创建网络操作系统的门槛历来很高。这种复杂性包括软件和硬件方面。 为 增加 网络的灵活性， 降低运营商网络建设成本，实现下一代网络 云化 、 智能化发展目标，开放、解耦正在重构运营商未来的网络。 SDN/NFV 促进网络设备 更加 开放、简化 。 另外 随着 开源软件系统、 商业转发芯片及其相应 SDK 的发展能够 满足 最高端的网络设备的能力和吞吐量需求。诸如 P4、 NPL 语言和可编程芯片等技术很快就会提供功能更强大的设备。这些技术的结合创造了一个强大的网络应用程序和构建模块生态系统通过硬件和软件组件供应商的协作生态系统更快地引入技术，设计和功能，通过即插即用的硬件和软件组件灵活进行网络设计和服务部署，可以经济高效地进行扩展和缩减，通过使用具有规模经济规模的标准硬件和软件中国 联通 CUBE-RAN 白皮书 版权所有 中国联通网络技术研究院， 2019 技术组件来降低单位成本。 以下是 白盒交换机 系统中功能组件的抽象表示。 白盒交换机 系统 由 整机 硬件和软件组件组成 。软件组件包括基本操作系统、协议模块、 管理 模块 以及 驱动模块 等 ， 相关开源软件 主要有 sonic、 stratum、 onie、 onl、 P4、 SAI 等。 硬件组件通常包括通用 CPU，以运行用例所需的基本操作系统，控制和管理平面以及任何软件数据平面 ， 硬件组件还包括专用转发芯片，通用 CPU 和专用转发设备可以共同设计在相同的硬件中， 另外还包括 风扇模块、电源模块、 BMC 等 。 白盒交换机 演进思路 后面 将从芯片、交换机整机硬件、交换机软件 系统 三个方面进行详细说明。 4.2 芯片方面 白盒交换级芯片方面 主要包括交换芯片和 CPU 芯片，下面从这两方面介绍发展 趋势。 交换芯片方面 近年来，数据中心的大规模建设和扩容，导致交换芯片的带宽增长需求日益迫切，基本上呈现出两年带宽提升一倍的增长态势。目前业界的 12.8T 单芯片方案已经非常成熟，但出于建设成本以及节能的考虑， 25.6T 单芯片方案仍会是未来的重要趋势。随着 400GQSFP-DD 光模块的日益完善， 400G 接口也将成为高速数据互联的主流方案，以此满足大规模数据中心的布网需求。同时，一些主流商业交换芯片公司纷纷在 2019 年宣布了基于 7nm 工艺的交换芯片解决方案，来缩小芯片尺寸并降低设备功耗。功能上，由于更多的网络功能被智能网卡卸载，交换 芯片不再需要承载各种复杂的封装和解封装功能，而是更加专注于转发表项