2020年中国移动NFV硬件加速技术白皮书(1).pdf

中国移动 NFV 硬件加速 技术 白皮书 （ 2020年） 中国移动 通信集团有限公司 研究院 2020年 6月中国移动 NFV硬件加速 技术白皮书 I 前 言 运营商网络功能虚拟化（ Network Function Virtualization, NFV）首先考虑业务发展和云化的需求。电信业务种类丰富，包括核心网、无线接入网、承载网、传输网、业务平台等多个领域的电信网元都可以采用云化方式部署，各业务在部署位置和资源需求等方面往往存在较大差异，因此业务云化的趋势也是多样化的。 考虑到电信业务云化的效益、难度、可靠性要求，以及云化后的稳定性，目前各大运营商均优先从业务需求迫切、云化难度较小、易于集中化和规模化部署、资源需求较为一致和易于资源共享的业务入手推进业务云化。这类业务主要集中在核心网 控制面，如 IMS、 EPC控制面、 PCC、短信、智能网、能力开放等领域，此类业务对云资源池的要求较为一致，适合集中化部署在大规模的 网络云 中，通过云化实现业务的灵活部署和资源最大程度的共享。 但伴随着 5G技术的快速发展和边缘业务的兴起， 业务 边缘部署需求日益增加 ， 在智能制造、智慧城市 、 车联网、 云游戏、 AR/VR等各个垂直领域， 时延与带宽成为 此类 边缘业务的核心关注点。 以UPF为例，边缘业务对 UPF的要求为在承载百万级用户量的前提下，其端到端转发时延要求不超过 10ms，带宽要求在 50Gbps以上，核心网 UPF带宽甚至要达到 300Gbps。 同时，边缘 云 节点在空间和供电、承重等方面存在着很强物理约束，这个特点使得原本核心云端的无限资源模式、大规模部署成本效应淡化，因此在边缘云具体部署实现时，必须需要考虑在有限空间、供电资源、承重能力这些前提下，如何满足业务的性能需求。 中国移动 NFV硬件加速 技术白皮书 II 为满足 5G uRLLC、 eMBB以及网络切片 场景下边缘多样化业务的 部署 需求，在边缘节点有限的资源环境下实现 大带宽 、 低时延、高可靠的网络功能， 硬件加速 技术应运而生。 本白皮书以 边缘计算 发展理念为基础，以网络转型需求和业务发展趋势为指引，向业界系统阐释中国移动 NFV硬件 加速的 整体架构、关键技术及 发展方向 。中国移动倡议业界联合对 硬件加速技术 的 方案、架构、演进路线 等 进行深入研究和实践，共同推进 硬件加速技术 的成熟，更好的支持 边缘 场景 的 业务发展和网络转型。 中国移动 NFV硬件加速 技术白皮书 III 目 录 1 硬件加速技术概述 . 1 1.1 NFV硬件加速产生的背景 . 1 1.2 硬件加速技术在产业的应用 . 3 1.3 NFV硬件加速标准和开源进展 . 5 1.4 NFV业界硬件加速应用现状 . 7 2 中国移动 NFV硬件加速需求分析 . 8 2.1 数据通路硬件加速需求分析 . 9 2.2 UPF硬件加速技术需求分析 . 11 2.3 边缘应用 硬件加速技术需求分析 . 13 3 中国移动 NFV硬件加速整体架构 . 13 4 中国移动 NFV硬件加速关键技术 . 14 4.1 数据通路硬件加速关键技术 . 14 4.2 UPF引入硬件加速关键技术 . 16 4.2.1 通用网卡加速技术 . 18 4.2.2 智能网卡加速技术 . 20 4.3 边缘应用硬件加速关键技术 . 24 4.4 硬件加速管理编排关键技术 . 26 5 展望与呼吁 . 28 附录：术语、定义和缩略语 . 30 中国移动 NFV硬件加速 技术白皮书 1 1 硬件加速技术概述 1.1 NFV硬件 加速 产生的背景 硬件加速（ Hardware Acceleration） 是指将处理工作分配给加速硬件以减轻中央处理器负荷的技术 ，其 利用硬件模块来替代软件算法以充分利用硬件所固有的快速特性（硬件加速通常比软件算法的效率要高），从而 实现 性能提升、成本优化的 目的 。 引入硬件加速的计算架构又称为异构计算（ Heterogeneous Computing），相对于通用计算（又称同构计算）来说，所谓的异构，就是 CPU、 SoC、 GPU、 ASIC、FPGA等各种使用不同类型指令集、不同体系架构的计算单元，组成一个混合的系统，执行计算的特殊方式 。 技术的发展如同历史的发展一样，总是螺旋式上升的。 NFV通过使用 基于 X86 CPU或 ARM等 的 COTS硬件以及虚拟化技术来承载网络功能的软件处理，使网络设备功能不再依赖于专用硬件，资源可以充分灵活共享，实现新业务的快速开发和 上线 ，并基于实际业务需求进行自动部署、弹性伸缩、故障隔离和自愈等。然而， 随着 5G和边缘 计算的兴起， 面向 5G UPF、 新兴 边缘 业务 （ AR/VR、云游戏、AI）等计算、 IO、网络密集型 应用 时，却发现 COTS硬件并不能满足 这些 应用对大带宽 、 低时延、高可靠（低抖动，低丢包）的 网络 要求与并行计算算力的要求 。以下 聚焦 于 X86 COTS硬件 对加速 技术 进行 讨论 。 X86 CPU为满足 通用性 ，需要支持复杂的逻辑判断，这样会引入大量的分支跳转和中断的处理 ， 使得 CPU的内部 的 控制器 和内存 的占比 较大 ，计算单元 的比重 较低 。 这种 架构决定了 CPU擅长统领全局的调度、管理、协调等复杂 逻辑处理 。 同时 ， CPU指令 采用 取指令 、指令译码 、内存取中国移动 NFV硬件加速 技术白皮书 2 数、 指令执行、 结果 写回 一系列 串行处理 方式 ， 对 并行数据处理 的效率相对 较低 ； X86 CPU的 性能 提升节奏 放缓 ，而 新兴 业务特性对计算 能力 的要求超过了“ 后 摩尔定律 时代 ” CPU性能 增长的速度 ， 需求与能力之间存在鸿沟。如图 1-1所示 ； 图 1-1 应用对计算能力的需求增长速度超过了摩尔定律 边缘计算场景中， 边缘机房空间小、电力少 ， 非地面机房承重低于核心机房承重能力的 1/3，而边缘 业务如 AI、 AR/VR等对算力的需求呈指数型增长， 对 5G UPF吞吐 和 时延 的 要求提 高， 无法单纯依靠 CPU堆叠算力的方式来满足边缘 业务 的 需求。 NFV所采用的通用 处理器 在特定任务处理上的性能或成本方面存在不足，使得 通用处理器 配备 FPGA、 GPU等协处理器（加速卡）的 硬件加速 方案出现在 NFV架构中 ，可以说 电信网络经历了从专用硬件到通用 COTS硬件再到通用 COTS硬件+加速硬件的螺旋式发展历程。 中国移动 NFV硬件加速 技术白皮书 3 1.2 硬件加速技术在产业的应用 当前 应用 和 网络 对 性能 加速 的 需求 强烈 ， 公有云 售卖 加速能力 、 私有云 加速内部 网络 、 设备 厂商提升设备 能力， 均采用 了硬件加速 ；芯片 厂商 也在广泛 布局加速硬件 。 微软的 Azure catapult项目历经三代 FPGA架构，除提供网络和存储虚拟化加速，还可用于加速 Bing搜索、深度神经网络（ DNN）等计算任务 。 Azure利用 FPGA解决网络和存储虚拟化带来的开销，使虚拟机网络性能由 25G达到接近 40G线速，数据中心内虚机通信网络延迟降低 10倍 ， 多余 FPGA资源 还 用于 Bing搜索和神经网络加速 。 在 Bing搜索业务中 ， 采用 FPGA加速使系统性能提升两倍，服务器数量投入减少一半。 在 MICRO16会议上，微软提出了 Hardware as a Service（ HaaS） 的概念，即把硬件作为一种可调度的云服务，使得 FPGA 服务的集中调度、管理和大规模部署成为可能。 图 1-2 Azure的 FPGA架构 亚马逊 AWS云 早 在 16年 就 推出了 配备 FPGA硬件 的 EC2计算 实例 F1， 用户 可编程，为应用程序创建自定义硬件加速 能力 。 自此 ， 公有云 服务厂商 开始纷纷 部署 FPGA云 加速业务， 形成了 FPGA结合 云计算的 FPGA-as-a-service计算 平台。 当前 ， 主流公有云厂家均 部署了 GPU、 FPGA计算实例为用户 提供 服务。如阿里云 的 异构计算加速引擎 ， 涵盖 了 GPU、 FPGA在内 的 多款异构 计算 实例，可中国移动 NFV硬件加速 技术白皮书 4 满足从图形渲染到高性能计算及人工智能等复杂应用的计算需求。特别是在人工智能领域，可将深度学习成本缩减一半，大幅降低人工智能计算门槛；而基于阿里云异构平台的全新高性能计算实例 E-HPC，可一键部署获得媲美大型超算集群环境的“云上超算中心”。 图 1-3 阿里云的异构实例 京东云、 Verizon、 Ucloud、 Flipkart等私有云厂商也普遍采用硬件加速技术来降低成本，降低网络延时，提高云计算中心的网络质量。 Ucloud在 2017年开始研究部署基于硬件卸载的虚拟网络方案，以应对 25G网卡大规模部署带来的虚拟交换机资源绑定、性能不足的问题， 2018年与 Mellanox合作，规模商用了 Connect-X5智能网卡硬件卸载 OvS，在保持简单组网、灵活迁移的同时，提升网络能力 4倍，时延降低 3倍。 图 1-4 Ucloud OvS卸载硬件加速架构 中国移动 NFV硬件加速 技术白皮书 5 JD云数据中心普遍采用 25G、 100G网卡，基于虚拟机管理程序的虚拟交换和路由软件实现了敏捷性和灵活性，但面临服务器内性能低下、可扩展性差和 CPU开销较高的困扰， 2018年采用基于 ASIC芯片的 OvS卸载智能网卡，降低成本、提高网络吞吐能力，有效解决电商等业务高峰期的稳定性问题。 设备商也采用 COTS+硬件加速技术 构建新型网络产品，降低成本、提升性能 。如 A10的一款用于数据中心的负载均衡器设备，其加速硬件使用 扩展 LSW ASIC完成 L2/L3组网出接口 ， 扩展 FPGA完成 L4/L7转发卸载 ， 扩展 Crypto ASIC完成 SSL功能卸载 。 图 1-5 A10的一款使用硬件加速技术的 LB设备 主流芯片厂商在自身主营的计算芯片之外，也开始引入其他计算架构的加速硬件， 扩大 硬件 布局 。英特尔陆续收购 Altera、 eASIC等芯片厂家， 19年发布面向神经网络和视觉处理的 AI芯片 NNP和 VPU，最新推出的 AI平台，包含了 CPU、 GPU、DSP、 NNP、 FPGA等一系列不同的处理核心。英伟达的机器人平台 Jetson Xavier也包含了 GPU、 CPU、 NPU、 NVDLA等 6种处理器。 1.3 NFV硬件加速标准和开源进展 本章节 主要介绍 ETSI和 OpenStack对硬件加速的研究现状。 中国移动 NFV硬件加速 技术白皮书 6 在 标准 方面 ， 最 新的 ETSI NFV架构 引入了 硬件 加速技术 。 对 NFVI进行了增强 ， 增加了加速资源虚拟化能力：将加速器进行抽象，以逻辑加速资源的方式呈现，统一提供全面的加速服务；虚拟化层提供统一接口，适配不同形态的加速 硬件 形态，如 FPGA、 ASIC、 SoC等。 图 1-6 ETSI NFV参考架构 ETSI除了在 NFV架构中定义了硬件加速模块功能外，也定义了硬件加速的两种实现方案 Pass-through方案和抽象模型方案。 Pass-through方案，即 PCI/PCIe-pass-through，它将 PCI插槽上的硬件加速卡直接 pass through给某个特定的虚拟机（ VM）使用。 Pass-through方案是目前最通用的方案。其缺点是硬件被虚拟机独占，上层应用或者虚拟机需要维护不同加速卡的硬件驱动等。 抽象模型方案：在 NFVI中，也就是 hypervisor中维护“ Backend/HW Driver”模块；在 VNF层，在 VNFC中维护“ Generic Driver”模块。 NFVI负责加速卡的扫描和驱动加载，加速卡硬件虚拟化管理，并将虚拟加速卡挂载到虚拟机上。其优点是一个加速卡资源可以被多个虚拟机使用，加速资