2020年中国移动弹性SD-WAN技术白皮书.pdf

中国移动 弹性 SD-WAN 技术 白皮书 （ 2020 年） 中国移动 研究院 前 言 在新业务、新需求层出不穷的云时代，企业上云是数字化转型的 必经之路。 为提供 灵活 的 网络连接 和高质量上云同时 降低广域网的开 支 ， 在 SDN 技术的推动下 SD-WAN 应运而生 。 SD-WAN 是将 SDN 技术应用到广域网场景中所形成的一种服务， 本质是一种 OTT 业务， 基于 无线、传输和 承载 等 物理 网络 （也称为 Underlay 网络）之上 利用隧道技术创建出一个 Overlay 虚拟网络， 并 利用 SDN 在 广域范围对 该 虚拟 Overlay 网络进行管控的技术。 当前 中国移动 企业上云主要产品为 基于 Underlay 网络的 专线， 价值高、 性能 高 但开通流程 长 。 现有 SDWAN 为基于纯 overlay 的虚拟 网络， 开通快但性能难以得到保障。通过 弹性 SD-WAN， 一方面可以 实现 Underlay 和 Overlay 的协同实现服务质量保障；另一方面可以 融合 云 内虚拟化网元提供业务链 服务。 弹性 SD-WAN 整合云、网资源 为 企业用户 提供全新云网服务体验 ， 将会成为 未来 弹性 SD-WAN 的重 要发展方向 。 本白皮书旨在提出中国移动 弹性 SD-WAN 技术方案 ， 充分发挥运 营商 Underlay 网络资源优势 ，为应用 提供差异化服务能力， 希望能 够为产业在研究 、部署 弹性 SD-WAN 相关技术、产品和解决方案时提 供参考和指引。 本白皮书的版权归中国移动所有，未经授权，任何单位或个人不 得复制或拷贝本建议之部分或全部内容。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 1 目 录 1 概述 . 2 2 技术背景 . 4 2.1 Overlay 技术概述 . 4 2.2 SRv6 技术概述 . 5 3 弹性 SD-WAN 的技术架构 . 7 3.1 总体架构 . 7 3.2 应用场景分析 . 8 3.2.1 大型企业场景 . 8 3.2.2 中小微型企业场景 . 9 3.2.3 企业混合场景 . 11 3.3 控制和转发原理 . 11 3.3.1 大企业场景 . 11 3.3.2 中小微企业场景 . 14 3.3.3 采用 G-SRv6 . 15 4 弹性 SD-WAN 的方案亮点 . 16 4.1 Underlay 协同能力 . 16 4.2 IPv6 原生业务链 . 17 4.3 Telemetry. 17 4.4 应用感知能力 . 18 5 测试验证 . 18 6 总结 . 19 缩略语列表 . 21 参考文献 . 23 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 2 1 概述 传统企业广域网是企业通过租用运营商链路或自建链路，解决地域大跨度范 围的总部、数据中心、分部、办事处以及移动办公等各级节点间互联互通的企业 私有网络。近年来，企业数字化变革和经济全球化趋势不断演进，同时，云计算 和网络虚拟化等新技术逐渐成熟，这一切都对传统企业广域网的网络架构和业务 模型都产生了深远的影响，新形势下的企业广域网在组网、应用体验保证、安全 等方面正面临一系列新的挑 战。 SD-WAN 正是在这种背景下应运而生，它是一种 把 SDN 运用到广域网实现企业上云、组网的技术。 企业应用的基础设施部署方式发生了变化， 可以选择 自建的数据中心承载应 用，也可以选择公有云提供的 IaaS 或 SaaS 服务来承载。对于企业自建数据中心 及其他知道企业总部、办事处等节点的广域互联，可以通过私有专线网络连接其 他广域节点，也可以基于 Internet/4G/5G 的加密安全隧道连接，还可以同时部 署两种以上混合的方式互连。企业公有云的应用基础设施部署，有的是通过服务 提供商提供的专线云连接实现用户站点和公有云的互通；也有的是通过 Internet 的加密安全隧道连接。 企业 大量的企业关键应用中，常见的企业应用包括：企业经营管理类应用， 如 SAP/ERP 类应用，企业办公类应用，如语音、视频会议、远程桌面、文件传输、 Mail 等。这些不同的应用对广域网链路质量的要求不同。 这些大量的应用和基础设施云化使得整体广域网带宽及组网复杂度都大幅 度增加，原有的企业广域网的分散的管理每个单独的节点设备方式，很难解决基 于不同应用所需的各种复杂策略配置。此外，企业公有云的使用，也打破了企业 IT 传统的封闭架构，使得安全性管理愈发复杂。 企业寻求从传统的管理每个单独的广域网设备，到集中式系统，支持进行全 网协调，端到端地保证应用的 SLA 体验和安全 。 针对企业传统广域网的问题， SD-WAN 解决方案主要通过以下方式来满足新一 代广域网管理的需求： 1) 支持物理广域网节点和云节点（私有云、公有云）融合组网，并 支持多 种 WAN 接入方式，包括支持 MPLS 与 Internet 等多种类型 WAN 链路，并 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 3 进行负载分担，支持安全可靠的 WAN 连接，如果链路质量劣化，链路动 态进行负载分担，并保证业务收敛性能； 2) 支持根据应用不同的 SLA 要求不同的 WAN 接入进行选路，将重要的应用 流量分配到传输质量更优的线路上，最大化地利用网络投资； 3) 广域网连接与应用统一部署和管理，并基于企业站点、应用以及 VPN 的 流量和性能报告和可视化； 4) 零配置开局与自动业务发放，实现海量广域节点集中快速管理和控制； 大多数 SD-WAN 解决方案，都是通过 SD-WAN 控 制器和编排器对企业的广域节 点进行集中管理和控制，从而根据全网的资源状态集中调度基于应用的转发及 QOS 策略 ，然而 由于在这种实现下割裂 的方式看待 Overlay 和 Underlay，以及割 裂的看待云和网 ， 只能以相对固定的方式基于云、网提供服务，难以 发挥 SD-WAN 最大价值 。 例如 为保障服务质量 。当前主流的方式是可以通过专线接入企业广域 节点 并在其上运行 SD-WAN 来 保障 SLA。这种方式本质是资源售卖，难以在新业 务、新需求层出不穷的云时代，应对业务快速创新、敏捷开通、差异化服务等各 种挑战。 SRv6 同时具备隧道和 VPN 业务能力，可以推动云服务、物理网络技术归一化 到 SRv6。而运营商经过多年的投资建设，形成了规模庞大的全面覆盖所有省份、 地市以及区县的 物理 网络及 覆盖大区、 省份、地市 的 云资源 池 。 弹性 SD-WAN 旨在利用 SRv6 技术， 基于 物理网络能力 和云服务能力的对外 开 放 ，在 Overlay 层实现云、网能力的整合 提供网加云的产品服务 。 将会为广域服 务 注入 新能力， 提供应用粒度的服务，为每应用提供不同 SLA 保障，为每应用提 供不同增值业务服务，从而最大化发挥云网资源能力 。网络 可 实现按需进行定制， 既可以提供有 SLA 保障 的低时延专线产品，也可以提供时延不敏感的大带宽业务 的产品，还可以针对细分的需求进行精确定制。基于云部署的 增值业务可按需提 供 服务，例如 互联网流量经防火墙、入侵检测，而视频会议流量需经 广域网加速 等等。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 4 2 技术背景 SD-WAN 的技术 核心是 利用 SDN 在 广域范围对 虚拟 Overlay 网络进行管控 。 Overlay 技术可以屏蔽各种运营商 WAN 网络 Underlay 的差异，用好 Underlay 网 络的能力对于 SD-WAN 的品质至关重要。 SD-WAN 常见的 Overlay 网络技术 常 使用 IETF 定义的 VxLAN/GRE/IPSec 等隧道技术，一方面多段 隧道技术 导致 端到端 连 接开通需要对多个设备进行配置 使得系统性协同高度复杂 ，另一方面隧道的 反复 的封装和解封装操作 降低转发效率。 SRv6不仅可以提供所有上述隧道的能力，而且还可以融合 Overlay、 Underlay， 并且具备 网络可编程 能力。 可以预见到， SD-WAN 未来 利用 SRv6 融合云、网能力 在盘活基础云、网资源的同时为市场提供极具竞争力的全新政企产品 。 2.1 Overlay 技术概述 Overlay 在网络技术领域，是一种网络虚拟化技术，基于底层物理网络抽象 出一个利用 IP 隧道互联的叠加虚拟网络，使得网络摆脱物理网络的多专业、多 供应商、多管理域的复杂性，对外呈现为一个单一 IP 技术的虚拟网络，通过结 合 SDN 技术实现集中管理、跨广域管理的一个 VPN。 当前 Overlay隧道技术存在多种，源自数据中心的 VxLAN，源自网络的 IPSec、 GRE 等。对于现有的隧道来说，流量在指定源、目的端点之间进行转发，不具备 指定或变更任何转发路径的能力。换一句话说，如果流量需要被差异化对待，则 不同流量需要被引入到不同隧道中，而往 往一条完整的路径需要多条隧道拼接而 成，并且隧道的配置涉及到源、目的两个不同的设备。综上，如果要为 海量 客户 的不同业务提供精细化 服务 ， 基于现有技术的实现将会非常复杂。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 5 U n d e r l a y O v e r l a y P T N 4 G 、 5 G 以 太 O T N P O N C P E P o P C P E P o P I P S e c I P S e c G R E / V x L A N V P N V P N 图 2.1 SRv6 在 SD-WAN 中的应用 2.2 SRv6 技术概述 Segment Routing（ SR）是一种源路由技术，通过为网络中的节点、链路或 业务功能分配 Segment，并在头节点将这些 Segment 进行按需组合，形成封装在 报文头中的 Segment 序列。当报文到达 SR 域的入口时，可以根据需求压入 Segment序列，按照 Segment序列中 Segment的指示依次引导报文到对应的节点、 链路或业务功能。 SR 的优点可以总结为四个方面： （ 1）控制协议简化： SR 通过 IGP 和 BGP 协议分发段标识 (Segment Identifier, SID)，无需部署和维护传统的 LDP， RSVP-TE 等信令协议。 （ 2）高可扩展性： SR 通过对有限的链路和节点 Segment 的组合生成海量的 SR 路径，且路径信息只需在头节点保存，网络中间节点无需维护每路径状态 信息。 （ 3）可编程能力：在 SR 技术体系中，可以把 Segment 看成是一种指令，通 过 Segment 的组合形成满足特定需求的 SR 路径可以看成是对网络的编程。 这种编程可以灵活建立满足不同需求的路径，释放网络的价值。 （ 4）高可靠保护： SR 能提供 100%网络覆盖的快速重路由（ Fast Re-Route） 保护，解决了 IP 网络长期面临的技术难题，能够在高可扩展性同 时达到完 全的可靠性保护。 SRv6 是一种基于 IPv6 数据平面实现的 SR 源路由技术。 SRv6 的 Segment ID (SID)的长度为 128 比特 ， 与 IPv6 地址保持一致 ，其格式通常由 3 部分组成，包 括 Locator (定位标识 )， Function（ 功能 ）和可选的 Argument（参数） 字段 ， 如下图所示： 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 6 图 2.2 SRv6 SID 格式 其中： Locator 是分配给一个网络节点的标识，用于路由和转发数据包。在 SRv6 SID中 Locator是一个可变长的部分，用于适配不同规模的网络。 Locator 标识的有两个重要的属性：可路由和可聚合。 Function 是用来表达该指令要执行的转发动作，相当于计算机指令的操 作码。在 SRv6 网络编程中，不同的转发行为由不同的 Function 来表达。 Argument 是一个可选字段，用于携带在执行指令时所需要的参数。这些 参数可能包含流，服务或任何其他相关的信息。 通过对 SRv6 SID 格式的如上定义，使 SRv6 SID 可以被用于灵活指示网络中 的各种操作和参数 。 另一方面， SRv6 在 IPv6 的路由扩展报文头中引入了新的分段路由头 （ Segment Routing Header, SRH），用于携带 SRv6 SID 的序列 ， 实现对 SRv6 网络路径和各种功能的灵活编程 。 SRH 还可以包括可选的 TLV 字段 ， 用于携带长 度可变的数据 ， 为 SRv6 提供了更好的扩展性 。 SRH 的格式如下图所示。 图 2.3 SRH 头封装原理 SRv6 在继承 SR 全部优点的同时 ， 通过与 IPv6 的结合获得了更强的扩展性和 可编程能力 ，在网络简化和满足新业务需求方面有独特的优势，使其成为下一代 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 7 IP 网络的核心技术。 SRv6 可有效强化 SD-WAN 对 Underlay 网络的感知和控制能 力，两者结合也符合 SD-WAN 应用需求的技术发展方向。 3 弹性 SD-WAN 的技术架构 3.1 总体架构 弹性 SD-WAN 将 SDN 技术 可编程的 SRv6 Underlay 网络 以及 云虚拟化能力 进 行了全面 整合，可以快速提供融合云、网的企业产品。 弹性 SD-WAN 网络架构，垂直方向可划分 为 云网协同层、 Underlay 控制层和 转发层；转发层水平方向可划分为接入段、汇聚段、骨干段。 转发层接入段指 SD-WAN CPE 和 PoP GW 之间的网络，支持各种不同类型的网 络，例如 Internet、专线、 4/5G、光纤等等方式的接入；转发层汇聚段指 PoP GW 及其相关的数据中心资源和 PoP GW 和骨干网互联的网络；骨干段对应支持 Underlay SRv6 能力的骨干网。 S R v 6 U n d e r l a y 网 络 I n t e r n e t P O P G W 1 P E 1 P E 3 P O P G W 2 P E 2 SD - W A N C P E 1 SD - W AN C P E 2 P O P G W 3 U n d e r la y 控制层 O v e r la y 控制器 云网协同层 P E 4 I n t e r n e t 城 域 / 省网控制器 骨干网控制器 数据中心控制器 网络编排器 云管平台 图 3.1 弹性 SD-WAN 总体架构 Underlay 控制层分域管理 Underlay 网络的资源，包括城域 /省网、骨干网、 数据中心网络资源，分别由城域 /省网、 骨干网及数据中心控制器管理。 云网 协同层基于 Overlay SD-WAN 端到端的业务请求，协同 Underlay 网络、 数据中心网络的资源，网络方面按需分配带宽、路径提供不同 SLA 等级 的网络连 接；云内利用云内资源，结合 VNF 应用提供增值服务。 SD-WAN 控制器管理位于企业站点的企业 CPE 设备以及位于云 内 的 SD-WAN 网 关 ， 如 PoP GW， 及增值 业务 的安全等 VNF 设备 。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 8 弹性 SD-WAN 业务主要提供两大类 SD-WAN 业务 : 1. 应用定义的组网、上云专线：为企业客户同时提供上网、上云和组网服 务，提供一线多业务能力。对 企业客户 主要是提供灵活的带宽和时延连 接业务，可通过 SD-WAN CPE 为应用定义相应 Underlay 网络的切片，动 态为不同应用选择不同带宽和时延的路径，直接实现为应用粒度的业务 开放网络能力。 2. 基于 NFV 的增值业务： 为企业客户提供网络服务的同时结合云资源和 NFV 技术提供不同类型的 VNF 服务。 SD-WAN CPE 基于应用粒度定义其增 值服务， 通过 CPE 实现网络 和云内增值服务能力的组合。例如 为 客户上 网业务 提供尽力而为的网络和 防火墙 增值服务 ； 为 客户视频会议业务 提 供 专用 的网络路径及 FEC 增值服务 实现 品质优化 。 3.2 应用场景分析 按照客户类型分类， 弹性 SD-WAN 解决方案分为了面向 大型企业、 中 小 微 企 业 两种应用场景，每种应用场景均包含上网，入云和分支互联三种业务类型。 3.2.1 大型企业场景 对于 大 型企业，企业的自主管理能力较强，业务透明传输的需求明显， 这种 解决方案的优点是为企业 应用 提供自主可控的网络路径 选择 。 该场景下三种业务 类型描述如下。 1. 分支互联业务 SRv6 隧道从企业 分支 的 一端 CPE1 开始 ，结束在远端分支的 CPE2， 即 借助运 营商网络 实现端到端 SRv6 隧道连接 。 PoP GW 仅充当运营商提供的可选增值业务 锚点，不需要感知客户的 VPN 路由。 2. 入云业务 企业租用运营商或者第三方公有云业务，在云端部署 VPC GW， SRv6 隧道从 企业 端 CPE1 开始 ，结束在云端的 VPC GW，实现企业便捷上云。 随着运营商云网一体的逐步推进，后期 VPC GW 可逐渐与云 PE 融合，通过 SD-WAN 控制器与骨干网控制器、云管控平台联动，实现端到端入云业务的拉通。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 9 3. 企业上网 CPE 作为企业出口网关，可直接与城域网基于 IPv6 互通，满足本地 上网需求， 如需对上网业务进行精细化控制，也可将上网流量统一引导至 城域网 PoP GW。 图 3.2 大 型企业业务承载方案 3.2.2 中小微型企业场景 在 中 小 微 型企业的解决方案中，企业内部不需要多租户隔离， PoP GW 作为共 享的业务控制点， SD-WAN 控制器需要控制 CPE 和 PoP GW， 并基于 SRv6 控制器提 供的 BSID 实现 CPE 之间的动态路径选择等功能。 这种解决方案的优点是运营商 可对用户的流量进行更加精细化的管控，从而匹配最佳的差异化服务和无缝的增 值业务。该组网模型下三种业务类型承载方案如下： 1. 分支互联业务 SRv6 隧道从企业 分支 的 一端 CPE1 开始 ，结束在近端的 PoP GW1，业务在 PoP GW1 落地，并进行不同用户的 VPN 隔离，然后封装第二段 SRv6 隧道到 PoP GW2 并落地，最后由 PoP GW2 转发到 CPE2。 2. 入 云业务 企业租用运营商或者第三方公有云业务，在云端部署 VPC GW， SRv6 隧道从 企业 端 CPE1 开始 ， 结束在 近端 PoP GW1，然后继续第二段 SRv6 隧道，结束在云 端的 VPC GW，实现企业上云业务 的 承载。 和 大型企业一样，随着运营商云网一体的逐步推进，后期 VPC GW 可逐渐与 云 PE 融合，通过 SD-WAN 控制器与骨干网控制器、云管控平台联动，实现端到端 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 10 入云业务的拉通。 3. 企业上网 CPE 作为企业出口网关，可直接与城域网基于 IPv6 互通，满足本地 上网需求， 如需对上网业务进行精细化控制，也可将上网流量统一引导至 城域网 PoP GW。 图 3.3 中 小微型企业业务承载方案 下面以分支互联业务为例，对具体承载方案进行详述。对于第一段 CPE1 到 PoP GW1 的 SRv6 路径 ， SRv6 隧道封装的源地址为 CPE1， 目的地址为 PoP GW1 的声明为 SID 的公网 IPv6 地址。由于 CPE1 收到的是用户的私网地址 ， 因此 CPE1 上部署了 VPN 业务 。在此解决方案中，第一段 SRv6 隧道终止于 PoP GW1， 并从 PoP GW1 从新入第二段 SRv6 隧道 ，因此 PoP GW1 也需要部署 VPN，学习对应的私 网路由。 在 SD-WAN场景中 ，从 CPE到 PoP GW1的方式可以有多种 ， 比如基于 Internet、 4G 或者 5G 上联 。因此此处只需要保证从 CPE 到 PoP GW1 IPv6 可达即可 。一般 情况下， PoP GW1 部署在云化的数据中心中 ， 如边缘云数据中心中 。因此需要通 过 SD-WAN 控制器 在 CPE 上配置到 PoP GW1 的 SRv6 BE 隧道 。 第二段 SRv6 路径的起点为 PoP GW1,终点为 对端的 PoP GW2，其穿越了一个 或者多个 SRv6 域 。为了实现 SD-WAN 选路和跨域 ， PE 节点 ， 也即 SRv6 骨干网 的 边缘节点 ， 需要 骨干网的路径以 SID 列表 或 BSID 的形式对外提供差异化服务。 因此在 PoP GW1 上 ， PoP GW1 可以基于私网路由查询数据包的下一跳 ， 也即对应 的 PoP GW2 的 VPN SID，并匹配到不同的骨干网 TE 路径。 PoP GW1 将私网数据包 封装上 SRv6 外层封装 ， 并携带对应的 骨干网路径 SID 和 PoP GW2 的 VPN SID， 将数据包发送给 SRv6 域的入口 PE。在 PE 处 ，如果是 BSID 则 根据 SRv6 Policy 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 11 使用指定路径 将数据包转发到 对应 PoP GW2， 并进行 解封装操作。至此第二段 SRv6 路径结束 。 第三段 SRv6 路径 的起点在 PoP GW2,终点在 CPE2。 PoP GW2 节点在解封装得 到私网数据包之后 ， 根据私网数据包的目的地址查询 VPN 路由 ， 得到对应的路由 下一跳为 CPE2 的 SID，并将私网数据包封装一层外层的 SRv6 BE 封装 ， 其目的 地址为 CPE2 SID， 发送给 CPE2。与第一段 SRv6 路径类似 ， 这段 SRv6 BE 路径可 以通过多种方式到达 CPE， 只需要保证 IPv6 可达即可 。 综上所述 ，在这个解决方案中，主要由三段 SRv6 路径组成 。 每一段路径之 间通过 Option A,也即 VRF-TO-VRF 的方式来 连接 。 因此 PoP GW 和 CPE 都需要学 习到 私网路由。 3.2.3 企业混合场景 针对不同企业的组网需求，可灵活选择 以上描述的 上网、入云和分支互联的 承载方案，不同承载方案可混用，以满足企业多变的网络需求。 3.3 控制和转发 原理 SD-WAN 控制器计算端到端路径， 可以 分为本端接入段（ CPE 到 PoP GW1）， 本端汇聚段（ PoP GW1 到 PE1），骨干段（ PE1 到 PE3），远端汇聚段（ PE3 到 PoP GW2），远端接入段（ PoP GW2 到 CPE2）等多段路径。接入段采用 Overlay 方式的连接，骨干段为提升网络质量需要和 Underlay 协同。 根据应用场景不同， 以下分别对 大企业场景中 流量经过 POP GW、 不经过 POP GW 两种方案以及中小微 企业流量过 POP GW 方案进行介绍 。 3.3.1 大企业场景 在 大企业场景中， VPN 功能在 CPE 实现以对不同部门机构进行隔离。 以流量 是否经过 POP GW 区分 ， 可以分为两种 方案 。两种 方案 的控制面和转发面机制 基 本相同 ，差别在于 SID List 是否包含 POP GW 的 SID。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 12 3.3.1.1 流量经过 POP GW 方案 这种方案 适合 Underlay 转发路径可变更， 以及需要隐藏 Underlay 路径信息 的场景。 端到端隧道中骨干段（ PE 到 PE）的路径计算中，不同应用对网络质量 有不同的要求，因此流量需不同质量的路径承载。 SD-WAN 控制器向骨干段的 Underlay 控制器发起路径请求， Underlay 控制器计算骨干段的网络连接，并用 SRv6 BSID封装后返回 SD-WAN控制器 。 SD-WAN控制器然后 向 CPE下发对应的 SRv6 Policy， 其中包括 CPE、 PoP GW 的 SID， PE 间的路径 BSID，远端 PoP GW 的 SID 以及 VPN SID 等 。这种模式中流量在经过 Underlay PE 路由器时， BSID 会以隧 道方式展 开， 封装到报文头中 ，骨干网节点 SID 不对外暴露。 该模式下控制面建立转发路径的过程如下： Overlay 控制器算路：根据应用需求确定 Overlay 源、目的、 SLA 需求， 同时通过路径计算得到端到端路径，分为 CPE1 到 PoP GW1， PoP GW1 到 PoP GW2，以及 PoP GW2 到 CPE2 等几段 ； Overlay 控制器 根据 PoP GW 确定 Underlay 入、出口 PE 后向 Underlay 控制器发出路径请求，参数有 Underlay入口、出口、 SLA 需求 ； Underlay 控制器计算出一条路径 SR Policy，以 BSID 直接返回 Overlay 控制器； Overlay 控制器把 Overlay 和 Underlay 路径拼接为 SR PolicyPoP GW1,BSID, PoP GW2, CPE2，下发 CPE1。至此，转发面端到端路径建立完成。 该模式下转发面的报文转发流程如 下 图所示，需特别指出的是， PE 采用 END.B6.ENCAP 操作将 BSID 展开为骨干网 SR Policy，封装在新的 SRH 中，同时 添加新 IPv6 头部。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 13 图 3.4 大企业场景 流量经过 POP GW 示意图 在这种方案里 ， 流量会经过 POP GW， 因此运营商可以在 POP GW 为 SD-WAN 流量提供增值服务 ； 另外 有 PoP GW 可以 缩短 CPE 和网络接入点的距离 ， 对服务 质量有要求的业务可以选择此方案。 3.3.1.2 流量不经过 POP GW 方案 此方案整体和流量经过 POP GW 的方案流程一致 ， 区别在于下发的 SID list 中不包含 POP GW 的 SID。 该模式下控制面建立转发路径的过程如下： Overlay 控制器算路：根据应用需求确定 Overlay 源、目的、 SLA 需求。 Overlay 控制器 确定 CPE 到 Underlay 入、出口 PE 后向 Underlay 控制器 发出路径请求，参数有 Underlay入口、出口、 SLA 需求 ； Underlay 控制器计算出一条路径 SR Policy，以 BSID 直接返回 Overlay 控制器； Overlay 控制器把 Overlay 和 Underlay 路径拼接为 SR PolicyBSID, CPE2，下发 CPE1。至此，转发面端到端路径建立完成。 该模式下转发面的报文转发流程如上图所示，需特别指出的是， PE 采用 END.B6.ENCAP 操作将 BSID 展开为骨干网 SR Policy，封装在新的 SRH 中，同时 添加新 IPv6 头部。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 14 图 3.5 大企业场景 流量不经过 POP GW 示意图 这种方案 无需 POP GW，并且可以具备 Underlay 协同的能力，网络架构简单、 部署便捷。 3.3.2 中小微企业场景 在 中小微企业场景中 ， POP GW 需要感知 VPN 私网路由 ， 因此流量必须要经过 POP GW。 因此在这个场景中 ， 只有一种方案选项 。 与大企业场景一样， Underlay 路径通过 BSID 来描述 ， 从而支持 Underlay 转发灵活变更以及隐藏 Underlay 路径信息。 而 从 CPE 到 POP GW 的这段网络只需 IP 可达即可 (以下以 IPv6 可达为例 )。 CPE 只需将 POP GW 发布的 VPN SID 写入到 外层隧道封装的 IPv6目的地址即可支持将 VPN流量按照最短路径转发到 POP GW。 具体端到端算路步骤如下： Overlay 控制器算路：根据应用需求确定 Overlay 源、目的、 SLA 需求， 同时通过路径计算得到端到端路径，分为 CPE1 到 PoP GW1， PoP GW1 到 PoP GW2，以及 PoP GW2 到 CPE2 等几段； Overlay 控制器 根据 PoP GW 确定 Underlay 入、出口 PE 后向 Underlay 控制器发出路径请求，参数有 Underlay入口、出口、 SLA 需求 ； Underlay 控制器计算出一条路径 SR Policy，以 BSID 直接返回 Overlay 控制器； Overlay 控制器把 Overlay 和 Underlay 路径拼接为 SR PolicyBSID, PoP GW2，下发 到 POP GW1。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 15 CPE1 到 POP GW1、 POP GW2 到 CPE2 的隧道按照 VPN 关系创建 。 至此 ， 转 发面端到端路径建立完成。 该模式下转发面的报文转发流程如上图所示，需特别 指出的是， PE 采用 END.B6.ENCAP 操作将 BSID 展开为骨干网 SR Policy，封装在新的 SRH 中，同时 添加新 IPv6 头部。 图 3.6 中小微企业场景 流量经过 POP GW 示意图 在这种方案里 ， 流量会经过 POP GW， 因此运营商可以在 POP GW 为 SD-WAN 流量提供增值服务 。 3.3.3 采用 G-SRv6 特别值得一提的是，由于 SD-WAN 业务经过的 Overlay 和 Underlay 路径通常 较长，从而导致 SR Policy 的 SID List 过长。然而当前的 SRv6 在 SID 数目过多 时可能会带来报文头过长的问题，影响了报文的转发效率，也限制了 SRv6 的大 规模商用。因此在部署 SD-WAN 时，可以考虑基于开销更小，支持多种 SID 混合 编程的 G-SRv6进行 SRH头压缩。 G-SRv6完全兼容 SRv6,在不改变 SRH的情况下， 通过定义一类新的压缩 SID 来支持更高效的传输，从而降低了 SRv6 对网络硬件 的需求。当前中国移动正在推动 G-SRv6 的多厂商互通和 SRv6 的试点部署项目， 后续将基于 G-SRv6 部署 SD-WAN。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 16 G-SRv6 利用一个 SRv6 网络 中 很多 SID 都具有共同前缀 （ Common Prefix）， SID list 中 去掉 SRv6 SID 中的 Common Prefix 部分和其他冗余部分，保留 Node ID和 Function ID作为压缩 SID，可以很好的减少报文头开销 。 下图描述了 G-SRv6 数据面部分的数据封装方式， G-SRH 与 SRHRFC8754格式保持一致，没有对其格 式和字段语义进行改动，兼容但支持将 128bit SRv6 SID 和 32bit G-SID 混合编 程在 G-SRH中。 为方便实现 G-SID和完整 SID混编并确保 128bit对齐，引 入 G-SID Container概念。 为标识当前 G-SID在 Container中的位置，定义 SI（ SID Index）。 最后定义了 CoC flavor 标识 G-SID， 当收到 SID 有 CoC flavor 时，需把 SID 更 新 到 IPv6 DA 地址 的 G-SID 部分 。 图 3.6 G-SRv6 原理示意图 4 弹性 SD-WAN 的方案亮点 4.1 Underlay 协同能力 接入段是 CPE 和 PoP GW 之间的网络， CPE 是 Underlay 资源调度的端点。 CPE 上感知业务， 因此可以实现精细的流量调度。 在大企业场景中， CPE 具有 SRv6 能力 ， 还可以 根据业务需求压入端到端的 SRv6 Policy。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 17 骨干段 是 PoP GW 之间的网络 ，在这段网络中， Underlay 网络协同是重点。 PoP GW 之间的路径连同业务链 以及 Underlay 网络 SR Policy 一起可以 组 成一个 包含增值业务以及指定网络路径的服务 ，实现 Overlay 和 Underlay 的协同。 4.2 IPv6 原生业务链 增值业务涉及到流量的清洗、加速 、加密 等 处理。 弹性 SD-WAN 的业务链需 要 各个增值业务的功能 支持 SRv6，这带来几个好处： 1）增值业务可以按需组合， 流量可以按照 SRv6 指定的路径顺序流过各个虚拟化功能； 2）按需启用增值业务， 不需要增值业务的报文 不会在 SR Policy 中压入虚拟化功能地址； 3）虚拟化的 增值业务便于功能的快速迭代和演进，使运营商管道增值，向服务化演进。 图 4.1 基于应用信息的 SFC 策略 特定类型的应用流量有增值服务的需求，例如应用加速、流量清洗等。提供 增值服务的 VAS 具有不同的设备形态，并部署在 SD-WAN 网络中的不同位置。如 图 3 所示， VAS1 与 VAS2 以 VM 形态部署在 uCPE 中 ， VAS3 以物理设备形态部署在 SRv6 专线网络的 PoP GW。 CPE 可以基于应用信息选择对应的 SFC 策略，将形态 不同、部署位置不同的 VAS 灵活组织，为应用提供特性化服务。 4.3 Telemetry Telemetry 是一项远程的从物理设备或虚拟设备上高速采集数据的技术。设 备通过推模式（ Push Mode）周期性的主动向采集器上送设备的接口流量统计、 CPU 或内存数据等信息，相对传统拉模式（ Pull Mode）的一问一答式交互，提 供了更实时更高速的数据采集功能 ，使得控制器可以接近实时的感知网络状态， 针对网络突发时间随 时做出响应 。 中国移动 研究院 中国移动 弹性 SD-WAN 白皮书 （ 2020） 18 4.4 应用感知能力 传统 SD-WAN 实现应用感知路由的方式依赖于网络节点（如 CPE 等）实现 DPI 功能，而 弹性 SD-WAN 的提供了潜在的原生应用感知路由能力。 在 弹性 SD-WAN 中， 可以 根据报文中 IPv6 可扩展头的可编程空间携带应用信息，可以根据 DNS 域名、 DPI 等识别应用信息，网络设备根据这些应用信息将数据报文映射到相应 的 SRv6 路径实现 SLA 保障 。 存在 如下场景： 1. 基于应用信息选择 WAN 网络平面 当 CPE 接收到带有应用信息的数据报文时，根据应用类型 将流量转发至不同 的 WAN 网络平面，如对时延敏感的视频会议应用流量转发至 SRv6 专线网络。 在 CPE 将视频会议流量转发满足低时延要求的 SRv6 路径。在 SRv6 路径中，中间节 点根据策略将视频会议应用报文分配至高优先级队列。 2. 基于应用信息企业上云 当企业有应用上云的需求时， CPE 可以基于应用信息与云位置信息选择对应 的网络平面，并在网络平面内选择满足上云应用需求的路径。