中国联通城域网视频业务承载分析白皮书.pdf

中国联通城域网视频业务承载分析 白皮书 中国联通 发布 2017年 11月中国联通城域网视频业务承载分析白皮书 I 版权所有 中国联通网络技术研究院 ， 2017 目 录 1 视频业务发展概述 . 1 1.1 宽带接入网络发展 . 1 1.2 大带宽视频业务发展 . 1 2 大带宽视频业务承载需求 . 2 2.1 带宽需求 . 2 2.2 时延和丢包需求 . 2 2.3 网络监测需求 . 3 3 影响网络承载质量的因素分析 . 3 3.1 网络拥塞及影响 . 3 3.2 拥塞原因分析 . 4 3.2.1 网络结构原因 . 4 3.2.2 流量突发原因 . 6 4 现网数据分析及仿真研究 . 6 4.1 现网流量特征分析 . 6 4.2 现网丢包分析 . 7 4.2.1 现网路由器设备丢包分析 . 7 4.2.2 现网交换机设 备丢包分析 . 8 4.3 缓存能力与丢包的仿真分析 . 9 4.4 分析结果适用性说明 . 10 5 总结 . 11 参考文献 . 13 附录 术语和缩略语 . 13 中国联通城域网视频业务承载分析白皮书 1 版权所有 中国联通网络技术研究院 1 视频业务发展概述 1.1 宽带接入网络发展 近年来，我国宽带接入 基础设施 建设快速发展，从国务院的“宽带 中国 ”战略 ， 到基础宽带 运营商 的 “光网城市 ”行动 ， 光进铜退计划的实施使得 以 FTTH 为主 的 光纤宽带 接入网络覆盖了我国 大部分的城市 、 乡镇 、以及 部分农村集中区。 截至 2017 年 第二季度， 我国固定宽带 家庭普及率已达到 69.1%， 东部地区 普及率达到 82.4%1。 目前 ， 我国 宽带 接入 主流 产品为 20M 及以上 。随着网络 普及率 和 宽带接入速率的 提升， 用户可用 下载速率也在不断提升 。截至 2017 年 第二季度， 我国 固定宽带用户可用下载 速 率已达到 忙时 13.68Mbps， 闲时14.42Mbps1。 综上 ，我国宽带接入网络 在 普及率 、 接入速率及可用 下载速率 等 方面 均已取得 快速发展。目前主流 接入速率下，除支持高速 网页浏览 业务外， 还可 支持高清视频业务 ，已 具备 发展 大带宽视频业务的基础 网络 能力 。 1.2 大带宽视频业务发展 随着富媒体 业务 形式不断革新 ， 现有网络中视频 业务流量 占比不断攀升，预计 到 2021年，全球 视频业务流量 占比将 达到 70%，我国将达到 76.3%2。 图 1 国内 网络 流量 预测 同时 ， 随着宽带接入 速率 的不断 提升 ，视频业务正由原来的 480p 标清视频和 1080p 高清视频向 2160p 超清视频升级过渡。其中， 大带宽 视频业务 ，由于其 画面更清晰、动作更流畅、色彩更丰富、音效更真实，可以为用户带来影院级的浸入式体验而备受青睐 。 特别 是4K、 8K 超高清视频、 VR、 AR 等新业务形态的出现， 不断丰富着大带宽 视频 业务 及 其 衍生品，促进了 整 个产业链 生态化的发展 ，也给 运营商 提供了 更多的变革和 发展 机会。 目前 ， 全球 50%的主流运营商已将视频列为基础业务，开始布局 面向视频运营的网络和基础设施 。中国联通 作为 优质 宽带 接入 服务提供商 ，同时 提供 丰富的 视频 业务 ， 并 积极探索大 带宽 视频业务的网络承载 技术，特 发布 中国联通城域网 视频 业务承载 分析 白皮书 。 中国联通城域网视频业务承载分析白皮书 2 版权所有 中国联通网络技术研究院 ， 2017 2 大带宽视频业务 承载需求 随着内容 资费和带宽门槛 的 降低， 大带宽 视频业务 迎来飞速发展时期 。 大带宽 视频业务在 满足 用户 高体验要求 的 同 时 ， 也对 承载网络提出了新的要求 ，包括高 带宽、低延时、低丢包率 等 。 2.1 带宽 需求 随着 大带宽 视频业务内容源 质量不断提升，其 分辨率 、色深、帧率等均不断提高， 相应地 对承载 带宽的 需求 也 不断增加 。典型 大带宽视频业务 带宽 需求 分析 如下： 表 1 典型 大带宽视频业务 网络 带宽需求 表 普通 4K 标准 4K 标准 8K 2K VR 4K VR 分辨率 3840*2160 3840*2160 7680*4320 2160*1200 3840*1920 帧率 25/30 50/60 50/60 50/60 50/60 色深 8bit 10bit 10bit 8bit 10bit 带宽要求 22.5M 45M 180M 22M 75M 注： 为保障业务 流畅体验 ，视频业务 带宽 需求 为 1.3-1.5 倍平均码率 3， 业务平均码率 =分辨率 *RGB 色深 *帧率 *压缩比 。 2.2 时延 和 丢包 需求 网络时延 、 丢包 过大 易造成播放 卡顿 、 花屏 等 ，直接影响用户观看体验 。 为保证良好 的用户体验， 对网络的 时延 、 丢包率 参数 要求如下： 表 2 大带宽视频业务 端到端时延和丢包率 需求 表 普通 4K 标准 4K 标准 8K 2K VR 4K VR 时延 20ms 20ms 20ms 20ms 20ms 丢包率 6.1 10-4 1.5 10-4 0.9 10-5 6.4 10-4 5.5 10-5 注 1： 丢包率 和 时延约束关系 计算 依据为 TCP 通量公式 ： Min(Max(), , 1)； 其中 ， BW 为物理带宽， WSS 为 窗口 大小， RTT 为双向时延， p 为丢包率， MSS 为最大 报文 段大小 。 注 2： 按照上述公式， 双向时延减小会降低对丢包率的要求，本文暂按照双向时延为 20ms进行分析 此外， 上述 丢包率 是 对 网络 质量 的 端到端要求 ， 分解 到单节点应控制到更低。 综合 考虑，在双向时延为 20ms 的情况下， 普通 4K 视频对 单节点 的 丢包率 要求 应 在 约 10-4左右 ， 未来8K/高清 VR 对 单节点 的 丢包率 要求 应 在 约 10-5左右 。 可见 ， 随着视频业务清晰度 、实时性、互动性 的 不断提升 ，其对承载网络 的需求 也 不断向 高带宽、低延时、低丢包方向发展 。 运营商的承载网络需面向 大 带宽 视频业务 ，综合利用网络 规划、 QoS 部署、 专项优化 等手段， 提供智能高效的网络承载 能力。 中国联通城域网视频业务承载分析白皮书 3 版权所有 中国联通网络技术研究院 ， 2017 2.3 网络监测 需求 当前网络中 ， 网络 丢包率 监测 的 基本 手段 是 ping 测试 ， 其测量精度受限于 ping 包数量 ，丢包 统计 精度难以 达到 10-4 甚至 10-5 级别。因而， 大带宽视频业务 需要 通过更精准 的 丢包率测量 手段对网络质量 进行 监测。 设备的 MIB 数据能够对通过包数、丢弃包数等多个统计量进行精确计数，其可用于统计端口以及端口内各队列的精确丢包率。厂家设备 MIB 库虽然对于通过包数、丢弃包数计数项的名称和编号有所差异，但都有具体的 MIB 项与之对应。 因此，为了满足大带宽视频业务对网络质量的监测需求，建议网管 增强 对网络丢包率的精准监测手段，通过采集并统计设备 MIB 数据的丢包率 监测 是可行方案之一。 3 影响网络承载质量的因素分析 3.1 网络拥塞 及影响 网络拥塞产生 原因，本质是 在某 瞬时时刻 形成以超过端口带宽的速率向一个端口转发数据包的情况。此时，超过端口带宽的数据包就需要利用缓存进行暂存， 并 等待转发 。等待 转发的过程中 会 形成时延 ，而 如果缓存容量不足，则会产生丢包。 缓 存 数 据等 待 出 队交 换 网入 接 口 1入 接 口 2出 接 口队 列队 列 深 度出队入队队 列 越 长 ，越 少 丢 弃 ，但 时 延 越 高数 据 设 备图 2 端口转发 缓存占用示意图 等待 发送的数据包，会被缓存在 设备出接口的 发送队列 中 ， 并以 特定的速率进行出队处理，该 出队 速率可能是 端口 的 底层物理 速率，也可能是针对队列的限速 。 拥塞 导致的丢包则是发生在入队时，若发送队列已满，或 队列 占用情况达到指定门限 (WRED 丢弃机制 )，则会按照 比例进行数据包的丢弃。因此 ， 队列的深度越大，则能够 缓存 更多的瞬间突发数据包，被 丢弃的数据包就会越少，但队尾 数据包 的 等待 时间则会越高。 不过 ， 对于 未 拥塞的数据包，队列深度的增大并不会影响其转发时延。 设备 缓存能力 受限 于 板卡 的物理 性能 ， 但 可以通过 调整 配置进行资源的优化分配。 交换机 设备的缓存能力通常较差，仅在毫秒级别， 因而难以 支撑 静态 的缓存 分配 ，通常采用动态共享物理缓存的模式。 路由器 设备的缓存能力通常较好， 能够 在 几十到 百毫秒级别， 基本 能够 支撑 静态规划分配，通常不会使用动态共享的模式。 中国联通城域网视频业务承载分析白皮书 4 版权所有 中国联通网络技术研究院 ， 2017 除拥塞引起的丢包外，数据 包在入接口和交换网中虽然也有 较小 可能 发生 丢弃，但相比拥塞丢包而言数量几乎可以忽略。 光层 质量问题虽然也 较 普遍，如光衰过高、色散、光模块不匹配等，但 光层 质量问题引起的是 误码 和错包， 与 IP 层丢包 的 层级不同 ，统计项 也都是独立的 ，因而通常 分开进行问题定位。 本文主要针对拥塞引起的丢包进行分析。 3.2 拥塞 原因分析 3.2.1 网络结构原因 运营商 传统 承载网络的 规划建设 主要是根据 HSI 业务需求 ， 与大带宽视频业务相比，其带宽需求较低 、 对时延抖动 敏感度低 。现有 承载 网络 典型 结构 如下图 所示，具有分级 多层 汇聚 、 收敛 的 特点。 BR A S BR A SONU ONU ONU汇聚SWOLTBR A SONU ONU ONU ONU ONU ONU汇聚SWOLT OLTBR A SCR CR接入网内汇聚 ， 收敛比 1 ： N 1城域网 SW - BAS ， 收敛比 1 ： N 3城域网 - 骨干出口接入 - 城域汇聚 ， 收敛比 1 ： N 2图 3 现有网络承载 结构 示意 图 如上图 所示，现有 业务承载网络 分为 接入网 和城域网 。 其中 ， 接入网 网元设备主要 形态包括 ： FTTX 下 的 OLT、 ONU、 MDU 设备； LAN 接入 下的 园区、小区交换机设备等 。城域网网元设备 主要 形态包括 二层汇聚 SW、 BRAS、 SR 等 。在传统 网络规划 设计 下， 每一 层级之间均 根据 业务量 进行 收敛， 用以 复用 上联 链路 带宽。 现有网络结构及业务构成下，运营商网络业务承载 质量保障手段包括：链路 轻载 、 QoS 部署等。其中 ，链路轻载 是主要 保障手段 。 由于 网络 的 树形结构， 使得多数 节点 在 网络中都承担着部分汇聚带宽的作用，如 OLT、汇聚 SW、 BRAS/SR， 因而设备上下行端口速率不等 、上下行端口数量不等的情况非常普遍 。进而不可避免 的产生 以下两种典型 的拥塞场景： 大端口 打小端口、多端口打一端口。 典型 拥塞场景一：大端口 打 小端口 在设备的高速 端口 向低速端口转发数据包时， 会产生 如 下图所示的 大 打小拥塞场景。 中国联通城域网视频业务承载分析白皮书 5 版权所有 中国联通网络技术研究院 ， 2017 交 换 网高 速 入 接 口低 速 出 接 口大 打 小 产 生的 瞬 时 高 速数 据 设 备图 4 大 打小典型场景示意图 高速率入 方向接口中连续的数据包 或 间隔较小的数据包， 对于 低速率的出方向接口来讲，是 超出 其 发送速 率的， 因而需要 通过缓存进行 数据包的暂存，并等待发送。城域网设备 中，此类 大打小场景非常普遍，如上 联 10G 下 联 1G、上联 100G 下联 10G 等 。 典型 拥塞场景 二 ： 多 端口 打一 端口 在设备的 多个端口同时 向 一个 端口转发数据包时， 会产生 如 下图所示的 多 打 一 拥塞场景。 交 换 网入 接 口 1入 接 口 2出 接 口 1入 接 口 3出 接 口 2多 打 一 产 生的 瞬 时 高 速数 据 设 备图 5 多打一 典型场景示意图 从 瞬时来看，若多个 入 方向接口 同时有 数据包被转至同一个出方向接口， 对于 出方向接口 也 是 超出 其 发送速 率的 ， 需要通过缓存进行 暂存，并等待发送。 即使在多个入 方向接口 向多个出方向接口转发数据包， 也只能从 长期角度上保证 各 接口的负载均匀， 而 无法保证在任意时刻都 有 均匀的负载 。 城域网设备 中， 此类多 打 一 场景 也 非常普遍， 如 现网 BRAS/SR 通常 都是双上联城域 CR，下联 链路可能同时收到来自 多台 CR 的流量 ；又 如 上联 为捆绑接口 ，虽然逻辑 层面是一个接口，但物理层面 还 是多个接口 ， 不同接口中 的 多条流 有可能同时指向 同一 个 下联 接口 。 中国联通城域网视频业务承载分析白皮书 6 版权所有 中国联通网络技术研究院 ， 2017 3.2.2 流量突发 原因 真实网络中的流量并非平稳的，而是具有非常大的 瞬时 突发性。流量 瞬时 突发的产生与发包特征有关，目前很大一部分互联网应用 基于 TCP 承载 ， TCP 由于受到确认和窗口机制的影响，往往不会以均匀包间隔 发包，而是间歇式的连续发包，从而产生瞬间的突发。 现网运维中，基本都是采用分钟级 (通常为 5 分钟 )的速率统计，仅能反应一段时期内的平均速率。但拥塞往往都是由于瞬时的流量突发引起， 长时间 的平均速率与瞬时的突发速率有较大的差距。 4 现网数据分析及仿真研究 4.1 现网流量特征分析 为了具体 分析 现网的流量突发 情况 ，分别在 3 个地市城域网内 选择典型链路 进行了流量采集，利用端口镜像将真实流量引流至 ns 级精度的仪表设备，从而 分析 瞬时速率的波动情况。 采集接口包含 BRAS 的上下联端口 、 汇聚交换机的上下联端口 ， 涉及 10GE 和 1GE 端口，采集时间 涵盖 忙闲时段。 （注：采用端口镜像方式采集的流量为 设备 交换网送到出接口，尚未进入出接口缓存处理的流量，会大于出接口物理速率 。为更准确了解流量突发情况，实际采集 时将流量镜像至更高速率接口 ） 图 6 GE 端口瞬时 速率图 从流量分析情况来看， 相同 速率端口的流量特征基本类似。 现网 某条 1GE 端口 的瞬时速率 如图 所示 ，可见 毫秒级的瞬时速率 相比 于平均速率 高出 了 数倍，其中 毫秒级 速率 高于1Gbps 的 部分 都需要 端口 的缓存加以解决，否则会产生丢包。 从设备 缓存能力的角度来看， 现网 路由器 设备的缓存能力通常在 几十到 百毫秒 级别，而交换机设备的缓存 能力 通常仅在毫秒级别。 因而 从理论上讲，路由器设备 对于 几十到 百毫秒中国联通城域网视频业务承载分析白皮书 7 版权所有 中国联通网络技术研究院 ， 2017 级别的 速率 突发 是 有可能抵御的 (不 产生丢包 )， 而交换机 设备 仅 对于 毫秒 级别的 速率 突发有可能 抵御，若 速率 突发持续数个毫秒，则必然会引起 交换机设备 的 数据包 丢弃。 经 分析， 各种 端口的突发 总体 情况如下： 端口 速率 越高，突发速率的绝对 量 也越高，但 相对 的突发 比例 越低， 流量的 波动性 越 小； 端口带宽 提升 对于端口缓存能力的要求低于线性提升关系 ； 具体 来看，通常 情况 1G/10G 端口的突发情况如下： 相比于 端口 的平均速率 (分钟级 )， 1G 端口的 秒级速率 突发 大约会相对 上浮 至 115%左右 ； 相比于 端口 的平均速率 (分钟级 )， 10G 端口的 秒级速率 突发 大约会相对 上浮 至 110%左右 ； 相比于 端口 的平均速率 (分钟级 )， 1G/10G 端口的 毫秒 级速率 突发 大约会相对 上浮 至 400%左右。 4.2 现 网丢包 分析 本次在 3 个城域网 以 5 分钟为周期 采集了 BRAS、交换机等设备 MIB 数据 ，利用通过 包数、丢弃包数等统计值计算设备端口、队列的丢包率。 采集 共涉及 BRAS 端口 800 余个，交换机端口 3000 余个，总数据量超过 700 万条，可认为满足统计学需求。 采集的城域网 暂未开启 QoS， 设备采用默认缓存配置， 因而针对 现网丢包率 的 分析主要 关注 链路 利用率 。 根据缓存能力的不同， 对 路由器和交换机设备分别进行分析 。 4.2.1 现网 路由器设备丢包 分析 通过 对现网大量 路由器 设备 运行 数据的分析， 得到 利用率 对 丢包率的 影响， 数据总量 超过 100 万 条 。 图 7 路由器 10GE 端口 利用率 -丢 包率的 关系 图 注：“可确保 95%情况”指 同一利用率 区间（ 1%） 下丢包率的 95%分位数 对于路由器 10G 端口而言， 目前分析 的数据 平均 利用率最高达到 83%左右， 未能 采集中国联通城域网视频业务承载分析白皮书 8 版权所有 中国联通网络技术研究院 ， 2017 到 利用率更高时的数据 ， 利用率 对 丢包率的影响 如 图所示 。 从统计情况来看， 路由器 10G端口 在 利用率 80%以下 丢包率 极 低 。对于 利用率高于 80%的情况， 该 部分 的 现网数据 量 较少，暂 不 足以支撑给出 统计 结论 ， 将 通过 仿真 方式进行 分析 。 图 8 路由器 GE 端口 利用率 -丢 包率的 关系 图 对于路由器 1G 端口而言，利用率 对 丢包率的影响 如 图所示 ，可概括 为以下几点： 链路利用 率对 丢包率有极为 明显的影响； 路由器 1G 端口 ，保持利用率低于 70%， 可确保 95%的 情况下 丢包率不超过 10-4， 该丢包率 应 足以支持 当前 的 普通 4K 视频业务； 路由器 1G 端口 ，保持利用率低于 60%， 可确保 95%的 情况下 丢包率不超过 10-5， 该丢包率 应能够 支持 未来 的 8K/高清 VR 视频业务 。 4.2.2 现网交换机 设备丢包 分析 通过 对现网大量 交换机 设备 运行 数据的分析， 得到 利用率 对 丢包率的 影响， 数据总量 超过 600 万 条 。 对于交换机 10G 端口而言， 目前分析 的数据 平均 利用率最高达到 50%左右， 完全未发现有丢包发生， 可 认为目前 交换机 10G 端口 在 利用率 50%以下时没有丢包 。对于 利用率高于 50%的情况， 暂无 该 部分 的 现网数据 支撑， 将 通过 仿真 方式进行 分析 。 对于交换机 1G 端口而言，利用率 对 丢包率的影响 如 图所示 ，可概括 为以下几点： 链路利用 率对 丢包率有极为 明显的影响； 交换机 1G 端口 几乎 不可能仅通过控制利用率的方式， 保障 10-5级别的 丢包率 ， 该丢包率 通常 被理解 为未来 8K/高清 VR 视频业务 对 网络质量的要求 ； 交换机 1G 端口，保持利用率低于 32%，可确保 95%的 情况下丢包率不超过 10-4，该丢包率应足以支持当前的普通 4K 视频业务。