2020年5G云XR端到端能力需求研究报告.pdf

中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 （ 2020 年） 2020 年 8 月 创新 研究报告 2 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 摘 要 电信运营商在发展云 XR 产业中有着独特的的优势，可凭借强大的云网资源，为用户提供良好的云 XR 体验，同时能依托其突出的运营能力和社会公信力，提供云 XR 平台，作为枢纽整合云 XR 生态系统中各类厂商（包括设备供应商、内容制作商、渠道及集成商以及行业用户），弥合生态断点，聚合产业力量，推动云 XR 产业的发展。具体地，为了切实推动云 XR 产业的发展，首先需要对云 XR 业务的端到端能力需求，特别是强交互业务的确定性 云网能力需求，进行系统研究和阐述。 创新 研究报告 3 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 目 录 1. 5G 云 XR 发展趋势 . 5 1.1 5G 云 XR 概念 . 5 1.2 关键标准演进与产业发展趋势 . 5 2. 云 XR 业务分类及体验分级 . 10 2.1 云 XR 业务分类 . 10 2.1.1 弱交互云 VR. 11 2.1.2 强交互云 VR. 12 2.1.3 云 AR . 12 2.2 云 XR 业务体验分级 . 13 2.2.1 评估模型框架 . 13 2.2.2 评估模型典型值 . 14 2.2.3 体验需求分级 . 16 3. 云 XR 业务需求分析 . 18 3.1 弱交互云 VR 业务需求 . 18 3.1.1 综合性能指标 . 18 3.1.2 关键能力要求 . 21 3.2 强交互云 VR 业务需求 . 21 3.2.1 综合性能指标 . 21 3.2.2 关键能力要求 . 23 3.3 云 AR 业务需求 . 24 3.3.1 综合性能指标 . 24 3.3.2 关键能力要求 . 26 4.云 XR 挑战与能力需求 . 27 4.1 综述分析 . 27 4.2 网络侧挑战和能力需求 . 28 4.2.1 弱交互云 VR 网络侧挑战和能力需 求 . 29 创新 研究报告 4 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 4.2.2 强交互云 VR 网络侧挑战和能力需求 . 36 4.2.3 云 AR 网络挑战和能力需求需求 . 41 4.3 边侧挑战与能力需求 . 42 4.3.1 边侧能力需求 . 43 4.3.2 边侧挑战 . 45 4.4 云侧挑战与能力需求 . 46 4.4.1 云侧需求 . 47 4.4.2 云侧挑战 . 48 4.5 端侧挑战与能力需求 . 49 4.5.1 端侧需求 . 50 4.5.2 端侧挑战 . 51 5. 总结与展望 . 54 参考文献 . 55 缩略语 . 56 附录 . 57 附录 1： VR QoE 模型框架及输出参数说明 . 57 附录 2：确定性传输评价指标定义和算法 . 60 附录 3：时延抖动对弱交互云 VR 业务的网络传输确定性的影响 . 61 附录 4：保障带宽对弱交互云 VR 业务的网络传输确定性的影响 . 61 附录 5：保障带宽与时延抖动对弱交互云 VR 业务的网络传输确定性的影响 . 62 附录 6：强交互云 VR 业务的时延抖动测试结果 . 62 附录 7：强交互云 VR 业务确定性传输测试结果 . 63 附录 8：强交互云 VR 业务的综合确定性要求测试结果 . 64 联合编写单位及作者 . 65 创新 研究报告 5 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 1. 5G 云 XR 发展趋势 1.1 5G 云 XR 概念 XR 即扩展现实，全称为 Extended Reality，现阶段主要包含 VR（虚拟现实）和 AR（增强现实）。扩展现实分为多个层次，可从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界，也可从通过辅助设备叠加得到的混合世界到可完全裸眼感知的混合世界，扩展现实技术使真实世界的物理对象和虚拟世界的数字对象得以共存并相互作用，最终实现完美的融合效果。 云 XR 将数字内容、计算和渲染功能放到云端，终端侧只需进行简单的动作捕捉和画面显示，降低终端的处理能力要求，实现轻量化。随着 5G 时代到来，网络大带宽和低延时的特性，给云 XR 产业的纵深发展带来巨大的契机，云 XR将成为未来发展的必然趋势，在云 XR 业务发展的前期 ，可以先行实现内容上云，后续实现计算和渲染能力的上云。云 XR 的系统架构，如下图 1-1 所示。 图 1-1 云 XR 系统架构 1.2 关键标准演进与产业发展趋势 目前国内外有许多标准、联盟和开源组织从不同角度和不同层面推进VR/AR 的标准化和生态建设，其中沉浸式媒体相关标准进展较快，具体领域和组织分布如下图 1-2 所示。 创新 研究报告 6 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 图 1-2 VR/AR 标准、生态和开源组织分布 1. 软件和软硬件接口 1) W3C 万维网联盟（ W3C）的沉浸式 Web工作组正在研制 VR 接口标准 WebVR API，目标是定义统一的 Web 接口来访问 VR 设备的功能； 2019 年 2 月， W3C 发布了WebXR 设备 API（ WebXR Device API）规范的首个公开工作草案。此外， W3C还规划在未来的版本中增加对手柄 (gamepad)的扩展支持，在 HTML中提高对 360度媒体集成， CSS 媒体查询的 VR 模式等方面的支持。 2) OpenXR OpenXR 是一个由 Khronos 联盟开发的开放性标准规范，目标是让 VR/AR应用软件能运行于不同的硬件平台。 OpenXR 标准分为应用接口和硬件接口两目部分， 2019 年 7 月发布了 1.0 版本，未来会根据实际需求 持续更新。目前 Open XR已支持行业内主要硬件和软件平台，包括 HTC、 Oculus、 Microsoft、 NVIDIA、AMD、 Intel、 Unity、 Epic、 Valve、 Varjo、 Magic Leap 等。 2. 媒体编码 1) MPEG-I 动态图像专家组（ MPEG）中负责沉浸式 (Immersive）媒体的 MPEG-I 工作组是虚拟现实最核心的标准化组织。其研究范围包括：场景描述，应用格式和全向媒体，通用视频编码，沉浸音频，基于视频的点云压缩和传输，沉浸媒体体验度量，通用编码一致性测试等。 MPEG-I 中 的应用格式和全向媒体（ OMAF）工作组定义的全向媒体内容处理流程架构已经被业界和其他标准化组织广泛参考，目前已完成了 1.0 版本，预计在 2020 年完成 3DoF+的标准化。另外， AR/VR 音创新 研究报告 7 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 频和点云压缩相关工作也将在 2020 年完成。 2） AVS 国内 AVS 音视频编码标准工作组于 2016 年初启动了 VR 国内和国际标准同步制定的工作，涉及的领域包括： VR 内容表述、 VR 内容生成与制作、 VR 内容编码、 VR 交互、 VR 内容存储及分发和 VR 显示等关键技术。 2016 年 3 月 ,AVS还和 IEEE 1857 成立了 VR 标准制定联合工作 组 VRU，目前正在进行 6DoF 视频标准工作，已经完成了 VR-P1 系统和 VR-P2 视频的最终草案， VR-P3 音频则还处于小组草案起草过程当中。 3. 硬件 2017年 5月，视频电子标准协会（ VESA）成立了一个新的特殊兴趣小组（ SIG）致力于标准化虚拟现实和增强现实沉浸式显示设备，其研究内容包括 VR/AR 设备物理连接，数据传输协议、软件驱动程序和应用层。目前完成 DisplayPort Alt Mode 版本 2.0 的电气接口标准化，同时还启动了高分辨率虚拟现实设备的测试和认证（ DisplayHDR）工作。此外， VESA 还在开发开源的 DSC 显示压缩编码器标准。 4. 定义指导、规则和架构 1) IEEE 2017 年 5 月，国际电气电子工程师协会（ IEEE）与 IEEE 标准协会宣布成立了针对虚拟现实和增强现实的 8 个项目，由 IEEE P2048 虚拟现实和增强现实工作组负责，包括：设备分类与定义（ 2048.1），沉浸式视频分类和质量指标（ 2048.2），沉浸式视频文件和传输格式（ 2048.3），个人身份（ 2048.4），环境安全（ 2048.5），沉浸式用户界面（ 2048.6），真实世界的虚拟对象映射（ 2048.7），虚拟对象与 现实世界之间的互操作性（ 2048.8）。 2019 年， IEEE P2048 又增加了 4 个相关项目 ,包括沉浸式音频设备分类和质量指标（ 2048.9），沉浸式音频文件和传输格式（ 2048.10），车内增强现实（ 2048.11），以及内容分级和描述（ 2048.12）。 2) CCSA 2017 年 1 月，中国通信标准化协会（ CCSA） TC11 VR/AR 子工作组成立，创新 研究报告 8 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 其研究范围包括： VR/AR 技术， VR 协议与通信， VR 设备和模块定义、软件架构及标准化，内容生产工作流程、内容与软硬件的协同，人身安全及健康等。目前正在制定基 于电信网的云化虚拟现实系列标准，包括总体技术、平台、终端、网络以及业务质量，输出包括云化虚拟现实总体技术研究（白皮书）在内的多个关键研究成果。 5. QoS 和传送 国际电信联盟 ITU-T Q13/SG12 目前完成 G.QoE-VR 和 G.QoE-AR 两个标准化项目，向业界提供关于 VR、 AR 业务的 QoE 因素、 QoE/QoS 需求、主观测试方法和客观质量评价模型等方面的建议。 ITU-T Q8/SG16 则针对沉浸媒体实况体验系统和业务进行需求、架构和业务场景的标准工作。 5G 云 XR 的业务需求及 5G 移动网络的传输能力，是 5G 云 XR 产业发展的关键因素之一，也是支撑 5G 云 XR 的核心坚实“底座”。针对 5G 移动网络的传输能力提升， 3GPP 标准组织的 SA1， SA2,SA4,RAN1 等多个工作组从业务需求、用户体验、网络传输等多个维度，对云 XR 业务进行了研究与标准化工作，如下图所示。 图 1-3 3GPP 标准组织工作组及相关研究内容 1) 现有标准进展 速率、时延与可靠性 在 3GPP RAN1 的研究与标准化过程中，针对速率、时延、可靠性，通过引入大规模阵列天线 massive MIMO 特性， MIMO 单用户最多可达 8 流，多用户12 流 正交传输，显著提高了无线空口的传输速率；在低时延可靠性方面， 3GPP R15/16 版本引入的超可靠低时延 URLLC 特性，通过免调度，微时隙、资源抢占创新 研究报告 9 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 等技术，可充分保障云 XR 业务的低时延、高可靠需求；同时， 5G RAN1 还提供了灵活新空口、新波形多址技术，新控制信道编码技术等诸多新技术，都为高速率、低时延、高可靠传输提供了基础保障。 用户体验、场景架构和需求 在用户体验方面， 3GPP TS 26.247， 3GPP TR26.929 中研究了衡量用户体验的方法，定义了用户体验质量 QoE 及其影响因素等。 3GPP TS 26.247 考虑下载速率、缓冲等级等指标给出了 QoE 的定义。进一步地， 3GPP TR26.909/26.929在 TS 26.247 提出的 QoE 模型的基础上考虑了交互时延、 VR 终端参数和其它参数的影响，给出了 VR 业务 QoE 更多体验指标的建议，包括传输影响指标、设备影响指标等。 在 XR 场景架构方面，针对 5G 使能的交互式业务场景， 3GPP SA1 在TR22.842 中定义了不同类型 XR 业务的基本渲染和媒体架构，包括 VR 使能的交互业务（如 VR 游戏）、云端渲染和分布式渲染业务、 VR/AR 使能的社交网络业务等多种 业务场景。 在 XR 需求方面， TR26.929 研究了云渲染 XR 和分布式渲染 XR 等架构，以及 XR 业务的不同需求。在 TS22.261 中，也定义了 VR 的业务需求。 业务模型、编解码 在业务模型、编解码方面， TS26.250-258 定义了沉浸式语音和音频编码器(IVAS)。 2) 未来标准演进 5G 网络的上述特性，使其能够支撑 XR 的初期阶段性需求和发展，但是对于 5G 云 XR（尤其强交互场景）更高的需求而言，当前的 5G 网络空口仍面临一些挑战。 在 3GPP RAN1 工作组，计划在 2020 年 8 月开始讨论 Rel-17 版本 XR 的研究课题 ,该课题主要研究内容包括：研究 XR 的业务模型特点，确定评估方法和评价指标，并对当前 5G 支持 XR 的能力进行仿真评估。 而 3GPP SA4（编解码器和媒体工作组）在 Rel-17 继续推进 XR 业务的标准创新 研究报告 10 中国移动 5G 联合创新中心创新研究报告 5G 云 XR 端到端能力需求研究报告 化工作，具体包括 XR 业务的编解码和传输协议设计， XR 业务的业务模型研究 ,XR 的媒体架构研究包含如何结合现有网络技术（比如 IMS）来快速构建会话类强相关的 XR 用例，如何利用边缘计算增强 XR（尤其是强交互 /高算力需求场景）的用例等。 随着 5G 云 XR 业务的逐步商用，针对 5G 实际商用部署中的问题，后续关于 XR 的标 准研究演进可考虑以下几个潜在的方向： 端到端 XR 用户体验评价体系及业务新需求定义与完善； 提升容量，在给定总流量需求和给定部署场景下 /灵活的业务流量需求下，提升 XR 业务的容量（例如，通过云 -网 -端协同提升容量）； 提升覆盖，主要是针对上行大吞吐量和低时延的需求，解决 XR 设备的功率限制导致小区边缘用户上行性能差的问题； 保障移动性，考虑用户终端中、高速移动场景； 降低终端功率消耗，包括计算和传输功率消耗。 2. 云 XR 业务分类及体验分级 2.1 云 XR 业务分类 根据不同的业务形态和交互体验 需求，本研究报告将云 XR 业务划分为弱 交互云 VR 业务、强 交互云 VR 业务和云 AR 业务 三个大类，如图 2-1 所示。此外，从三类业务面向的服务对象看，可以分为 2B 和 2C 两大类，前者主要服务于个人消费者，后者则主要服务于行业用户。以强交互云 VR 业务为例， VR 游戏属于 2C 业务，而 VR 教育则属于 2B 业务。