基于终端、网络、内容三匹配的CloudVR最佳业务体验白皮书.pdf

中国移动 浙江 公司 基于 终端 、 网络 、 内容 三匹配的 Cloud VR最佳 业务体验白皮书 中国移动 浙江 公司 中国移动研究院 华为技术有限公司 2019年 11月1 前 言 随着我国 5G 和城市千兆光纤宽带为核心的“双千兆网络”推进， Cloud VR 业务开始进入普通用户的影音、游戏等娱乐生活当中。当前 VR 产业蓬勃发展， VR 终端不断推陈出新、内容形式日趋丰富多彩。 但由于 Cloud VR 产业链条长，内容、网络 和 终端缺乏行业标准规范牵引 ，不利于 产业有序、协调发展。运营商在充分发挥自身通信网络、云资源优势开展 Cloud VR 业务 的同时，如何低成本、快速上线并带给用户最佳体验，成为商用前的主要问题。浙江移动于 2019 年 4 月 17 日正式启动 5G 友好业务客户体验招募活动，现场 招募了首位 5G 云 VR 体验用户 。为 了 带给用户更好的 VR 业务体验， 浙江移动联合 中国 移动研究院、华为 技术有限公司在 5G 现网下开展了 Cloud VR 业务体验测试、 输出了这份白皮书 。 测试过程受限于网络 、平台、内容、终端等条件，尚有不完善之处，恳请批评指正。 白皮书编写小组： 郑远哲、 杨佳明、 闻君、 唐鑫、 汪海明、胡晓泽、沈琦、 臧亮、刘少伟、刘旻、吴琼、 刘德亮、 杨友庆、 杨子磊、 邓俊敏、 石亚光、叶忠、赖晓、商本德、金临一、马翠娟、司哲、龚余毅、郝秀民、袁振龙、陶游劲、苏绍立、 赵贝贝、 杨蕾、周佳俊、高艳福、李可 i 目录 1. 概述 . 1 2. Cloud VR 业务介绍 . 1 Cloud VR 业务流程 . 3 Cloud VR 视频类业务 . 3 Cloud VR 强交互类业务 . 4 3. Cloud VR 体验评估模型 . 5 3.1. 影响 VR 体验的主要因素 . 6 媒体质量需求 . 6 交互式体验需求 . 8 3.2. 终端 . 10 3.3. 网络 . 11 4. Cloud VR 主观评估方法 . 15 5. Cloud VR 体验评估结论 . 16 5.1. 内容与终端分辨率匹配分析 . 16 5.2. 视频类内容、网络、终端 匹配评估 . 19 5.3. VR 游戏体验网络评估 . 20 6. 总结 . 21 1 1. 概述 随着 5G商用牌照正式发放， 5G网络开始大规模建设， 客户很快就能够使用上 高带宽低时延的 5G网络。虚拟现实 （ Virtual Reality， VR） 领域的关键技术逐渐成熟， 能够为客户提供 前所未有的沉浸式体验， 成为全球新一代信息技术 的热点和竞争焦点， 5G网络 的正式商用 必将进一步推动 虚拟现实 产业发展。 云化虚拟现实（ Cloud VR）将内容上云、渲染上云 ， 终端侧 不必部署贵重的渲染设备，降低了 VR业务普及难度 和成本 ， 能够提供更 丰富的业务场景， 并具有 保护内容版权等显著优势，成为 VR业务规模化应用的必然选择。 浙江移动领先 部署了 Cloud VR平台， 已经 为 友好 用户提供了 Cloud VR业务新奇的体验，用户 对 Cloud VR业务体验需求将逐渐唤醒，新鲜感和好奇感必将转变为对内容呈现和操作响应质量的极致体验追求。 Cloud VR作为 一个 崭 新的业务 至今没有大规模的商用案例， 缺乏现有条件下端到端体验方案。 浙江移动 在 5G现网上开展了大量 体验 测试， 重点分析和验证了 Cloud VR端到端体验 方案 的 总体技术架构和关键技术，基于现阶段情况和技术发展趋势， 提出 当前 条件下Cloud VR业务的 内容、网络 、 终端三匹配为原则的 最佳 体验 实践 ，旨在 实现 Cloud VR方案 商用的 规范化和标准化，推动 Cloud VR产业更好更快发展。 本白皮书由 浙江移动 、 中国移动研究院 、 华为技术有限公司 编写， 对 Cloud VR业务的关键技术实现和用户体验需求进行了较为深入的分析和研究，希望能为产业伙伴在规范业务体验要素和产品性能需求方面提供参考和指导，共同促进产业的开放和发展。 2. Cloud VR 业务介绍 Cloud VR的主要特点是实现了 VR终端无绳化、 VR的图形渲染云化、内容云化。 Cloud VR将云计算、云渲染技术引入 到 VR业务应用中，借助高速稳定的网络，将云端的视频和声音输出经过编码压缩后通过网络传输到用户终端设备，实现 VR业务内容上云、渲染上云。 Cloud VR将 计算复杂度高的渲染上云，大幅降低 VR终端的渲染计算压力，使 VR终端 能够 以轻量的方式和比较低的消费成本 提供给客户。内容云化、集中化，便于内容的统一分2 发和版本管理，也利用客户方便接入。视频渲染移到云上后，内容以视频流的方式通过网络推向用户，借助 5G、 GPON等网络技术，实现 终端无绳化，实现随时随地的接入体验。 Cloud VR业务场景根据交互程度分为 Cloud VR视频类和 Cloud VR强 交互 类 2种类型 ，Cloud VR视频类包括 VR巨幕影院、 VR全景视频、 VR全景直播； Cloud VR强 交互 类 包括 VR游戏和 VR教育 等 。 内容： VR视频通过拍摄并 全景处理后 ，向 业务平台提供符合特定场景、特定要求的高质量内容，目前 Cloud VR 的内容主要有全景视频、 全景 直播、 VR游戏和 VR教育 。 云 平台：根据业务场景 划分为 Cloud VR视频平台和 Cloud VR云渲染平台。 Cloud VR视频平台主要负责 弱交互类的点播、直播形式 VR视频的导入、转码、存储和分发工作，系统结构与运营商的 IPTV、 OTT 视频平台类似。 Cloud VR云渲染平台主要负责对游戏和教育场景中的用户操作指令进行计算渲染和编码流化。 网络： 承载 Cloud VR的网络 包含 5G移动网络和 GPON家庭宽带 接入 ，负责为 Cloud VR业务提供大带宽、低时延的稳定传输。 当前 5G移动网络能够达到 1Gbps下载速率， RTT时延 小于 20ms。 终端：负责 Cloud VR业务接入、用户鉴权、内容呈现和空间定位等工作。 当前市场主流 VR一体机的分辨率是 4K， 5K和 8K分辨率 终端也已经上市 销售 。 3 Cloud VR 业务 流程 按照 Cloud VR的业务 场景 ， 提取 关键业务处理流程中 影响用户体验的 因素，用于构建体验 评估模型 。 Cloud VR 视频类业务 点播类 VR全景视频和 VR直播是 Cloud VR视频类业务的典型应用场景，根据传输方式和内容的不同又可以分为全视角传输方案和 FOV传输方案。 全视角视频传输方案 全视角传输方案在 Cloud VR视频类业务的起步阶段被广泛采用。如下图 所示，该方案中云端 将 180/360视频内容全部推送给终端， 由终端负责去再跟踪用户头部姿态的变化，实时解析、渲染和显示已经缓存在本地的音视频数据。 从头部动作到显示只发生在 终端侧 ， 可以完全满足 MTP 20ms。 其他流程与 普通 OTT视频没有任何区别，带宽不足导致的播放卡顿 是该方案所面临的主要问题。 此方 案优势是实现较简单且切换视角 无时延问题， 代价是需要传输用户视域外本的冗余内容。同时，终端必须具备与内容 相同 的分辨率解码能力， 主 流 VR终端只具备 4K全景视频的硬解码能力，很少具备 8K全景视频的硬解码能力，限制了更高分辨率内容的使用。 FOV视频传输方案 FOV视频传输方案解决了全视角视频传输方案的高网络带宽和 高 终端解码 能力问题 。4 FOV传输方案 基于用户视角变化 ，通过跟踪用户视觉变化， 按需传输 内容和视频 解码，可以有效支撑 8K、 16K等全景视频业务的开展 。 缺点是 增加了 流程 处理 复杂度，动作跟踪处理时延更高，带来画面延迟等 体验问题。 FOV TWS传输方案中 ， 优化传统 FOV方案带来的问题 ，分为前景高清视频和背景低清晰度视频。前景高清晰度视频是经过特殊编码的视频源文件，被分割成多个 tile分片进行存储，每个 tile分片对应不同的高清视角区域。背景视频是 360全景视频，处理流程同全视角传输方案。当用户头部姿态出现变化时，云端根据终端上报的信息，选择与用户视角区域相对应的高质量分片内容进行响应；终端在收到云端推送的高质量内容之前，会先用低质量全景内容来进行填补，直到高质量分片内容到达后，再对低质量部分进行替换和拼接。如果高质量内容分片的更新时间过长超过了 200ms，用户就可能会看到低质量画面，影响观看体验。 相关的业务处理流程如下图所示： Cloud VR 强 交互 类业务 Cloud VR强交互业务通过终端传感器与云端应用进行实时互动， 如 VR游戏、 VR教育场景。 实 时性 是 云化后的关键的挑战， 包括终端侧的姿态跟踪，交互请求网络传输，云端平台收到交互指令后的渲染和视频编码，再通过视频流的方式将响应视频回传，终端再进行解码和显示。晕动症和迟滞感是所有 Cloud VR强交互 类业务都要面对的现实问题， 同时又引入了黑边拖影的现象，相关的业务处理流程如下图所示： 5 3. Cloud VR 体验评估 模型 通过分析 Cloud VR典型应用场景的 处理流程， 并借鉴 行业组织在 VR用户体验评价方面的研究成果，将关键的 Cloud VR业务体验需求分解和映射 ，形成 Cloud VR体验评估模型 。 当前阶段的 Cloud VR评估中，以此体验评估模型为基础，按照内容、网络、终端 三 协同原则，提出了 Cloud VR的最佳体验实践。未来，在此基础上可以 结合产业发展情况、实验室测试结果和项目交付经验， 输出 具体可操作的评测指标、工具与方法。 Cloud VR沉浸式体验 归纳 为媒体质量需求 和交互式体验需求两大类。 基于这两类需求，从内容质量、终端质量、操作质量、响应质量四个维度，提炼 用户体验的关键 因素 。 6 3.1. 影响 VR 体验的主要因素 媒体质量 需求 清晰度 画面不清晰是现阶段 Cloud VR用户反馈最多的问题，它由用户视觉区域内视频像素点的数量和质量决定，主要影响因素包括：内容分辨率、编码方式、终端分辨率、解码能力和视场角等。 单位角度内的像素数不足容易产生纱窗效应。 码率决定了每像素的平均比特数，在人眼可以感知的范围内， 码率越大 清晰度也会越高。 以 4K全景视频 为例，其分辨率为 3840x1920， VR头盔的视场角为 90度，那么最终在屏幕上显示的 图像分辨率就只剩下 约 960x960，折算成单位角度内像素密度 PPD为 1011，等效 TV观看效果为 240P分辨率 。 流畅度 帧率决定 了视频和游戏画面的流畅程度。 研究表明人眼能明显识别的帧率门限 是24FPS，几乎所有的 VR视频都能满足这一要求。游戏的图像生成原理与视频不同，画面完全由显卡渲染生成，画面中没有物体的运动轨迹信息。因此要想获得相同的观看流畅度，对渲染帧率的要求会比视频高很多 ， VR游戏的帧率一般是每秒 60帧 。除此之外，流畅度和终端屏幕的刷新率也存在直接关系，因为数字画面与玩家直接的视觉感官之间，还需要通过显示器来进行传递。屏幕刷新率是指显示器每秒钟从 GPU 获取图像进行显示的次数。 7 色彩保真 单位像素点中用于存储颜色信息的位数（色深）越多，就越能还原出真实的色彩、细腻的画面和完整的明暗细节。但是色彩保真效果以画面清晰 度为前提，在清晰度没有得到明显改善之前，提升色深的意义不大，近期内考虑 8bit， 随清晰度提高后采用 10bit。 立体感 VR应用常被用来构造和还原三维立体空间。其中，视觉上的立体效果一般通过为左右眼提供存在双眼视差的图像内容来实现，而听觉上的立体效果则是通过控制录制时的音源数量和回放时的扬声器数量来实现，双声道是起码的要求。 视听同步 播放器在处理多媒体内容时，需要将视频和音频数据分离，进行独立解码和渲染。如果从多媒体文件中分离出的音视频数据不同步，就会导致视觉和听觉感官上的不一致，这是用户无法忍受的，必须要引入同步机制。 图像畸变 在现实世界中，正常人的双眼横向总视角约为 200220 度，中间有 120 度左右属于双眼视觉重叠区域，成像较为清晰。当设备视场角小于人眼视场角时，会导致用户感觉自己在通过一个 “窗口 ”进行观察，而非置身于虚拟环境中，导致用户沉浸感下降。