8K级VR 360视频是产业和技术发展的重要阶段.pdf

8K级 VR 360视频是 产业和技术发展的重要阶段版权声明： 本文 由华为 iLab出品，华为 iLab将随时补充和修订有关信息，但不 保证及时发布。 本文版权归华为 iLab所有，来自网络的图片版权归原作者所有。引用发布请注明出处“来自华为 iLab”。 本文 提供的信息仅供参考，不能作为投资研究决策的依据，不能作为道义的、责任的和法律的依据或者凭证。 华为 iLab 2016.09发布Email: hwilabhuawei大数据平台： hwilab华为官网： huawei/cn/ilab01 02在华为 iLab前期发布的谁将率先引领 VR产业进入 Online时代？博文中提到， VR的身临其境体验，即沉浸感可以引人入胜。但在目前技术条件下， HMD终端的高沉浸感也会带来用户生理上的矛盾，超过 20分钟的 VR节目会使观众不舒服。今天，华为 iLab将带您一起从技术角度分析一下当前 VR 360视频 体验面临 的问题、对网络的需求和未来演进路 线。华为 iLab关键 发现 ：1. VR 360视频迫切需要提升分辨率到 8K及以上。2. VR 360视频的演进可定义为入门体验阶段、进阶体验阶段和极致体验阶段。3. VR 360视频的投影和传输技术与网络发展密切相关。1.  VR 360视频的发展路线从当前 VR 360视频体验来看， 8K及更高的分辨率对提升体验效果来说是必须的。 因为对于沉浸性终端（如HMD、 CAVE）来说， VR 360视频单眼实际可视信息只是全部视场信息的几分之一：如视场角（ FOV）为 90度，则单眼可视信息仅为球面信息的 1/8；视场角(FOV)为 120度，单眼可视信息仅为球面信息的 4/9。如果在电视 /Pad/Phone等传统终端上使用 VR，视场角远小于 90度， 则不涉及这一概念。传统 意义上说的视频分辨率对应于球面全视角分辨率， 真正决定体验的是单眼分辨率。以 YouTube为例， 4K分辨率 360视频，H.264 平均码率 20Mbps，球面全视角 4K分辨率在单眼下的实际可视分辨率仅为 960*960，对应到 90度视场角，每度仅有 10像素 (PPD)，远远低于正常视力视网膜要求的 60个 PPD，实际视频体验比在传统 TV/PC/Pad上看SD视频的效果还差。沉浸性终端的大视场角要求更高的全视角分辨率，全视角 4K远不能达到满意的视频质量，加大分辨率到 8K及以上是必须的， 以 FOV=90为例 ：全 视角 8K：单眼分辨率 1920*1920，PPD=22；全视角 12K：单眼分辨率 2880*2880，PPD=32。由此可知， VR 360视频的发展以体验为主线，是画质不断提升，信息量不断增大的过程， 传输技术和网络技术的匹配度决定了画质体验和交互体验能达到的程度 ，我们认为，VR 360视频体验的演进阶段为 入门体验阶段（ Entry-Level VR）、进阶 体验阶段（ Advanced VR）和极致体验阶段（ Ultimate VR）。当前发展阶段属于 VR发展早期阶段（ Pre-VR），尚未进入入门体验阶段。对于每个阶段，我们都对终端、内容、体验、网络及到来时间点等进行预判， 如表 1所示 。单眼分辨率3840全视角 4K分辨率9609601920全视角 4K分辨率 单眼分辨率3840768019201920全视角 8K分辨率 单眼分辨率03 04Standard Pre-VR(Current) Entry-Level VR Advanced VR Ultimate VR连续体验时间（分钟） 60预计时间 Now2年 23年 35年 510年视频分辨率全视角 4K 2D视频(Youtube)（全画面分辨率3840*1920）全视角 8K 2D视频 (Youtube)（全画面分辨率7680*3840）全视角 12K 2D视频全画面分辨率11520*5760全视角 24K 3D视频全画面分辨率23040*11520单眼分辨率960*960通过眼镜观看，视场角90度 1920*1920通过眼镜观看，视场角 90度 3840*3840通过专业头显观看，视场角 120度 7680*7680通过专业头显观看，视场角 120度 PPD（注 1） 11 21 32 64等效传统 TV屏分辨率 240P 480P 720P 4K色深 (bit) 8 8 10（ HDR） 12压缩率（注 2） 165： 1 165:1 215:1 350:1(3D)帧率 30 30 60 120典型视频码率 16M 64M 279M 3.29G典型网络带宽需求 /bps（注3）25Mbps 100Mbps 418Mbps 1 Gbps (流畅播放 ) 2.35 Gbps(即时交互 )典型网络时延需求（注 4） 40ms 30ms 20ms 10ms典型网络丢包需求（注 4） 1.4E-4 1.5E-5 1.9E-6 5.5E-8注 1： PPD，也即 Pix per Degree，普通人视网膜能达到 60个 PPD的分辨 度。注 2：压缩分别基于 H.264、 HEVC和H.266发展的经验值计算 , 3D左右眼内容的相关性很高，可以做大比例的压缩而不会损失太多 质量。注 3：典型网络带宽，点播按照码率的1.5倍 估算。注 4：网络时延与丢包，先确定目标时延值，根据网络带宽，由 TCP吞吐量公式计算得到丢 包。2.  VR 360视频的投影和传输技术与网络发展密切相关VR 360视频的投影技术的压缩效率决定了在网络传输中的信息量，传输技术决定了网络对带宽和时延的需求。1） 投影 技术：a. ERP投影： 当前 VR 360视频主流格式，但画质存在失真，压缩效率存在瓶颈 。 等角投影 ERP（ EquirectangularProjection）使用了一种经典的地图经纬线投影的思想，将球面展开为平面矩形，等角投影的 经表 1纬线正交成 90，没有角度变形，但 面积变形最大，主要依靠增大面积变形而达到保持角度不变； 球面 赤道部分投影展开后失真小，越向两极失真越大； 球面 两极区域展开后，由于靠增大面积保持角度不变，引入了更多的无效冗余像素，视频文件编码压缩率不佳； 国外 Youtube、 Oculus、SamsungGear，国内优酷、爱奇艺均采用此种格式 。05 06b. PSP投影： 其格式是业界关注的新方向，失真小，压缩效率高。Tetrahedron（ 4 faces） 4 3.31x 2.11xCube（ 6 faces） 8 1.91x 1.22xOctahedron(8 faces) 6 1.65x 1.05xDodecahedron(12 faces) 20 1.32x 0.84xIosahedron(20 faces) 12 1.21x 0.77x 在 2016年 5月的 MPEG会议上，Samsung及其背后的Facebook在主推 PSP投影格式。2） 传输技术：a. 全视角传输： 所有视觉信息均传输到终端，用户转头交互在本地完成，带宽要求高，时延要求低，是一种“带宽换时延”传输方案。 多面体投影 PSP（ Platonic Solid Projection）利用了另一大类经典的地图投影思想，按相等经差与纬差的经纬线将球面划分为许多球面梯形，投影到某种多面体上，由于每个梯形单独投影，因此失真极其微小； 多面体可以为四面体、立方体、金字塔、 12面体等 ；07 08b. FOV传输： 只传输视场角内的视觉信息，用户转头交互需要向云端请求新的视觉信息，带宽要求降低，时延要求高（ E2E<20ms），是一种“时延换带宽”方案。VR 360视频的发展以单眼分辨率为主线，是画质不断提升，信息量不断增大的过程，传输技术和网络的匹配度决定了画质体验和交互体验能达到的程度： Entry-Level级 VR： 画质体验不高，全视角传输方案可保证良好的交互体验。 Advanced级 VR： 画质体验提升，全视角传输方案对网络带宽要求变高，在网络带宽 Ready的条件下仍可保证良好交互体验，是否采用 FOV传输方案取决于高带宽和低时延谁的成本更低。 Ultimate级 VR： 单眼画质达到视网膜级，全视角传输对网络带宽的要求极高，必须采用 FOV传两种传输技术路线，画质体验 VS交互体验，网络带宽和时延需求之间的跷跷板 。输，同时对网络低时延提出新要求。业界 应用案例： Facebook基于金字塔投影的网络传输技术在画质和交互、带宽和时延之间取得折中。1) 金字塔投影可减小码率到 ERP投影原画质的 20%。 用户视点正前方的平面为 FOV平面，使用高分辨率编码； 其余四个平面为非 FOV平面，分辨率从与 FOV平面相交的边到视角反方向的顶点逐渐降低； 可将全部 360度的球面视觉信息置入到矩形格式中； 这种矩形帧格式编码压缩效率很高，码率可减小到 ERP投影原画质 的 20%。非 FOV平面非 FOV平面FOV平面高分辨率低分辨率低分辨率低分辨率低分辨率2) 兼容现有传输技术，以存储换时延，牺牲部分画质来保证交互上的体验。 利用“存储换时延”的思路，对用户头部位置姿态进行编号，预生成30个锥形全视角文件，采用兼容的 MPEG-DASH流化 方案 ； 用户的头部姿态未改变时，默认解码高分辨率的 FOV平面 ； 用户头部位置小幅度变化时，视场信息由大部分 FOV平面（高分辨率）和小部分非 FOV平面 （低分辨率）组成，牺牲部分画质体验保证交互体验； 用户头部位置大幅度变化时，视场信息先呈现小部分 FOV平面（高分辨率）和大部分非 FOV平面（低分辨率），同时终端请求新的姿态对应的锥形全视角文件，下载完成后将视场信息更换为新的 FOV平面（高分辨率），通过牺牲短时间内的部分画质来体验保证交互体验。09 10Facebook基于金字塔投影传输技术在画质和交互，带宽和时延之间取得折中， 若要同时保证画质体验 和交互体验，对网络时延提出最低要求，同时带来瞬时突发流量。时间带宽要求1号金字塔文件的下载过程，保持流畅观看，带宽 =1.X倍平均码率用户体验阈值 T-Y*RTT时间内，完成 N个GoP数据量的下载平稳下载阶段控制交互阶段突发下载阶段平稳下载阶段姿态交互过程，需要Y倍RTT头部转动角度未超过阈值高分辨率高分辨率低分辨率FOV画面 1：全高分辨率混合了大部分FOV画面的高分辨率和小部分非FOV画面的低分辨率，画质体验下降，交互体验无影响头部转动角度超过阈值高分辨率低分辨率大部分画面低分辨率请求对应编号高分辨率FOV画面 2：全高分辨率要在用户感知到的时间阈值内完成FOV画面 2的一个 GoP下载头部姿态编号 2头部姿态编号 12的 FOV画 面 2