5G超高清新场景白皮书.pdf

5G 超高清新场景白皮书 中国超高清视频产业联盟2020年11月 I 目录前言.1第一章5G和超高清催生新场景.31.1 5G与超高清产业协同发展.31.2 5G赋能超高清.41.3超高清新场景的定义与分类.5第二章5G超高清新场景之一：全面交互型超高清视频.72.1自由视角：让视频体验无死角.72.1.1自由视角场景价值大.82.1.2 5G为自由视角场景赋能.9 2.2全景视角：360度观看全场景.102.2.1全景视角场景应用案例众多.112.2.2 5G保障全景视角场景用户侧展示效果.122.3多视角：让用户成为自己的导播.132.3.1多视角场景与传统节目制作区别明显.132.3.2 5G成为多视角场景实现方案之一.142.4自由缩放：获得画面任意部分的特写展现.152.4.1 4K超高清视频保障自由缩放画质.162.4.2 5G保障自由缩放场景数据传输.172.5云游戏：让游戏在云端高速畅行.18 2.5.1云游戏场景实现对终端限制的突破.182.5.2 5G与云游戏业务相辅相成.19 II 2.6云VR：走入千家万户的普惠VR.212.6.1云VR技术优势显著. 212.6.2 5G助力云VR丰富内容供给.232.7云AR：对现实世界的增强理解.242.7.1云AR应用场景丰富. 242.7.2 5G助力AR产生深远的经济和社会效益.26第三章5G超高清新场景之二：AI增强型超高清视频. 283.1 AI云超分：让视界瞬间更清晰.283.1.1 AI云超分具有重要作用.283.1.2 5G覆盖实时AI云超分上行和下行环节. 30 3.2 AI 2D转3D：更精准的平面到立体视频转换.313.2.1 AI 2D转3D显著降低内容制作成本.323.2.2 5G为AI 2D转3D技术赋能.323.3 AI Vlog：自动生成专属视频.333.3.1 AI Vlog应用场景丰富.333.3.2 5G助力AI Vlog实现快速上传.343.4 AI虚拟偶像：基于AI的数字偶像应用.363.4.1 AI虚拟偶像连接现实世界和虚拟世界. 373.4.2依托5G网络可实现DIY虚拟偶像.38第四章5G超高清新场景之三：传统视频超高清化.41 4.1超高清电视：大屏场景的极致体验升级.414.1.1超高清电视助力形成端到端产业链.41 III 4.1.2 5G促进超高清电视节目制作无线化.424.2超高清移动视频：移动场景的视觉体验全面升级.444.2.1移动超高清场景扩大了超高清视频应用场景444.2.2 5G为超高清移动视频实现提供条件.474.3超高清视频彩铃：全屏展现的极清晰视频彩铃.484.3.1超高清视频彩铃展现形式多样.484.3.2 5G助力超高清视频彩铃传输顺畅.50第五章5G超高清新场景之四：5G智慧场馆.525.1场馆产业正进入5G+超高清为应用代表的场馆智慧化3.0阶段. 52 5.2 5G使能场馆成为超高清内容常态化供给的关键环节.535.3场内观众超高清需求兴起，超高清观赛为场馆带来新价值.55第六章结语. 57 1 前言毫无疑问，视频已经成为现代网络内容的绝对主流和网络流量的绝大比例，更高容量的宽带网络将支撑更高技术规格的视频业务和创新场景。5G技术具备超大容量、超高带宽和超低时延等特性，是继3G、4G之后的新一代移动通讯技术。超高清视频具有更高的空间/时间分辨率、更广的色域和更宽的动态范围，是继视频数字化、高清化之后的新一轮重大技术革新。2019年工业和信息化部、国家广播电视总局、中央广播电视总台三部门联合印发超高清视频产业发展行 动计划（2019-2022年）提出推进超高清视频业务与5G的协同发展，2020年国家广播电视总局发布具有“更高技术格式、更新应用场景、更美视听体验”的5G高新视频系列白皮书，随着以5G为代表的新一代宽带网络时代的到来，结合5G和超高清技术的应用创新越来越受到社会、产业和用户的广泛关注。技术的代际提升通常带来的是产业层面的几何级变动和全新的场景模式，5G和超高清技术正在以直观可感的方式给视频行业带来更高效率的生产、更高质量的供给和更好体验的跃升，未来数年将是我国超高清产业与5G产业并行 高速发展的机会窗，将诞生层出不穷的5G超高清应用新场景。基于中国超高清视频产业联盟（CUVA）的创新探索，本白皮书针对娱乐视频应用从传统视频高规格演进、全面交 2 互型超高清和AI增强型超高清三大分类总结和梳理在5G时代超高清视频应用的多个新场景，描述每个场景的新特性，分析其关键技术和展望其商业价值。本白皮书的意义在于与业界分享创新前行的5G超高清视频创新进展，呼吁产业加强共识，共同推动超高清视频产业发展，为新一代消费互联网视听产业创新发展注入新动能、激发新活力。本白皮书指导单位：中国超高清视频产业联盟（CUVA）本白皮书牵头单位：华为技术有限公司、中国电信天翼智慧家庭科技有限公司、中国电子信息产业发展研究院本白皮书参与单位：咪咕文化科技有限公司、中国联通 网络技术研究院、中国信息通信研究院信息化与工业化融合研究所、上海交通大学、四开花园网络科技（广州）有限公司、北京聚力维度科技有限公司、百视通网络电视技术发展有限责任公司、北京奇幻奇遇科技有限公司、杭州当虹科技股份有限公司、成都索贝数码科技股份有限公司、银河威尔科技（北京）有限公司本白皮书编写指导：温晓君、燕兴、郭宁、袁立、何晶晶、张晓冬、王建、王亮、黄鹏本白皮书主要起草人：罗传飞、石岩、王志远、顾荣强、宋利、韩建亭、文殿杰、刘世龙、沈超南、王斐、郑甲、刘 长虹、陈晓航、陈卫、杨远慧、吴诗生、王栋、吴康华、李洁、郭晋龙、邓煜、于路、张鹤、赵天奇、罗天 3 第一章5G和超高清催生新场景1.1 5G与超高清产业协同发展2019年，工信部、广电总局、央视总台联合发布超高清视频产业发展行动计划（2019-2022年）以来，各省市区域、产业各界纷纷跟进，在内容、平台、网络、终端、芯片、面板等诸多环节取得突破。2020年，是我国5G迎来大发展的一年。预计到年底，全国将建成5G基站达80万座，发展5G用户突破2亿。除了能够提供千兆下行的5G网络外，千兆宽带、千兆Wi-Fi 也在同期迎来了发展的机遇，覆盖室内、室外全场景的“三千兆”信息高速公路正在逐步成型。更宽的网络能够传递更丰富的信息，更丰富的信息则能够提升用户业务体验，带动新业务走向普及，进而反向驱动人们对网络提出更高的要求。这正是网络与业务相互协同，共同发展的特点。随着超高清视频产业快速发展，与包含千兆5G、千兆宽带、千兆Wi-Fi的“三千兆”产业发展节奏高度匹配。20192020年间涌现出的“5G+4K”、“5G+8K”、“三千兆+VR”、“三千兆+自由视角”等诸多应用走向市场，正是新一代网络与 新一代业务协同共进的最好注解。 4 1.2 5G赋能超高清目前，5G网络应用主要分为三大类场景：增强型移动互联网（eMBB）、海量连接物联网（mMTC）和超低时延高可靠通信（uRLLC）。从标准制定和产业应用进度看，eMBB场景目前最为成熟。因此，基于大带宽的视频业务，特别是超高清视频业务，将在5G发展初期迎来最好的发展机遇。 图1 5G应用场景分类5G eMBB将大幅降低每bit成本，提升网络速率，降低网络时延，5G赋能超高清视频产业主要体现在3个方面：新联接、新架构、新服务。新联接让生产更高效：5G应用于超高清回传，能够将传统光纤与微波的部署时间节省80%，并实现完全自由、便捷的第一人称视角拍摄功能；而速率高达350Mbps左右的“超级上行”则能够进一步满足超高清拍摄的回传需求。5G应用于下行，将能够提供高达1Gbps的实际速率体验。用户不仅能够在如此大带宽的网络环境下，畅享4G网络下所无法 流畅传输的高码率超高清，还能够在机场、车站、码头、体 5 育场馆等传统“较拥塞的区域”，获得更好的上网体验。新架构让体验有保障：通过边缘计算和切片管理等5G全新架构，超高清视频处理、渲染和制作的时延有望降低至10ms以内；同时，切片技术将能够极大满足专业媒体对于超高清视频传送安全性的需求。新服务让生活更精彩：通过5G与云计算结合，提供AI+云+超分、AI超高清Vlog、2D转3D、以及AI虚拟偶像等全新服务，可大幅降低超高清视频的制作门槛，从而让各类超高清业务的生成更为容易，种类更加丰富。 图2 5G赋能超高清1.3超高清新场景的定义与分类超高清新场景是对多类超高清场景的统称，它包含了4K及以上的超高清平面视频，VR视频，云游戏，以及多视角、自由视角、自由缩放、AI Vlog等丰富的业务形态。根据特点不同，超高清新场景大致可归结为三类： 6 第一类是全面交互型超高清视频：以自由视角、多视角、自由缩放、云VR、云AR、云游戏等为代表的超高清视频具有很强的交互性，可归结到此类中。第二类是AI增强型超高清视频：以5G+云+AI等技术，对个人用户产生体验增值的超高清业务形态。例如针对视频超分辨率的AI云超分、针对VR体验的AI 2D转3D、AI Vlog、AI虚拟偶像等。第三类是现有视频的超高清演进：以现有的视频业务为基础，在分辨率、动态范围、色域空间、帧率、采样等多维度增强演进而成的超高清视频。 7 第二章5G超高清新场景之一：全面交互型超高清视频全面交互型超高清视频主要包括自由视角、全景视角、多视角、自由缩放、云游戏、云VR、云AR等。采用5G网络传输，将为全面交互型超高清视频赋能，促进解决方案更好地实施。2.1自由视角：让视频体验无死角自由视角是指以被拍摄物体/场景为中心，能够让用户通过操控界面，从任意角度自由旋转观看被拍摄物体/场景的业务形态。 自由视角可以充分发挥多角度、多细节、自由观看的特点，让用户从不同角度欣赏视频，增强参与感、交互感，摆脱对传统导播视角的依赖。自由视角在节目制作时，直播方利用多机位或环绕机位，向用户提供环绕整个场地的任意角度视频信息，用户可以旋转切换的方式自由观看任何角度。 图3自由视角示意图传统现场赛事直播因角度、机位限制，或受导播意志左 8 右，观众往往不能随心所欲地选择观看自己最喜欢的角度或细节。自由视角完美解决了这一难题，将自主选择权交还用户，让用户随心而动、以交互方式自由旋转,“转”哪看哪，尽情窥探舞台中央的“隐私”。自由视角还可以应用在特效场景的制作，呈现出子弹时间和定格环绕的效果。2.1.1自由视角场景价值大创新视频直播体验新形态：跟随拍摄者视角是传统视频体验的基本逻辑，用户看到的内容都是由导播来决定。通过自由视角的方式，用户可以以交互的方式自由选择观看的角度、细节，更符合当前大众对视频直播的个性化观看需求。 促进5G和千兆家宽的发展：自由视角业务形态涉及超高清视频的传输、处理、分发、切换，对于大带宽和低时延的要求非常高，是典型的5G场景视频业务，能有效带动5G、千兆业务的发展。适用场景广阔，成为新的收入增长点：国内每年有超7000场的国际和国内级别赛事安排（不含低级别赛事）和超2000场高规格演出活动，随着赛事演出活动直播全媒体化和消费意愿提升，自由视角将发挥更大作用，作为新卖点成为会员权益或套餐权益，拉升整体ARPU值。目前，三大电信运营商均已在男子乒乓球世界杯、拳击比赛、CBA赛事中开 展了基于自由视角直播的尝试，其端到端的业务、计费流程、网络保障均已得到验证。在2020年10月10日湖南卫视播 9 出的舞蹈风暴节目中，湖南电视台与华为合作，全球首创了能够自由升级拍摄设备的蝶式拍摄方案，实现了奇妙的立体“风暴时刻”效果，未来随着更多样化的现场直播拍摄制作采用自由视角方案，必将引发直播体验的新模式。2.1.2 5G为自由视角场景赋能自由视角业务形态的实现，除了需要引入环绕机位拍摄外，还得益于5G传输、超高清、云边计算、AI处理等诸多技术的加持。5G传输：在大带宽、低时延5G网络环境下，可赋能前端拍摄、现场预处理、媒体计算、视频平台及CDN分发、 手机终端等自由视角解决方案的各个环节。图4自由视角实现方案环绕拍摄：为了全方位拍摄现场，让数十个，甚至上百个摄像机位向用户呈现出围绕中心点平稳旋转的效果，需要每一个机位都精确对准舞台中心位置。通过智能自动的拍摄设备对焦，大幅缩短人工对焦时间，同时极大提升视角转动 时的平稳度，让画面更精致。 10 图5采用蝶式环绕拍摄方案的自由视角拍摄现场超高清技术：现场设备实现对多路视频内容进行时间同步处理，将多路视频间时间进度误差缩小到毫秒级；再将每个摄像机拍摄的高达4K分辨率50帧的视频进行计算、拼接、渲染，结合三维重建、深度信息压缩处理成可用于自由视角播放的视频流格式。云边计算：云+边缘设备结合AI媒体处理算法，将现场IT设备约70%的计算能力迁移到云端。云边计算平台不仅能够实现对来自现场的数十路视频流进行高效快速的处理，还基于AI媒体处理算法对多路摄像机画面进行虚拟倍增优化， 为用户提供更为连贯的视频旋转切换体验。分发与展现：结合低时延、高带宽网络和敏捷高效及时的CDN服务，可提供自由死角播放请求、角度切换旋转响应的及时性、敏捷性，在5G千兆、光纤千兆网络的保障下，手机终端和电视大屏都都能够获得更为优质的体验。2.2全景视角：360度观看全场景全景视角特指通过VR多目摄像机拍摄形成360度全景 11 画面，通过TV、手机等平面展示设备进行展示，允许用户通过遥控器、触摸屏等操控界面，获得超越平面屏幕的更广阔视野体验。 图6通过全景视角观察珠峰大本营2.2.1全景视角场景应用案例众多全景视角业务场景明显有别于普通视频业务。它让用户通过观看3 60度的画面，来获取到如同亲临现场全方位的视频信息。例如，当全景视角应用于旅游景点时，观众能够像现场游客一样向四面的远山、湖水眺望，而不仅仅局限于屏幕上的“固定画面”；当全景视角应用于赛事、综艺播出时，用户仿佛亲临现场一样，不仅能够观看赛场、舞台的精彩内容，还能不时主动看看观众席，感受周围观众是否跟自己具有相同的情绪起伏，而不是被动等到导播来切换视角。这样 的体验，无疑能够比普通视频带来更多的场景沉浸感。全景视角场景利用TV屏、手机屏等普及较广的终端载体，来展示能够360度观看场景的全景视频内容，这将有利于降低全景视频的终端观看门槛，扩大业务受众面，进一步 12 促进全景视频内容生产、平台服务、终端消费等多环节的产业成熟。2.2.2 5G保障全景视角场景用户侧展示效果在实现机制上，全景视角包含了内容聚合、视频服务、终端展现等环节。 图7全景视角实现原理图内容聚合：全景视角的内容可以通过VR摄像机进行拍摄，所有的VR全景内容均可作为全景视角的内容来源。视频服务：视频平台要提供全景视角服务，需要具备360度视频的处理能力。终端展示：IPTV机顶盒、手机等终端设备需要具备全景视角视频的解码与渲染能力。具体而言，就是将全景视频的源片内容在终端侧重构为一个360度的“球体”，并将“球体”的部分画面以适合TV、手机屏的形式呈现在屏幕上。用户可通过操控界面自由“转动球体”，任意浏览“球体”上的各部 分内容。由于该体验与通过VR终端观看全景视频类似，所以又称为“裸眼VR”。比较普通视频场景而言，终端要支持全景视角，需要额外具备针对全景视频的渲染、交互能力。同时，4K分辨率 13 的全景视频片源要求机顶盒、手机具备4K视频的解码能力。由于现网终端较少具备8K解码能力，如果全景视频片源的分辨率达到8K，需要借助8K FOV的技术来实现此功能。为了在用户侧获得较好的展示效果，全景视频片源的分辨率应该在4K分辨率及以上。这样的信息量对网络承载能力具有较高的要求，通过5G网络或千兆网络来承载能够更好的保障业务体验。2.3多视角：让用户成为自己的导播多视角是指节目播出时，通过同时向用户推送多个（通常为4个）独立的视角画面，让用户可以自行选择视角观看 的业务。2.3.1多视角场景与传统节目制作区别明显传统节目制作，内容制作者通常会部署多个拍摄设备，用以获得不同视角的画面效果。但节目向用户播出时，需要展现哪个视角，是由导播或导演来做决定。多视角业务，打破了传统既定的规则。通过将多个视角同时推送给用户，由用户决定视角，从而让用户获得完全不同于传统观看方式的个性体验。同时，多视角对传统的多机位拍摄方式改变不大，对终端也无过高要求，是一种成本相对可控，体验提升却非常明 显的超高清视频业务场景，适用范围非常广泛。不过，多视角场景并非简单等同于传统的多个机位。只有每一个视角都 14 根据用户体验来精心设计，才能释放出这个场景最大的价值。 图8多视角应用于电竞直播典型案例：第31届音乐之声颁奖典礼，国庆70周年庆典，第七届王者荣耀城市赛、男子乒乓球世界杯等。2.3.2 5G成为多视角场景实现方案之一多视角场景对活动的意义。举例而言，对于一场演唱会直播，如果只是简单的向用户推送“前”、“后”、“左”、“右”等“不同方向”的视角，则未必能充分激起用户使用业务的特别兴趣。反之，如果能够根据用户的不同兴趣，例如对钢琴的兴趣，对舞蹈的兴趣，对歌唱的兴趣，对追星的兴趣，来设计出对用户有意义的视角，诸如钢琴视角、伴舞视角、歌 手视角、明星视角等，则更容易让场景获得目标用户的喜爱。多视角场景能够满足用户个性需求，前提是场景设计者对于用户需求的精准把握。多个机位拍摄出多个视角之后，统一注入到视频业务平台/CDN之中。再由视频业务平台与CDN同时将多个视角推送用户侧，由用户根据个性兴趣进行 15 选择。图9多视角实现原理图值得注意的是，在推送多路流之后，如果向用户提供的不同视角即使有微小的不同步，都可能都会影响到用户体验。以演唱会为例，当歌手在进行演唱时，即使是12秒的误差都可能让用户在切换视角时，明显感觉到歌曲歌词的“来回跳 动”。因此，要保障多视角场景的用户体验，需要不同视角间的时间误差缩小到数帧级别。这需要在编码器、视频业务平台、CDN，以及终端之间建立一种视角同步机制，以保障最终的用户体验。2.4自由缩放：获得画面任意部分的特写展现人们对照片进行放大观看是一项非常高频的应用场景，它满足了人们对于细节探寻的需求。而自由缩放则将图片的缩放场景延伸到了视频上，让人们能够像浏览图片细节一样，通过手动触摸、拖拽等方式，对视频影像进行任意局部放大、移动观看位置等操作浏览视频画面细节，随时获得仿佛特写 镜头一般的细节信息。 16 图10自由缩放场景示意2.4.1 4K超高清视频保障自由缩放画质4K超高清视频能够保障用户放大局部后，画面仍然保持足够的清晰度。视频源达到4K超高清画质后，人们放大视频后，其细节仍能保持足够的清晰。而5G网络则能够保障4K超高清视频能够高品质的下载到终端侧。未来，视觉影像体验的趋势是用户更热衷于高品质的内容体验以及更投入的参与和互动感受，这可以通过自由缩放技术更好的实现。应用场景案例一：慢直播场景，依托超高清视频技术， 观众可以在一个4K或者8K的全景画面中，自己选择感兴趣的细节进行放大。如果增加多屏多视角互动技术，观众可以进一步选择同场景中的不同内容进一步增强互动性体验，以主动获取的方式去了解信息和参与事件。应用场景案例二：赛事直播，可以向观众传送覆盖整个球场的超高清画面，由观众自己选择视角并且通过放大移动 17 方式去获取比赛信息。应用场景案例三：电商带货直播，结合超高清视频直播技术与自由缩放技术，用一台超高清摄像机拍摄带货现场全景，就可以让观众通过自由放大来观看主播的特写和货品的细节。这对于平台、电商和买家，都会很有吸引力。2.4.2 5G保障自由缩放场景数据传输5G商用推广，希望在5G终端能够呈现满足更大传输带宽需求的高数据量信息，超高清视频内容无疑是最好的载体。在5G移动端上，采用触控或者体感技术，获得用户对画面关注点，进行实时画面放大、缩小、画中画显示等功能；利 用图像引擎技术进行硬件加速，实现3D特效、转场动画等效果优化。同时，观众通过手动影像缩放和移动，观看合理而有趣的内容，一方面提升了互动性和参与度，另一方面展示了超高清内容超越高清画面的局部表现力，能够更好发掘超高清影像在移动端的使用价值。 图11自由缩放实现原理自由缩放场景实现对终端有较高要求。自由缩放业务实 18 质上是超高清视频在移动终端上的呈现，因此，在内容的聚合、业务的服务、终端的解码等流程上，均与超高清视频实现原理一致。所不同的是，终端在展现的时候，需要具备根据用户操控来放大、缩小画面的能力。2.5云游戏：让游戏在云端高速畅行云游戏是一种以云计算技术为基础的在线游戏方式，具有免配置、免下载、跨平台、跨终端的特性。2.5.1云游戏场景实现对终端限制的突破对于数量庞大的低端机型用户而言，由于存储空间、内存配置、手机CPU性能等设备条件方面的限制，运行热门游 戏往往存在诸多问题；对于家庭用户而言，主机游戏硬件及CD-KEY价格昂贵，而传统TV游戏内容相对粗糙，难以提供优质的游戏体验。云游戏的发展解决了这些痛点，让用户在云端实现“秒玩”热门手机游戏及主机游戏，真正做到随心所欲、“即点即玩”、尽情畅享海量游戏大作。在云游戏场景下，用户的游戏设备只需具备基本的视频解压能力和联网功能，而无需任何高端处理器或显卡的支持即可进行游戏。云游戏的出现和发展解决了长期以来的终端限制难题，让用户不用购买高级、昂贵的设备，在能够播放视频的多媒体终端，就可以作为游戏主机终端，随时随地畅 玩精彩游戏，拓展了游戏的用户群体，满足不同层次玩家的差异化需求。 19 图12云游戏无需安装的界面2.5.2 5G与云游戏业务相辅相成过去，游戏的精美画质和动态渲染只能在专业游戏主机上实现，现在，云游戏业务可借助5G高带宽通过云主机处理在5G手机上以视频流的形式实现。同时，5G超低延迟特性与边缘节点计算能力相结合，可在5G手机上畅快运行响应要求在20ms以内的主机游戏。因此，云游戏的市场需求也将进一步推动5G、千兆网的发展和普及。云游戏作为未来的市场重点，具有广阔的业务前景。一旦打开从云游戏平台到用户间的壁垒，搭建出成熟的云游戏 解决方案，便有机会探索出更加丰富的服务模式及多样的盈利方式，为行业内的创意人员提供了一片亟待开发的沃土。 20 图13云游戏实现原理云游戏业务实现原理：依靠云端部署的高性能渲染节点，通过串流技术把游戏画面实时推送到终端。游戏中所有的计算（包括画面渲染、数据同步、交互逻辑等）全部在云端服务器进行，利用5G网络的超低延迟特性配合强大的边缘节点计算能力，并通过互联网接受用户的输入指令，再将处理完成后的最终画面结果显示在用户的前端设备上。媒体终端：包括手机、平板电脑、笔记本电脑、TV等能播放视频的多媒体终端，都可以作为游戏主机终端；业务平台：负责调度、鉴权、计费等相关业务功能； 渲染节点：利用高性能GPU实时完成复杂的游戏渲染和串流。支持游戏可在云端全天候运行，完成复杂的游戏渲染和串流后将游戏场景以高清视频流的形式返回媒体终端，实现在电视机顶盒或普通手机上玩3A级主机游戏大作和海量休闲游戏高响应无缝游戏衔接体验。 21 在云游戏场景中，关键性的技术包括：游戏实时性：游戏的整体延迟包括了游戏逻辑运算时间、音画渲染的时间，加上编码的延时、网路传输的延时、客户端解码的延时、客户端向服务端发送控制信息的延时，云游戏的实时性需要达到可令玩家接受的程度。此外还要依靠硬件和网络本身的性能。虚拟化技术：游戏依赖GPU渲染，GPU的虚拟化是实现云游戏的必要条件。实时网络传输：同样得益于短视频、直播业务的发展，已有的网络协议优化技术为云游戏奠定了一定的基础，可以 进化为适应大带宽、低时延的网络优化技术。2.6云VR：走入千家万户的普惠VRVR是超高清视频技术重要应用场景。云VR是将云计算、云渲染的理念及技术引入到VR业务应用中，借助高速稳定的网络，在云端进行VR超高清画面的渲染和处理，并对显示输出和声音输出等经过编码压缩后传输到用户的终端设备，实现VR业务内容上云、渲染上云。2.6.1云VR技术优势显著云VR技术能够大幅降低VR终端门槛，摆脱头盔线缆束缚，提升用户体验，让VR能够真正成为一种普惠业务， 更快的走入到千家万户。 22 图14云VR可提供丰富的应用场景云VR业务场景包括：VR直播、巨幕影院、360全景视频、VR游戏、VR教育等，也是发展较早的场景，具有应用简单、学习成本低等特点，已培养了一定规模的用户基础；另外，这些场景从采集、制作、分发到播放的端到端技术已趋于成熟，整体产业链条相对完备。预计未来一段时间内，这些业务将得到集中开展。具体优势如下：降低终端门槛：用户体验对计算有较高要求的大型游戏时，采用传统VR技术需购买上万元的PC设备和专业PC头显终端，采用Cloud VR则将游戏的计算处理放置到云端， 只需两千元左右的VR一体机即可获得相同体验。摆脱线缆束缚：传统专业头显，需要线缆与电脑连接，在一定程度上限制了用户的行动自由。Cloud VR一体机，可以通过5G/千兆Wi-Fi优质的无线传输能力进行连接，从而摆脱了线缆的束缚，让体验中的用户行动更为自由。随时体验业务：通过大带宽、低时延的5G网络，用户 23 可在信号覆盖的地方随时接入VR平台，体验到VR业务。2.6.2 5G助力云VR丰富内容供给丰富VR内容供给的三层内容架构：第一层，通过2D转3D技术，快速获得3D内容，构成海量的内容托底；第二层，通过融入社交功能的VR游戏、教育，为业务提供更容易变现的机会；第三层，通过常态化的VR直播，培养用户观看习惯，提升用户的业务粘性。 图15云VR服务示意图云VR实现机制：云VR将VR应用的计算、渲染迁移到云端，通过网络回传VR终端侧的控制指令及下方云端实时生成的显示视频，降低了对VR终端侧性能的要求。相比较传统VR，实现云VR的两个重要环节：一是云服务平台能力。要实现对VR应用/游戏的实时渲染，对云平台的计算能力具有较高的要求。目前，云端平台中X86、ARM两种架构体系均有成熟应用案例。由于VR应用/游戏通常基于ARM体系进行编写，因此，采用ARM架构的云服务平台在运行这些应用时，不需进行额外的指令转 换。较之X86架构，将节约40%左右的系统开销。二是网络传输能力。时延要求：MTP延迟 24 （Motion-to-photons latency），也即从用户做出动作到VR屏幕上显示画面的时间差，是衡量VR体验的关键指标。要达到理想的体验效果，需要MTP延迟20ms，而空口时延低至1ms的5G网络可为云VR的传输提供可靠保障。速率要求：VR要达到清晰的视觉体验，其片源需要具备8K及以上的分辨率，其码率通常会达到80120Mbps，而下行速率超过1Gbps的5G网络完全能够承载。2.7云AR：对现实世界的增强理解云AR（Augmented Reality）是一种基于AI+云端平台，以云端强大的算力进行机器视觉处理，实现对现实世界的理 解，并将相应的数字图像、视频、3D模型等元素融合于真实世界的图像之中，最终达到帮助人们解决现实问题、提升生活趣味的目的。2.7.1云AR应用场景丰富云AR可广泛应用于生活、娱乐、零售、导航、工业、医疗、安防、警务等各种个人或商业场景。如，手机使用者通过云AR技术实现逼真场景导航；将自己跳舞的身影与正在跳舞的明星叠加在一起，形成一段有意思的手机视频；女士们可在一个大屏幕前尝试更换不同的数字衣服式样；学生可以通过能够识别书本内容的Pad获得“点读”的学习体验； 工业人员可以通过一部AR眼镜获得工业机械上各个零部件的特性描述，并与异地的“师傅”进行实时通信；警务人员可 25 以通过AR眼镜来识别是否有非法人员闯入。 图16基于AR的实景导航AR眼镜、普通手机、配备摄像头的电视都可以作为AR终端，业务覆盖广，发展的潜力大。在商业模式层面，云AR具有广阔的商业应用场景：教育领域，提供图片识别及多人协同功能，作为新的内容消费模式和行业补充方案文创领域，提供图片识别及定位交互功能，作为内容赋能方式，增加新的消费点，降低更新成本电商领域，提供虚拟产品体验，以及全新的AR直播模式，有效提升用户购物体验以及购买决策效率 公共服务领域，提供图片识别及人工智能交互功能，作为公共信息传递的新载体安防领域，提供深度面部识别及云端服务功能，有效提升安防效率 26 娱乐领域，提供SLAM、面部识别、肢体识别等功能，提供新的内容消费点及流量增量广告领域，通过图片识别和SLAM能力，为商户营销诉求提供新的流量来源工业制造领域，在操作、培训、巡检和工作流管理方面，提供新的技术手段，提升工作效率2.7.2 5G助力AR产生深远的经济和社会效益随着5G技术的发展，开启了从互联网到构建虚拟世界阶段演进。从手机终端普及程度及技术角度，AR已经具备爆发条件，可以产生深远的经济和社会效益。 图17云AR实现流程图在较为简单的AR应用中，通常AR终端本身即可实现对现实世界的采样，并在终端侧完成智能处理与影像合成。但在更多的场景中，由于对场景的理解需要更为强大的计算能力，需要更海量的数据库支持，需要与真实世界进行更复杂的渲染处理，所以，AR终端通常需要与云端的服务器进 27 行端云协同工作，才能够实现更为强大的功能。5G助力AR终端随时随地实现与云端交互的能力。5G网络不仅有超过1Gbps的下行带宽，也具备100Mbps（NSA模式）至200Mbps（SA模式）的上行带宽（如果引入“超级上行”技术，5G上行带宽将进一步提升至350Mbps左右），从而能够较好的解决容易形成瓶颈的AR视频上传问题。同时，5G空口时延已低至1ms，能够很好地保障端云间的及时响应速度。 28 第三章5G超高清新场景之二：AI增强型超高清视频3.1 AI云超分：让视界瞬间更清晰AI云超分是指在云服务器上部署实现超分辨率技术，依托云边服务强大的计算能力、AI人工智能算法和5G技术的大带宽、低时延传输能力，解放用户侧的计算压力，快速、高效地提升视频分辨率达到超高清，为用户提供像素密度更高、细节信息更加丰富、画质更加细腻的视频，提升用户的视频消费体验。3.1.1 AI云超分具有重要作用 AI云超分除了可以对普通平面视频进行超分之外，还能提升VR全景视频的分辨率，是视频领域的一项专用技术，是科学研究和工程应用的重点，具有广泛的使用价值。 图18低分辨率画面与超分后的效果比较提升用户视频体验：超分辨率带来的不仅仅是视频分辨率的提升，也极大增强了图像的细节与清晰度。一方面超高清视频能够大幅增加用户观看视野，获得更好地的临场感。 29 另一方面在终端上，用户能够以交互的方式任意放大局部细节而不带来模糊，特别是针对比赛直播场景，用户可以根据自己意愿放大某一球员或是某一场景，满足个性化观看需求。经典老片焕发新生：很多胶片时代的老片数字化后，不但噪点大，清晰度也无法满足新时代的观看需求，超分技术能够实现降噪，分辨率提升，重新着色等，让经典老片依然能够为大众所喜爱。促进设备更新换代：针对当前超高清视频内容匮乏问题，云超分技术能够将部分高清视频上变换，从而扩充媒体库，提升超高清视频生产效率。面向日益增长的用户体验，将增 加超高清终端设备的需求，促进显示面板及编解码芯片等终端器件的技术突破和开发创新。产业链的完善以及市场收益也将刺激内容生产商制作更加丰富的超高清内容。带动网络加速发展：云超分涉及超高清视频的处理、传输与分发等，需要更高的码率、更多网络流量、更大存储空间，对于大带宽和低时延的要求非常高，能有效带动5G、千兆业务的发展。同时，云超分对于更高效内容分发平台以及智能边缘计算节点有较大需求，也将带动CDN行业升级和发展。成为内容付费增长点：随着产业链逐步完善以及用户消 费意愿不断提升，云超分带来的超高清内容以及交互应用将成为新的内容付费点，在点播、直播场景中均可以匹配用户 30 需求提供多样化更细致的个性套餐，拉升平台ARPU天花板。3.1.2 5G覆盖实时AI云超分上行和下行环节AI云超分业务的实现，除了基于AI的超分辨率技术外，还得益于5G传输、编解码、云边计算、CDN等诸多技术的加持。 图19AI超分云服务示意图超分辨率技术：图像超分辨率就是将低分辨率的图像通过一定的算法提升到高分辨率。而基于AI的超分辨率技术运用人工智能算法在大数据的驱动下学习低、高分辨率图像间的映射关系，相比于传统方法有了较为显著的提升，同时能够随着数据量的增大以及AI算法的迭代更新而持续提升性能。目前视频媒体行业都在向超高清视频阶段过渡，与高清、标清视频相比，超高清视频可以带来更加丰富的图像细节，更加生动的显示画面。超分辨率技术可以将具有庞大资源的标清、高清视频提升成超高清视频，为视频媒体带来新 的活力。此外，在直播等实时传输的业务中，超分辨率技术的加持也可以降低媒体制作端的成本压力。5G传输：5G所具有的大带宽、低延迟特性，可赋能媒 31 体制作、终端请求、云边服务、视频服务平台及CDN分发、手机终端等云超分服务中的各个环节。编解码技术：超高清视频更高的分辨率，对网络传输也带来更多的压力，在相同的压缩率下产生的服务成本也更高。相比于AVS/H.264等编码技术，AVS2/H.265可以在有限的带宽下传输更高质量的网络视频，新一代标准也同时支持4K和8K超高清视频。而最新一代压缩标准AV3/VVC/H.266也在不断完善与商业化中，这些视频压缩技术将进一步节约网络带宽，降低网络的传输压力。云边计算：用户终端设备的计算能力很难支持基于AI 的超分辨率技术，而云+边缘设备所拥有的强大计算能力可以将大部分的计算服务迁移到云端。云边计算平台不仅能够实现对来自媒体库的视频媒体的超高清分辨率提升，还能对视频的编解码进行优化，为用户提供更加流畅清晰的视频体验。调度与分发：结合低时延、高带宽的5G网络和敏捷高效及时的CDN服务，可及时响应视频显示终端的任务请求，选择合适的边缘节点进行视频超分，编解码优化等任务，并将处理后的高质量视频及时发送到用户端。3.2 AI 2D转3D：更精准的平面到立体视频转换 AI 2D转3D是指在二维(2D)影像的基础上，利用AI技术（人工智能技术），制作生成三维(3D)影像的过程。 32 3.2.1 AI 2D转3D显著降低内容制作成本传统的2D转3D制作，通常由人工来完成合成背景、修改特效、人物抠图等环节，并通过景深来重建各图像间的关系。这需要耗费大量人力，进行逐帧重建、修正、补图等，并极容易因个体认知差异而导致返工。而AI 2D转3D，则由于借鉴了AI技术，能够实现视频内容从2D格式到3D格式的自动、实时转换，从而大大节约了人工与时间成本。在相当长一段时间，受限于播放设备与用户体验，3D内容展示的主要场地是线下电影院。这也造成了存量3D内容相对匮乏的现状。而随着VR的兴起，其特有的双眼独立 显示机制，能够让3D格式的内容获得极佳的显示效果。3D内容再次迎来应用的机会。在这种情况下，能够通过自动转换快速生成3D内容的AI 2D转3D技术迎来了应用的舞台。借助AI 2D转3D，不仅可以将存量的海量2D内容转换为取之不尽用之不竭的3D片库，还能让用户得到现有直播节目的3D体验。3.2.2 5G为AI 2D转3D技术赋能目前，三大电信运营商的云VR平台均引入了通过AI 2D转3D技术生成的3D内容，成为5G网络下VR业务的重要场景之一。AI 2D转3D实现视频自动转换流程主要包含样 本训练与内容转换两个关键环节。 33 图20基于云的AI+2D转3D示意图样本训练：在对目标内容进行转换之前，需要让AI系统进行一定数量的样本训练。训练目的在于让AI系统建立不同场景2D画面与3D景深的对应关系。相较于通过图像处理算法实现的2D转3D方案，基于样本训练的AI技术能够处理更多不同的2D场景，具备更好的适应性。内容转换：当AI 2D转3D系统运行于云平台时，借助云的弹性资源分配机制与海量算力，能够实现对算力有较高需求的海量2D内容转换和实时2D内容转换。前者可用于2D片源库的整体性转换，后者则可应用于直播转换。 3.3 AI Vlog：自动生成专属视频Vlog意为视频博客，即Video Blog，通常是指一段个人创作的记录性或叙事性的日常生活相关视频。内容常为旅游、烹饪、吃饭、出门准备、逛街、购物、设备使用、生活趣事等生活场景。AI Vlog则是利用智能拍摄、5G回传，由AI剪辑、创作生成