2021年面向云边协同的视频质量评估场景及方案白皮书.pdf

面向云边协同的视频 质量评估场景及方案 白皮书 （ 2021 年） 中国移动研究院 中国移动浙江公司 中国移动江苏公司 前 言 中国 移动 研究院联合 浙江移动 、 江苏移动 开展面向云边协同的视 频质量评估研究工作，编制完成面向云边协同的视频质量评估场景 及方案白皮书。 本白皮书 对 视频质量评估技术的发展状况 、云边协 同下的视频评估的价值和相关产品进行了研究分析 ，提出了 云边协同 的视频质量评估的框架 ，讨论了 云边协同下各种视频质量评估场景和 方案 ，希望能够为 产业 在视频质量评估 相关技术 、 产品 和 解决方案等 方面提供参考和指引。 本白皮书的版权归中国移动研究院 、 中国移动浙江公司 和 中国移 动 江苏 公司 所有，未经授权，任何单位或个人不得复制或拷贝本建议 之部分或全部内容。 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 1 目 录 目 录 . 1 1.视频质量评估技术的发展情况 . 2 1.1 海量视频业务催生视频体验评估保 障需求 . 2 1.2 视频质量评估技术发展现状 . 2 2.云边协同下视频质量评估的内涵和价值 . 3 2.1 云边协同的内涵 . 4 2.2 云边协同的视频质量评估的价值 . 5 3.基于云边协同的视频质量评估框架 . 6 3.1 云边协同下的视频质量评估框架设计原则 . 6 3.2 云边协同下的视频质量评估架构 . 7 4.云边协同下各种视频质量评估场景及方案 . 10 4.1 视频监控场景质量评估 . 10 4.2 视频制作内容场景质量评估 . 12 4.3 实时视频通信场景质量评估 . 14 4.4 超高清视频场景质量评估 . 16 4.5 XR 视频场景质量评估 . 19 4.6 云游戏场景质量评估 . 22 5.展望 . 24 缩略语列表 . 26 参考文献 . 27 编写单位及作者 . 28 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 2 1.视频质量评估技术的发展情况 1.1 海量视频业务催生视频体验 评估保障需求 随着移动通信技术的发展 ，越来越 多的设备连接到网络上，预计 2025 年 全球物联网设备（包括蜂窝及非蜂窝） 联网数量将达到 252 亿个。同时，网络 带宽也得到极大提高，思科预测到 2023 年全球移动设备的平均带宽提高到 44Mbps， WiFi 带宽提高到 92Mbps，固 网带宽提高到 110Mbps。同时随着视频 编解码技术的不断发展 ,越来越多的设 备支持视频编解码和传输。思科预计， 到 2022 年，将近一半的设备都具备视 频编解码和传输功能。同时视频流业务 的需求正呈爆炸式增长，思科预测到 2022 年，视频流量将翻两番，视频将 占所有 IP 流量的 82。 在视频流业 务呈爆炸式增长的同 时 ,其性能评估的重要性日益突显。视 频业务质量的优劣不仅直接影响用户 的感受 ,而且成为业务吸引和保持用户 的重要因素。视频业务评估也可以帮助 运营团队快速精准地定位分析问题，提 前预判和发现系统存在的风险。同时视 频业务质量评估可以帮助运营团队根 据用户体验优化视频业务，更合理地传 输视频数据，提高系统效率。 随着 PC 互联网、移动互联网向万 物互联演进，对海量视频数据进行分析 和评估，是当前的视频质量评估面临的 挑战。视频图像，尤其是高清视频图像， 即使它被数字化并压缩后所含数据量 也是巨大，图像数据传输、存储和计 算 需要占用大量的资源，给视频质量评估 系统前后端的实时评估也带来巨大的 困难。 1.2 视频质量评估技术发展现状 图像的质量评估方法包括主观评 估方法和客观评估方法两大类，主观评 估方法根据用户本身对视频的主观体 验对业务进行质量评分，国际电信联盟 (ITU)已提出几种主观评估的标准，例 如 BT.500 和 P.910 标准等。虽然主观 评估的准确性较高，但是主观评估需要 多人较长时间的参与，成本大效率低， 人的主观性也导致结果会有一定的偏 差。客观评估方法则依靠计算机模拟人 类的视觉系统进行分析和建模。客观质 量评估根据算法对于参考图像的 依赖 程度，可以分为全参考方法、半参考方 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 3 法、无参考方法。全参考质量评估算法 需要用到无损图像和待评估图像的全 部信息进行对比，半参考质量评估算法 只需要用到无损图像的一部分信息，无 参考质量评估算法则不需要用到无损 图像的信息。 PEVQ 是 OPTICOM 推出的全参考型 视频 评估算法。通过对被测视频和参考 视频进行逐帧对比进行像素点级的分 析。新推出的 PEVQ-S 可用于固定网络 和移动网络中的体验质量评估、基准测 试和自适应视频流服务的优化。 PEVQ-S 嵌入了 ITU-T 的 J.247， J.341， J.343.5/.6， P.1203 等 国际标准 。 腾讯多媒体实验室设计了基于深 度学习的全参考视频质量评估算法 DVQA。结合业务需求，构建大规模主观 质量数据库，同时使用所收集的主观数 据来训练基于深度学习的客观质量评 估算法，最后把训练好的质量评估算法 部署到业务线中，闭环监控可能存在的 质量问题。 Netflix 开发了 VMAF 来实现人类 视觉建模与机器学习相结合的视频质 量评估。通过使用机器学习算法将源内 容特征、工件类型、扭曲程度、视觉信 息逼真度等基本度量进行“融合”，以 得到最终的度量标准。每个基本度量标 准会被赋予权重，最后根据保留的每个 度量标准的所有优点 ，提供一个评估得 分结果。 谷歌推出的基于融合的 BVQA 模型 （ VIDEVAL），是一种计算量低准确率 高的无参考视频质量评价方法，有效平 衡了性能和效率的权衡。 银行领域也已经广泛采用视频质 量评估系统，对视频的采集、传输、存 储过程进行全程监控预警，并对重点视 频进行备份。 海康威视通过对前端设备传回的 码流进行解码以及图像质量评估，对视 频图像中存在的质量问题进行智能分 析、判断和报警。 抖音则通过 MD5、关键帧抽取对比、 人工智能算法、投诉举报等方式对用户 视频内容质量、版权质量等方面进行检 测。 2.云边协同下视频质量评估的内涵和价值 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 4 2.1 云边协同的内涵 边缘计算是在靠近物或数据源头 的网络边缘侧，融合网络、计算、存储、 应用核心能力的分布式开放平台，其目 标是就近提供边缘智能服务，满足行业 数字化在敏捷联接、实时业务、数据优 化、应用智能、安全与隐私保护等方面 的关键需求。边缘计算产业联盟 ECC 给 出的边缘计算的五大关键要素，即联接 （ Connectivity ）、业务实时性 （ Real-time ） 、 数 据 优 化 （ Optimization）、应用智能（ Smart）、 安全与隐私保护（ Security），简称 CROSS。云边协同是边缘计算多数部署 和应用场景需要边缘侧与中心云的协 同。因为边缘计算不是单一的部件，也 不是单一的层次，而是涉及到 EC-IaaS、 EC-PaaS、 EC-SaaS 的端到端开放平台。 所以，边云协同的内涵也涉及 IaaS、 PaaS、 SaaS 三个层面的全面协同。在 此之下，基于三个层次，边云协同的场 景又被分为六大类： EC-IaaS 与云端 IaaS 应可实现对网络、虚拟化资源、 安全等的资源协同； EC-PaaS 与云端 PaaS 应可实现数据 协同、智能协同、 应用管理协同、业务管理协同； EC-SaaS 与云端 SaaS 应可实现服务协同。 边缘计算的 CROSS 价值推动计算 模型从集中式的云计算走向更加分布 式的边缘计算，边缘计算正在快速兴 起，未来几年将迎来爆炸式增长。 Gartner Top 10 Strategic Technology Trends for 2018: Cloud to the Edge认为到 2022 年，随着数 字业务的不断发展， 75%的企业生成数 据将会在传统的集中式数据中心或云 端之外的位置创建并得到处理。另一方 面，边缘计算与云计算各有所长 ， 云计 算擅长全局性、非实时、长周期的大数 据处理与分析，能够在长周期维护、业 务决策支撑等领域发挥优势；边缘计算 更适用局部性、实时、短周期数据的处 理与分析，能更好地支撑本地业务的实 时智能化决策与执行。 因此，边缘计算与云计算之间不是 替代关系，而是互补协同关系。边缘计 算与云计算需要通过紧密协同才能更 好的满足各种需求场景的匹配，从而放 大边缘计算和云计算的 应用价值。边缘 计算既靠近执行单元，更是云端所需高 价值数据的采集和初步处理单元，可以 更好地支撑云端应用；反之，云计算通 过大数据分析优化输出的业务规则或 模型可以下发到边缘侧，边缘计算基于 新的业务规则或模型运行。 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 5 2.2 云边协同的视频质量评估的 价值 传统的视频质量评估一般是基于 中心的或者基于端侧的 ,当时的质量评 估都是相对简单的视频分析，计算视频 业务评测对算力要求不高，因而对芯片 的要求也不高，同时实时性的要求也不 够强。业务的 评测 在端侧或者在中心侧 都可以完成。但随着大数据时代的到来 和 AI 算法的井喷式发展，视频评估技 术也得到了极大丰富，使用深度学习等 技术进行质量评估和人物、场景识别这 一类较复杂的视频分析技术在前端设 备的应用需要更高的计算能力，使得边 缘计算在视频评估应用系统的前端智 能化实现有很好的应用前景。对于分析 整个视频业务的质量，评估整个视频业 务的体验来说 ，云平台收集边缘和端侧 的视频业务质量信息，进行全局性、非 实时、长周期的大数据处理与分析，能 够为视频业务运维和决策支撑等方面 发挥更大的优势。 图 1.云边协同下视频质量评估 如传统的视频分析技术通过提取 水平和竖直边缘的梯度信息来计算结 构相似性，从而获取当前视频的清晰度 信息，来评估当前视频的模糊特征，这 种情况下端侧往往就具备相应的计算 能力进行视频模糊度的分析。但随着视 频技术的发展，使用深度学习多层神经 网络来分析当前视频的模糊度比传统 方法有着更高的主观相关性，能更准确 地评估对应的视频质量，由于端侧往往 不具备相关的处理能力，则放在边缘侧 能更高效地进行视频质量分析。同时把 视频质量分析结果传输到云端，云端汇 总各个边缘节点相关的视频质量信息 后，从时间和空间维度统计分析视频业 务运维质量，能够 为视频业务质量提升 提供参考 。 当边缘和云协同工作起来时，边缘 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 6 的视频质量分析解决了视频处理的大 带宽、高算力、低延迟、隐私要求，边 缘节点能以更高的性能、更大的带宽、 更灵活的使用方式为视频质量评估提 供更稳定可靠的服务，同时边缘计算也 缓解云平台负载、延迟、容错、存储等 方面的困难。 边缘信息参数收集到云平台上后， 云端对视频质量处理后的数据进行进 一步的分析和整理，基于更复杂算法下 的分析挖掘实现更快效率、更低成本、 更高准确率的质量评估。同时云平台也 需要对边缘资源进行统一配置、管理、 调度，融合边缘计算敏捷性和云端大数 据计算 全局性的优势。面向云边协同的 视频质量评估有了更广阔的应用场景 和更高效的质量分析能力。 华为构建音视频质量监控平台，通 过采集数据，用大数据的方法解决视频 卡顿、实时音视频通话延迟等影响用户 体验的问题。其主要有三点规划：一是 持续基于端、边、云数据协同来驱动 QoE、 QoS 优化；二是构建音视频内容 质量的智能评估体系；三是建立第三代 XR 音视频体验质量规范，如沉浸感等。 海康威视针对物联网应用提出 AI Cloud 计算架构，其由边缘节点、边缘 域和云中心构成。 AI Cloud 中融合了 视频质量诊断功能，此功能基于人工智 能和数据 智能监控的技术，边缘节点和 边缘域位于智能物联网中以充分利用 边缘计算能力；云中心位于智能物联网 或信息网中，形成跨云端计算能力。基 于云边协同使得视频质量诊断功能效 率和准确度都大幅提升且成本更低。 然而受限于隐私保护，边缘侧持续 产生的数据无法直接传送至云侧进行 模型训练，进而影响模型精度提升，对 基于云边协同的视频质量评估平台提 出了挑战 。 3.基于云边协同的视频质量评估框架 3.1 云边协同下的视频质量评 估 框架设计原则 为解决数据隐私和视频质量评测 模型优化之间的矛盾，提出云边协同的 视频质量评估框架，引入增量学习 、 联 邦学习的模型优化方式，以满足不同场 景的视频质量评估需求。 1）云边协同，边端提供视频评测 所需的计算、存储、网络等基础资源， 云端则负责边缘侧的资源管理；边端提 供模块化、微服务化的视频质量评估应 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 7 用，进行评测预判，云端则按需向边缘 侧推送视频质量评估模型，进行业务编 排；边端进行局部性、实时性的视频质 量评测并将结果上报云端，云端支撑全 局性、长周期的业务分析处理与决策， 以实现云边协同推理 。边端根据云端策 略配置利用本地数据进行增量学习模 型训练并将训练结果上报，云端则通过 联邦学习方法对模型参数进行聚合，以 完成模型的联合训练，在保证数据隐私 的前提下，提供精度更高，场景更丰富 的评估模型。 2）评估方式多样性，包含多种全 参考质量评估和无参考质量评估方式， 全参考质量评估方式包括 PSNR， SSIM， VMAF 等，无参考评估方式包括对待评 估视频进行画面质量分析的内容评估 方式和结合待评估视频及网络参数进 行打分的业务质量评估方式。 3）模块独立化，各个功能模块相 互独立，便于系统集成和扩展。可以根 据云、边资源智能 部署各类质检能力。 4）性能无关性，对现有视频系统 性能无影响，对用户无感知。 5）结果可视化，对质量评估结果 进行分析和可视化，并根据用户需求对 评估结果进行聚类分析，得出系统化结 论。 3.2 云边协同下的视频质量评 估 架构 如图 2 所示，面向云边协同的视频 质量评估系统分为四部分，其中基础服 务层提供各类云边资源支持，包括消息 中间件、深度学习网络运行环境、大数 据、云存储等；质检算法层提供各类视 频业务质量评估算法能力和数据分析 及问题定位能力，是质量评估系统的核 心；云边协同管理在基础服务层和质量 评估算法层基础之上，提供云边资源、 业务、应用的协同管理；应用层对用户 提供质量评估云边协同管理用户操作 页面和质量评估结果展示及分析报表 服务。 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 8 图 2.面向云边协同的视频质量评估平台框架图 1）基础服务层 基础服务层以虚拟化操作系统，服 务器管理软件，特种容器等方式交付， 提供诸如系统安全维护、第三方软件版 本升级、数据备份及恢复，存储备份、 消息中间件，人工智能相关框架更新维 护，网络参数收集等服务。 2）质量评估算法层 质量评估算法层是质量评估系统 的核心层，分为视频业务评估、视频内 容评估、业务支撑三大部分，为互联网 中的各类视频应用提供质量评估能力， 因为不同应用对视频 QoE 要求不尽相 同，各个算法模块以不同的接口对外提 供服务。 a)视频业务质量评估：视频业务评 估相关算法模块使用预训练的模型根 据用户侧、设备侧、网络层收集的数据 对视频业务质量进行无参考质量评估。 b)视频内容质量评估：根据用户配 置使用视频内容质量评估算法对视频 流或者视频文件进行内容分析。 c)业务支撑：包含数据分析、问题 定位、模型优化三部分。数据分析模块 对业务数据 和运营数据进行聚类分析， 为应用层的质量评估结果展示模块提 供数据支撑，如通过对不同服务提供商 的同种业务的分析，得出提供商维度的 业务数据分析，通过对同一地址不同业 务的分析，得出基于地域的业务运行数 据，通过对同一时刻同类业务的分析， 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 9 得出该类业务的服务性能分析；问题定 位模块根据数据分析结果针对单视频 业务质量退化原因进行跟踪定位，辅助 用户解决问题 ； 模型优化模块在云边使 用增量学习和联邦学习对模型进行优 化 。 3）云边协同管理层 云边资源管理层是云、边协同的关 键层，对云边软硬件和存储资源、应用 部署及启动、质量评估业务编排进 行管 理。 a)云边资源管理：包括对云边服务 器能够提供的计算、存储等基础设施的 管理。计算资源管理指的是为云边不同 服务器提供不同种类的应用类型服务 器的功能，具体来说就是启动阶段根据 云边服务器的 CPU、内存、 GPU 等性能 指标选择启动相应的质量评估算法模 块。存储资源管理指的是根据边端存储 情况设置边端存储备份及删除策略，在 边端存储不足时，将一部分数据存到云 中心，从而节省边缘侧的存储资源。 b)云边应用管理：边缘节点提供质 量评估相关算法模块部署、运行环境和 增量学习训练环境；云端除提供模型训 练、模型部署和运行环境外，还实 现对 云、边节点应用的生命周期管理，包括 新版本算法推送、安装、卸载、更新、 监控、日志获取以及边端增量学习策略 配置等。 c)云边业务管理：边节点提供质量 评估相关功能；云端除提供质量评估相 关功能外，还提供质量评估相关业务的 统一业务编排能力，根据云、边资源占 用和应用部署情况，按需为客户提供质 量评估能力。特别地，当边缘侧的资源 紧张时，中心云可以根据策略将正在边 端进行的质检任务切换至云端。 4）应用层 应用层提供用户操作页面，具备资 源管理、应用管理、业务管理、评估结 果展示和统计报表等功能。 a)资源管理页面：提供云边资源占 用统计功能，包括 CPU、内存、 GPU、 存储资源、质量评估算法部署、启动及 运行情况。 b)应用管理页面：提供质量评估应 用生命周期管理相关配置功能。 c)业务管理页面：提供评估任务触 发、任务统计、策略配置等功能。 d)质量评估结果展示页面：提供质 量评估可视化结果，提供单任务结果查 看、评估结果汇总、结果筛选、视频质 量退化问题定位等功能，并根据用户定 制生成各类统计报表等 。 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 10 4.云边协同下各种视频质量评估场景及方案 4.1 视频监控场景质量评估 4.1.1 视频监控的应用场景 传统视频监控行业的主要客户为 政府公安部门、交通部门以及金融、能 源等大企业。随着互联网技术和视频技 术的发展，以及人们生活水平的不断提 高，安全需求逐渐成为大家关注的一个 焦点问题。视频监控行业应用场景也逐 渐丰富，越来越多地应用于中小企业以 及家庭安防。此外，随着 AI 技术逐步 渗透到视频前后端设备中，视频监控呈 现在用户面前的不再单纯是大量视频 数据，而是可以实现人脸识别、追踪、 入侵报警、交通管理等智能监控功能， 并将 AI 分析结果反馈给用户。如今， 视频监控应用场景广泛覆盖家庭、行 业、政府领域，为人们日常生活提供安 全保障的同时 ，也使人们的生活、工作 更加便捷。 1）智慧家庭 家居监控常用设备为智能摄像头， 用于实时监控家庭情况，用户可随时随 地通过手机客户端查看家庭监控画面。 此外，智慧家庭下的视频监控还具有人 体移动侦测报警、红外夜视、高清回放 等功能。可以及时将监测到的异常情况 发送给用户，达到保护家人及财产安全 的目的。 2）智慧园区 在工厂园区场所，安防摄像机主要 部署在出入口、周界以及生产设备周 边，用于出入人员、车辆监控管理及异 常情况监测。利用人脸识别、车辆识别 等功能可以实现智能门禁管理系统，对 出入园区的人员情况进行实时监控管 理。通过智 慧园区视频监控，管理人员 可远程实时监控园区设备运行状态，员 工是否佩戴安全帽等。设备异常或员工 违规情况可及时通知管理人员进行处 理，在建筑工地、电力、煤矿、化工等 高危企业可有效预防安全事故。 3）智慧城市 通过将大数据技术与视频监控结 合，把孤立的视频监控内容转变成为可 视化结果呈现，为视频监控业务创造了 更加智能高效的使用方式，减少人工管 理运维成本，提高决策效率及准确率。 智慧城市视频监控可以实时汇总并分 析各种公共安全数据和资料，利用人脸 识别比对、车辆追踪、异常行为检测等 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 11 技术实现嫌疑人、车辆位置追踪及公共 安全事件告警 ，为执法人员快速准确应 对提供依据。 4.1.2 视频监控质量的影响因素 无论是传统视频监控的人工审查， 还是智能视频监控的 AI 检测，都是需 要基于合格的视频监控质量开展的。实 时监控和回放的画面不清晰、断流、遮 挡等现象，会导致对识别、取证及事件 分析造成困难。常见的影响视频监控质 量的因素主要分为两大类： 1）摄像头相关因素 在摄像头侧影响视频监控质量的 主要因素可以划分为两种。一种是摄像 头本身的配置会影响监控画面的拍摄 质量，如分辨率、传感器灵敏度、背光 补偿等会影响画面清晰度、亮度、色彩 和动态范围。另一种是摄像头拍摄视角 变化影响有效监控信息的获取，如摄像 头被线缆、树叶、塑料袋等物体遮挡， 或人为恶意改变摄像头朝向使拍摄角 度偏离目标区域。 2）网络传输相关因素 摄像头完成视频数据采集后，通过 编解码及网络传输将数据发送给监控 平台。传输过程中受丢包、抖动、带宽 限制和 RTT 等网络因素的影响，监控平 台接收的视频画面可能出现花屏、条 纹、卡顿、黑屏等故障，严重时会导致 画面严重扭曲或淹没原始监控画面。 4.1.3 基于云边协同的视频监控质量 评估方案 传统视频监控需要运维人员对监 控直播或回看进行人为审查，确保视频 监控系统运行正常，无法实现不间断 的 实时监测。视频监控质量评估方案则可 以实现 7x24 小时全天候不间断的视频 监控质量监测，为运维人员提供质量预 警和决策依据，使运维人员可以及时对 视频监控故障问题进行处理，大幅度减 少人工疲劳等原因造成的审查疏漏，或 运维不及时造成的重要信息遗漏。同时 为智能视频监控系统的人脸识别、入侵 报警等功能提供监控画面质量保障，提 高智能识别、追踪的准确率。 采用集中处理 +分布采集和控制的 模式，实现视频监控质量评估方案的云 边协同。监控摄像头将所采集的视频数 据传输到边缘云。边缘侧提供视频监控 质量评估所需的计算、存储、网络等基 础资源， 云端则负责边缘侧的设备管理 及网络连接管理；边缘侧提供模块化、 微服务化的视频监控质量评估应用，进 行评测预判，云端则按需对该应用进行 业务编排，灵活配置质量评估模型，利 用增量学习、联邦学习等更新训练模 型，适应不同的定制化需求；边缘侧进 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 12 行局部性、实时性的视频监控质量评估 并将结果上报云端，云端支撑全局性、 长周期的业务分析处理与决策。 视频监控质量评估可大大减小人 工运维的成本，提高运维效率与水平， 尤其是对监控点分散或危险场地等场 景。相比较集中化平台中大量数据传输 到同一平台的网络及算力负担，云边协 同视频监控质量评估方案通 过在更靠 近端侧的边缘云进行质量评估，大大减 小了云端的算力负担及网络核心节点 的传输负担，提供更高的网络安全和更 好的隐私保护。对视频监控故障问题可 以实现及时准确的告警并支撑运维人 员决策。 图 3.基于云边协同的视频监控质量评估方案框架 4.2 视频制作内容场景质量评估 4.2.1 视频制作内容的应用场景 随着移动互联网的发展，视频成为 信息消费越来越重要的形式，其中用户 贡献内容（ UGC）占据了很大比例。不 论直播、点播还是短视频， UGC 内容在 用户上传后都会经过一系列的视频制 作内容分析和审核流程，对版权违规、 涉黄涉暴、恶意推广等内容进行过滤， 并自动生成视频内容标签，推广优质原 创视频等。 1）智能审核 随着移动互联网时代视频量暴增， 其中不乏一些低质量的 UGC 内容，比如 将网上下载视频经过批量地二次加工 后再上传。利用视频 AI 技术进行智能 审核，通过去重、版权违规和涉黄涉暴 检测等功能过滤掉一部分视频内容。同 时对整个视频上传 处理流程来说，转码 和存储数据量将大大降低，用户体验也 相应提升。 2）智能推荐 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 13 视频内容分析和用户标签挖掘共 同构成智能推荐系统的基石。基于对视 频内容的综合分析，快速为 UGC 内容生 成热门标签及内容分类标签，以及基于 人脸识别技术和公众人物库，对视频内 容中出现的公众人物进行智能识别，有 效解决视频因缺乏标签导致的无法露 出的问题，提升用户搜索体验。视频内 容分析与用户标签相结合，实现个性化 推荐，提高用户推荐视频的曝光量。 3）智能生成 利用视频内容分析和视频智能产 生系统，利用视频库已有资源自动识别 并剪辑生成新的视频内容。 例如在世界 杯比赛结束后利用赛场视频快速生成 明星集锦视频，或基于电视连续剧点播 内容自动生成各位演员的片段集锦视 频。 4.2.2 视频制作内容质量的影响因素 因每个 UGC 用户的视频制作水平 不同， UGC内容的视频质量也参差不齐， 视频网站运营商不仅要对视频制作内 容进行审核，对用户制作并上传的视频 内容质量进行评估也非常重要。准确识 别视频质量有助于提升用户体验，进一 步促进高质量视频的露出。 1）视频封面图质量 视频封面图质量代表了用户对视 频的第一印象，影响用户播放对应视频 内容的积极度和体验感。常见的视频封 面图低质问题可归 纳为以下几种：模 糊、黑边、拉伸变形、画面暗、无主体、 无意义等。 2）视频内容质量 视频内容质量对平台用户体验的 影响至关重要，常见的视频内容质量低 质问题包括视频无意义、无聊、不清晰、 花屏、广告、低俗等。其中不清晰、花 屏等客观存在的问题通常与视频内容 上传时的比特率、帧速率、分辨率、编 解码、亮度、对比度等因素相关。 4.2.3 基于云边协同的视频制作内容 质量评估方案 批量化地准确识别视频质量有助 于过滤参差不齐的 UGC 内容，减少人工 审核的压力。基于云边协同实现的视频 制作内容质量评估方案可使用户快速 获得视频审核结果反馈，为平台提供视 频制作内容质量保障，助力智能审核、 智能推荐、智能生成等功能的性能提 升 。视频制作内容评估多采用深度学习 方法，直接在云端预测分析可以拥有更 好的预测精度，而直接在边缘侧预测可 以有更小的时延和更大的吞吐量。基于 云边协同的视频制作内容质量评估方 案利用云边协同推理，高精度识别模型 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 14 和高速识别模型在云端训练结束后，分 别在云端和边缘侧进行部署和下发。 在更靠近数据源的边缘侧对较简 单的视频样本进行高速预测分析，保证 低时延和高吞吐量，快速提示用户是否 需要上传质量优化的视频；而较复杂的 视频样本在边缘侧的预测置信度未满 足要求时，则将视频发送给云端进行更 高精度的预测分析。使得用户快速得到 反馈的同时，整 体质量评估精度得到提 升，从源头保证视频制作内容质量。此 外，在边缘侧进行视频制作内容质量评 估可初步快速过滤低质视频，并根据预 先制定的平台策略对视频拦截或限流， 很大程度地减轻网络核心节点的传输 负担，减少视频平台存储和传输成本。 图 4.基于云边协同的视频制作内容质量评估方案框架 4.3 实时视频通信场景质量评估 4.3.1 实时视频通信的应用场景 实时视频通话指两方或多方，通过 通信设备和网络进行面对面的交流，与 视频直播、视频点播等其他形式最大的 区别在于其实时交互性。具有代表性的 实时视频通信业务主要有视频通话、视 频会议。随着视频技术和移动互联网的 发展，实时视频通话在互动娱乐、在线 教育、音视频社交等场景下得到了广泛 应用，打破地域限制，为人们的工作、 学习、生活提供了很大的便利。通过质 量评估可以监测实时视频通信业务的 运行状态，对故障问题采取定位、运维 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 15 措施，保障实时视频通信业务稳定运 行，为用户提供更优质的使用体验。 1）在线教育 在教育领域，双千兆大带宽能力与 实时视频通信相结合能为在线教育提 供更好的互动创作条件，支持场景化 “一对一”、“一对多”互动教学、小 班课、万人大班课、双师课堂等教学模 式，让学生们仿佛身处同一教室上课， 解决目前在线教育普遍存在的缺乏同 伴交流、师生交流答疑的问题。 2）远程协作办公 利用视频会议技术可有效解决传 统会议地域、时间限制等问题。会议小 组可具备自己的虚拟内部讨论会议室， 进行实时视频讨论、屏幕共享等操作， 各会议间互不干扰。 3）远程医疗 受新冠疫情影响，线下医疗资源压 力陡增，在线问诊、远程医疗可以有效 缓解线下医院诊疗压力。疫情爆发至 今，大量移动医疗平台都上线或者扩大 了远程医疗的活动。支持分享诊疗中的 CT、 B 超等影像资料，实时视频通话功 能，满足医生远程看诊、远程学术交流 的需求。 4.3.2 实时视频通信质量的影响因素 在视频通话、视频会议一类的实时 音视频通信系统中，发送端在采集原视 频后进入预处理环节，比如背景虚化、 AR 增强等，之后视频流经过编码、网 络传输、解码，接收端将接收数据进行 后处理后获得接收视频。在实时视频通 信数据传输过程中，影响质量的因 素主 要分为音视频流相关、网络传输相关和 播放终端相关三大类。 1）音视频流相关因素 音视频流相关因素对发送端采集 的原始视频质量产生影响。影响实时视 频通信质量的主要视频流相关参数有 视频编解码格式、分辨率、视频码率、 帧率、视频码率类型等。影响实时视频 通信质量的主要音频流相关参数有音 频编解码格式、音频码率、码率类型、 声道等。 2）网络传输相关因素 网络传输相关因素对发送端与接 收端之间的数据传输质量产生影响。影 响实时视频通信质量的网络传输相关 参数有丢包率、丢包模式、抖动、带宽、 RTT 等。对用户体验的直观影响体现为 视频 时延、音频时延、音视频不同步、 视频卡顿、视频马赛克、音频卡顿等。 3）播放终端相关因素 播放终端相关因素会对接收端音 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 16 视频数据展示产生一定的影响。影响实 时视频通信质量的播放终端相关参数 主要有终端类型（如手机 /电脑 /电视）， 显示屏尺寸，显示屏分辨率等。 4.3.3 基于云边协同的实时视频通信 质量评估方案 针对实时视频通信用户可能处于 不同地理位置的特性，采用云边协同方 式对业务质量进行评估。利用边缘侧靠 近数据源的优势，在边缘侧利用单用户 质量评估模型对采集数据进行初步预 测分析，获取单个用户的实时视频通信 质量评估结果，并 将单用户质量评估结 果上报云端。云端则利用多用户质量评 估模型，对同一场视频通信中的各用户 业务质量进行预测分析，从而获得一场 实时视频通信的整体质量评估结果。 图 5.基于云边协同的实时视频通信质量评估方案框架 相较于集中式的实时视频通信质 量评估，视频相关数据传输至边缘侧开 展单用户质量评估，减轻了网络核心节 点传输压力，也为用户提供了更好的数 据保密性。边缘侧将单用户质量评估结 果上报云端进行整体质量评估分析，便 于监控实时视频通话业务整体运行状 况并支撑业务决策及运维，保障实时视 频通信的沟通效率，提升用户体验。 4.4 超高清视频场景质量评估 随着媒介数字化技术的发展和人 民的消费升级 ,信息的获取渠道不断增 多 ,其中视频需求量大大提升。常见的 视频分辨率包括 720P、 1080P、 2K、 4K、 8K，甚至 12K、 16K 等。超高清的定义 一般包括 4K、 8K 等以上的分辨率标准， 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 17 它能够提供更丰富的信息承载量，更精 良的画质，更优的视觉体验和更丰富的 视频内容，成为业内关注焦点。 4.4.1 超高清视频的应用场景 随着 5G 网络的逐步普及，为超高 清视频走入用户扫除了带宽的障碍，同 时催生了更多的超高清视频应用场景。 除了传统的广播电视节目外，超高清视 频还可以在文教娱乐、安防监控 、医疗 健康、智能交通、工业制造等行业领域 得到广泛应用，能够极大提高信息服务 精准化水平，全面提升人民生活品质。 1）广播电视领域 超高清视频能够提供画质观看体 验以及更丰富的视频内容，在广播电视 领域超高清化已经成为必然趋势。例如 中央电视总台已上线 4K 超高清频道； 地方卫视如江苏卫视、四川广电等也逐 步上线了网络 4K 超高清专区；国内三 大运营商也专注 4K IPTV业务，在广东、 江苏等示范性省份启动宽带升级，助力 4K 电视网络产业发展。提供高质量的 视频服务是广播电视的核心 ,对视频质 量进行合理准确的评价是重中之重。 2）文教 娱乐领域 超高清视频能在影视、体育、艺术 等场景提供更真实的体验。例如爱奇 艺、腾讯、优酷、咪咕等网络视频服务 商已提供 4K 内容点播服务； 2019 年中 华人民共和国成立 70 周年大庆等重大 活动赛事也实现了 4K 超高清的直播； 中央电视台近年来开始提供春节联欢 晚会的 4K 超高清点播服务；为保证用 户在观看超高清视频时的体验度，对视 频质量的实时监测评估显得至关重要。 4.4.2 超高清视频质量的影响因素 超高清视频体验可从服务层面、环 境层面及用户层面三个方面出发。其 中，服务层面的影响因素主要包括应用 层、传输层和服务层参数；环境层面 的 影响因素包括自然环境（如光照条件、 噪声条件、环境的固定和移动），社会 与人文环境（如社会观念、文化规范） 以及服务运行环境（包括软硬件环境 等）；而用户层面的因素包括用户的期 望、体验经历、身心状态和自身背景（如 年龄、性别、受教育程度等）。由于用 户层面因素和环境层面因素变化多样， 具有很强的主观性和不确定性，难以量 化计算，因此，对某一视频业务整体的 用户体验评估主要针对服务层面进行 评估。 服务层面影响因素可分为应用层、 传输层和服务层。 1）应用层：应用层主要影响因素 为视频源的质量，包括音视频的信源质 中国移动研究院 面向云边协同的视频质量评估场景及方案白皮书 （ 2021） 18 量和编码质量等，例 如视频清晰度、流 畅度等。 2）传输层：传输层反映视频的网 络传输状况，包括丢包、抖动和延时等， 将直接影响用户的视频观看体验质量， 包括是否有出现视频图像不连续，是否 出现花屏、马赛克、卡顿等质量劣化的 情况。 3）服务层：服务层主要为用户使 用过程中业务操作的便捷性和效率，即 视频的交互体验质量，包括初始加载、 快进快退等，交互过程中的反应时长及 业务操作的成功率等指标。 图 6.超高清视频用户体验影响因素 4.4.3 基于云边协同的超高清视频评 测方案 超高清视频评测往往基于中心的 或者基于端侧的，这是由于传统的计算 视频业务评测对算力要求不高，同时实 时性的要求也不够强。随着机器学习等 智能评测技术的发展，对算力提出了较 高的要求，同时加上超高清视频流往往 具有十分丰富的信息量，便需要引入边 缘计算进行前端智能化，提高可扩展 性，使超高清视频评测更加敏捷。 1）边缘侧通过超高清视频直播 / 点播过程中直接拉取视频流，利用边缘 端部署的超高清视频质量评估模型对 视频质量进行实时评价。 2）边缘端处理得到 的评估结果送 至云服务平台，从而指导业务调度和网 络优化。当发现视频质量判断结果为良 好以下时将上报云端进行告警处理，必 要时云端可进行再次核验；当边缘侧判 断质量一直较好时，将定期向云端上传 数据，在云端进行存储。 中国移动研究院 面向云边协同的视