2020年视频边缘计算白皮书.pdf

视频边缘计算 白皮书 （ 2020年） 中国移动研究院 前 言 本白皮书 对 视频边缘计算 的 发展背景 、 产业环节 、 相关 产品 进行 了详细研究 分析 ，提出 了 中国移动 视频边缘计算 能力框架 愿景 ， 希望 能够为 产业 在 视频边缘计算 相关技术 、 产品 和 解决方案等方面 提供参 考和指引。 本白皮书的版权归 中国移动研究院 所有，未经授权，任何单位或 个人不得复制或拷贝本建议之部分或全部内容。 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 1 目 录 目 录 . 1 1.视频边缘计算发展背景 . 2 1.1边缘计算重塑运营商网络价值 . 2 1.2边缘计算场景丰富，设备数量巨大 . 2 1.3视频是边缘计算主要负载 . 3 2.视频边缘计算产业环节 . 4 3.视频边缘计算产品 . 4 3.1专用芯片 . 4 3.2专用硬件设备 . 5 3.3软件产品 . 6 3.4边缘计算平台 . 6 3.5现存问题 . 7 4.视频边缘计算能力框架 . 8 4.1视频边缘计算能力功能需求 . 8 4.2视频边缘计算能力框架愿景 . 9 4.3视频边缘计算能力框架价值 . 9 5.展望 . 10 缩略语列表 . 12 参考文献 . 13 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 2 1.视频边缘计算发展背景 边缘计算 产业 联盟 对 边缘计算 定义 是， 在靠近物或数据源头的网络 边缘侧，融合网络、计算、存储、应 用核心能力的分布式开放平台，就近 提供边缘智能服务。由此，部分计算 压力可以不必再传递至数据中心，而 被分担于网络边缘，部分隐私数据也 可存储于本地、分析处理 于本地。 边 缘计算 产业 联盟 同时定义了 对于边 缘计算的参考架构，包含了设备、网 络、数据与应用四域，平台提供者主 要提供在网络互联（包括总线）、计 算能力、数据存储与应用方面的软硬 件基础设施。 相比于集中部署的云计算服务， 边缘计算解决了时延过长、汇聚流量 大等问题，为实时性和带宽要求较高 的业务提供更好的支持。随着 5G 和 工业互联网的快速发展，新兴业务对 边缘计算的需求十分迫切。 1.1 边缘计算 重塑运营商网络 价值 边缘计算的目标是在靠近数据 输入或用户的地方提供计算、存储和 网络带宽 。 而且 边缘计算是云计算之 后的下一个竞争高地 ，根 据多家机构 的预测边缘计算将成为 新的潜在千 亿级规模市场 。 在端侧，算力受限于功耗、成本、 空间和环境等约束，造成高成本，低 算力，高功耗，而云端网络时延大， 不可控，实时性不满足，长距离大带 宽传输成本过高，造成延时大，带宽 需求大。 而边侧则将网络连接能力下 沉到边缘，才能实现算力在端云之间 流动，兼具端云优势。 1.2边缘计算场景丰富，设备数 量巨大 边缘计算有网络侧和现场级 两 种主要形态 。 相对于传统云计算，网 络侧边缘计算以服务器形态为主，部 署在网络位置较低的机房中。而现场 级边缘计算 的多元异构嵌入式设备、 PC、小微服务等形 态部署在用户现 场。 在设备数量上， 现场级 边缘计算 设备 是边缘计算 的 重要市场 ，现场级 边缘计算接入数量数以亿计。 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 3 1.3视频是边缘计算主要负载 边缘计算近年快速发展，边缘计 算的主要应用集中在视频领域。 边缘 计算的核心优势“传输低延时、大带 宽，计算高性能”天然满足泛视频应 用处理需要。 不论是在视频监控、智 慧城市、工业互联网，还是生活娱乐， 行业应用等领域，视频 均 作为边缘计 算的主要负载。 在视频监控领域，应用 场景 主要 有人脸识别、车辆识别、视频结构化 等 。人脸识别和车辆识别需要在 卡口 等位置进行车牌图像处理 和 车辆认 证 。而视频结 构化则 通过 对视频智能 分析，获取描述信息 。 在智慧城市领域，应用 场景 主要 有智慧灯杆，智慧园区和智慧楼宇 等 。智慧灯杆通过 灯杆增加摄像头等 传感器，收集、分析获取到的图像视 频等数据 。智慧园区和智慧楼宇 则 通 过 增加摄像头等数据采集设备，实现 视频采集、监控及智能处理 。 在工业互联网领域，应用场景主 要有工业质检、工业协同控制、园区 物流等。工业质检通过产品视频数据 采集，进行 缺陷检测 。 工业协同控制 通过工业机器视觉网关 /边缘云实现 多机器协同控制 。 园区物流 可以 通过 无人车实现物料运送和工业园区人 员运送。 在生活娱乐领域，应用场景主要 有高清视频、智慧家庭安防、云游戏、 vCDN等。 对于超高清视频领域， 需要 通过 边缘计算 对 视频传输业务 进行 优化。 智慧家庭安防 则 构建了一种基 于边缘计算的视频图像预处理技术， 通过对视频图像进行预处理，去除图 像冗余信息，使得部分或全部视频分 析迁移到边缘处，由此提高视频分析 的速度 。云游戏通过 AR/VR云端渲染 提高性能，降低终端成本 。 vCDN是 一 种虚拟化 高清视频等内容源的 CDN网 络 ，可以通过边缘数据中心进行灵活 部署。 在行业应用中，应用场景包括智 慧校园，智慧企业，智慧政务等。通 过视频边缘计算实现 智慧教育、课堂 直播、智慧考场 ， 本地智慧考勤、企 业内部视频采集及处理 ， 以及 医院、 图书馆等公共部门视频采集及业务 处理 。 如何构建一套 统一 的视频边缘 计算 能力框架 ， 模块化的 应用于 视频 边缘计算 各个场景， 并 解决上述场景 中 出现的各类问题，是业界讨论 的一 个话题。 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 4 2.视频边缘 计算 产业 环节 视频边缘计算已经发展为一个 庞大的产业， 许多研究机构和研究报 告从网络、服务层级等角度对边缘计 算进行分层和梳理，本报告 从 产业 参 与者的视角 将视频边缘计算产业 环 节 分为 视频采集、边缘设备、平台， 算法 五 个环节 ，其中边缘设备包括芯 片、硬件和软件三部分 。 芯片 是指用于处理复杂计 算的 微处理器， 包括 CPU、 VPU、 MPU、 GPU 等 。硬件主要是指 边缘 AI 盒子 及通 用服务器 。软件运行在硬件设备上， 完成编解码、渲染等视频处理以及 AI 推理 ， 平台 负责 对视频边缘设备进行 管理 ，平台 上层包括算法以及应用 等 。 图 1 视频边缘计算产业环节 3.视频边缘计算 产品 3.1专用 芯片 专用 芯片 一般泛指所有用来加 速 AI 应用，特别是基于神经网络的 视频 深度学习应用的硬件。从云到边 到端的各种场景都需要 AI运算能力， 因此也都需要 AI 加速。但是在不同 的场景下，对 AI 加速的需求又有很 大差别。随着边缘计算的快速发展， 各大 互联网巨头、传统 IC 制造商、 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 5 Startup、 IP 供应商均开展 专用 芯片 研发 。 边缘侧 专用 芯片以推理为主，同 时有训练需求 。 边缘侧 专用 芯片多采 用“通用处理器 +AI加速单元 +视频处 理单元”的架构，但各厂商芯片的架 构和实现不同 。 典型边缘 专用 芯片 包 括 ： Intel推出的 VPU芯片 Myriad X， 计算性能约 1TOPs，支持 MIPI视频接 入，支持视频编码，功耗 1W。 瑞芯微 推出的多核 ARM芯片 RK3399pro，具 有片上 NPU，性能约 2-3TOPs，支持 图形处理，具有视频解码器和编码 器 。 华为主推的专用 芯片（基于 ARM 核） 晟腾 310AI处理器 ，八位整数精 度（ INT8）下的性能约 16TOPS，支持 高清视频解码，功耗 8W。 国内厂商如 寒武纪、地平线、 比特大陆、 依图 、 云天励飞、鲲云、燧原 等 ，国外厂商 如 Google、 Nvidia、 AMD、 XILINX等 公司 也都推出了专用芯片。 3.2专用 硬件设备 专用 硬件设备 包括 边缘 AI 盒子 和通用服务器 ， 是边缘计算的主要设 备形态 ，主要面向视频处理， 承载视 频 AI 算法，适配视频监控、智慧园 区、视觉理解、新零售等应用场景 。 目前主流 专用硬件设备 包括： 百度自研硬件（ EdgeBoard） EM-BOX视频分 析边缘计算盒 ， 其中 预 置安全帽 /烟火 /电子围栏技能，采用 SOC芯片，性能约 2.4 TOPS，可支持 4-8路摄像头 。 腾讯基于 Intel、 Nvidia解决方 案 的优图盒子，推出不同配置 边缘 AI 盒子，实现人脸识别等 AI 算法，应 用在新零售等场景中 。 阿里云物联网边缘视频智能一 体机 AI-Box，具备连接前端各类摄像 头，适配各种视频协议、在本地做视 频 AI 分析计算、运维管理等功能， 支持 128-256路视频，同时运行 8-40 个任务 。 Nvidia 为边缘应用发布高性能 解决方案 JETSON AGX XAVIER，适应 视觉测距、传感器融合、定位与地图 绘制、障碍物检测场景，计算性能约 32TOPS。 比特大陆基于自研芯片 BM1684 的边缘计算产品 SE5计算盒 ，性能约 17TOPS， 16路高清视频处理能力， 38 路 1080P硬件解码与 2路编码 。 中科 视语推出的分析视频监控中安全行 为的 安全行为分析终端 ，支持 4-8路 视频流实时处理， 10余种 AI算法 。 华为 面向边缘应用推出的 Atlas 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 6 500 智能小站 ，具有 16TOPS 计算性 能，支持 16 路视频处理可以在边缘 环境广泛部署，满足在安防、交通、 社区等应用 。 华为面向边缘应用 推出 的 Atlas 500 Pro 智能边缘服务器 ，具有最高 256TOPS计算性能，支持最大 256路 视频处理，支持云边协同 。 浪潮推出 首款符合 OTII 标准的 边缘服务器 NE5260M5 采用了电信设 备标准，仅有传统标准服务器深度的 1/2 稍多，可以直接与电信设备混合 部署在通信中心机架上， 支持 2颗即 将上市的英特尔最新的高可扩展处 理器， 16个 DIMM， 6个 PCI-E插槽， 6块 2.5寸硬盘， 2个 M.2 SSD，在有 限的空间限制下，仍然具有十分理想 的扩展性，可以满足智能制造、物联 网等多种边缘计算应用的需求。 3.3软件产品 芯片配套开发 环境及 SDK是边缘 设备的基础必备软件 ，主要功能包括 支持 AI模型运行 、支持 AI模型开发 。 当前， 芯片或者边缘 AI 盒子均需在 各自供应商的开发环境和运行 SDK环 境下使用 。 百度、阿里等同硬件厂商合作， 提供 SDK 以便落地推广自有视频 AI 能力，引入视频流量 。 常见的软件产 品包括 Nvidia GPU的 基础运行环境 ， 包括 CUDA等 。 Intel CPU的 基础运行 环境 ， 包括 OpenVino、 NCSDK等 。 ARM CPU基础运行环境 ， 包括 ARM-NN等 。 华为 专用 芯片 的 基础运行环境 ， 包括 Mind Studio、 MindSpore等 。 比特大 陆 专用 芯片 的 基础运行环境 ， 包括 BMNN SDK等 。 寒武纪 专用 芯片 的 基础 运行环境 ， 包括 Cambricon NeuWare、 CNStream、 CNRT等 。 百度 AI能力 ， 能力 提供离线人脸比对 SDK、语音翻 译 SDK、拍照翻译 SDK 等 。 阿里 AI 能力 ， Link Visual设备端 SDK提供 了网络摄像机（ IPC）接入阿里云 视 频边缘计算智能服务 的基础 API。 3.4边缘计算 平台 边缘计算平台对视频边缘设备 进行管理，支持视频能力的下沉，正 逐步成为视频边缘计算的主要产品 和服务。典型 的 视频 边缘计算平台包 括 阿里推出的 视频 边缘 智能服务 以 及华为推出的智能边缘平台 。两款平 台的功能对比如下表所示，可以看出 阿里推出 的 视频边缘 智能服务 （ LinkVisual）支持视频流上云、存 储、转发、视频 AI 等功能，提供丰 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 7 富的视频算法以及云边协同（算法云 端训练、云端下发、边缘计算推理） 服务。旨在帮助视频设备厂商、方案 商与服务提供商，快速将存量或者新 增的摄像设备上云 。 华为推出 的 智能 边缘平台 满足客户对边缘计算资源 的远程管控、数据处理、分析决策、 智能化的诉求，为用户提供完整的边 缘和云协同的一体化服务 。 表 1 边缘计算平台对比 3.5现存 问题 通 过上面的芯片、设备、软件及 平台层面的分析 可以看出，目前视频 边缘计算 尚 存在 一些制约应用发展 的 问题： 视频边缘计算芯片型号多，这些 芯片架构和实现不同，指令集也不 同，彼此之间不兼容。这就迫使 AI 模型训练移植、视频应用开发需要在 诸多芯片中进行选型，一旦选型确 定，就很难更换 专用 芯片。 芯片版本升级快，兼容性差。由 于 专用 芯片目前仍处于早期发展，架 构、指令、接口各方面均不稳定，芯 片升级不平滑将导致 AI 模型重训练 移植、视频应用开发修改等问题。 边缘 AI 盒子种类众多，形态各 异，不同厂商的盒子不兼容。当多元 设备同时存在，且数量 增大时， AI 模型适配 /下载 /更新，设备监控 /管 理，数据收集 /上传等均成为视频边 缘计算普及的瓶颈。 不同边缘 AI 盒子开发涉及不同 开发环境和 SDK，对于模型训练工程 师和视频应用开发工程师存在学习 成本，且导致 AI 模型版本、视频应 用版本混乱。 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 8 4.视频边缘计算 能力框架 为抢夺视频边缘计算的巨大市 场， 互联网公司、算法类公司 纷纷 推 出 专用硬件设备 ，用于承载和推广自 有视频 AI 能力。 同时，视频边缘计 算也暴漏出设备种类繁多、应用落地 困难、运营维护成本高等一系列问 题。 在中国移动， 大视频 也 已成为重 要战略之一，大视频技术、能力 及产 品是当前公司重要发展方向。 4.1 视频边缘计算能力 功能 需 求 在视频边缘计算领域， 需要 将云 端视频及 AI 能力结合网络优势，下 沉至边缘侧和端侧 。根据具体业务场 景， 提供 多边缘设备 /专用 芯片支持、 AI 能力上线、 AI 能力下发、视频计 算、 边缘设备管理、 边缘设备消息通 信、边缘设备注册、边缘设备状态监 控、设备配置、设备状态监控、平台 设备监控、数据获取、模型训练、边 缘模型训练、 应用托管、算法入驻、 平台页面 等功能 。 表 2 视频边缘计算能力 功能 需求 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 9 4.2 视频边缘计算能力框架愿 景 中国移动提出视频边缘计算能 力框架， 希望 将云端的视频及 AI 能 力延伸到各类边端设备，为应用提供 统一的边缘侧视频 AI 计算能力，满 足边缘计算中“场景更适配、计算更 智能、设备更多样、管理更便捷、价 格更低廉”的客户诉求。 中国移动希望通过该框架， 解决 边缘侧各类应用视频处理中出现的 智能处理、编解码、传输等问题，实 现云端视频 AI 能力向边缘侧端侧下 沉落地，兼容和管理多种类型的边缘 侧端侧 AI设备，上线提供视频 AI处 理服务，研发质检、 VR等典型应用， 最终形成泛视频接入、边缘设备管 理、 AI能力下沉、端边 AI推理、边 缘联邦学习、数据特征和模型上云的 闭环。 视频边缘计算 能力框架如下图 所示。 图 2 视频边缘计算 能力 框架愿景 4.3 视频 边缘计算能力 框架 价 值 视频边缘计算能力 框架 有助于 视频及 AI 能力下沉， 面向泛视频用 户、应用开发商、边缘设备 /芯片商、 AI模型算法商提供不同服务，降低视 频边缘智能处理成本 。 对于泛 视频业务客户，可以为其 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 10 提供边缘侧设备服务，满足其业务需 求，同时降低其业务应用成本和功能 升级成本 ； 对于泛视频应用开发商， 可以为其提供更多可用设备、芯片、 AI模型，降低其开发成本，提供应用 托管服务，降低其运维成本 ； 对于边 缘 AI盒子 /专用 芯片商，可以支持其 硬件设备， 降低硬件设备开发门槛， 为其芯片 /设备引入更多 AI能力和更 多应用场景 ； 对于 AI模型算法商户， 可以为其 AI 模型提供更多可运行设 备，扩大其模型使用场景，上线 AI 模型商城，增加其模型使用量及收 入。 视频边缘计算能力 框架 作为连 接泛视频用户、应用开发商、边缘设 备 /芯片商、 AI 模型算法商的中间平 台，商业模式丰富，可能的商业模式 包括 边缘设备销售、视频边缘应用租 用、 AI 算法商城 /销售、应用托管， 以及未来对数据收集利用、联邦学习 模型优化升级等 。 表 3 视频边缘计算能力 商业模式 注：表示 合作伙伴可以选择的商业模式 中国移动希望通过 视频边缘计 算能力 框架 ， 联合 产业界各方，与边 缘芯片、设备、应用及算法各家 厂商， 共同开展视频边缘 计算 技术、 产品研 发及应用拓展， 共同 针对泛视频业务 共性需求 制定 完整的智能边端服务 解决方案 ，构建视频边缘计算生态。 5.展望 边缘计算领域各大厂商已经 重 点开展视频 边缘计算 产品 开发 ， 目前 已经 出现了一批形态丰富的视频边 缘计算产品 。 一方面 ， 随着行业应用 中国移动 研究院 视频边缘计算 白皮书 （ 2020） 11 场景的持续丰富，视频边缘计算 在不 断发展 ，专用芯片、专用硬件设备、 软件产品、视频边缘计算平台等将成 为关注热点 ， 另一方面 ， 设备种类繁 多、应用落地困难、运营维护成本 高 等 一系列问题 也制约着视频边缘计 算的发展 。 中国移动 提出 视频边缘计算 能 力 框架愿景 ， 希望能通过该能力框架 构建视频边缘计算生态环境，通过丰 富的商业模式，激活视频边缘计算产 业各环节，为泛 视频用户、应用开发 商、边缘设备 /芯片商、 AI 模型算法 商提供不同服务 以及合作模式。 中国移动 愿 与合作伙伴一起在 视频边缘计算领域 持续探索和创新， 拓展更多行业场景，提供更丰富的行 业应用解决方案 ， 构建和完善视频边 缘计算生态。 12 缩略语列表 缩略语 英文全名 中文解释 AI Artificial Intelligence 人工智能 API Application Programming Interface 应用编程接口 CUDA Compute Unified Device Architecture 统一计算设备架构 ECC Edge Computing Consortium 边缘计算产业联盟 GPU Graphics Processing Unit 图形处理器 MEC Mobile Edge Computing 移动边缘计算 NPU Neural Network Processing Unit 神经网络处理器 OS Operating System 操作系统 SDK Software Development Kit 软件开发工具包 VPU Video Processing Unit 视频处理单元 13 参考文献 1边缘计算方法与工程实践，中国工信出版集团， 2019 2中国移动边缘计算技术体系白皮书，中国移动， 2019 3移动边缘计算安全研究，边缘计算社区， 2020 4边缘计算如何赋能视频行业， 边缘计算社区， 2020 5边缘数据中心的需求分析和核心技术研究 ， 全国边缘计算学术研讨会论文集 ， 2019 6边缘计算产业联盟， ecconsortium/， 2020 14 编写单位及作者 中国移动通信集团公司研究院： 喻炜、 杨蕾 、 杨晓伟 、郭勐