2021-2022“云智一体”全场景智能视频技术与应用解析报告.pdf

2021-2022“云智一体”全场景智能视频技术与应用解析报告4.1 云智一体的视频技术推动泛媒体产业升级 4.1.1 泛媒体产业格局：应对新挑战、把握新动能 4.1.2 泛媒体产业演进的三条增长曲线 4.1.3 智能媒体解决方案全景图 4.1.4 泛媒体客户案例解析4.2 云智一体的视频技术推动泛互联网产业升级 4.2.1 智能小视频解决方案：快速上线视频业务 4.2.2 全链路编解码优化方案：降低成本、提升画质 4.2.3 新零售直播SaaS解决方案：助力商家裂变获客、流量变现 4.2.4 在线社交解决方案 4.2.5 泛互联网客户案例解析4.3 云智一体的视频技术推动泛产业的视频场景升级 4.3.1 产业类视频与消费类视频的区别 4.3.2 视联网发展的三大阶段 4.3.3 百度智能云视联网感知平台 4.3.4 视联网感知平台架构的三大特点 4.3.5 产业类客户案例解析四、智能视频云3.0的三大行业应用场景3232333436393941424344454546474852313.1 5G+AI驱动下的视频行业发展趋势 3.1.1 消费类视频的云智一体化诉求 3.1.2产业类视频的云智一体化诉求3.2 智能视频云3.0全景图 3.2.1智能视频3.0的特点 3.2.2 智能视频3.0背后的端边云一体化基础架构 3.2.3 基于云智一体的双平台3.3 智能视频云3.0中的“云”能力 3.3.1 视频分发基础设施CDN 3.3.2 智能编码 3.3.3 智感超清 3.3.4 实时音视频通讯 3.3.5 低延时直播 3.3.6 智能视频SDK矩阵3.4 智能视频3.0的“智”能力 3.4.1 智能理解分析 3.4.2 智能视频生产 3.4.3 视频交互生成一、云智一体，促进数字化转型与智能化升级一步到位030304101011121414151717181921232425252727目录1.1 产业智能化，数字经济发展新阶段1.2 百度智能云战略升级1.3 云智一体的百度智能云架构2.0，加速产业智能化二、云智技术大发展让视频应用与体验跃入新阶段三、云智一体的全场景视频技术解析020609五、更多行业案例参考六、关于本报告54554.1 云智一体的视频技术推动泛媒体产业升级 4.1.1 泛媒体产业格局：应对新挑战、把握新动能 4.1.2 泛媒体产业演进的三条增长曲线 4.1.3 智能媒体解决方案全景图 4.1.4 泛媒体客户案例解析4.2 云智一体的视频技术推动泛互联网产业升级 4.2.1 智能小视频解决方案：快速上线视频业务 4.2.2 全链路编解码优化方案：降低成本、提升画质 4.2.3 新零售直播SaaS解决方案：助力商家裂变获客、流量变现 4.2.4 在线社交解决方案 4.2.5 泛互联网客户案例解析4.3 云智一体的视频技术推动泛产业的视频场景升级 4.3.1 产业类视频与消费类视频的区别 4.3.2 视联网发展的三大阶段 4.3.3 百度智能云视联网感知平台 4.3.4 视联网感知平台架构的三大特点 4.3.5 产业类客户案例解析四、智能视频云3.0的三大行业应用场景3232333436393941424344454546474852313.1 5G+AI驱动下的视频行业发展趋势 3.1.1 消费类视频的云智一体化诉求 3.1.2产业类视频的云智一体化诉求3.2 智能视频云3.0全景图 3.2.1智能视频3.0的特点 3.2.2 智能视频3.0背后的端边云一体化基础架构 3.2.3 基于云智一体的双平台3.3 智能视频云3.0中的“云”能力 3.3.1 视频分发基础设施CDN 3.3.2 智能编码 3.3.3 智感超清 3.3.4 实时音视频通讯 3.3.5 低延时直播 3.3.6 智能视频SDK矩阵3.4 智能视频3.0的“智”能力 3.4.1 智能理解分析 3.4.2 智能视频生产 3.4.3 视频交互生成一、云智一体，促进数字化转型与智能化升级一步到位030304101011121414151717181921232425252727目录CONTENS1.1 产业智能化，数字经济发展新阶段1.2 百度智能云战略升级1.3 云智一体的百度智能云架构2.0，加速产业智能化二、云智技术大发展让视频应用与体验跃入新阶段三、云智一体的全场景视频技术解析020609五、更多行业案例参考六、关于本报告5455031.1产业智能化，数字经济发展新阶段1.2 百度智能云战略升级当前，我们正处在科技创新和产业发展最好的时代，以人工智能、大数据、云计算、5G等为代表的新一代信息技术蓬勃发展，驱动新一轮科技革命和产业变革。在产业应用新兴技术和数据资源转型升级的过程中，数字化是基础；而随着人工智能等新一代信息技术的发展，以及数据的爆发式增长，产业加快应用智能技术，从海量数据中发现规律、训练模型、提炼知识，促进产出增加和效率提升，实现企业生产经营的智能化，进而实现整个产业的智能化升级。因此，数字经济既包括数字化转型，也包括智能化升级，产业智能化是数字经济发展的新阶段。百度是拥有强大互联网基础的领先AI公司。从成立的第一天起，百度搜索引擎就与人工智能、云计算等技术息息相关。经过多年的技术积累和产业实践，百度已形成了全面布局，从基础的算力和数据技术、深度学习算法及框架，到语音、视觉、自然语言处理等感知、认知技术，以及飞桨深度学习开源开放平台等，具备云智一体的独特优势。基于百度的技术优势和对产业发展的洞察，经过跟合作伙伴的共同成长与产业实践，百度智能云的战略升级为：以“云计算为基础”支撑企业数字化转型，以“人工智能为引擎”加速产业智能化升级，云智一体“赋能千行百业”，促进经济高质量发展。云智一体，促进数字化转型与智能化升级一步到位 031.1产业智能化，数字经济发展新阶段1.2 百度智能云战略升级当前，我们正处在科技创新和产业发展最好的时代，以人工智能、大数据、云计算、5G等为代表的新一代信息技术蓬勃发展，驱动新一轮科技革命和产业变革。在产业应用新兴技术和数据资源转型升级的过程中，数字化是基础；而随着人工智能等新一代信息技术的发展，以及数据的爆发式增长，产业加快应用智能技术，从海量数据中发现规律、训练模型、提炼知识，促进产出增加和效率提升，实现企业生产经营的智能化，进而实现整个产业的智能化升级。因此，数字经济既包括数字化转型，也包括智能化升级，产业智能化是数字经济发展的新阶段。百度是拥有强大互联网基础的领先AI公司。从成立的第一天起，百度搜索引擎就与人工智能、云计算等技术息息相关。经过多年的技术积累和产业实践，百度已形成了全面布局，从基础的算力和数据技术、深度学习算法及框架，到语音、视觉、自然语言处理等感知、认知技术，以及飞桨深度学习开源开放平台等，具备云智一体的独特优势。基于百度的技术优势和对产业发展的洞察，经过跟合作伙伴的共同成长与产业实践，百度智能云的战略升级为：以“云计算为基础”支撑企业数字化转型，以“人工智能为引擎”加速产业智能化升级，云智一体“赋能千行百业”，促进经济高质量发展。云智一体，促进数字化转型与智能化升级一步到位 04 051.3 云智一体的百度智能云架构2.0，加速产业智能化基于百度智能云的战略升级，云智一体的百度智能云架构2.0同时发布，包含数字化底座、智能化引擎和全场景应用（如图1.3-1所示）。数字化底座，包括基础云、数据库、物联网、边缘计算、区块链等基础平台，以及视频云、大数据、云原生开发和地图服务等；同时还有安全模块，为技术创新和产业转型升级保驾护航。在数字化底座之上是智能化引擎，百度自主研发的飞桨深度学习平台为核心，软硬一体AI大生产平台-百度大脑为支撑，包括AI中台和知识中台等。智能化引擎与行业深度融合，帮助企业建设自己的智能化中台，助力智能化升级。我们希望以百度智能云为纽带，联合技术和产业生态伙伴，通过开源开放平台降低AI 开发的门槛，加快人工智能融入传统产业，帮助越来越多的行业大步快跑，加入产业智能化的大潮。（图1.3-1 百度智能云全新架构2.0）基于数字化底座和智能化引擎，百度智能云深入行业场景，打造智能应用，同时与生态伙伴一起，在制造、能源、城市、金融、医疗、媒体等领域，助力数字化转型和智能化升级一步到位。云智一体的“云”为数字化转型提供安全、稳定、灵活的数字化底座，“智能化引擎”为智能化升级提供领先的创新技术和平台。我们推荐客户数字化转型与智能化升级一起做，一步到位，这样效率更高，效果更好。同时，如果客户只做数字化转型，我们有丰富的云计算产品可以支持；或者客户已经有了数字化基础，我们的智能化引擎也可以助力智能化应用。百度智能云的“云”，不仅为数字化转型提供安全稳定、弹性灵活的云计算服务，同时也是适合跑AI的云，我们称之为“AI原生云”，继承云原生的优势，面向AI场景，提供极致弹性的高性能异构算力，打造简洁、高效的AI应用开发架构。“云智一体”的智，是百度将深耕十余年的AI技术，以及AI赋能产业的实践经验，沉淀为助力产业智能化升级的技术、平台及方法论，是以加速产业智能化升级为己任、懂场景的AI。“云智一体”技术与应用解析系列白皮书 智能视频篇04 051.3 云智一体的百度智能云架构2.0，加速产业智能化基于百度智能云的战略升级，云智一体的百度智能云架构2.0同时发布，包含数字化底座、智能化引擎和全场景应用（如图1.3-1所示）。数字化底座，包括基础云、数据库、物联网、边缘计算、区块链等基础平台，以及视频云、大数据、云原生开发和地图服务等；同时还有安全模块，为技术创新和产业转型升级保驾护航。在数字化底座之上是智能化引擎，百度自主研发的飞桨深度学习平台为核心，软硬一体AI大生产平台-百度大脑为支撑，包括AI中台和知识中台等。智能化引擎与行业深度融合，帮助企业建设自己的智能化中台，助力智能化升级。我们希望以百度智能云为纽带，联合技术和产业生态伙伴，通过开源开放平台降低AI 开发的门槛，加快人工智能融入传统产业，帮助越来越多的行业大步快跑，加入产业智能化的大潮。（图1.3-1 百度智能云全新架构2.0）基于数字化底座和智能化引擎，百度智能云深入行业场景，打造智能应用，同时与生态伙伴一起，在制造、能源、城市、金融、医疗、媒体等领域，助力数字化转型和智能化升级一步到位。云智一体的“云”为数字化转型提供安全、稳定、灵活的数字化底座，“智能化引擎”为智能化升级提供领先的创新技术和平台。我们推荐客户数字化转型与智能化升级一起做，一步到位，这样效率更高，效果更好。同时，如果客户只做数字化转型，我们有丰富的云计算产品可以支持；或者客户已经有了数字化基础，我们的智能化引擎也可以助力智能化应用。百度智能云的“云”，不仅为数字化转型提供安全稳定、弹性灵活的云计算服务，同时也是适合跑AI的云，我们称之为“AI原生云”，继承云原生的优势，面向AI场景，提供极致弹性的高性能异构算力，打造简洁、高效的AI应用开发架构。“云智一体”的智，是百度将深耕十余年的AI技术，以及AI赋能产业的实践经验，沉淀为助力产业智能化升级的技术、平台及方法论，是以加速产业智能化升级为己任、懂场景的AI。“云智一体”技术与应用解析系列白皮书 智能视频篇06 07视频作为人类最直接、最容易感知世界的一种方式，已广泛应用在日常生活和工作中。从整个视频发展史来看，过去的很长一段时间，最喜闻乐见的视频应用场景，主要集中在传媒业、娱乐业等大众消费领域。而在最近的10年内，随着长视频、短视频、直播等行业应用的高速发展，加速了互联网内容的视频化趋势。人们在互联网上获取信息和娱乐的方式也开始更多的基于视频资源，但这些应用还是更多集中在消费互联网领域，属于一种视频化业务。但在最近两三年，视频应用领域进一步扩大，进入到越来越多的行业日常业务中，更多业务正在视频化。例如在智慧城市领域，基于视频数据进行的污染治理、消防预警等；在电力领域，基于视频信息进行的线路自动巡检、风险预判；在交通领域，基于视频信息进行的拥堵治理和优化；在教育领域，特别是疫情出现后，很多课程以线上视频形式进行，企业内部沟通及知识分享培训也基于直播或在线视频进行。云智技术大发展让视频应用与体验跃入新阶段 “云智一体”技术与应用解析系列白皮书 智能视频篇06 07视频作为人类最直接、最容易感知世界的一种方式，已广泛应用在日常生活和工作中。从整个视频发展史来看，过去的很长一段时间，最喜闻乐见的视频应用场景，主要集中在传媒业、娱乐业等大众消费领域。而在最近的10年内，随着长视频、短视频、直播等行业应用的高速发展，加速了互联网内容的视频化趋势。人们在互联网上获取信息和娱乐的方式也开始更多的基于视频资源，但这些应用还是更多集中在消费互联网领域，属于一种视频化业务。但在最近两三年，视频应用领域进一步扩大，进入到越来越多的行业日常业务中，更多业务正在视频化。例如在智慧城市领域，基于视频数据进行的污染治理、消防预警等；在电力领域，基于视频信息进行的线路自动巡检、风险预判；在交通领域，基于视频信息进行的拥堵治理和优化；在教育领域，特别是疫情出现后，很多课程以线上视频形式进行，企业内部沟通及知识分享培训也基于直播或在线视频进行。云智技术大发展让视频应用与体验跃入新阶段 08 09这种发展趋势的技术驱动力是云计算和人工智能技术的空前发展，推动视频的应用和体验进入到新阶段。该阶段的核心特点如下：相比文字和图片数据分析，视频数据的分析有着更高的复杂度，过去对于视频内容的理解分析往往依赖人工。随着人工智能技术的发展，对于视频这类非结构化数据的分析处理也上了新台阶，可以实现自动化对视频内容进行结构内容提取、审核及知识挖掘等。最新的CDN、边缘计算、低时延通信、RTC、编解码、AR/VR、5G和AI等技术的发展，让人们在观看视频时，真正可以身临其境，实现与视频内容的全方位互动。全景沉浸式视频正在电视、直播及游戏等更多场景中得到应用。视频是一个“重”数据应用，“重”在两块：一方面，是对海量视频数据的采集、存储、传输和分发提出了极高的诉求；另一方面，是需要强大的数据智能化分析与处理能力，对语音、图像、OCR、知识图谱等全面的智能化技术非常依赖。视频数据作为一种专门类型的数据资产，在企业中占比越来越高，为了更好的管理好视频数据资产，挖掘其中的业务价值，更好的帮助业务发展，企业开始统一规划与构建云智一体的视频平台。而百度在视频领域有着长期丰富的业务实践，在长视频、短视频、直播，以及自动驾驶、智能交通等业务领域都有相应的技术积累。同时，百度在长期实践中构建了业界最全面、最领先的AI能力，再加上优秀的云、边、端等资源和能力，百度已然具备云智一体的完整能力，是帮助企业实现业务视频高清化、沉浸化、智能化的最佳合作伙伴。百度智能云期望能够和企业、开发者及合作伙伴一起，在视频领域共同创新、共同进步，加速产业的智能化转型。人们对于内容高清化的需求越来越高，甚至可以说是永无止境；随着5G及超分技术的发展，视频正在逐步从高清升级到4K/8K超高清阶段。内容高清化体验沉浸化分析智能化云智一体的全场景视频技术解析 “云智一体”技术与应用解析系列白皮书 智能视频篇08 09这种发展趋势的技术驱动力是云计算和人工智能技术的空前发展，推动视频的应用和体验进入到新阶段。该阶段的核心特点如下：相比文字和图片数据分析，视频数据的分析有着更高的复杂度，过去对于视频内容的理解分析往往依赖人工。随着人工智能技术的发展，对于视频这类非结构化数据的分析处理也上了新台阶，可以实现自动化对视频内容进行结构内容提取、审核及知识挖掘等。最新的CDN、边缘计算、低时延通信、RTC、编解码、AR/VR、5G和AI等技术的发展，让人们在观看视频时，真正可以身临其境，实现与视频内容的全方位互动。全景沉浸式视频正在电视、直播及游戏等更多场景中得到应用。视频是一个“重”数据应用，“重”在两块：一方面，是对海量视频数据的采集、存储、传输和分发提出了极高的诉求；另一方面，是需要强大的数据智能化分析与处理能力，对语音、图像、OCR、知识图谱等全面的智能化技术非常依赖。视频数据作为一种专门类型的数据资产，在企业中占比越来越高，为了更好的管理好视频数据资产，挖掘其中的业务价值，更好的帮助业务发展，企业开始统一规划与构建云智一体的视频平台。而百度在视频领域有着长期丰富的业务实践，在长视频、短视频、直播，以及自动驾驶、智能交通等业务领域都有相应的技术积累。同时，百度在长期实践中构建了业界最全面、最领先的AI能力，再加上优秀的云、边、端等资源和能力，百度已然具备云智一体的完整能力，是帮助企业实现业务视频高清化、沉浸化、智能化的最佳合作伙伴。百度智能云期望能够和企业、开发者及合作伙伴一起，在视频领域共同创新、共同进步，加速产业的智能化转型。人们对于内容高清化的需求越来越高，甚至可以说是永无止境；随着5G及超分技术的发展，视频正在逐步从高清升级到4K/8K超高清阶段。内容高清化体验沉浸化分析智能化云智一体的全场景视频技术解析 10 113.1 5G+AI驱动下的视频行业发展趋势如今在消费类视频应用领域，沉浸式视频体验和智能化数字孪生成为主流趋势。在趋势的裹挟下，消费类视频面临着诸多挑战：一是随着超高清时代的来临， 4K/8K等超高清视频的市场需求每年都在万小时量级以上，而目前量级只有千小时级别，视频内容的数量和质量都无法满足超高清时代的需求。二是随着视频内容的海量增长，传统的人工编目效率根本无法跟上视频增长速度，视频内容的生产、管控和播放等环节都迫切需要更智能化、自动化和更丰富的技术手段来支持。三是针对视频内容，需要解析更多的结构化信息，才能实现更精准的算法推荐。面对上述挑战，只有依托云的大规模算力，用AI技术带动内容生产与管播等环节的智能化升级，消费类视频才能实现内容质量与数量上质的飞跃。目前，很多行业互联网企业都已经意识到并开始积极应对这些挑战，但离成功依然遥远。3.1.1 消费类视频的云智一体化诉求视频应用在产业类服务场景的外延化趋势明显。早期在传统产业里，“视频+联网”主要是在监控场景中使用。如今，视频应用已经深入到生产、工作、管理等产品场景的方方面面，工艺优化、质量检测、安全巡检等都是目前比较成熟的产品类视频应用场景。除了服务场景的外延化，视频的产业参与度也越来越深。传统的视频监控，只解决了视频的接入问题，后续仍然需要由人来查看和判断。而随着“业务流程数字化与智能化”概念的提出，视频正在逐渐成为一种对物理世界进行智能化改造的手段：通过对设计、生产、运维与分析决策等全场景进行视觉感知，生成海量视频图片等多维度数据并接入边云平台，由云边端算力来承载和调度，由人工智能技术处理视频内容的结构化，对视频语音语义进行自动化理解，实现智能化决策。“业务流程数字化与智能化”的实现，需要大带宽、低延时、高安全存储和高并发算力的“云”来承载，还需要端智能检测、多模搜索、辅助分析与自动化决策的“智”来引领。3.1.2产业类视频的云智一体化诉求（图3.1.1-1 消费类视频应用的云智一体化诉求）（3.1.2-1 产业类视频应用的云智一体化诉求）“云智一体”技术与应用解析系列白皮书 智能视频篇10 113.1 5G+AI驱动下的视频行业发展趋势如今在消费类视频应用领域，沉浸式视频体验和智能化数字孪生成为主流趋势。在趋势的裹挟下，消费类视频面临着诸多挑战：一是随着超高清时代的来临， 4K/8K等超高清视频的市场需求每年都在万小时量级以上，而目前量级只有千小时级别，视频内容的数量和质量都无法满足超高清时代的需求。二是随着视频内容的海量增长，传统的人工编目效率根本无法跟上视频增长速度，视频内容的生产、管控和播放等环节都迫切需要更智能化、自动化和更丰富的技术手段来支持。三是针对视频内容，需要解析更多的结构化信息，才能实现更精准的算法推荐。面对上述挑战，只有依托云的大规模算力，用AI技术带动内容生产与管播等环节的智能化升级，消费类视频才能实现内容质量与数量上质的飞跃。目前，很多行业互联网企业都已经意识到并开始积极应对这些挑战，但离成功依然遥远。3.1.1 消费类视频的云智一体化诉求视频应用在产业类服务场景的外延化趋势明显。早期在传统产业里，“视频+联网”主要是在监控场景中使用。如今，视频应用已经深入到生产、工作、管理等产品场景的方方面面，工艺优化、质量检测、安全巡检等都是目前比较成熟的产品类视频应用场景。除了服务场景的外延化，视频的产业参与度也越来越深。传统的视频监控，只解决了视频的接入问题，后续仍然需要由人来查看和判断。而随着“业务流程数字化与智能化”概念的提出，视频正在逐渐成为一种对物理世界进行智能化改造的手段：通过对设计、生产、运维与分析决策等全场景进行视觉感知，生成海量视频图片等多维度数据并接入边云平台，由云边端算力来承载和调度，由人工智能技术处理视频内容的结构化，对视频语音语义进行自动化理解，实现智能化决策。“业务流程数字化与智能化”的实现，需要大带宽、低延时、高安全存储和高并发算力的“云”来承载，还需要端智能检测、多模搜索、辅助分析与自动化决策的“智”来引领。3.1.2产业类视频的云智一体化诉求（图3.1.1-1 消费类视频应用的云智一体化诉求）（3.1.2-1 产业类视频应用的云智一体化诉求）12 133.2 智能视频云3.0全景图随着时代的发展，全面视频化的时代线条越来越清晰，为了应对海量数据接入并提升应用效率，视频数据的数字化与智能化成为必然趋势。首先，从技术角度来看，数据密集型和人工智能密集型的工作场景已然大规模出现。但由于终端设备型号各异、数据采集规模异常巨大，故而要求设备接入、数据采集与解析等环节都需要更高的异构融合性、算力高并发性以及自动化等能力，这对端边云的承载和大规模算力都提出了严峻挑战。而视频数据要实现自动化解析、智能化建模与应用，也需要强大的算力和传输能力做支撑。最终，这些双向需求推动了端、边、云、智的充分融合，端边云逐渐一体化、云智逐渐一体化。其次，从业务流程来看，人工智能技术已经可以作用到业务流程的各个阶段。有了颗粒度更细的场景算力与人工智能算法做加持，问题的解决能力也会持续提升，逐渐由只能解决通用场景问题，发展到可以解决更细分、更个性化的场景问题。可以说云智技术的发展，一方面扩展了视频应用的外延范围，另一方面也加深了视频在传统应用领域的作用和价值。需要注意的是，虽然视频领域有了更多的新技术，但企业却面临着如何低成本、高效率的利用这些技术去实现业务创新的问题。因为，视频技术的种类非常多、复杂程度高，企业盲目创新会造成研发成本和资源投入的高企，普通企业从时间、成本、资源等方面都无法承受。那么，如何消除架在企业视频创新需求与资源成本投入间的鸿沟呢？百度智能云给出了答案：智能视频云3.0云智一体的、端到端的、全场景的智能视频平台级解决方案。为什么说是智能视频云3.0呢？1.0时代解决的是视频传输问题，2.0时代更多的提供针对单一场景的功能化组件。而3.0时代是视频技术与能力的全面升级，百度智能云希望用深入到传统与新兴视频领域的、云智一体的、一站式平台方案，推动企业视频应用的可持续创新。（图3.2-1 智能视频云3.0全景图）“云智一体”技术与应用解析系列白皮书 智能视频篇12 133.2 智能视频云3.0全景图随着时代的发展，全面视频化的时代线条越来越清晰，为了应对海量数据接入并提升应用效率，视频数据的数字化与智能化成为必然趋势。首先，从技术角度来看，数据密集型和人工智能密集型的工作场景已然大规模出现。但由于终端设备型号各异、数据采集规模异常巨大，故而要求设备接入、数据采集与解析等环节都需要更高的异构融合性、算力高并发性以及自动化等能力，这对端边云的承载和大规模算力都提出了严峻挑战。而视频数据要实现自动化解析、智能化建模与应用，也需要强大的算力和传输能力做支撑。最终，这些双向需求推动了端、边、云、智的充分融合，端边云逐渐一体化、云智逐渐一体化。其次，从业务流程来看，人工智能技术已经可以作用到业务流程的各个阶段。有了颗粒度更细的场景算力与人工智能算法做加持，问题的解决能力也会持续提升，逐渐由只能解决通用场景问题，发展到可以解决更细分、更个性化的场景问题。可以说云智技术的发展，一方面扩展了视频应用的外延范围，另一方面也加深了视频在传统应用领域的作用和价值。需要注意的是，虽然视频领域有了更多的新技术，但企业却面临着如何低成本、高效率的利用这些技术去实现业务创新的问题。因为，视频技术的种类非常多、复杂程度高，企业盲目创新会造成研发成本和资源投入的高企，普通企业从时间、成本、资源等方面都无法承受。那么，如何消除架在企业视频创新需求与资源成本投入间的鸿沟呢？百度智能云给出了答案：智能视频云3.0云智一体的、端到端的、全场景的智能视频平台级解决方案。为什么说是智能视频云3.0呢？1.0时代解决的是视频传输问题，2.0时代更多的提供针对单一场景的功能化组件。而3.0时代是视频技术与能力的全面升级，百度智能云希望用深入到传统与新兴视频领域的、云智一体的、一站式平台方案，推动企业视频应用的可持续创新。（图3.2-1 智能视频云3.0全景图）14 15构建智能视频3.0平台的核心驱动力是数据和应用的分布式需求，不同时延和算力层次也对基础架构提出了高要求。为满足以上需求，百度智能云构建了完整的端边云一体化基础架构体系：端侧，提供轻量级终端，如AI摄像头和边缘盒子，并提供轻量级的算力环境；边缘侧，提供小算力环境，满足长距离场景的低时延需求，如移动边缘IME和BEC（CDN边缘产品）；云侧，提供全栈的大数据分析、AI计算、高性能存储等产品矩阵。这样的一整套算力分布式基础架构，既可满足端侧预处理与边缘侧汇聚计算的需求，也可确保视频数据在云中心的各种复杂运算。3.2.2 智能视频3.0背后的端边云一体化基础架构智能视频云3.0中的“云”，通过端边云一体、异构融合的基础架构提供先进的云计算能力；“智”则以业界领先的AI能力完成对视频语音、图像、文字等多模态信息的智能分析、理解、生成。同时，基于云智一体的基础架构，智能视频云3.0打造了面向不同场景应用的视频双平台视频创作分发平台和视联网感知平台，为企业提供一站式和平台化的技术服务。视频创作分发平台视频创作分发平台面向泛互联网、泛媒体等行业，聚焦业务流和媒资管理，覆盖视频的接入、生产、处理、审核分析和个性化推荐等全流程，实现媒资管理和工作流的智能化改造。通过媒资结构化处理和多摸精准搜索，媒资利用率可提升40%，盘活媒资，最大化发挥内容价值。相对于传统采编发的管理软件，视频创作分发平台利用AI能力对数据进行深度理解分析，加快数据流动，盘活媒资数据利用率；并为业务流提供可视化控制台，用户可以通过简单灵活的视频编排配置流程，轻松应对业务的个性化需求，适配移动化、多终端、多形态的业务场景。3.2.3 基于云智一体的双平台云智一体的3.0： 百度智能云开放了智能编码处理、智感超清、低延时直播等10余种云智产品组件、100多个API，以及视频创作分发平台与视联网感知平台等两大场景平台，希望借助全场景与平台化的智能视频技术，为企业提供更完整丰富、一站式的视频平台开发与应用集成能力。生态开放的3.0： 百度智能云携手众多合作伙伴，共同打造“智能视频云3.0”，用“平台+应用”的模式，为企业提供端到端的解决方案。目前，已形成覆盖互动娱乐、实时通讯、生产管理，安全监管等10多个视频场景的解决方案，助力企业快速、高效的实现视频应用的落地和交互。3.2.1智能视频3.0的特点（图3.2.2-1 端边云一体的基础架构） （图3.2.3-1 视频创作分发平台）VideoWorks作为百度智能云的音视频统一入口，提供了音视频上传存储、生产处理、媒资管理、分发播放等覆盖视频全生命周期的PaaS服务，主要适用于视频点播分发、视频生产处理、媒资智能管理三大应用场景。“云智一体”技术与应用解析系列白皮书 智能视频篇14 15构建智能视频3.0平台的核心驱动力是数据和应用的分布式需求，不同时延和算力层次也对基础架构提出了高要求。为满足以上需求，百度智能云构建了完整的端边云一体化基础架构体系：端侧，提供轻量级终端，如AI摄像头和边缘盒子，并提供轻量级的算力环境；边缘侧，提供小算力环境，满足长距离场景的低时延需求，如移动边缘IME和BEC（CDN边缘产品）；云侧，提供全栈的大数据分析、AI计算、高性能存储等产品矩阵。这样的一整套算力分布式基础架构，既可满足端侧预处理与边缘侧汇聚计算的需求，也可确保视频数据在云中心的各种复杂运算。3.2.2 智能视频3.0背后的端边云一体化基础架构智能视频云3.0中的“云”，通过端边云一体、异构融合的基础架构提供先进的云计算能力；“智”则以业界领先的AI能力完成对视频语音、图像、文字等多模态信息的智能分析、理解、生成。同时，基于云智一体的基础架构，智能视频云3.0打造了面向不同场景应用的视频双平台视频创作分发平台和视联网感知平台，为企业提供一站式和平台化的技术服务。视频创作分发平台视频创作分发平台面向泛互联网、泛媒体等行业，聚焦业务流和媒资管理，覆盖视频的接入、生产、处理、审核分析和个性化推荐等全流程，实现媒资管理和工作流的智能化改造。通过媒资结构化处理和多摸精准搜索，媒资利用率可提升40%，盘活媒资，最大化发挥内容价值。相对于传统采编发的管理软件，视频创作分发平台利用AI能力对数据进行深度理解分析，加快数据流动，盘活媒资数据利用率；并为业务流提供可视化控制台，用户可以通过简单灵活的视频编排配置流程，轻松应对业务的个性化需求，适配移动化、多终端、多形态的业务场景。3.2.3 基于云智一体的双平台云智一体的3.0： 百度智能云开放了智能编码处理、智感超清、低延时直播等10余种云智产品组件、100多个API，以及视频创作分发平台与视联网感知平台等两大场景平台，希望借助全场景与平台化的智能视频技术，为企业提供更完整丰富、一站式的视频平台开发与应用集成能力。生态开放的3.0： 百度智能云携手众多合作伙伴，共同打造“智能视频云3.0”，用“平台+应用”的模式，为企业提供端到端的解决方案。目前，已形成覆盖互动娱乐、实时通讯、生产管理，安全监管等10多个视频场景的解决方案，助力企业快速、高效的实现视频应用的落地和交互。3.2.1智能视频3.0的特点（图3.2.2-1 端边云一体的基础架构） （图3.2.3-1 视频创作分发平台）VideoWorks作为百度智能云的音视频统一入口，提供了音视频上传存储、生产处理、媒资管理、分发播放等覆盖视频全生命周期的PaaS服务，主要适用于视频点播分发、视频生产处理、媒资智能管理三大应用场景。16 17视联网感知平台视联网感知平台面向传统产业，核心价值是对泛视频设备和数据流实现统一的连接、分析和管理，打造面向生产/控制/治理场景的通用基础平台，为企业生产、园区管理、城市治理等场景提供平台化支撑。该平台特点如下：开放性。广泛的设备接入兼容性，支持10种+主流视频协议和多厂商设备；具备高扩展的处理和分析能力，涵盖20种+媒体处理能力和可扩展性，为业务生态提供统一和开放兼容的平台化服务。全面智能化。依托200种+AI视觉感知能力，可对视频数据进行结构化解析，满足千亿级特征数据规模的毫秒级查询，实现对视频内容的高效语义化理解和获取；依托百度强大的知识图谱能力，与应用融合，实现对感知内容的知识化处理，提升视频应用的认知能力。端边云融合。融合边缘，提供最优的云智一体架构，使资源、数据、感知能力在端边云充分融合，提升管理便捷性和秒级告警能力，降低网络成本。3.3 智能视频云3.0中的“云”能力1000+大节点，100T+带宽储备智能视频云3.0的视频分发基础设施CDN，具有灵活的资源扩展能力，在已有的1000+标准节点基础上，资源的使用能力持续下沉，可以与边缘计算的资源深度结合，做到流量和算力的双加速，还将一些视频编解码能力下沉至边缘节点。全球智能调度+低时延感知智能视频3.0的视频分发基础设施，拥有全球智能调度系统和低时延质量感知系统，能做出近乎实时的智能调度，实现就近CDN节点的内容调度和快速触达。同时，通过对中间协议和多级缓存的优化，大大提升了视频内容在不同场景要求的访问体验水平。系统可编程与分场景协议调优智能视频3.0的视频分发系统具有可编程特性，这意味系统可实现自生长，从而更好的应对视频应用的多样化场景需求，提升系统的敏捷开发水平，支撑起整个智能视频云3.0包括智能编码、智感超清等在内的几十种产品能力。3.3.1 视频分发基础设施CDN（图3.2.3-2 视联网感知平台） （图3.3.1-1 视频分发基础设施CDN）“云智一体”技术与应用解析系列白皮书 智能视频篇16 17视联网感知平台视联网感知平台面向传统产业，核心价值是对泛视频设备和数据流实现统一的连接、分析和管理，打造面向生产/控制/治理场景的通用基础平台，为企业生产、园区管理、城市治理等场景提供平台化支撑。该平台特点如下：开放性。广泛的设备接入兼容性，支持10种+主流视频协议和多厂商设备；具备高扩展的处理和分析能力，涵盖20种+媒体处理能力和可扩展性，为业务生态提供统一和开放兼容的平台化服务。全面智能化。依托200种+AI视觉感知能力，可对视频数据进行结构化解析，满足千亿级特征数据规模的毫秒级查询，实现对视频内容的高效语义化理解和获取；依托百度强大的知识图谱能力，与应用融合，实现对感知内容的知识化处理，提升视频应用的认知能力。端边云融合。融合边缘，提供最优的云智一体架构，使资源、数据、感知能力在端边云充分融合，提升管理便捷性和秒级告警能力，降低网络成本。3.3 智能视频云3.0中的“云”能力1000+大节点，100T+带宽储备智能视频云3.0的视频分发基础设施CDN，具有灵活的资源扩展能力，在已有的1000+标准节点基础上，资源的使用能力持续下沉，可以与边缘计算的资源深度结合，做到流量和算力的双加速，还将一些视频编解码能力下沉至边缘节点。全球智能调度+低时延感知智能视频3.0的视频分发基础设施，拥有全球智能调度系统和低时延质量感知系统，能做出近乎实时的智能调度，实现就近CDN节点的内容调度和快速触达。同时，通过对中间协议和多级缓存的优化，大大提升了视频内容在不同场景要求的访问体验水平。系统可编程与分场景协议调优智能视频3.0的视频分发系统具有可编程特性，这意味系统可实现自生长，从而更好的应对视频应用的多样化场景需求，提升系统的敏捷开发水平，支撑起整个智能视频云3.0包括智能编码、智感超清等在内的几十种产品能力。3.3.1 视频分发基础设施CDN（图3.2.3-2 视联网感知平台） （图3.3.1-1 视频分发基础设施CDN）18 19为了匹配超高清时代的视频体验极致追求，百度智能云打造了“智感超清”产品。核心价值就是利用去噪、去划痕、上色、画质增强、超分辨率等手段进行老片修新，实现对视频画质的提升和超高清内容的转换。智感超清背后涉及的技术众多，具体如下：超分辨率基于U型神经网络框架，提出一整套级联提升网络框架，可对视频空间分辨率进行从粗到细地提升。自适应去燥视频数据中的噪声模式难以人工模拟，通过自研的无监督去噪算法，可以摆脱有监督神经网络训练对成对噪声与干净图像的依赖；模型还设计了可用户交互的控制参数，支持用户调节适应不同噪声。画质增强细节纹理增强，采用深度残差卷积神经网络，对视频内容进行特征提取与重建，对画面的饱和度与原画质视频的压缩失真进行细节还原；感兴趣区域（ROI）增强与编码，通过ROI区域的实时检测与跟踪技术，对ROI区域进行局部画质增强，同时编码时码率分配进行ROI区域优化，保证ROI区域视觉主观质量的提升。SDR转HDR基于全局与局部信息融合的门控残差网络单元，构建端到端的SDR视频源到符合HDR标准视频信号的上变换网络模型，高效地将传统8bit位深BT.709色域空间的信号，上变换到BT.2020色域空间下10bit及以上位深的信号。高帧率重制基于MEMC（运动估计与运动补偿）的高帧率提升技术，通过对运动方向预判，据此进行插帧，提升画面流畅度与观屏舒适度。超高清编码采用异构计算4K编码技术，基于CPU+GPU+ASI