2021-2022年“5G+AI”工业视觉解决方案研究报告.pdf

2021-2022 年“5G+AI” 工业视觉解决方案研究报告5G+AI5G+AI 智能工业视觉解决方案白皮书 V1.01 工业视觉发展趋势 011.1 工业视觉概述 011.2 工业视觉的发展趋势及挑战 031.3 基于5G+AI的工业视觉解决方案的价值 042 工业视觉发展趋势 062.1 助力企业质量提升 062.1.1 场景1 ：产品在线外观质量检测 062.1.2 场景2 ：产品组装后的防错检查 072.1.3 场景3 ：品牌商多工厂统一质检标准 082.2 助力企业效率提升 082.2.1 场景1 ：生产过程物品智能分拣 082.2.2 场景2 ：生产过程瓶颈节拍分析 092.3 助力企业安全管理 102.3.1 场景1 ：生产现场生产安全巡检 102.3.2 场景2 ：环境监控仪表数据读取 113 5G+AI工业视觉解决方案 123.1 工业视觉四类典型应用方案 123.2 5G+AI工业视觉解决方案架构 153.2.1 逻辑架构：系统间业务数据流 153.2.2 物理架构：现场硬件部署位置 163.3 管：图像传输高经济性方案 183.4 云：边缘云端应用解决方案 213.5 端：现场设备5G连接方案 223.6 工厂园区5G网络建网方案 233.6.1 3C行业网络能力需求分析 233.6.2 工厂园区5G网络方案介绍 263.7 5G+AI工业视觉应用SLA保障 284 5G+AI工业视觉未来展望 305 参考资料清单 31附录：术语表 3201工业视觉发展趋势1.1 工业视觉概述机器视觉系统是指通过机器视觉产品将被摄取目标根据像素分布和亮度、颜色等信息，转变成数字化信号，传送给专用的图像处理系统，图像处理系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉在工业生产中应用广泛， 常用于遍布整个生产环节的四类业务应用 ： 视觉引导与定位、 模式有无识别检测、精准测量测距、产品外观检测等。概括的说，工业机器视觉系统的特点是提高生产的柔性和自动化程度，主要在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现自动化集成，软件集成，是实现智能制造的基础技术。在不同的应用场景中，机器视觉系统所采用的图像采集设备、处理方式、架构组成有所不同，主要包括以下三种系统架构： 一体化智能工业相机机器视觉系统智能工业相机是近年来机器视觉领域发展较快的一项新技术。智能相机是一个兼具图像采集、图像处理和信息传递功能的小型机器视觉检测系统，是一种嵌入式计算机视觉检测系统。它将图像传感器、处理模块、通讯模块和其他外设集成到一个单一的相机内，由于这种一体化的设计，可降低系统的复杂度，并提高可靠性，同时系统尺寸大大缩小，拓宽了机器视觉的应用领域。智能工业相机一般直接输出图像处理数据用于设备控制、结果显示等，应用于某些特定的如二维码 / 条码识别、温度红外识别、视觉引导定位等场景。1基于智能工业相机的系统架构02 基于工业相机和本地算力的机器视觉系统基于工控机机的机器视觉系统是目前主流的应用方案。分离式的图片采集系统与基于工控机的处理系统架构使得该方案能广泛适用于各类工业视觉应用场景。典型的基于工控机的工业视觉系统分为图像采集部分、图像处理部分和运动控制部分，具体由如上图所示的几部分组成： 工业相机与镜头：成像器件，通常的视觉系统都是由一套或者多套这样的成像系统组成，如果有多路相机，可能由系统控制切换来获取图像数据， 也可能由同步控制同时获取多相机通道的数据。 工业相机按照芯片类型、 扫描方式、分辨率大小、输出信号方式、输出色彩、输出信号速度、响应频率范围等有着不同的分类方法，种类繁多，需要根据应用需求进行选择； 光源：光源是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果； 控制单元：控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等，用以判断被测对象的位置和状态，告知图像传感器进行正确的采集或根据图像处理结果完成对生产过程的控制； 图像处理算力设备：工控机或 GPU 服务器，是视觉系统的核心算力，部署于靠近相机的端侧，完成图像数据的处理和绝大部分的控制逻辑，对于检测识别类型或采用深度学习算法的应用，通常都需要高性能的 CPU/GPU，减少处理的时间。工控机内的机器视觉软件用来完成输入的图像数据的处理，通过图像识别得出结果，这个输出的结果可能是 PASS/FAIL 信号、坐标位置、字符串等。常见的传统机器视觉软件以 Halcon、康耐视 VisionPro 等视觉处理软件为平台，实现专用（比如仅仅用于 LCD 检测，BGA 检测，模版对准等）或通用目的（包括定位、测量、条码 /字符识别、斑点检测等）的视觉检测功能。从 2017 年起基于人工智能的机器视觉软件以百度工业视觉智能平台、康耐视 VIDI 等为代表，提供了复杂纹理或物体表面的缺陷检测功能。 基于 IPC 摄像机和云端算力的工业监控系统IPC（IP Camera）摄像机是由视频编码模块和模拟摄像机组合而成的一类摄像机。视频编码模块将模拟摄像机采集到的模拟视频信号编码压缩成数字信号，从而可以直接接入网络交换及路由设备，与云端识别 API 打 通。IPC 摄像机能更简单的实现监控特别是远程监控、 更简单的施工和维护、 更好的支持音频、 更好的支持报警联动和更灵活的录像存储。IPC 摄像机在工业应用场景包括安全巡检、装配动作合规、仓库物料盘点计数等场景。基于工控机的典型机器视觉系统组成031.2 工业视觉的发展趋势及挑战随着人工智能、 计算机视觉等技术的不断成熟， 以及德国 “工业 4.0” 、 日本机器人新战略、 美国先进制造伙伴计划、中国制造 2025 等政策的不断驱动， 促使工业机器人市场持续增长， 也大大促进了机器视觉产业发展。 有公开数据显示，在 2018 年，全球用于工业自动化领域的机器视觉技术市场规模达 44.4 亿美元，预计 2023 年将达 122.9 亿美元，年复合增长率高达 21%，市场需求巨大。随着工业机器视觉应用越来越广泛，被检测对象越来越复杂，机器视觉应用从传统工业视觉向基于深度学习的 AI工业视觉过渡传统工业视觉系统的应用实现，是在经过给定背景、光源、采集光学器材参数的特定环境下，实现对目标感知区域拍摄的数字图像进行指定要求的处理，并提取特定的信息数据，并输出给指定设备作为动作依据，所依赖的是预先明确的固定特征，由视觉工程师基于视觉任务的特定需求，进行目标特征的定义以及数值判断的阀值定义的实现，这种逻辑简单的局限性，无法适用于随机性强、特征复杂的工作任务，如随机出现的复杂外观缺陷检测。因此，目前业界越来越多的使用到能解决此类复杂特征问题的深度学习。深度学习方法 (Deep Learning) 作为传统神经网络的拓展 ，近年来在语音 、图像 、自然语言等的语义认知问题上取得巨大的进展，为解决视觉大数据的表示和理解问题提供了通用的框架。图像视频内容复杂，包含场景多样、物体种类繁多，非受控条件下，图像和视频的内容受光照、姿态、遮挡等影响变化大，图像视频数据量大，特征维度高，部分应用需实时处理 ，而深度学习方法的快速发展 ，为解决上述问题提供了有效的途径 。深度学习算法在目前的行业普遍技术水平已经能够达到 95% 以上的判定准确率。通过平衡漏判率和误判率，更加严格地控制漏判，可以让漏判率降到100PPM 以下，而误判率降到 5% 以下。虽然基于深度学习的 AI 工业视觉可以解决更复杂的问题， 应用越来越广泛， 但仍存在如下瓶颈， 制约更高速的发展 ： 端侧算力成本越来越高随着工业相机像素越来越高，深度学习在工业视觉检测中的应用及提升生产效率生产节拍的要求，对算力硬件性能要求越来越高，高性能 CPU/GPU 的应用也越来越广泛，这直接导致算力成本价格直线上升。同时，一套视觉系统往往独立部署一台算力设备，所有算力无法共享复用，利用率往往无法达到最高。 单点系统维护成本过高固定工位单机的部署方式，使得每次对设备进行调试、软件更新维护、监控分析都需要在本地完成，在机器视觉被工厂大规模使用的情况下，这种维护方式成本极其高昂； 数据孤岛，数据不能有效共享在典型工业视觉系统解决方案中，图像的处理在本地完成终结，生产中有效数据不能及时在各个系统间共享，使得全部系统功能更新缓慢，进而影响整个生产进度； 不能很好的适应具有移动性诉求的应用场景部分工业应用场景具有移动性诉求，如安装于机械臂的视觉定位相机，因为机械臂的移动而线缆损耗严重；04 工厂车间有线互联网建设成本过高、容量不足典型的工厂车间环网速率容量为 1Gbps，该容量为车间环网各类应用公用，如在环网上增加一个端口，则平均成本为超千元；该容量不足以承载典型工业相机数应用的上行大数量需求，且整体有线扩容成本非常高。 通用性、智能性和同类应用快速复制性欠佳机器视觉在通用性方面存在不足，在一些集成应用中无法搭载，一台设备可能只适用于一家厂商或一种行业，导致开发成本过高。而在智能性方面，当库存量单位较高时，或者移动速度较快时，工业视觉在识别准确率上就难以达到要求。 例如在分拣领域， 工业视觉已经能够很好地适应小规模和品类较少的固定分拣， 但对于复杂堆叠物体的识别和分拣，依然有 90% 以上通过人工方式完成； 实际应用中视觉检测准确率较低，不可自学习，动态优化尽管从一些算法的测试结果来看，工业视觉的图像识别准确率已经能够达到极高的水平，但要实现工业上的应用，还需要保证能够快速完成批量化检测，同时能够适应多样的环境（包括物体表面材质、工厂环境、工作距离等等）。只有在实际应用中能够达到极小的误检率，工业视觉才能实现其应用预期，从而满足客户的标准而得以推广；基于以上机器视觉应用痛点，我们希望能够通过 5G+AI 的创新方案来努力解决，使得工业视觉能被普适性的推广应用，推动智能工业制造的发展。1.3 基于 5G+AI 的工业视觉解决方案的价值随着我国 5G 商用大幕正式拉开，5G 做为 “新基建” 之首， 成为新一代智能制造系统的关键使能技术。 在工业领域，5G 以其特有的大带宽、低时延，以及高可靠等特性，使得无线技术应用于现场设备实时控制、远程维护及操控、工业高清图像处理等工业应用新领域成为可能，同时也为未来柔性产线、柔性车间奠定了基础；同时，5G 与 AI 的结合，更是会带来整个社会生产方式的改变和生产力的提升。5G+AI 的智能工业视觉解决方案框架05 5G+AI 的工业视觉解决方案， 通过端 + 5G 网络 + 边缘云 + 云服务的协作， 将成为未来智能化工厂标配解决方案，让工厂质量检查和缺陷识别、设备增加眼睛提升灵活性和零部件高效测量变得简单和高效。 实现数据互联互通、动态闭环通过 5G 网络连接，产线上每个工业视觉应用不再是独立的数据孤岛，带来的价值包括但不局限于以下方面：a ）工厂中央生产控制系统可以实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统；b ）云端训练平台能实时获取多个现场端的样本图像， 快速更新及实时部署优化后模型 ；c ） 实现新检测应用的快速部署及推广， 使能柔性生产 ；d ）实现现场设备的云端统一维护监控等； 提升设备标准化、智能化水平随着被检测对象复杂性的增加，越来越多的视觉检测要依赖于深度学习算法，而深度学习需要大量的样本及强大的GPU 能力不断迭代训练以提升检测成功率；现有深度学习更多的是依靠在现场人工样本的采集及模型的更新，推理训练一体化的设备又大多局限于成本及特定的应用场景，极大的限制了深度学习的应用。5G+AI 的解决方案通过多点样本的实时获取，在云端统一架构平台上实现推理训练，支持快速的新模型迭代更新，能使得深度学习在工业视觉应用中被广泛推广，普遍提升视觉检测成功率； 简单、易部署，支持规模应用在工业中实现一个匹配用户需求的视觉检测系统，需要具备光学、网络及图像算法的专业技能，对用户是个不小的挑战。 5G+AI 的解决方案中将复杂的样本标注、 图像处理等统一在云端平台实现， 并通过 AI 算法实现智能标注、 智能闭环，降低系统应用的复杂性，使得工业视觉检测能被应用到更多的生产环节中。 提升生产效率，减少维护成本5G+AI 的解决方案能极大的提升生产效率，一方面部分工业应用场景具有移动性诉求：如安装于机械臂的视觉定位相机，因为机械臂的频繁移动而使线缆缠绕损耗严重，需要经常更换，另外如后装视觉应用、不固定部署场景，无线传输的方式都可以很好的解决；另一方面，工程技术人员可以在云端进行操作维护，无需到到现场即可进行软件更新、设备调测、功能扩展等操作，能大幅降低系统维护成本，提升效率。 降低视觉规模部署低成本根据公开资料，工业是目前机器视觉应用比重最大的领域，其中又以 3C 电子制造和汽车制造为主，但也仅占到整个生产环节的 1020%，传统工业行业占比更低；导致该结果的主要原因一方面是因为不同行业被检测对象差别极大而技术实现困难，另一方面是因为端侧一体化的视觉检测系统成本过高限制了应用。5G+AI 的工业视觉解决方案中，可以将需要强大软硬件算力支持的计算统一在云端平台实现，并同时支持多类不同应用场景，端侧仅部署标准的图像采集系统，进而降低全系统部署成本；同时，远端维护的方式也可以极大的降低系统的操作维护成本。06 本章节将重点从工业视觉助力企业实现全面质量管理（TQM ）和数字运营管理两个维度，分享 5G+AI 云化工业视觉应用案例。2.1 助力企业质量提升工厂质量控制体系就是为满足产品的质量要求，而实时进行的质量测量和监督检查系统。特别是在汽车零部件、3C产品零部件与外壳、芯片、纺织品、光伏等行业，外观质量检测是非常重要的一个环节，极大影响着产出产品的质量和产品产出速度，受限于大量的质检人员个体差异和生理限制，测量工具不能将结果及时数字化和智能化等，经常导致了生产质量事故频发，管理人员难以准确的判断质量管控运行状态。5G+AI 工业视觉充分发挥先进技术有优势，被引入到零部件出厂检、 入场检、 安装检、 在线检、 抽检和出厂检等各个环节， 解决传统管理上的难点和痛点， 助力企业质量提升。2.1.1 场景 1 ：产品在线外观质量检测以某 3C 产品供应链企业产品外观检测为例，每月人工视觉检测人力成本超过 200 万 ，质检人力员工占比占到 20%40%，且还存在漏检等质量问题。目前人工质检面临质量、 成本、 特殊场景应对、 信息集成的问题，具体如下： 质量 ：人工质检的主观因素对判定结果的影响较大 ，基于视觉疲劳，会存在漏检问题； 成本 ：人员流动较高 ，由此带来的培训和用工成本高 ，用工难招工难； 信息集成 ： 没有对生产数据进行有效积累和利用 , 无法后续推进流程再造和质量分析， 对自动化生产流程适配较弱 ； 效率：传统机器视觉通过程序化计算逻辑进行视觉检测 对此类复杂表面检测抗干扰能力差，误检过高，人员复判工作量大。5G+AI 的外观质量检查方案，依托 AI 深度视觉检测技术和 5G 通信技术进行融合，可在复杂纹理图像分类和背景干扰的情况下大幅度减少漏检误检， 缺陷阀精确可控， 同步实现检测结果数据实时同步， 实现数据模型高效快速迭代闭环，不断提升现场模型准确率。工业视觉发展趋势2某 3C 产品供应链企业生产现状072.1.2 场景 2 ：产品组装后的防错检查某汽车主机厂总装车间，汽车生产的最后一道工序，还是需要依靠大量的人力对车身进行装配，针对车灯检测的场景，由于混线生产检测，检测人员完全依赖经验对车型的车型进行检测，此外由于总装线上的灯光干扰严重，检测人员也需要避免外界光源对车灯检测的干扰，并且检测节拍较短，对于检测人员的检测速度上也是有很高的要求。现有检查方案如下图所示 ; 现有方案：通过镜子目视检查目前传统人工质检面临质量、特殊场景应对和信息集成的问题：质量：人工质检中需要有经验的质检人员基于 20+ 种类型的车清楚知道什么零部件配什么车型，对人的经验要求高， 新员工不熟悉车型会存在漏检问题 ； 长时间在强光源场景下， 需要做相关的人因防护， 避免眼睛长时间接触光源。信息集成：目前无法做到无法做到车型和车灯物料匹配，物料偏差后不可追溯。5G+AI 的质量检查方案，依托 AI 深度视觉检测技术和 5G 通信技术进行融合，基于 MES 系统型号 BOM 数据自动识别不同车型同一款车型支持不同配置，8s 内自动完成检测，检测准确率 99%+，同时存储相应的过程数据可以基于车型号可追溯。5G+AI 方案：视觉图像检查示例图082.1.3 场景 3 ：品牌商多工厂统一质检标准在 3C 行业、汽车行业，上游零部件加工厂家和 OEM 主机厂零部件测量标准的一致性，OEM 厂家接收零部件后如何快速、高效地按照标准抽检零部件质量，并实时将检测结果数字化被各业务系统调用并做到可追溯，是当前行业面临的普遍痛点。基于 OEM 主机厂构建的 AI 质检平台和移动的标准检测 AI-Box，通过 5G 低时延、大带宽连接，将很好地解决当前中小型零部件来料质量控制面临的问题。如某汽车齿毂关键尺寸测量和检查设备，OEM 主机厂统一构建 AI 质检平台，并和零部件厂家共同定义质量标准，采用深度学习和传统算法相结合，使用结合 5G 终端的 AI-Box 视觉检测设备，AI-Box 的检测后通过 5G 网络向 AI 平台和相关业务系统反馈检测结果，共享检测数据，实现高效率，高准确性，并不断完善现有 AI 质检模型，保证主机厂和上游零部件厂家检测标准的一致性 。AI-Box 设备支持光源、相机、镜头的自定义配置，采集数据的无缝对接工业视觉AI 训练平台， 并在工业视觉 AI 训练云平台实现数据标注和模型训练的完整闭环， 同时支持模型下发本地的验证性测试。 2.2 助力企业效率提升生产效率即在单位时间内生产更多的高质量产品是企业核心竞争力之一，随着消费者对产品多样的化的需求，企业面临规模化的按需生产挑战， 行业在积极探索一条生产线生产更多的产品， 同时利用自动和智能化生产减少生产线工人，提升线体柔性。5G+AI 工业视觉充分发挥先进技术有优势，即满足多品种、小批量规模化生产，又减少生产人员提升企业生产效率。2.2.1 场景 1 ：生产过程物品智能分拣在工业制造 、物流产业等多个行业中 ，有很多对产品或物体进行识别检测 、分类放置的需求 ；传统的基于人工视觉的检测方式 ，容易产生疲劳 ，无法一直保证很高的检测效率， 且由于人眼本身的生理极限， 很难在速度、精度等方面达到较高的标准 。因此 ，传统的人工检测方式制约了生产力水平的发展和提高 ，已经难以满足生产AI-Box 应用场景09生活的需要，越来越多的基于机器视觉的分拣机器人被广泛地应用到各种各样的工业化流水线上。即通过工业相机获取目标图像信息，完成对抓取目标的分拣工作。 传统的工业机器人视觉分拣系统中利用经典的计算机视觉理论，如不变距、模板匹配、 SURF 特征等算法识别和定位工件， 对现场环境和工件形状、 背景颜色有较高要求。 现场传送带上的工件、 物体， 可能形状复杂且呈现不同的姿态，而且密集摆放在一起，此种情况下经典的视觉识别与定位算法难以满足高识别率、高精度等要求，分拣机器人将无法胜任分拣任务。基于 5G+AI 的机器视觉分拣系统解决方案中，集成 5G 终端的工业相机，解决了频繁更换网线的痛点，允许更灵活的部署方式，同时依托 5G 网络大带宽、高可靠的特性，将图像回传到云端利用深度学习 AI 检测图像方案，提升识别的准确率和定位精度，使得能够适应更加复杂的分拣环境，更好的完成分拣任务。2.2.2 场景 2 ：生产过程瓶颈节拍分析在工厂产线有人参与的产品装配作业中，一般的动作通常包含固定的操作流程如：伸手、握取、移物、装配；操作人员在长时间工作或被干扰后，装配动作会出现遗漏、误操作等问题，同时也需要需要通过动作分析来找到动作存在的问题，以改善动作的顺序和方法。基于此需求，随着图像获取与图像处理方法的发展，基于机器视觉的动作识别已经在视频监控、行为识别等领域获得广泛应用：即基于 IPC 工业摄像机，通过视频行为识别检测方法，自动识别人工装配过程中的工序是否正确，对错误操作实时进行报警提示，防止不合规操作发生以及发现并优化装配动作。其中基于视频的行为识别是指从视频序列中提取描述动作行为模式的显著视觉特征，然后通过机器学习与模式识别等算法进行分类和理解，来实现视频目标的行为模式的识别。某部件人工装配动作视觉 AI 分析实时节拍基于 5G+AI 的视频人工装配动作检测解决方案，通过 5G 网络回传视频到有强大计算能力的云平台，通过深度学习方法解决装配动作复杂多变，检测成功率不高的痛点，同时基于 5G 无线网络的灵活部署方案，使得该解决方案能被推广到更多行业应用中。动作 动作说明 AI 动作识别时长伸手 将手移向目的地 0.43s抓取 用手指可靠地控制目标物 0.38s移动 移动目标物 0.56s定位 对正待装配目标位置 1.12s装配 进行装配动作操作 6.13s102.3 助力企业安全管理2.3.1 场景 1 ：生产现场生产安全巡检安全巡检包含厂区管理、安全生产、环境监控三个方面内容，以及在这些场景中对于人、车、设备等安全状态的检查，排查异常情况，及时解决问题和安全隐患。传统安全巡检主要依靠人工，无论在巡检确定性、效率和及时性方面，都存在较为严重的问题：人工员管理问题：巡检人员未按规定巡检，隐患未能及时上报，遗漏巡检点，纸质记录巡检情况；巡检效率问题：受限检测点位、安全性服装等场景限制，导致人员巡检时需要更换工具及辅助设备，效率低；及时性低：受限于安全人员数量以及厂区面积，无法做到安全隐患没有被及时发现，一旦发生问题如火灾等极端情况。 部分巡检开始使用固定和移动摄像头代替人工进行远程巡检，但整体智能化程度低，于监管安全产的摄像头和传感设备智能化程度较低，未能全覆盖产的主要险点，能够采集到的产数据有限，数据分析、监测预警等智能化应尚未开展，不能很好地满企业安全产监管的需求。5G+AI 视觉识别的智能安全巡检方式，通过现场高清设备进行采集，借助 5G 网络进行图像数据回传，通过深度学习训练 AI 模型，实时监控现场安全状态，从而实现对于现场的自动化安全巡检。针对人员管理、车辆管理、安全着装规范识别、生产机械安全监控、危险行为监测和环境监控 6 个大的场景，该方案都可以达到较高的准确率，消除人工巡检存在的隐患。112.3.2 场景 2 ：环境监控仪表数据读取在制造生产等企业中，各位安全监控仪表数据采集和监控是数字化管理的基础，物联网系统的构建可以将设备数据进行实时采集，大大提升整体管理效率，对于异常情况进行及时报警。在构建物联网进行数据采集的过程中，往往会遇到以下的 3 大类问题，使得物联网监控系统构建受到很大阻碍：设备支持：一些传统指针仪表，并不支持数字化的采集方式，无法将模拟信号转化成数字信号，仅仅能通过仪表盘进行数据读取， 无法进行物联网协议对接 ； 协议开放 ： 设备仪表厂家众多、 协议众多， 很多厂家协议并不对外开放，往往数据对接要和仪表厂商进行进一步沟通，很难得到有效支持，阻碍了仪表设备数据对接；施工周期和成本：由于受到设备协议、 场地接线等影响， 建设完备的物联网体系周期往往较长， 如为了搭建物联网系统进行设备更换， 成本较高。5G+AI 工业视觉解决方案，通过摄像设备这类非侵入，易安装的方式实现对于各种类型仪表的图像采集，训练深度学习 AI 模型，实现对于仪表的自动化数字识别和传输，在物联网对接条件受到限制情况下，可绕开各类复杂协议，网络对接的问题，直接从图像数据中采集仪表数字。如下图所示无论对于指针类型仪表、数字类型仪表，还是状态灯开关指示，都可以实现仪表数据的实时采集和传输识别，起到物联监控的效果。5G+AI 工业视觉：物联数据采集解决方案123.1 工业视觉四类典型应用方案工业视觉应用中业务模型是指从输出数据的相机端侧到接收数据的处理单元侧之间传输的数据类型、承载协议、数据量、传输间隔等业务模型，用于辅助分析不同的系统架构实现。5G+AI 工业视觉解决方案3典型工业相机系统处理流程典型工业视觉应用系统处理流程如上图所示。工业视觉应用系统中相机在获得某信号触发指令后，执行图像采集过程，并将采集到的图像传输到处理设备，在图像识别检测处理完成后，根据结果进行指定的执行动作；一般在确定的产线工位生产循环节拍 CT （Cycle Time ）时间下，用于视觉应用系统处理的最大时间是固定的。在不同的应用系统架构下，工业机器视觉应用业务模型包括以下四种。 基于智能工业相机实时控制 / 结果类应用方案内置图像处理功能的智能工业相机输出的实时图像检测结果可直接用于应用处理， 此类数据数据量小 (100Byte)，实时性要求相对较高，相机一般支持 TCP/IP、UDP 等通用接口协议用于传输数据。13 基于智能工业相机非实时类应用方案此类数据内容一般为对时延不敏感的非实时备份图像、监测命令、文件等类型数据，使用 TCP/IP 、FTP 等通用协议用于数据传输。以工业事件监控相机为例，当某事件触发相机进行记录时，相机通过 FTP 协议上传约 5MB 大小的一个视频文件。 基于非智能工业相机实时图像类应用方案非智能（PC Base）工业相机因可适配应用场景众多，是目前工业主流应用方式。此类相机所使用的数据协议接口种类众多，以 IP 化的 GigE Vision 及 USB 为主流应用，在工业应用中，GigE Vision 允许用户在很长距离上用廉价的标准线缆进行快速图像传输。 工业相机通过 GigE Vision 协议传输的数据速率取决于相机的像素、格式、帧率：传输速率（Mbps）= （像素 x 格式 x 帧率）/ （1024*1024）其中，像素取决于应用期望的检测精度，目前主流工业视觉应用一般为 500W、1000W 及 2000W 像素；格式包括Mono、RGB、YUV 等 ，根据显示内容的丰富性格式分为 1 位、8 位、16 位、24 位、32 位等 ；帧率取决于应用要求 ，即在确定 CT 时间下，可以允许多长的图像采集时间；因此，非智能工业相机的业务速率并不是一个固定值，而是取决于某个具体的应用需求。14 基于工业 IPC 摄像机类应用方案IPC（IP Camera）网络摄像机数据一般通过 H.264 进行视频流编码。H.264 与其它现有的视频编码标准相比，它即保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点目前主流摄像机编码后的流媒体数据传输一般使用 RTSP/RTP 协议传输。RTP （Real-time Transport Protocol）是用于 Internet 上针对多媒体数据流的一种传输层协议。RTP 协议定义了在互联网上传递音频和视频的标准数据包格式。RTSP （Real Time Streaming Protocol）是用来控制声音或影像的多媒体串流协议，并允许同时多个串流需求控制，传输时所用的网络通讯协定并不在其定义的范围内。IPC 视频业务速率取决于视频分辨率、编码格式、帧率等参数，如目前典型的 H.264 编码格式下的典型码率如下表所示。视频质量 分辨率 视频编码格式 典型码率1080p30fps 1920 x1080 H.264 4M2K30fps 2560 x1440 H.264 6M4K30fps 3840 x2160 H.264 16M153.2 5G+AI 工业视觉解决方案架构如 3.1 节描述 ，对于智能工业相机应用场景 ，相机与数据处理平台之间的应用层数据交互一般是基于TCP/ IP 或UDP 协议的非图像类数据交互 ，一般不涉及深度学习图像处理 ，网络部署上只需保证通过 5G 网络的两端设备能互通且满足业务时延 、可靠性要求即可 ，因此不做为系统架构分析主要内容 ，本章节主要分析基于非智能工业相机应用的5G+AI 解决方案架构。3.2.1 逻辑架构：系统间业务数据流如上图所示，5G 的低时延、 大带宽等特性实时传输图像数据及控制数据， 实现图像识别处理系统、 设备控制系统、工业 AI 视觉云平台和生产业务系统间数据高效传递。 图像采集系统：实现现场图像或视频采集及处理功能； 设备控制系统：接收图像处理结果而完成设备动作控制； 图像识别管理系统：根据确定的训练模型，对采集图像进行推理预测，并反馈结果及实现相关设备控制的功能； 工业 AI 视觉云平台：基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型的功能； 企业生产业务系统：企业的生产信息化管理系统，如 MES，WMS，ERP 等；基于 5G+AI 的典型工业视觉业务逻辑架构16行业 视觉应用场景 典型 CT 时间 允许的视觉处理时间3C 手机壳表面瑕疵检测 2s 500ms1s3C SPI/AOI 检测 500ms 200300ms汽车 焊点检测 90s 115s3.2.2 物理架构：现场硬件部署位置在不同的工厂的应用需求、项目成本和网络能力等前提下，基于 5G+AI 的工业视觉系统物理部署架构分为现场推理与闭环控制，边缘云训练和边缘云推理与闭环控制，边缘云训练两大类，如下图所示： 1) 现场推理与闭环控制，边缘云训练 在该架构中，相机通过有线连接到工控机（或其他处理设备），工控机和 AI 视觉云平台通过 5G 网络连接，实现设备状态和软件版本的在线可视化管理， 同时将瑕疵、 误杀、 疑似等图像上传到视觉 AI 云平台， 快速迭代模型并自动下发，让本地侧的设备越来越聪明； 现场推理与闭环控制功能，能满足严苛的超低实时性要求。如 3.1 节所述，不同行业的生产节拍不同，不同的应用允许工业视觉处理及根据结果进行设备控制的时间不同。因此，根据应用场景提供如下参考：现场推理与闭环控制，边缘云训练架构示意172) 边缘云推理与闭环控制，边缘云训练 边缘云推理与闭环控制，边缘云训练在该架构中，现场仅实现图像采集，通过 5G 网络上传图像，边缘云视觉平台完成推理预测及设备控制指令下发等功能，其中，AI 视觉云平台的部署与架构同上方案。利用 5G 网络大带宽、高可靠性的特性，实现现场部署的硬件简单、标准化和灵活部署，持不同应用需求，边缘云硬件及软件能力易扩容，资源可复用，更利于工业视觉应用的广泛推广。总结，以上两种方案在未来工厂可能根据业务需求同时存在，但是具体的一个应用，可根据如下公式计算评估：以非智能工业相机实时图像类数据业务模型为例，当该公式左侧值大于右侧值时，建议采用 1 ）现场推理与闭环控制，边缘云训练，反之建议采用 2 ）边缘云推理与闭环控制，边缘云训练：Sf V5GTC + + Ti + Tr Tp其中：TC : 非智能工业相机图像传输前处理耗时，如对图像的预处理、ROI 选择、压缩等Sf : 待传输图像大小 ； 如果是原始图像传输， 则与相机像素、 位深有关 ； 如果是压缩图像传输， 则与图像格式 （像素、位深）、有损压缩质量、图像色彩丰富程度及不同的压缩算法有关V5G : 5G 网络所能提供的带宽速率Ti : 在边缘平台上完成推理的耗时Tr : 根据推理结果从边缘设备控制端侧设备时传输消息耗时Tp : 为根据 CT 时间计算推导出的允许视觉处理的时间183.3 管：图像传输高经济性方案5G 网络对比传统有线有移动性和灵活性优势 ，同样有带宽的劣势 。以中国移动目前 2.6GHz 的 100MHz 频段为例 ，按照目前 4:1 的帧配比 ，单终端理论上行峰值速率约为 190Mbps，如果为 7:3 帧配比 ，理论上行峰值速率为280Mbps；但在实际应用环境中 ，受各种因素影响 ，单终端普遍可获得上行速率在 50100Mbps。因此 ，为适配当前5G 网络能力，减少对 5G 传输网络的带宽需求，提升传输网络每单位 Bit 的经济价值，可采用如下方案解决： 图像 ROI 抠图方案在某些应用场景下，所检测的目标区域相对固定在整张图的某个区域，此时可以通过设置 ROI 区域的方式，仅采集该区域图像，降低数据传输量。如下图所示案例，通过 ROI 设置所读取的单板二维码信息区域，可以将单帧图像大小降低到 10% 左右。 此方案存在的缺陷在于不是所有的检测对象都是在固定区域，比如物体表面的缺陷、瑕疵检测，可能会出现在整幅图的任何区域，此时则不能划分固定区域。 图像压缩方案图像压缩方案是指在端侧先进行图像有损 / 无损压缩，然后基于 TCP 或可靠的 UDP 传输协议通过 5G 网络上传，以达到降低对网络带宽需求及提高传输可靠性的目标，针对不同的应用需求在压缩图像质量、压缩率、压缩时间之间找到一个最佳的压缩算法。基于此目的，通过对视觉测量、OCR 二维码读取、基于 AI 的深度学习检测等应用场景，在基于 BMP 原图的基础上使用广泛使用的不同压缩质量的 JPEG 图像对检测结果的影响进行多项测试，测试结果表明： 对测量类 视觉应用的影响根据测试结果，图像压缩后测量误差最大 0.3 个像素，其中最大是指采用 JPEG 压缩算法，在保证能进行有效测量时采用最低压缩质量，压缩图像测量结果与 BMP 格式的原图测量结果之间的误差最大值；（该结论仅基于测试场景，不一定具备普适性，需要在每种具体的应用场景中进行测试）； 对 OCR 字符识别应用的影响有损图像压缩对字符识别的影响较小， 在保证能检测出来的前提下， 可以采用很小的压缩质量， 压缩率可达几十倍 ；ROI 区域抠图19 对基于 AI 深度学习图像推理预测 的 影响有损压缩图像对边缘云上进行推理结果的影响是重点测试分析场景， 针对 3C 及汽车行业典型的工业视觉应用场景，分析了压缩图像对 AI 检测结果的影响如下： a) 模板匹配类的有无检测某 3C 产品使用深度学习检测工件表面硅胶点胶是否缺失，使用 2000W 像素的彩色相机，原图大小 56.6MByte，采用 JPEG 压缩后大小 1.5MB，检测成功率与使用原图相同；b) 3C 结构件检测某 3C 精密结构件产品使用 AI 技术检测表面外观缺陷， 缺陷类型达到 30 种以上， 背景复杂、 缺陷类型多不规则细小，使用 500W 像素相机拍摄 6 个面 18 张图片， 使用不同压缩质量的 JPEG 图像， 针对模型检测效果的 2 类评估指标如下 ：压缩质量 压缩文件大小模型评估指标bboxMapIOU0.1模型评估指标：SegmMapIOU0.1原始图像 428 KB 90.4 90.495% 248 KB 90.5(+0.1) 90.4(0)75% 90 KB 90.5(+0.1) 90.4(0)55% 64 KB 90.4(0) 90.1(-0.3)压缩质量 压缩文件大小模型评估指标bbox mAP50模型评估指标：segm mAP50原始图像 3.37 MB 58.8 45.0100% 1.32 MB 58.9 (+0.1) 45.1 (+0.1)90% 0.41 MB 60.2 (+1.4) 46.6 + (1.6)80% 0.26 MB 59.0 (+0.2) 45.1 (+0.1)60% 0.17 MB 59.0 (+0.2) 45.9 (+0.9)40% 0.13 MB 57.1 (-1.7) 43.4 (-1.6)c) 手机中框 3D 检测某手机产品使用 AI 技术检测中框面检测， 使用不同压缩质量的 JPEG 图像， 针对模型检测效果的 2 类评估指标如下 ：20d) 汽车零部件检测使用 AI 技术对某汽车零部件进行缺陷检测，使用不同压缩质量的 JPEG 图像，针对模型检测效果的 2 类评估指标如下：压缩质量 压缩文件大小模型评估指标bbox mAP模型评估指标：segm mAP原始图像 2.5 MB0.1 / 80.830.5 / 77.0580.1 / 74.8180.5 / 68.96395% 1.5 MB0.1 / 80.717(-0.113)