5G+AI智能工业视觉解决方案白皮书.pdf

5G+AI智能工业视觉解决方案白皮书V1.0发布日期 2020-06-20联合编著华为技术有限公司北京百度网讯科技有限公司5G+AI5G+AI智能工业视觉解决方案白皮书V1.01 工业视觉发展趋势 011.1 工业视觉概述1.2 工业视觉的发展趋势及挑战 031.3 基于5G+AI的工业视觉解决方案的价值 042工业视觉发展趋势 062.1 助力企业质量提升2.1.1 场景1：产品在线外观质量检测 062.1.2 场景2：产品组装后的防错检查 072.1.3 场景3：品牌商多工厂统一质检标准 082.2 助力企业效率提升 082.2.1 场景1：生产过程物品智能分拣 082.2.2 场景2：生产过程瓶颈节拍分析 092.3 助力企业安全管理 102.3.1 场景1：生产现场生产安全巡检 102.3.2 场景2：环境监控仪表数据读取 113 5G+AI工业视觉解决方案 123.1 工业视觉四类典型应用方案 123.2 5G+AI工业视觉解决方案架构 153.2.1 逻辑架构：系统间业务数据流3.2.2 物理架构：现场硬件部署位置 163.3 管：图像传输高经济性方案 183.4 云：边缘云端应用解决方案 213.5 端：现场设备5G连接方案 223.6 工厂园区5G网络建网方案 233.6.1 3C行业网络能力需求分析3.6.2 工厂园区5G网络方案介绍 263.7 5G+AI工业视觉应用SLA保障 284 5G+AI工业视觉未来展望 305 参考资料清单 31附录：术语表 325G+AI智能工业视觉解决方案白皮书V1.001工业视觉发展趋势1.1 工业视觉概述机器视觉系统是指通过机器视觉产品将被摄取目标根据像素分布和亮度、颜色等信息，转变成数字化信号，传送给专用的图像处理系统，图像处理系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉在工业生产中应用广泛，常用于遍布整个生产环节的四类业务应用：视觉引导与定位、模式有无识别检测、精准测量测距、产品外观检测等。概括的说，工业机器视觉系统的特点是提高生产的柔性和自动化程度，主要在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现自动化集成，软件集成，是实现智能制造的基础技术。在不同的应用场景中，机器视觉系统所采用的图像采集设备、处理方式、架构组成有所不同，主要包括以下三种系统架构：一体化智能工业相机机器视觉系统智能工业相机是近年来机器视觉领域发展较快的一项新技术。智能相机是一个兼具图像采集、图像处理和信息传递功能的小型机器视觉检测系统，是一种嵌入式计算机视觉检测系统。它将图像传感器、处理模块、通讯模块和其他外设集成到一个单一的相机内，由于这种一体化的设计，可降低系统的复杂度，并提高可靠性，同时系统尺寸大大缩小，拓宽了机器视觉的应用领域。智能工业相机一般直接输出图像处理数据用于设备控制、结果显示等，应用于某些特定的如二维码/条码识别、温度红外识别、视觉引导定位等场景。1基于智能工业相机的系统架构5G+AI智能工业视觉解决方案白皮书V1.002基于工业相机和本地算力的机器视觉系统基于工控机机的机器视觉系统是目前主流的应用方案。分离式的图片采集系统与基于工控机的处理系统架构使得该方案能广泛适用于各类工业视觉应用场景。典型的基于工控机的工业视觉系统分为图像采集部分、图像处理部分和运动控制部分，具体由如上图所示的几部分组成：null工业相机与镜头：成像器件，通常的视觉系统都是由一套或者多套这样的成像系统组成，如果有多路相机，可能由系统控制切换来获取图像数据，也可能由同步控制同时获取多相机通道的数据。工业相机按照芯片类型、扫描方式、分辨率大小、输出信号方式、输出色彩、输出信号速度、响应频率范围等有着不同的分类方法，种类繁多，需要根据应用需求进行选择；null光源：光源是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果；null控制单元：控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等，用以判断被测对象的位置和状态，告知图像传感器进行正确的采集或根据图像处理结果完成对生产过程的控制；null图像处理算力设备：工控机或GPU服务器，是视觉系统的核心算力，部署于靠近相机的端侧，完成图像数据的处理和绝大部分的控制逻辑，对于检测识别类型或采用深度学习算法的应用，通常都需要高性能的CPU/GPU，减少处理的时间。工控机内的机器视觉软件用来完成输入的图像数据的处理，通过图像识别得出结果，这个输出的结果可能是PASS/FAIL信号、坐标位置、字符串等。常见的传统机器视觉软件以Halcon、康耐视VisionPro等视觉处理软件为平台，实现专用（比如仅仅用于LCD检测，BGA检测，模版对准等）或通用目的（包括定位、测量、条码/字符识别、斑点检测等）的视觉检测功能。从2017年起基于人工智能的机器视觉软件以百度工业视觉智能平台、康耐视VIDI等为代表，提供了复杂纹理或物体表面的缺陷检测功能。基于IPC摄像机和云端算力的工业监控系统IPC（IP Camera）摄像机是由视频编码模块和模拟摄像机组合而成的一类摄像机。视频编码模块将模拟摄像机采集到的模拟视频信号编码压缩成数字信号，从而可以直接接入网络交换及路由设备，与云端识别API打通。IPC摄像机能更简单的实现监控特别是远程监控、更简单的施工和维护、更好的支持音频、更好的支持报警联动和更灵活的录像存储。IPC摄像机在工业应用场景包括安全巡检、装配动作合规、仓库物料盘点计数等场景。基于工控机的典型机器视觉系统组成5G+AI智能工业视觉解决方案白皮书V1.0031.2 工业视觉的发展趋势及挑战随着人工智能、计算机视觉等技术的不断成熟，以及德国“工业 4.0”、日本机器人新战略、美国先进制造伙伴计划、中国制造 2025等政策的不断驱动，促使工业机器人市场持续增长，也大大促进了机器视觉产业发展。有公开数据显示，在2018年，全球用于工业自动化领域的机器视觉技术市场规模达44.4亿美元，预计2023年将达122.9亿美元，年复合增长率高达21%，市场需求巨大。随着工业机器视觉应用越来越广泛，被检测对象越来越复杂，机器视觉应用从传统工业视觉向基于深度学习的AI工业视觉过渡传统工业视觉系统的应用实现，是在经过给定背景、光源、采集光学器材参数的特定环境下，实现对目标感知区域拍摄的数字图像进行指定要求的处理，并提取特定的信息数据，并输出给指定设备作为动作依据，所依赖的是预先明确的固定特征，由视觉工程师基于视觉任务的特定需求，进行目标特征的定义以及数值判断的阀值定义的实现，这种逻辑简单的局限性，无法适用于随机性强、特征复杂的工作任务，如随机出现的复杂外观缺陷检测。因此，目前业界越来越多的使用到能解决此类复杂特征问题的深度学习。深度学习方法(Deep Learning)作为传统神经网络的拓展，近年来在语音、图像、自然语言等的语义认知问题上取得巨大的进展，为解决视觉大数据的表示和理解问题提供了通用的框架。图像视频内容复杂，包含场景多样、物体种类繁多，非受控条件下，图像和视频的内容受光照、姿态、遮挡等影响变化大，图像视频数据量大，特征维度高，部分应用需实时处理，而深度学习方法的快速发展，为解决上述问题提供了有效的途径。深度学习算法在目前的行业普遍技术水平已经能够达到95%以上的判定准确率。通过平衡漏判率和误判率，更加严格地控制漏判，可以让漏判率降到100PPM以下，而误判率降到5%以下。虽然基于深度学习的AI工业视觉可以解决更复杂的问题，应用越来越广泛，但仍存在如下瓶颈，制约更高速的发展：端侧算力成本越来越高随着工业相机像素越来越高，深度学习在工业视觉检测中的应用及提升生产效率生产节拍的要求，对算力硬件性能要求越来越高，高性能CPU/GPU的应用也越来越广泛，这直接导致算力成本价格直线上升。同时，一套视觉系统往往独立部署一台算力设备，所有算力无法共享复用，利用率往往无法达到最高。单点系统维护成本过高固定工位单机的部署方式，使得每次对设备进行调试、软件更新维护、监控分析都需要在本地完成，在机器视觉被工厂大规模使用的情况下，这种维护方式成本极其高昂；数据孤岛，数据不能有效共享在典型工业视觉系统解决方案中，图像的处理在本地完成终结，生产中有效数据不能及时在各个系统间共享，使得全部系统功能更新缓慢，进而影响整个生产进度；不能很好的适应具有移动性诉求的应用场景部分工业应用场景具有移动性诉求，如安装于机械臂的视觉定位相机，因为机械臂的移动而线缆损耗严重；5G+AI智能工业视觉解决方案白皮书V1.004工厂车间有线互联网建设成本过高、容量不足典型的工厂车间环网速率容量为1Gbps，该容量为车间环网各类应用公用，如在环网上增加一个端口，则平均成本为超千元；该容量不足以承载典型工业相机数应用的上行大数量需求，且整体有线扩容成本非常高。通用性、智能性和同类应用快速复制性欠佳机器视觉在通用性方面存在不足，在一些集成应用中无法搭载，一台设备可能只适用于一家厂商或一种行业，导致开发成本过高。而在智能性方面，当库存量单位较高时，或者移动速度较快时，工业视觉在识别准确率上就难以达到要求。例如在分拣领域，工业视觉已经能够很好地适应小规模和品类较少的固定分拣，但对于复杂堆叠物体的识别和分拣，依然有90%以上通过人工方式完成；实际应用中视觉检测准确率较低，不可自学习，动态优化尽管从一些算法的测试结果来看，工业视觉的图像识别准确率已经能够达到极高的水平，但要实现工业上的应用，还需要保证能够快速完成批量化检测，同时能够适应多样的环境（包括物体表面材质、工厂环境、工作距离等等）。只有在实际应用中能够达到极小的误检率，工业视觉才能实现其应用预期，从而满足客户的标准而得以推广；基于以上机器视觉应用痛点，我们希望能够通过5G+AI的创新方案来努力解决，使得工业视觉能被普适性的推广应用，推动智能工业制造的发展。1.3 基于5G+AI的工业视觉解决方案的价值随着我国5G商用大幕正式拉开，5G做为“新基建”之首，成为新一代智能制造系统的关键使能技术。在工业领域，5G以其特有的大带宽、低时延，以及高可靠等特性，使得无线技术应用于现场设备实时控制、远程维护及操控、工业高清图像处理等工业应用新领域成为可能，同时也为未来柔性产线、柔性车间奠定了基础；同时，5G与AI的结合，更是会带来整个社会生产方式的改变和生产力的提升。5G+AI的智能工业视觉解决方案框架5G+AI智能工业视觉解决方案白皮书V1.0055G+AI的工业视觉解决方案，通过端 + 5G网络 + 边缘云 + 云服务的协作，将成为未来智能化工厂标配解决方案，让工厂质量检查和缺陷识别、设备增加眼睛提升灵活性和零部件高效测量变得简单和高效。实现数据互联互通、动态闭环通过5G网络连接，产线上每个工业视觉应用不再是独立的数据孤岛，带来的价值包括但不局限于以下方面：a）工厂中央生产控制系统可以实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统；b）云端训练平台能实时获取多个现场端的样本图像，快速更新及实时部署优化后模型；c）实现新检测应用的快速部署及推广，使能柔性生产；d）实现现场设备的云端统一维护监控等；提升设备标准化、智能化水平随着被检测对象复杂性的增加，越来越多的视觉检测要依赖于深度学习算法，而深度学习需要大量的样本及强大的GPU能力不断迭代训练以提升检测成功率；现有深度学习更多的是依靠在现场人工样本的采集及模型的更新，推理训练一体化的设备又大多局限于成本及特定的应用场景，极大的限制了深度学习的应用。5G+AI的解决方案通过多点样本的实时获取，在云端统一架构平台上实现推理训练，支持快速的新模型迭代更新，能使得深度学习在工业视觉应用中被广泛推广，普遍提升视觉检测成功率；简单、易部署，支持规模应用在工业中实现一个匹配用户需求的视觉检测系统，需要具备光学、网络及图像算法的专业技能，对用户是个不小的挑战。5G+AI的解决方案中将复杂的样本标注、图像处理等统一在云端平台实现，并通过AI算法实现智能标注、智能闭环，降低系统应用的复杂性，使得工业视觉检测能被应用到更多的生产环节中。提升生产效率，减少维护成本5G+AI的解决方案能极大的提升生产效率，一方面部分工业应用场景具有移动性诉求：如安装于机械臂的视觉定位相机，因为机械臂的频繁移动而使线缆缠绕损耗严重，需要经常更换，另外如后装视觉应用、不固定部署场景，无线传输的方式都可以很好的解决；另一方面，工程技术人员可以在云端进行操作维护，无需到到现场即可进行软件更新、设备调测、功能扩展等操作，能大幅降低系统维护成本，提升效率。降低视觉规模部署低成本根据公开资料，工业是目前机器视觉应用比重最大的领域，其中又以3C电子制造和汽车制造为主，但也仅占到整个生产环节的1020%，传统工业行业占比更低；导致该结果的主要原因一方面是因为不同行业被检测对象差别极大而技术实现困难，另一方面是因为端侧一体化的视觉检测系统成本过高限制了应用。5G+AI的工业视觉解决方案中，可以将需要强大软硬件算力支持的计算统一在云端平台实现，并同时支持多类不同应用场景，端侧仅部署标准的图像采集系统，进而降低全系统部署成本；同时，远端维护的方式也可以极大的降低系统的操作维护成本。5G+AI智能工业视觉解决方案白皮书V1.006本章节将重点从工业视觉助力企业实现全面质量管理（TQM）和数字运营管理两个维度，分享5G+AI云化工业视觉应用案例。2.1 助力企业质量提升工厂质量控制体系就是为满足产品的质量要求，而实时进行的质量测量和监督检查系统。特别是在汽车零部件、3C产品零部件与外壳、芯片、纺织品、光伏等行业，外观质量检测是非常重要的一个环节，极大影响着产出产品的质量和产品产出速度，受限于大量的质检人员个体差异和生理限制，测量工具不能将结果及时数字化和智能化等，经常导致了生产质量事故频发，管理人员难以准确的判断质量管控运行状态。5G+AI工业视觉充分发挥先进技术有优势，被引入到零部件出厂检、入场检、安装检、在线检、抽检和出厂检等各个环节，解决传统管理上的难点和痛点，助力企业质量提升。2.1.1 场景1：产品在线外观质量检测以某3C产品供应链企业产品外观检测为例，每月人工视觉检测人力成本超过200万，质检人力员工占比占到20%40%，且还存在漏检等质量问题。目前人工质检面临质量、成本、特殊场景应对、信息集成的问题，具体如下：null质量：人工质检的主观因素对判定结果的影响较大，基于视觉疲劳，会存在漏检问题；null成本：人员流动较高，由此带来的培训和用工成本高，用工难招工难；null信息集成：没有对生产数据进行有效积累和利用, 无法后续推进流程再造和质量分析，对自动化生产流程适配较弱；null效率：传统机器视觉通过程序化计算逻辑进行视觉检测 对此类复杂表面检测抗干扰能力差，误检过高，人员复判工作量大。5G+AI的外观质量检查方案，依托AI深度视觉检测技术和5G通信技术进行融合，可在复杂纹理图像分类和背景干扰的情况下大幅度减少漏检误检，缺陷阀精确可控，同步实现检测结果数据实时同步，实现数据模型高效快速迭代闭环，不断提升现场模型准确率。工业视觉发展趋势2某3C产品供应链企业生产现状5G+AI智能工业视觉解决方案白皮书V1.0072.1.2 场景2：产品组装后的防错检查某汽车主机厂总装车间，汽车生产的最后一道工序，还是需要依靠大量的人力对车身进行装配，针对车灯检测的场景，由于混线生产检测，检测人员完全依赖经验对车型的车型进行检测，此外由于总装线上的灯光干扰严重，检测人员也需要避免外界光源对车灯检测的干扰，并且检测节拍较短，对于检测人员的检测速度上也是有很高的要求。现有检查方案如下图所示; 现有方案：通过镜子目视检查目前传统人工质检面临质量、特殊场景应对和信息集成的问题：质量：人工质检中需要有经验的质检人员基于20+种类型的车清楚知道什么零部件配什么车型，对人的经验要求高，新员工不熟悉车型会存在漏检问题；长时间在强光源场景下，需要做相关的人因防护，避免眼睛长时间接触光源。信息集成：目前无法做到无法做到车型和车灯物料匹配，物料偏差后不可追溯。5G+AI的质量检查方案，依托AI深度视觉检测技术和5G通信技术进行融合，基于MES系统型号BOM数据自动识别不同车型同一款车型支持不同配置，8s内自动完成检测，检测准确率99%+，同时存储相应的过程数据可以基于车型号可追溯。5G+AI方案：视觉图像检查示例图