机器视觉在智能制造中的应用与产业发展

发布时间：2022-04-09

　　摘要: 智能制造是我国实现制造强国的重要途径，而机器视觉技术已成为智能制造系统的核心技术之一。采用文献研究法对近年来机器视觉技术在智能制造领域的主要研究成果与应用情况进行了系统的梳理，详细阐明了机器视觉在智能制造领域的四大应用 ( 引导、检测、测量、识别) 及其研究进展; 对全球机器视觉产业发展现状进行了详细的阐述与分析; 预测了机器视觉技术在智能制造行业的发展方向。研究结果对我国智能制造底层建设、机器视觉的发展有重要意义。

　　关键词: 智能制造; 机器视觉; 行业发展

　　0 前言

　　我国是一个世界制造大国，但还不是制造强国，存在的突出问题主要在于自主创新能力不强、资源利用效 率 低 等，产 业 结 构 调 整 刻 不 容 缓，智 能 制 造 ( Smart Manufacturing，SM) 为我国制造业跨越发展、实现制造强国目标提供了历史性机遇[1]。人工智能 ( Artificial Intelligence，AI) 与先进制造技术融合发展，促进了制造业向人-信息-物理系统 ( Human - Cyber-Physical Systems，HCPS) 的新一代智能制造的转型升级[2-3]。制造业信息化专家、中国工程院院士李培根认为智能制造的本质和真谛是利用大数据、AI 等先进技术认识和控制制造系统中的不确定性问题，以达到更高的目标[4]。发达国家纷纷运用工业大数据、物 联 网、云 计 算、工 业 网 络 安 全、虚 拟 现 实 ( Virtual Reality，VR) 、工业机器人、3D 打印、AI、知识工作自动化等信息网络技术大力发展智能制造[5]。由 此，新一轮工业革命席卷全球。2013 年，德国在汉诺威工业博览会上提出 “工业 4. 0”战略，希望 运 用 信 息 物 理 系 统 ( Cyber Physical System， CPS) 将生产中的供应、制造、销售等信息数据化、智慧化以实现快速、有效、个人化的产品供应; 美国通用电气提出了工业互联网概念，试图将人、数据和机器连接起来以重构 全 球 工 业、激 发 生 产 力; 日、韩、法等国家分别提出 “再兴战略”、 “制造业创新 3. 0 战略”、“未来工业计划”等[6-7]。在 “中国制造 2025”与 “互联网+”战略背景下，智能制造已经成为中国制造强国战略的主攻方向，致力于在智能装备、加工技术乃至资源管理、生产流程方面寻求智能化发展[8-9]。AI 是智能制造的重要组成部分，而机器视觉 ( Machine Vision，MV) 在 AI 应用技术中占比超过 40%，已成为实现智能制造的重要技 术 窗口[10-14]。并且，在新型冠状病毒疫情的影响下，进一步促进了 AI 技术在智能办公、智能生产、智能医疗等方面的应用。同时，随着 5G 逐步应用，VR 和增强现实 ( Augmented Reality，AR) 等视觉技术将得到迅猛发展。文中采用文献研究法对近年来机器视觉技术主要研究成果与应用情况进行了系统的梳理，并对国内外机器视觉产业现状进行了详细的阐述与分析，探讨了目前仍需进一步研究解决的问题，提出了一些具有一定借鉴意义的建议，对我国机器视觉产业的健康发展有积极意义。

　　1 机器视觉技术及其应用

　　1. 1 概述

　　随着计算机科学与自动控制技术的发展，越来越多的、不同种类的智能机器人出现在生产、生活中，视觉系统作为智能机器人系统中重要的子系统已经受到人们的重视。机器视觉是 AI 的一个重要分支，涉及计算机科学、机械、图像处理、模式识别等诸多领域的 交 叉 学 科，是 计 算 机 视 觉 ( Computer Vision， CV) 的工业应用，被誉为 “工业之眼”，并且已逐步发展成为工业自动化生产过程中不可或缺的关键子系统[15-16]。美国制造工程师协会 ( American Society of Manufacturing Engineers，SME) 机器视觉分会与美国机器人工业协会 ( American Robot Industry Association，RIA) 自动化视觉分会将机器视觉定义为通过光学装置和非接触式的传感器，自动地接收和处理一个真实物体的图像以获得所需信息或用于控制机器人运动的装置[17]。也就是说，机器视觉就是用机器来代替人眼，但其功能不仅仅局限于人眼对信息的接收，它还延伸至大脑对信息的处理与判断，从而实现引导、检测、测量和识别等功能[17]。

　　1. 1. 1 系统构成

　　典型的机器视觉系统可分为 PC 式视觉系统 ( PC- Based Vision System) 与嵌入式视觉系统 ( Embedded Vision System) 两 大 类。PC 式 视 觉 系 统 尺 寸 较 大、结构复杂、开发周期长，能够达到理想的精度与速度; 嵌入式视觉系统也被称为 “智能相机” ( Smart Camera) 或 “视觉传感器” ( Vision Sensor) ，具有易学、易用、易维护、易安装等特点，可在短期内构建起可靠而有效的机器视觉系统，从而极大地缩短了开发周期。通常情况下，视觉系统包含硬件与软件两部分，其工作过程可分为图像采集、图像分析与控制以及输出 3 个部分，见图 1。首先，工业相机在恰当照明系统的辅助作用下采集目标图像，将三维目标物体转换为二维图像信息; 然后，由图像处理与分析系统对图像进行特征量分析并输出结果; 最后，根据输出信号决定控制单元动作[17]。

　　( 1) 硬件部分

　　机器视觉系统硬件部分包括相机、镜头、图像采集卡、图像处理器、光学照明系统等。工业相机本质上是 将 光 信 号 转 变 为电信号，主 要 有 基 于 CCD ( Charge Coupled Device ) 和 CMOS ( Complementary Metal Oxide Semiconductor) 的 2 种图像传感器相机。此外，2010 年开始兴起一种 RGB-D 相机，可以通过红外结构光或 TOF ( Time of Flight) 原理直接测出图像中各像素与相机的距离[18]; 工业镜头一般分为定焦镜头、定倍镜头、远心镜头、连续变倍镜头等，不同的应用现场需要不同的镜头; 图像采集卡也被称为视频抓取卡，其作用是从摄像头中获取数据并转换成 PC 能处理的信息; 光源是视觉系统中重要的辅助设备，LED 光源因其功耗低、发热小等优势在机器视觉行业使用最广。

　　( 2) 软件部分

　　工业视觉软件算法是系统的灵魂，主要包括传统的数字图像处理算法与基于深度学习的分类决策算法。当前主流的开发模式是 “软件平台+视觉开发包”，开发包基于软件平台封装了常用的各种图像处理算法，便于软件工程师调用以实现各项复杂图像处理功能、降低二次开发难度与工作量。国外 OpenCV、 Vision Pro、Halcon 等开发包是当前使用最广泛的视觉开发包。

　　1. 1. 2 应用领域

　　机器视觉技术是实现设备精密控制、智能化、自动化的有效途径和实现计算机集成制造的基础性技术之一，已 经 广 泛 应 用 于 3C ( Computer、Communication、Consumer) 电子、汽车制造、机器人与工厂自动化、触摸屏、食品饮料、制药、半导体、激光加工、消费电子产品加工、物流、太阳能等行业，极大地改善了生产线工艺水平，提升产品的质量和成品率，是现代工业的核心技术之一[19]。据统计，一条汽车车身焊接生产线上约配备 20 个视觉系统，主要用于车身装配检测、面板印刷质量检测、字符识别、零件尺寸精密测量、表面缺陷检测、自由曲面检测、间隙检测等，未来随着汽车智能制造的逐步应用，对机器视觉技术的需求也会逐步提高。简而言之，机器视觉技术在工业生产中的应用可归纳为定位和引导 ( Guidance) 、检 测 ( Inspection) 、测 量 ( Gauging ) 、识别 ( Identification) 四类，通常简称为 GIGI。

　　( 1) 定位和引导

　　定位和 引 导 技 术 是 自 动 导 引 小 车 ( Automated Guided Vehicle，AGV) 的 核 心 技 术 之 一。近 年 来，无预设参照介质的同步定位与建图 ( Simultaneous Localization and Mapping，SLAM) 技术得到迅猛发展。与传统磁条、射频识别 ( Radio Frequency Identification，RFID) 、激光反射板等导引技术不同，该技术不必预设参照物就能够实现自主避障、自主规划路径，从而大幅度降低成本[20-21]。目前，SLAM 导引技术主要有激光雷达式、激光扫描轮廓式与机器视觉三大主流 分 支，其 中 视 觉 SLAM 被 誉 为 室 内 “视 觉 GPS”系统，已经能够满足误差在 5 cm 级别的定位需求[22]。江苏珩图智能科技有限公司自主研发的高端 3D 软件 Tridivision 可根据 Smart Ray 相机获取的汽车车身与玻璃的相对空间位置信息，解算出机器人需要偏移的数据并引导汽车玻璃移动到正确的安装位置。此外，在新型冠状肺炎疫情期间，全国各大医院纷纷启用的无人送药机器人、无人清扫消毒机器人、测温巡逻机器人等 AI 机器人均使用了该技术。其中，广州高新兴科技集团研制的全国首台 5G 云端巡逻测温机器人集成环境感知、动态决策、行为控制和报警装置，具备自主感知、自主行走、自主保护、互动交流等能力，使用 5 个摄像头，搭配 5G 网络实现全景无死角监控，导航精度小于 2 cm。

　　( 2) 检测

　　机器视觉检测技术主要应用于目标表面缺陷检测，传统的缺陷检测主要是从形状、颜色、面积、圆度、角度、长度、宽度、长宽比等信息来确定被检测目标是否符合标准。随着深度学习的发展与应用，视觉检测在人眼难以直接量化的特征方面的表现尤其亮眼。南京航空航天大学开发了一套新型汽车表面缺陷检测系统，使用 5 个 CCD 相机同步采集汽车 5 个侧面的图像，利用多尺度 Hessian 矩阵融合方法选取图像中的缺陷区域，然后提取缺陷形状、尺寸、统计量、散度特征并运用支持向量机 ( Support Vector Machine，SVM) 识别缺陷类别，划痕、凹陷识别率分别达 97. 1%、95. 6%，适用于进口车辆海关检测[23]。韩国 Phoenics 公司生产的自动光学检测 ( Automated Optical Inspection，AOI) 设备代表当今印刷 电 路 板 ( Printed Circuit Board，PCB) 检测设备的最高水平; 四川大学邵志敏等[24]使用改进的二次差分法获取运动目标并根据其形态特征进行判别，填补了机器视觉在瓶装白酒杂质检测方面的空缺; 济南大学开发的钢板表面缺陷检测与磨削系统，能够自动识别缺陷类别、记录缺陷坐标、规划磨削路径，从而完全代替人工作业[25]; 新视智科技术有限公司基于 AI 视觉技术自主研发的口罩外观缺陷检测系统在新冠肺炎疫情期间应用于口罩生产，检测精度达 0. 05 mm，漏检率小于 0. 5%。同时，该系统通用性强，可用于水刺无纺布、熔喷无纺布等多种类型的无纺布原料检测[26]。

　　( 3) 测量

　　传统的 2D 图像分析技术主要是提取灰度图像的特征信息来测量目标物体的 X-Y 平面，无法测量目标物体的高度、厚度、曲率和体积等 3D 参数。与 2D 目标检测相比，3D 目标检测结合了深度信息，能够提供目标的位置、大小以及方向等空间信息，在自动驾驶、机器人领域应用广泛[27]。常见的 3D 视觉方案包括双目立体视觉、激光三角测量、结构光 3D 测量技术和 TOF 法[27]。湖南科技大学谭文等人[28] 采用 3D 激光测量方法研制了基于机器视觉的 3D 激光平面度测量系统，为微型物体几何尺寸的三维非接触、高精度、多尺寸测量提供了相应的测量手段，并且其测量精度可达 0. 1 μm; XIAO 等[29]针对锥形工件开发了在线尺寸测量系统，提出感兴趣区域 ( Region of Interest，ROI) 结合边缘检测算法，自动计算出旋转锥形工件的直线度和圆度并与 3D 测量仪测量结果对比，发现误差小于 10%; 来自 Facebook 的研究人员提出了一种新型分割通用 Mesh R-CNN 框架，可基于大量 2D 现实世界图像预测出最准确的 3D 形状，促进了 VR 技术发展。

　　( 4) 识别

　　常见的视觉识别技术主要有光学字符识别 ( Optical Character Recognition，OCR ) 、一维码/二维码识别技术、人脸识别技术、产品缺陷识别、分类识别等。其中，OCR 技术已广泛应用于食品标签识别、票据识别、产品溯源、仪表读数识别等领域，并且，机器视觉与深度学习技术相结合已能够识别更为复杂的目标[30]。康耐视 ( Cognex) 凭借着 PatMax 图像匹配技术与 Vision Pro 视觉软件为华晨宝马上线了一套零件姿态视觉识别系统，能够识别发动机内部 16 个位置相对零件间的相互位置是否正确; 德国 Ubimax 公司研发的视觉识别拣选解决方案———xPick，使用 AR 眼镜视觉识别技术在可口可乐希腊公司 ( Coca- Cola HBC) 实现了混合订单管理，准确率达 99. 9%，生产率提高了 6% ～ 8%。

　　1. 2 优势与局限性

　　1. 2. 1 系统优势

　　人眼与摄像头有着本质的差异，人类视觉系统看到的不是像素而是一个 3D 拓扑模型，能够理解点、线、面、颜色、形状、远近、空间位置等信息，还能自动构造出事物的 3D 模型。与人类视觉相比，机器视觉系统不仅包括对信息的接收，同时还延伸至对信息的处理与判断，机器视觉相较于人类视觉在工业应用中有许多优势，见表 1。

　　1. 2. 2 局限性

　　机器视觉技术在工业应用中虽然具备诸多优势，但在硬件设备、目标对象多样性、成本和经济效益方面仍然存在局限性。

　　( 1) 应用对象存在多样性

　　在工业应用中机器视觉目标对象种类繁多，单一的特征提取算法难以满足普适性的要求，加大了研发通用视觉系统的难度。因此，当前视觉系统也集中在特定性任务上。同时，受实际环境的影响可能会导致实际结果与理论结果有较大偏差，从而影响系统鲁棒性。

　　( 2) 受硬件设备性能限制

　　机器视觉系统硬件设备性能也是限制其发展的重要瓶颈，倘若视觉检测设备图像的采集速度、处理速度较慢，并且使用的深度学习类算法加大了系统实时处理的难度，会导致系统跟不上机器运行和控制的节奏，实时性较差。

　　2 机器视觉产业

　　2. 1 产业发展

　　20 世纪 50 年代，人们开始研究二维图像的统计模式识别; 60 年代，ROBERTS 运用计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构并对物体形状及物体的空间关系进行描述，开创了以理解三维场景为目的三维机器视觉研究; 70 年 代 中 期，MIT 人 工 智 能 实 验 室 正 式 开 设 “机器 视 觉” 的 课 程，David MARR 提 出 了 著 名 的 Marr 理论; 到了 80 年代，在全球范围内掀起了一股研究热潮，不仅出现了基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理论框架等概念，而且产生了很多新的研究方法和理论; 90 年代，机器视觉理论得到进一步的发展，同时开始在工业领域得到应用。早期的视觉算法大致可以分为特征感知、图像预处理、特征提取、特征筛选、推理预测与识别 5 个步骤，不但需要手工设计特征，还要在此基础上设计合适的分类器算法。卷积神经网络 ( Convolutional Neural Networks，CNN) 的出现，使得不需要手动设计 特 征、不挑选分类器的视觉系统得以实现[31-32]。1998 年深度学习网络的最初原型 LeNet 被提出，2009 年李飞飞教授建立了 ImageNet 数据集并于次年创办了首届 ImageNet 图像识别挑战赛，随后 AlexNet、VGG、GoogLeNet、ResNet 模型分别在该赛事中夺冠，并涌现出一大批创业公司，大力推动了机器视觉的发展。时至今日，机器视觉获得了蓬勃发展，新概念、新理论不断涌现，基于深度学习的视觉系统已在工业界大量应用。

　　2. 2 产业链分析

　　2. 2. 1 基恩士、康耐视领跑，全球巨头纷纷布局

　　全球机器视觉产业主要分布于北美、日本、德国、英国以及中国等地区和国家，国外机器视觉产业较为成熟，仅在 80 年代美国就有 100 多家公司跻身于机器视觉检测系统市场。当前，国外机器视觉产业链已经可以清楚地分为机器视觉系统元器件生产商、底层开发商、二次开发商、产品代理商与机器视觉应用客户 5 个部分，见图 2。

　　相关知识推荐：论文参考文献怎么找

　　日本基恩士 ( Keyence) 的产业规模和市场占有率居行业第一，美国康耐视专注机器视觉领域，在全球汽车行业应用占据约 40%市场份额，在半导体设备制造领域占近 80%市场份额。随着机器视觉技术的不断发展，全球范围内互联网和半导体巨头纷纷布局，Intel 收购俄罗斯 Itseez、Movidius 两家公司，加强其在电子感知与图像理解领域的能力，有利于在汽车和物联网领域的创新; Google 收购专注于工业机器人 3D 视觉识别技术的 Industrial Perception 公司并携手 Facebook、VisionLabs 研发计算机视觉开发平 台; ARM 则以 3. 5 亿美元收购英国计算机视觉公司 Apical，进一步巩固计算机视觉和图像处理技术壁垒; 福特汽车收购以色列机器视觉公司 SAIPS，以帮助其无人驾驶汽车适应周围环境; Amazon 也收购了一支欧洲顶级计算机视觉团队，用于无人机和无人驾驶等领域; 瑞典工业集团 Atlas 以 11 亿欧元收购德国领先的工业机器视觉系统制造商 Isra，试图借助其在工业生产中的数字化和自动化技术来增强业务能力，并扩大业务范围。国内华为安防更名为华为机器视觉，标志着其在机器视觉领域开始战略布局。随着社会的进步和科技的发展，人们逐渐解锁机器视觉，将它运用到智 能 机 器 人、无 人 机、自 动 驾 驶、智 能 安 防、 VR/AR等领域，千亿级市场即将开启，机器视觉技术黄金发展期已经到来。

　　2. 2. 2 我国市场空间巨大，本土企业竞争力较弱

　　我国机器视觉随着 1998 年半导体工厂的整线引进，到 2006 年工业机器视觉应用的客户群体开始扩大到印刷、食品等检测领域，直到 2011 年市场才开始高速增长。中商产业研究院发布的 《2019 年机器视觉市场发展前景及投资研究报告》 指 出: 当 前，我国机器视觉行业无论是技术层面还是市场层面正处于快速发展阶段，是全球机器视觉发展最活跃的地区之一，已是继美国、日本之后的第三大机器视觉应用市场，占全球市场份额的 7%。2018 年市场规模超 52 亿元，最近几年在消费电子产业带动下保持 25%以上的年增长，远超全球 7. 7%的增速。然而，国内机器视觉相关企业多分布于长三角和珠三角地区，鲜有布局中上游、具备较强算法能力的企业，短期内还难以与国外品牌取得较大竞争优势。但是，在细分领域已经形成了商汤科技、旷视科技、依图科技、云从科技以及奥比中光五家独角兽企业。同时，以海康威视、大华股份、宇视科技、天准科技、美亚光电为代表的国产工业视觉核心部件生产企业正在快速崛起，中游系统集成与整机装备商有 100 多家，他们可以给各行业自动化公司提供综合的机器视觉方案，如凌云光、微视图像、嘉恒、凌华、阳光视觉、鼎信、大恒图像等，下游应用市场主要集中在汽车制造、制药、食品与 3C 领域。

　　2. 2. 3 进口替代，任重道远

　　根据中国机器视觉产业联盟 ( China Machine Vision Industry Union，CMVU) 调查统计，国际机器视觉品牌已近 200 多家，已经形成以基恩士、康耐视、海克斯康、Basler AG、达尔萨等为代表的核心部件制造商，以基恩士、欧姆龙、松下、邦纳、NI 等为代表的机器视觉核心部件和系统集成商的全产业链格局。国内机器 视 觉 企 业 体 量 偏 小，据 CMVU 统 计，行业利润主要集中在中上游零部件领域，营收超过 1 亿元的企业占比约 16%、低于 1 000 万元的占比超过 20%。在产业链上游，国内企业竞争力较弱，工业相机以欧美进口为主; 高端工业镜头主要依赖于德国卡尔蔡司、施耐德，日本 Moritex、KOWA，美国 Navitar 等企业; 中游系统集成与装备制造企业多直接采购视觉软件、传感器、驱动控制系统等核心零件再进行二次开发与组装; 核心底层系统开发基本被国外企业垄断，国内企业难以掌握核心竞争力。简而言之，我国机器视觉在技术能力、产品应用程度以及专业人才储备等方面还与发达国家存在较大的差距。据清华大学发布的 “人工智能全球 2 000 位最具影响力学者榜单”显示，中国在学者规模上仅次于美国，但高水平学者集中的研究机构匮乏。在 AI 各领域高被引学者数量前 10 的研究机构中，中国仅仅清华大学入榜，其 余 Google、 Microsoft、 MIT、 Facebook、 Carnegie Mellon University、 University of California Berkeley、 University of Washington、Stanford University、Intel 均为美国机构。也就是说，国内高水平研究机构、高端工程应用人才严重匮乏，国内上游企业也刚刚崛起，还难以担当起进口替代的责任。

　　2. 3 未来发展

　　全球机器视觉市场得益于工业对质量检测与自动化、视觉引导机器人系统、3D 视觉系统的需求不断增加以及混合动力与电动汽车产量的增加。机器视觉的市场蓝海还在不断扩大，智慧城市、无人模式带来的全新成长点和增长点，不管是智慧城市建设下的智能交通管理、自动驾驶、智能安防，还是无人模式下的无人商店、无人物流都将促进机器视觉的进一步发展与新技术的涌现。总的来说，3D 视觉技术以及与 5G 深度融合的机器视觉技术可能成为未来机器视觉发展的重点。

　　( 1) 3D 视觉驱动工业生产创新革命

　　3D 视觉赋予智能装备感知物体形态与距离的能力，并能够衍生出手势识别、骨骼识别等新型技术，在智能家居、智能安防、汽车电子、工业测量、新零售、智能物流等领域发挥重要作用，将驱动工业生产力迎来创新革命。

　　( 2) 机器视觉与 5G 深度融合，加速智慧工厂建设与发展

　　与 5G 深度融合解决了视觉系统实时性的问题，使得基于高分辨率图像的视觉监测系统、多机协同作业成为了可能。2020 年初，海尔联合华为、中国移动、汇萃视觉共同发布全球首个 5G+机器视觉解决方案，实现 5G 机器视觉云化、5G+AR 远程运维指导以及 5G 智能设备管控等创新应用，开启了智能制造新体系，为打造未来超级工厂提供了思路。

　　3 结论

　　机器视觉已被广泛应用于现代工业的各个领域，并已成为实现工业自动化和智能化的核心，无论是 “中国制造 2025”，还是 “工业 4. 0”都离不开智能制造和机 器 视 觉。随 着 AR/VR、物 联 网、云 计 算、工业网络安全、AI、5G 等技术的逐步成熟，机器视觉势必会成为自动化工业时代的 “智慧之眼”，为智能制造打开一个全新的 “视界”。——论文作者：刘翠翠1 ，杨涛2