机器视觉技术在现代农业生产中的研究进展

发布时间：2022-03-19

　　摘要：机器视觉技术已经广泛应用于农业生产的各个环节，详细阐述机器视觉的概念、组成部分、工作原理以及发展历程，总结国内外的研究成果，介绍机器视觉技术在作物病虫草害识别与监测、作物生长信息监测与产量估计、果蔬识别定位与采摘、种子产前检测与果蔬分级以及农业机器人视觉导航等领域的研究进展与应用情况，提出农业场景视觉系统在稳定性、可靠性、准确性以及嵌入式视觉系统硬件计算能力与核心算法等方面还有待提高与突破，国内高水平学者集中的研究机构匮乏，行业创新能力不足，本土企业竞争力较弱等劣势;认为3D视觉技术、多传感器融合的视觉系统以及与5G 深度融合的视觉系统将会成为未来农业生产领域的主要研究方向。此外，机器视觉技术的应用势必会带动产业升级、推 动 农业智能化发展，为无人农场建设提供有力的技术保障。

　　关键词：机器视觉;农业机器人;视觉导航;3D视觉技术;多传感器融合;无人农场

　　0 引言

　　随着人工智能(ArtificialIntelligence，AI)在现代农业装备中的逐步应用，使得融合各种现代 化 智 能 技术的农业装备推动农业生产方式从机械化 向 自 动 化、智能化方向迈进。由此，涌现出依赖 高 新 信 息 技 术 的精准农业、数字农业、智慧农业、无人 农 场 等 先 进 农 业生产形式[1]。中国也将依托智能农机、生物技术、信息技术，能够实现信息感知、定量决策、智能控制、精准投入以及个性化服务五大功能的智慧农业列入国家智慧经济的重要组成部分，并且处于现代农业发 展 的 高 级阶段[2]。罗锡文院士也明确表示智慧农业是中国农业未来的发展方向。那么，运用现代信 息 技 术 加 快 智 慧农业建设，助力中国从传统农业到智慧农业 过 渡 就 尤为重要。

　　机器视觉(MachineVision，MV)是人工智能的重要分支，为农业装备装上了一双“眼睛”，在农业生产领域的应用研究已经有50年 的 历 史。美 国、日 本、德 国等发达国家集成机器视觉技术的农业装备在农业生产中的应用涉及产前、产中、产后全过程。中国机器视觉技术在农业领域的相关研究多数还处于实验室研究阶段，但在 水 果 无 损 检 测 与 分 级 方 面 已 经 有 一 定 的 应用[3]。此外，随着智能驾驶技术的发展，农业场景车辆视觉导航也成为了当前研究人员的研究热点，搭 载 视觉系统的智 能 农 业 装 备 在 农 业 生 产 中 的 应 用 越 来 越多，并且，中国的农机无人驾驶系统已经能够与国外发达国家并驾齐驱[45]。机器视觉技 术 提 高 了 现 代 农 业装备自动化、智能化、精细化程度，为实现作物生产全程无人自主作业、作业环节自主完成、作物生产信息全程自动监测的无人农场提供了有力的技术保障。在带动产业升级、推动农业智能化发展等方面有重要意义。

　　本文采用文献调研、实地走访、咨询专家等方法详细阐述机器视觉技术的概念、组 成、工 作 原 理，梳 理 机器视觉技术在农业生产产前、产中、产后各个环节的应用情况与国内外最新研究成果，对比机器 视 觉 技 术 相对人类视觉的优缺点，分析机器视觉技术亟待突破的关键瓶颈，预测未来发展的重点方向，这对于促进机器视觉技术进一步在农业生产领域的应用与产业的健康发展有着积极意义。

　　1 机器视觉概述

　　机器视觉顾名思义就是机器的视觉系统，赋 予 其类似人类眼睛一样的视觉功能，涉及到机械、计算机科学、图像处理技术、信号分析与检测、统计学、模式识别等诸多 领 域 的 交 叉 学 科，是 计 算 机 视 觉 (ComputerVision，CV)的具 体 应 用。图 1 所示的是典型的机器视觉系统，由图 像 采 集、图 像 分 析、智 能 决 策 与 执 行3个模块组成，包含硬件与软件两个部分。工作时，由图像采集模块获取三维世界目标对象的二维图像，再 运用图像处理与分析系统对其进行特征量分析并输出结果，最后 根 据 图 像 分 析 结 果 做 出 决 策 或 执 行 相 应 的机构。

　　1.1 硬件部分

　　机器视觉系统硬件部分指的是光 源、镜 头、相 机、图像采集卡、处理器或 PC、执行机构等。其中，相机是核心感光 元 件，其 本 质 是 借 助 CCD(ChargeCoupledDevice)或 CMOS (Complementary Metal OxideSemiconductor)图 像 传 感 器 将 光 电 信 号 转 变 为 电 信号，获取目标二维图像。2009年，微软将3D 结构光技术应用在 Kinect上获得了目标的 三维结构，提 升 了Xbox用户体验。此后，开始兴起一种通过红外结构光或 TOF(TimeofFlight)原理测定图像中各像素与相机距离的深度相机(RGBDeeply，RGB-D)。该 相 机在获取传统的 RGB二维图像的同时还能够生成一张与之一一对应的深度图像，以实现目标对象 的 三 维 重建。并在增强现实(AugmentedReality，AR)、智能制造、农业机器人等领域已得到应用。

　　1.2 软件部分

　　软件部分指的是图像处 理 与 分 析 算 法，是 视 觉 系统的灵魂，也是研究人员研究的重点内容。包 括 图 像处理算法、模式识别算法、深度学习 算 法 等，在 单 目 视觉系统的基础上逐步发展出了基于视差原理的双目立体视觉，利用成像设备从不同的位置获取目 标 两 幅 图像，再通过计算图像对应点之间的位置偏差 获 取 目 标三维几何信息的方法。该方法融合了“两只眼睛”的图像，模拟了人类双眼的视觉原理，已成为了国内外研究 人员的研究热点之一。此外，为便 于 软 件 工 程 师 快 速开发具有特定功能的视觉系统，封装了图像处理、模式识别、机器学习等各类函数的视觉开发包流行了起来， “软件平台+视觉开发包”成为当前主流的开发模式。并 且，OpenCV 开 源 视 觉 库，美 国 Vision Pro、MATLAB、LabVIEW 以及德国 Halcon等开发包是当前使用最广泛的视觉开发包。

　　机器视觉识别、检测过程见图2。首先，针对应用目标构建合适的图像成像系统采集目标图像;然后，是运用图像处理技术对采集到的样本图像进行预处理，以增强图像质量;接着，将目标对象从图像背景中分割出来并运用相关特征计算方法提取特征信息，得 到 目标对象颜色、形态、纹理等表征能力较强的特征参数组成的特征向量;最后，为避免过多的冗余信息给系统带来较大计算量，影响系统识别精度与效率，对得到的特征向量进行筛选与优化后，再选择合适的 分 类 器 进 行训练并给出识别结果。

　　该过程中图像处理效果、选取的特征、分类器的设计直接决定了系统识别效果，是机器视觉技术的核心。图像处理技术相对较成熟，常见的图像预 处 理 过 程 为灰度化→几何 变 换(裁 剪、平 移、旋 转 等)→ 图 像 增 强(滤波、平滑、锐化等);目标分割方法有阈值分割法(全局阈值、局部阈值、Otsu)、区域分割法、分水岭分割法以及 K-means聚 类 分 割 等;特 征 提 取 方 法 有 颜 色(颜色矩、颜色集、颜色直方图、颜色聚合向量等)、纹理(灰度共生矩阵法、几何法、模型法、小波变换等)、形状(傅里叶变 换、Hough变 换、面 积、周 长、矩 形 度、似 圆 度、最小外接矩形长宽比、Hu不变矩等)、空间关系等;特征 选 择 与 优 化 方 法 有 主 成 分 分 析 (PrincipalComponentAnalysis，PCA)、线 性 判 别 分 析 法(LinearDiscriminantAnalysis，LDA)、多 维 尺 度 法 (Multi-DimensionalScaling，MDS)、流型学习法等;识别与分类方法是研究者们研究的热点，传统的统计 模 式 识 别方法有支持向量机(SupportVectorMachine，SVM)、贝 叶 斯、判 别 函 数 等，随 着 机 器 学 习 (MachineLearning，ML)技 术 的 发 展，人 工 神 经 网 络(ArtificialNeuralNetwork，ANN)、遗传算法、聚类算法、迁移学习等方法的应用，大幅提高了机器视觉系统 的 识 别 准确率、稳定性、鲁棒性。并且，国 内 外 研 究 人 员 关 于 机器视觉的研究也集中在分类算法方面。

　　2 应用领域与研究进展

　　机器视觉技术在智能制造领域应用集中在定位导航、检测、测量、识别四个方面，在农业生产环节中应用更为广泛。美国、日本、德国等发达国家围绕农业生产的应用几乎涉及全过程[6]。在产前种子筛选与质量检验、产中作物病虫草害与生长信息监测、产后农产品性状测量与分级以及现代农业装备定位导航等领域均有一定程度的应用。而中国的研究多数还处于实验室研究阶段。

　　2.1 病虫草害识别与监测

　　作物病虫草害视觉识别从早期简单的性状特征逻辑判断发展到基于特征向量的模式识别，后 又 随 着 深度学习(DeepLearning，DL)的发展，使 得 卷 积 神 经 网络(ConvolutionalNeuralNetworks，CNN)及 其 改 进算法得到有效应用，大幅提高了视觉系统的 识 别 率 与稳定性。

　　刘翠翠 等[7]运 用 PCA 与 SVM 开 发 了 麦 冬 叶 部黑斑病、叶枯病以及炭疽病3种病害识别系 统 并 对 其进行了有效监测与防治;王艳玲等[8]运用ImageNet图像数据集上训 练 成 熟 的 AlexNet模 型 来 识 别 番 茄 叶片病害，不但缩短了训练时间，还将平均准确率提高了5.6%;彭明霞等[9]提出了基于FasterR-CNN 模型的棉花杂草识别算法，适应复杂背景下棉田杂草的识别;赵立新等[10]、Kim 等[11]、Hasan等[12]分别对棉花叶部病虫害、马铃薯晚疫病、水稻病害识别展开了研究，均取得了不错的效果;Tetila等[13]使用小 型 无 人 机 在 植物上方2m 处采集大豆叶部病害图像，再运用简单线性 迭 代 聚 类 (Simple LinearIterative Clustering，SLIC)算 法 生 成 超 像 素，以 分 割 植 物 叶 片，并 对 比 了Inception-v3、Resnet-50、VGG-19以及 Xception4种 不 同 参 数 训 练 的 深 度 神 经 网 络 (Deep NeuralNetworks，DNN)，与其 他 训 练 策 略 相 比，基 于 深 度 学习的模型识别率达99.04%，满足农民监测大豆病害的需要。

　　张 红 涛 等[14] 利用单镜头反光 (Single LensReflex，SLR)相机采集了烟草主要害虫(烟青虫、棉铃虫)虫蛹图像并提取其腹部末节有效区域纹理特征，再运用SVM 分类器进行识别分类，完成了烟青虫、棉铃虫虫蛹雌雄的有效分类;Partel等[15]运用 机 器 视 觉 技术与 CNN 开发了一套全 自动亚洲柑橘木虱 (AsianCitrusPsyllid，ACP)监 测 系 统，准 确 率 达 80%;Thenmozhi等[16]使用 国 家 农 业 昆 虫 资 源 局 数 据 集 提出了一个深度卷积神经网络与迁移学习的农作物害虫分 类 方 法，并 与 AlexNet、ResNet、GoogLeNet 和VGGNet等预训练的深层学习结 构 比 较，表 现 出 了 绝对的优势，能够有效地对大田作物各类昆虫进行分类。

　　苗荣慧等[17]运用图像分块及重构技术在菠菜重叠叶片的情况下实现了杂草识别，为智能 除 草 装 备 的研制提供了理论依据;广西某公司开发的智能识别引擎———“耘眼”，能够自动识 别 农 作 物 病 虫 害 并 可 依 据已知病虫害 自 动 推 荐 配 药 方 案 以 及 评 估 农 药 混 用 风险。此外，精细化物体分类技术也得到应用，微软亚洲研究院提出了一种基于递归注意力模型的卷积神经网络 (Recurrent Attention Convolutional NeuralNetwork，RA-CNN)，并联合中国科学院植物研究所共同打造“微软识花”APP，收录400余种园艺花卉，识别精度达90%[18];德国某公司一直在积极探索数字化技术 在 农 业 领 域 的 各 类 应 用，于 2017 年 发 布XARVIO 数字农业解决方案，并依托于其全球农艺植保大 数 据 资 源，建立数字化平台在中国区推出 “WEEDSCOUT”杂 草 识 别 APP。未 来，拜 尔 将 继 续引入“虫害监测”“病害识别”“营养评估”等一系列基于智能手机端的数字化农业应用。中国在花草树木识别方面已取得重大进展，科技公司纷纷运用机器视觉识别技术开发花草树木识别软件，涌现出一 批 出 色 的 花草树木识别手机 APP———“花伴侣”“形色”“识物”等;中国科学院昆明植 物 研 究 所 与 腾 讯“识 你 所 见”AI产品团队联合研发出了一款能够识别6000多种花草的微信小程序———“识花君”;百度 AI开放平台植物识别支持2.4万种 通 用 植 物 和 花 卉，在 识 别 率 和 线 上 内 容储备上均超越市场上的同类功能应用。

　　英国《新科学家》网站报道了丹麦科学家研制出的农田智能 除 草 机 器 人，使 用 机 器 视 觉 技 术 识 别 杂 草。并且，在对糖用甜菜农田试验发现，除草剂用量可减少约70%;美国某公司研发的除草机器人直接放弃了除草剂而使用可伸缩锄头快速、准 确 地 在 生 菜、西 兰 花、花椰菜田间自动除草;美国加利福尼亚大学 Raja等[1针对复杂自然条件下莴苣除草机器人开发了一套农作物与行内杂草实时识别系统，并能够控制搭 载 的 微 喷除 草 剂 喷 洒 系 统 对 杂 草 进 行 精 准 喷 洒;瑞 士EcoRobotix除草机器人能够逐一检查作物生长情况、辨识杂草、精准喷洒农药，并大幅减少农药使用量。纵观全 球，运 用 机 器 视 觉 技 术 在 作 物 病 虫 草 害 识 别、监测、防治，甚至是除草机器人等方面已经出现了具备商业应用的产品，正逐步在全球扩散。

　　2.2 作物生长信息监测与产量估计

　　实施精准农业的前提需 要 实 时、准 确 地 获 取 作 物生长与环境信息并及时将其反馈给监控系统，以 便 系统及时调整环境中的温度、光照强度、湿度、土壤水分、风速、CO2浓度等 条 件，进 而，实现农业物资的合理利用与作物产量提升。现代农业中常以颜色、长度、叶面积指 数 (Leaf AreaIndex，LAI)、归 一 化 植 被 指 数(NormalizedDifferenceVegetationIndex，NDVI)等信息为监测指标来反映被监测作物长势或进一步预测作物产量。作物生长信息视觉监测方法与作物病虫草害识别方法有较大的相似度，通过图像处理 技 术 获 取目标特征信息构建数学模型，再使用相应的 分 类 或 识别方法对该模型进行分析处理给出分类或 识 别 结 果。传统的作物生长信息视觉监测依托于设施 农 业 建 设，固定的采集点、采集范围，使得监测系统稳定性好，检测的性状种类较多，但规模化作业成本较大。

　　付豪等[20]开发了玉米幼苗叶面积视觉检测装置，以实现玉米幼苗叶面积的快速、高效、实时、无损检测，满足玉米育种研究中幼苗期叶面积检测的要求;杨 斯等[21]基于 RGB-D相机融合滤波与聚类分割算法，提出了基于俯视彩色三维点云数据处理方法，实 现 了 温室育苗盘中黄瓜苗幼苗株高的测量，为苗期 作 物 群 体关键生长参数的提取提供有效的解决方案;日 本 学 者Genno等[22]连续两年通过固定点采集了苹果树图像，人工测量了图像中苹果的半径，并基于这些 图 像 探 索出了累计最大 GBVI(GreenBlueVegetationIndex)叶面积可以预测苹果的可收获半径，是准确评 价 苹 果 生长信息的最有效指标，可进一步开发基于高 清 晰 度 现场监控图 像 的 苹 果 生 长 自 动 评 估 系 统;加 拿 大 学 者Chaudhury等[23]搭建了室内作物自动化信息采集系统，构建作物3D网格并据此计算作物表面积与体积，并获取了大麦、拟南芥昼夜明暗周期变换条 件 下 营 养期到生 殖 期 的 生 长 规 律;美 国 普 渡 大 学 Li等[24]使 用智能手机采集罗勒、生菜、西红柿和 百 日 草 图 像，再 通过本地计算机估算出叶面积并发现了叶面积与茎干重(ShootDryWeight，SDW)之间存在的线性关系，实现了准确、无损测量作物生长特性。

　　此外，基于无人机的作 物 信 息 监 测 技 术 刚 好 解 决了传统视觉监测方法难以规模化的问题，并且，融合了无人机驾驶飞行器技术、空间遥感、图像实时传输等多种手段的无人机多光谱成像技术因其能够快速获取农田作物实时光谱图像，再通过图像分析了解大田作物的生长信 息，已 成 为 当 下 国 内 外 学 者 研 究 的 热 点 之一[25]。与卫星遥感监测平台相比，多传感器信息融合的无人机视觉监测技术在成本控制、规模 应 用 等 方 面有一定的优势。

　　戴建国等[26]利用无人机获取棉花3～4叶期高分辨率遥感图像，再使用自适应阈值分割算法(Otsu)分割出目标，然后采用网格法去除杂草干扰并提取棉花的形态 特 征 构 建 基 于 SVM 的棉株计数模型，最 后 基于此提取棉花出苗率、冠层覆盖度以及棉花长势均匀性信 息，实现了大面积棉田苗情的快速监测;陶 惠 林等[27]融合了无人机数字图像 与高光谱数据，通 过MLR(Multiple Liner Regression)和 RF(RandomForest)构 建 了 冬 小 麦 挑 旗 期、开 花 期、灌 浆 期 的 产 量估计模型，实现了冬小麦产量估计;西班牙塞维利亚大学 Apolo-Apolo等[28]利 用 无 人 机 获 取 柑 橘 园 树 木 图像，构建了 FasterR-CNN 深度学习模型以监测果园中橘子的生长状态并估计其大小与产量，对 比 了 实 际总产量、估计总产量和专家估计总产量发现，该方法的产量估计误差约7.22%，可应用于柑橘产量估计;伊朗德黑兰大学Fathipoor等[29]以无人机采集到的玉米12叶期 RGB图像 为 研 究 对 象，从 数 字 高 程 模 型(DigitalElevationModel，DEM)中减去作物表面模型，从而创建作物高度模型(CropHeightModel，CHM)，再利用植物株 高 与 植 被 指 数 构 建 了 偏 最 小 二 乘 回 归 模 型(PartialLeastSquaresRegression，PLS)实 现 了 玉 米饲草株高建模与产量预测。

　　2.3 果蔬识别定位与采摘

　　水果采摘是果园最费 劳 动 力、最难实现机械化作业的环节，准确、可靠的水果检测是实现机器人采摘作业的前提[30]。然而，在自然光照条件下还存在着树叶遮挡、相邻水果重叠等不利因素，无疑为果蔬的自动采摘增加了难度。研究人员基于机 器 视 觉 围 绕 苹 果、猕猴桃、葡萄、柑橘、草莓、荔枝、西红柿、圣女果、黄瓜、茄子等果蔬展开了自动识别、定位、计数等方面的研究。甚至，开发了相应的自动采摘机器人，但遗憾的是还没有成熟的商业应用案例。

　　陈燕等[31]设计了 YOLOv3-DenseNet34荔枝串检测网络，提出了同行顺序一致性约束的荔枝串配对方法，基于双目立体视觉的三角测量原理计算荔枝串空间坐标，实现了在3m 检测距离下预定位的平均绝对误差23.007mm，满足大视场条件下荔枝 采 摘 机 器人的视觉定位需求;澳大 利 亚 Kang等[32]借 助 视 觉 传感器对果园环境中的苹果、树枝进行实时检测，提出了基于剩余网络架构的轻量级骨干网络，分割 苹 果 与 树枝正确率分别达86.5%、75.7%，可有效地进行果园苹果与树枝的实时检测与分割;华 南 农 业 大 学 Tu等[33]使用 RGB-D 相机获取可变光照条件和遮挡条件下百香果 RGB图像与深度图像，再运用多尺度特征提取器提取其特征，然后利用改进的多尺度快速 区 域 卷 积神 经 网 络 (Multiple Scale Faster Region-BasedConvolutionalNeuralNetworks，MS-FRCNN)分 别训练 RGB检测器与深度检测器，融合了 RGB彩色与深度信息，检测精确度达92.2%，有效地改善了小百香果的检测;英国普利茅斯大学研发的树莓采 摘 机 器 人Robocrop采用 RGB-D 相机与机器学 习 算 法 识 别 果实并在10s内摘下果实放入托盘中并能够根据成熟度分类，正规模化推广中;斯坦福国际研究院推出的新创公 司———AbundantRobotics研制的苹果采摘机器人使用机器视觉技术准确识别果树上成熟的苹果并确定其空间位置再使用类似真空吸尘器的机械前端摘取苹果，避免了传统机械臂易对水果表面造成的划痕、压伤等缺陷。

　　2.4 种子产前检测与果蔬分级

　　种子产前与农产品产后无损检测技术是其分选、分级装置的核心技术，主要有近红外光谱技术、机器视觉技术、高光谱成像检测技术、声学 分 析 技 术、电 子 鼻技术、核磁共振技术 等[3]。机 器 视 觉 在 农 产 品 无 损 检测领域相对较成熟，已从早期以单 一 颜 色、大 小、形 状为分类指标逐步发展出基于果实表面缺陷(机械损伤、病虫害等)、成熟度、含糖量等外观与内在品 质 为 分 级指标的分类方法，已经应用于苹果、柑 橘、猕 猴 桃 等 水果自动化分级装备以及玉米、棉花等种子分选装置中。

　　李颀等[34]采 用 HSV 和 CLBP 提 取 玉 米 种 穗 颜色、纹 理 特 征，再运用匹配得分融合算法构建分类 模型，借助SVM 实现了玉米种穗杂色、缺粒、虫蛀、籽粒杂乱4种异常种穗;印度 Bhargava等[35]使用模糊 C-均值(FuzzyC-Means)分割苹果表面缺陷区域，并考虑了统计纹理、几何、Gabor小波和离散余弦变换特征的组和 特 征 提 取，应 用 了 K- 最 近 邻 (k-NearestNeighbor，K - NN )、稀 疏 表 示 分 类 (SparseRepresentationClassifier，SRC)、SVM 三 种 不 同 的 分类方法，对4个不同苹果数据集试验表明多 种 技 术 融合的分类算法具有更高的准确性，表现出巨大的潜能;荷兰 Greefa果蔬 分 选 设 备 公 司 将 果 蔬 大 小、颜 色、重量、糖分含量等检测指标模块化，开发成独立的检测系统可安装在分选线上实现果蔬多指标快速分选，可 针对不同水果快速构建视觉检测、分级系统。——论文作者：杨涛1，李晓晓2

　　本文来源于：《中国农机化学报》杂志1957年创刊，中华人民共和国农业部主管，是我国农业机械化领域指导性和权威性刊物，全国中文核心期刊。设有综述、发展研究、管理研究、基础研究、应用研究、教育培训、农机监理等栏目。