基于机器视觉的玉米植株数量获取方法与试验
发布时间：2022-03-24
摘 要：获得田间的玉米植株数量对于优化不同玉米品种的种植密度有重要意义，玉米植株数量也是计算新玉米品种平均每株产量的重要参数。为了减轻人工获得玉米植株数量的劳动强度，提高数据的准确率，该文利用基于机器视觉的图像处理技术来获得玉米植株数量。被留高茬玉米收获机作业之后的地块，有一定高度的玉米秸秆站立在地表，摄录这样的图像信息可以大大简化图像处理的难度，提高结果的精确度，所以将图像采集装置安装在留高茬玉米收获机之后来获得视频流。后处理过程中，将视频文件分解为图片文件，然后将真彩色的 RGB 图片文件转化成灰度图像进行图片的配准，再将灰度图像转化为二值图像进行图像分割与边界提取，最后找到玉米秸秆断面的几何中心并进行标记，统计标记结果即获得玉米植株数量。试验结果显示，人工播种与机械播种在图像识别的误差上没有显著差异(P>0.05);机器视觉识别出来的玉米植株数量与实际数量也没有显著差异(P>0.05)，其平均误差为 6.7%;并且该误差不会随着图像中玉米植株数量的增加而产生积累。该文的设计可以降低机器视觉在识别玉米植株数量过程中的难度，提高图像识别的准确度，更好地服务生产实际问题。
关键词：机器视觉;图像处理;秸秆;图像识别;玉米植株数量;留高茬;玉米收获机
0 引 言
玉米单位面积的种植数量过多或者过少都会导致玉米的减产，特定玉米品种的最大产量决定于种植地块对玉米的营养供给[1]。研究成果早已经证实，玉米的种植密度与产量确实存在关系[2]。过分的密植不仅不会高产，反而还会减产[3]。然而，随着时间的变化和地理环境的变化，最佳的种植密度也不是一成不变的[4]。因此，为了确定某一地块的最佳种植密度，得知该地块的玉米植株数量至关重要[5]。除此之外，某一地块的玉米种植数量也是育种过程中的关键数据[6]，例如要研究某一玉米品种的平均株产，需要用单位面积的产量除以单位面积的玉米植株数量。人工获得某一地块的玉米种植数量是一种可行的方法，但是费时费力，而且还容易出现错误[7]。利用机器视觉技术来获得某一地块的玉米种植数量，不但省时省力，而且精确不容易出错[8]。
通常可以在玉米的苗期(在出现第 4 或者第 5 片叶子之前)和收获期点数玉米植株数量[9]。玉米苗期植株矮小，有利于各种机器与设备进入田间，而且方便人为操作机器。但是如果测算玉米的平均每株产量，则不能在苗期进行测量，因为不一定每株玉米都会成熟[10]。在收获期点数玉米的数量，可以用来计算平均每株产量，但是此时的田地已经不利于机器进入和人为操纵机器。
获得玉米植株数量的方法大致可以分为 3 类，分别为基于机械式的，基于光电传感的和基于机器视觉传感的方法[11]。Easton Gore 发明了一种机械式的点数器，该点数器的大致结构是在一个带有轮子的小车上装有一个带有弹簧的机械手，当小车在玉米种植行间行走时，机械手碰到玉米秸秆就产生一次点数，并且自动复位[12]，由于这个点数器需要人力扶持在玉米行间行走，所以这个设计仍然不能代替人的劳动，并且计数总数有限;而且当两株玉米秸秆之间的距离小于 40 mm 时，该点数器将只计数一次。美国伊利诺伊大学的 Plannter 和 Hummel 教授设计了一种基于激光发射和接受的点数器，该设备用于在收获季节点数玉米植株数量，通过一根横梁跨越玉米种植行，在玉米种植行的两侧，分别有激光发射器和激光接收器，每当玉米茎秆挡住激光束一次，该装置便产生一次计数[13]。当该装置遇到玉米植株之间的玉米叶片的时候，将同样错误地计数。第 3 种是基于机器视觉传感的计数器，它们对玉米进行连续拍照，然后对图片进行分析处理，最后得出玉米植株数量[14]。这种装置很适合点数幼苗期的玉米植株数量，因为幼苗期的植株很适合俯拍;但是这种装置通常也最复杂，对天气、噪声、叶片之间的遮挡等非常敏感[15]，但是计数结果较精确。
由于获得收获期玉米植株的数量不仅有利于测算玉米的种植密度，还有利于计算新玉米品种的平均每株产量，故本文要在基于 2D 图像处理技术下，解决自动获得收获期的玉米植株数量问题。又由于玉米叶片之间的遮挡通常给图像识别带来一定的阻碍，所以本文的设计中，将图像采集器安装在留高茬玉米收获机之后，该玉米收获机收获后，玉米秸秆在地面之上保留一定的高度(300～500 mm)，这段玉米秸秆上，玉米叶已经脱落，或者已经由于水分的散失垂降至地表，即此时可以避免玉米叶对图像的干扰;除此之外，此时的玉米秸秆的断面呈类圆形的椭圆形，颜色较周围物体的颜色浅，基于这 2 个特征，玉米秸秆断面将非常有利于图像识别。故本文的研究目标是将玉米留高茬收获技术与图像识别技术相结合，通过机器视觉获得某一地块的玉米植株数量。
1 图像获取及处理方法
1.1 图像的获取
留高茬式玉米收获机的诞生是为了配合留高茬的保护性耕作模式，这种耕作模式下，收获之后的玉米秸秆并不粉碎还田，地表之上还保留一定高度的秸秆根茬[16];如图 1 所示。相对于幼苗期的玉米植株与成熟期的玉米植株，此时的玉米茎秆上已经基本没有叶片干扰，所以不会产生叶片之间互相遮挡、叶片受到风吹从而干扰拍摄等情况;而且此时的茎秆最粗壮，其本身也不会受到风力的影响，所以拍摄效果较好。另外，由于此时玉米茎秆外皮、散落在地上的玉米叶(玉米内侧苞叶的颜色较浅，但是无扒皮功能的玉米收获机不会散落较多的玉米内侧苞叶，并且玉米内侧苞叶与秸秆断面在几何形状上相差甚远)，还有地表都呈现较深的颜色，而刚刚切断的茎秆断面呈现浅色，即对比度非常明显，有利于后处理过程中进行图像分割。图 1 留高茬地表 Fig.1 Field with high stubble 在玉米收获机的果穗箱后部，安装 Kaicong 彩色摄像头(上海凯聪电子有限公司);如图 2 所示。内接索尼 DCR-TRV900 数字摄录机，摄像头离地高度大约 2.0 m，摄像头的成像范围大约 0.3 m×0.4 m，分辨率为 1280× 800 像素的;进行试验时，摄像头垂直摄录地表(摄像头与地表之间的夹角可调)，并且开启录像模式，玉米收获机的前进速度大约是 1.0 m/s，摄录机的快门时间设置为 1/100 s;获取录像文件之后，在实验室中，使用 Adobe Premiere 6 (Adobe 公司)将 avi 格式的视频流转变成 tif 格式的单帧彩色图像，然后再用 Matlab R2013b (MathWorks 公司)软件对图片进行处理。
1.2 图像的拼接
由 avi 格式的视频流分解成为 tif 格式的图片，其景物大部分是重叠的，全部图片中的玉米植株数量总和显然远远大于视频流中出现的玉米总数。故若要正确点数玉米的数量，需要对图片进行配准，以进行正确的拼接;然后再对其进行处理，读取图片中的玉米植株数量。图像配准是决定图像之间重叠量的一个过程，这个过程的关键是找到两幅图片中相同的部分，并且让它们重合[17-18]。有很多方法可以用于图片的配准，其中的一种方法是使用其中的一张图片的一部分作为模板，然后用另一张图片通过一定的方式去搜索这个模板[19]。设搜索图为 S，待配准模板为 T。设 S 大小为 M×N 像素，T 大小为 U×V 像素，如图 3 所示。
在搜索图 S 中以某点为基点，设其坐标为(i,j)，截取一个与模板 T 大小一样的小块图像，这样的基点有(M-U+1)×(N-V+1) 个，配准的目标就是在 (M-U+1)×(N-V+1)个小块图像中找一个与待配准图像最相似的图像，这样得到的基准点就是最佳配准点。设搜索图 S 在模板 T 上移动，模板上的那块搜索图叫子图，S(i,j)为这块子图的左上角点在 S 图中的坐标，叫做参考点。然后比较 T 和 S(i,j)的内容。若两者一致，则 T 和 S(i,j)之差为零。在现实图像中，两幅图像完全一致是很少见的，一般的判断是在满足一定条件下，T 和 S(i,j)之差最小。根据以上原理，可采用式(1)[20]衡量 T 和 S(i,j)的相似程度。D(i,j)的值越小，则该窗口(子图与模板)越匹配。
1.3 图像的分割与识别
图像配准之后，需要找到图像中的玉米秸秆。在实际景物中，亮度值越高的区域，在灰度图中其灰度值越大，由于灰度图采用无符号 8 位整形数据表示，则越亮的区域的灰度值越接近于 255，由于刚切断的玉米秸秆断面较玉米秸秆外皮亮度高，因此，图像识别的过程中应该可以很清楚地辨别玉米秸秆断面、土壤和秸秆外皮。但是在利用机器视觉处理图像的过程中，事实情况并非如此，尤其是在阳光较充足的情况下拍摄时，被阳光照射的玉米叶，其亮度值也很高，在灰度图中均表现为接近白色;如图 4 所示。
所以，为了将玉米秸秆从图中分割出来，只能利用基于形状特征的原理去提取玉米秸秆断面。为了继续缩短计算机的运算时间，需要将灰度图像转换成为二值图像，为了进一步提高玉米秸秆断面与周围物体的对比度，将转化阈值设置为 0.75，利用 Matlab R2013b 软件中的 bwareaopen 函数去除图像中的小目标，使用 imclose 函数去除图像中的缝隙。
2 试验和结果
试验于 2013 年 10 分别在吉林大学农业试验场、吉林省农科院试验田、吉林农业大学试验田和梨树县试验田进行。每个试验地块进行 60 次试验，每个试验地块的长度为 6.1 m，试验地块的宽度为 1.3 m,即吉林省普通行距下两条垄的宽度。吉林大学农业试验场和吉林省农科院试验田的玉米为玉米播种机播种，种植株距为 21 cm 左右;吉林农业大学试验田和梨树县试验田的玉米为手提式便携播种机播种，种植株距在 20～25 cm 之间。将试验设备安装在吉林大学研制的 4YWL-2 留茬式玉米收获机(吉林省农科院农机实验厂生产)上，试验过程中所采集的视频流可以通过驾驶室内的农业机械作业监测平台实时播放，并且存储在大容量安全数码卡(secure digital memory card)中，供试验后进行数据分析处理。试验之前，用人工的方式点数每块试验地块的玉米植株数量，并且记录数据。等待试验完成之后，作对比分析。试验结果如表 1 所示。表 1 中，实际数量即由人工点数得到的每个试验地块 60 次试验的总玉米植株数量，机器点数数量即通过机器视觉技术获得的每个试验地块 60 次试验的总玉米植株数量。
通过计算发现，人工播种与机械播种在图像识别的误差上没有显著差异(P>0.05);试验中，机器视觉识别出来的玉米植株数量与实际数量也没有显著差异(P> 0.05);设 4 个地块，每个地块的 60 次试验中，人工点数的玉米植株数量累计结果为横坐标(例如第 1 次试验点数玉米植株数量为 60，则第 1 个点的横坐标为 60;第 2 次试验点数的玉米植株数量为 58，则第 2 个点的横坐标为 118)，机器视觉识别出来的玉米植株数量累计结果(累计结果的定义与人工点数的玉米植株数量相同)为纵坐标，将结果在坐标系上描点，如图 6 所示。
通过回归分析可以知，吉林大学农业试验场、吉林省农科院试验田、吉林农业大学试验田和梨树县试验田 4 个地块的试验结果都显示：机器视觉的识别结果与实际人工点数的结果呈线性相关关系，相关系数 R2 分别为 0.95，0.90，0.91 和 0.91，线性回归方程的斜率分别为 0.93， 0.91，1.08 和 0.95，截距分别为 0.98，0.97，-0.12 和 0.97。
相关知识推荐：论文发表价格受什么影响
由图 6 可知，机器视觉的点数结果虽然有误差，但是误差不会随着点数数量的增加而产生积累。当机器视觉的点数结果小于人工点数结果时，产生这种误差主要有 2 个原因，第一是因为个别被切割之后的秸秆倾斜角度较大，摄像头拍摄此秸秆断面时并不与其垂直，故秸秆断面在二值图像中不能近似于圆形，导致图像识别过程中，把这种玉米秸秆断面忽略掉，产生误差;第二是因为光照较强的条件下，虽然玉米秸秆与地面稍微倾斜，但是已经导致摄录机不能垂直拍摄玉米秸秆的横断面，玉米茎秆叶的另一侧茎秆暴露在镜头下，光滑的茎秆反射光较强，在二值图像中，这部分茎秆与玉米茎秆横断面均呈现为白色，导致边界提取过程失效，故产生误差。当机器视觉的点数结果大于人工实际点数结果时，产生这种误差也主要有 2 个原因，第一，是由于田间含有黄花蒿等茎秆也比较粗壮的植物，图像处理的过程中，被误认为是玉米秸秆;第二，由于部分玉米苞叶受到玉米收获机摘穗辊的撕裂，轮胎碾压等外力作用，导致部分残叶散落于地表，在进行图像分割的过程中，其面积与周长之比也符合公式(2)，被误认为是玉米秸秆断面而产生误差。
3 结 论
将基于机器视觉的图像识别技术与留高茬玉米收获机的作业效果相结合，利用基于形状特征的图像分割算法，有效地提取出了玉米秸秆断面的边界。本文的试验中，图像识别的玉米植株数量与人工点数的玉米实际数量并无显著差别(P>0.05)，并且图像识别出来的数量与玉米的实际数量呈线性相关关系，相关系数 R2 分别为 0.95，0.90，0.91 和 0.91。虽然二者之间存在一定的误差，但是该误差不会随着图像中玉米植株数量的增加而产生积累。本文的研究有助于实际生产过程中对玉米植株数量的统计。——论文作者：贾洪雷 1,2，王 刚 1,2,3，郭明卓 1,2，Dylan Shah3 ，姜鑫铭 1,2，赵佳乐 1,2
[参 考 文 献]
[1] Doerge T, Hall T, Gardner D. New research confirms benefits of improved plant spacing in corn[J]. Crop Insights, 2002, 12(2): 1-5.
[2] Nielsen R L. Planting speed effects on stand establishment and grain yield of corn[J]. J Production Agric, 1995, 8(3): 391.
[3] Duncan W G. The relationship between corn populations and yield[J]. Agronomy, 2008, 50(2): 82-84.
[4] Easton D T, Easton D J. Device to Measure and Provide Data for Plant Population and Spacing Variability: U S: 5 568 405[P]. 1996-12-01.
[5] Jia J, Krutz G W. Location of maize plant with machine vision[J]. Agric Eng Research, 1992, 52(3): 169-181.
[6] 王传宇，郭新宇，吴升，等. 采用全景技术的机器视觉测量玉米果穗考种指标[J]. 农业工程学报，2013，29(24)： 155-162. Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photograyphy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155-162. (in Chinese with English abstract)
[7] Nichols S W. Method and apparatus for counting crops sensor: U S, 6 073 427[P]. 2000-01-23.
[8] 胡炼，罗锡文，曾山，等. 基于机器视觉的株间机械除草装置的作物识别与定位方法[J]. 农业工程学报，2013， 29(10)：12-18. Hu Lian, Luo Xiwen, Zeng Shan, et al. Plant recognition and localization for inter-row mechanical weeding device based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(10): 12-18. (in Chinese with English abstract)
[9] 邓继忠，李敏，袁之报，等. 基于图像识别的小麦腥黑穗病害特征提取与分类[J]. 农业工程学报，2012，28(3)：172-176. Deng Jizhong, Li Min, Yuan Zhibao, et al. Feature extraction and classification of Tilletia diseases based on image recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(3): 172-176. (in Chinese with English abstract)
[10] 李寒，王库，曹倩，等. 基于机器视觉的番茄多目标提取与匹配[J]. 农业工程学报，2012，28(5)：168-172. Li Han, Wang Ku, Cao Qian, et al. Tomato targets extraction and matching based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(5): 168-172. (in Chinese with English abstract)
[11] 周竹，黄懿，李小昱，等. 基于机器视觉的马铃薯自动分级方法[J]. 农业工程学报，2012，28(7)：178-183. Zhou Zhu, Huang Yi, Li Xiaoyu, et al. Automatic detecting and grading method of potatoes based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(7): 178- 183. (in Chinese with English abstract)
[12] Maciel J, Costeira J. Robust point correspondence by concave minimization[J]. Image and Vision Computing, 2002, 20(9): 683-690.
[13] 朱启兵，冯朝丽，黄敏，等. 基于图像熵信息的玉米种子纯度高光谱图像识别[J]. 农业工程学报，2012，28(23)： 271-276. Zhu Qibing, Feng Zhaoli, Huang Min, et al. Maize seed classification based on image entropy using hyperspectral imaging technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(23): 271-276. (in Chinese with English abstract)
[14] 李文勇，李明，陈梅香，等. 基于机器视觉的作物多姿态害虫特征提取与分类方法[J]. 农业工程学报，2014， 30(14)：154-162. Li Wenyong, Li Ming, Chen Meixiang, et al. Feature extraction and classification method of multi-pose pests using machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(14): 154-162. (in Chinese with English abstract)
[15] 钱建平，李明，杨信廷，等. 基于双侧图像识别的单株苹果树产量估测模型[J]. 农业工程学报，2013，29(11)：132-138. Qian Jianping, Li Ming, Yang Xinting, et al. Yield estimation model of single tree of Fuji apples based on bilateral image identification[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11): 132-138. (in Chinese with English abstract)
