机器视觉的应用是农业模型的关键组成部分，它不仅可以识别农田中的杂草^[1]和障碍物^[2]，还可以检测某些作物^[3]的病害程度，为农田决策提供关键信息。苹果作为国内第一大经济水果，产量较大，实现苹果的自动化采摘必不可少，基于机器视觉的苹果目标准确识别是成功采摘的关键^[4-5]。然而在自然环境中，受光线、枝叶遮挡等因素影响，导致一些成熟果实中夹杂一些着色不均或尚未成熟的果实，识别通常比较困难。对于完全成熟果实，光照影响及果实生长姿态也限制了识别精度。因此在复杂的环境背景下针对不同成熟阶段苹果果实进行准确识别具有重要意义^[6-7]。

近几年关于苹果识别方面的研究主要是通过颜色和形状特征来提取目标苹果^[8]。Si等^[9]提出基于色差R−G和色差比(R−G)/(G−B)的苹果识别算法，并采用随机环法精确提取果实圆心和半径。Gongal等^[10]提出基于HSI(Hue saturation and intensity)颜色空间结合圆形Hough变换与Blob分析的苹果识别方法。吕继东等^[11]提出基于归一化R+G−B颜色算子与K-means聚类算法，成功提取自然光照条件下黄苹果目标，并采用改进的随机Hough变换法识别苹果目标。魏亚辉等^[12]利用Lab颜色空间的a分量分割苹果目标，结合最小外接圆法识别出苹果数量。钱建平等^[13]等提出基于BPNN的苹果颜色分割方法，并结合Log和Hough变换拟合苹果形状。Ji等^[14]提出基于区域生长的苹果图像分割方法和支持向量机分类的苹果识别算法。Lv等^[15]提出在I₁ I₂ I₃中使用基于I₂颜色特征的Otsu动态阈值的苹果分割方法与改进随机圆形Hough变换的苹果识别方法。Xu等^[16]在R−G色差分量下提出基于最小交叉熵PCNN图像的苹果分割方法与改进随机圆形Hough变换的苹果目标检测方法。

由于自然环境复杂，目标果实会受到光照变化、果实及枝叶相互遮挡、阴影覆盖等干扰因素影响，从而造成苹果表面着色差异，一些果实提前进入成熟期，而另一些果实还存在青红相间的现象。为提高采摘机器人识别精度及广泛性，本研究以完全成熟与未完全成熟时期的苹果为研究对象，选取不同颜色空间分量图像进行像素级融合，构造突显果实区域的特征图像。针对融合后的图像采用基于梯度场Hough变换进行识别，结合实际情况对算法进行改进，通过引入形态学滤波、构造假圆判定条件等提高算法的鲁棒性及准确性。

1.   图像采集与识别

1.1   苹果图像采集

本研究的图像采集地点位于山东省淄博市沂源县山东理工大学与山东中以现代智慧农业有限公司联合创建的生态无人农场智慧果园，果园中的果树均高标准化种植，果树品种为‘红富士’。使用KinectV1设备的彩色相机分别对果树进行多角度拍摄，获得未完全成熟和完全成熟的果实图像。图像格式为.JPG，分辨率为600像素×400像素。

1.2   图像预处理

由于图像在自然环境中采集，背景复杂、噪声较高，因此需对其进行滤波处理操作。传统滤波器在平滑噪声时不可避免地破坏了图像中的目标边界信息，本文选用保边性能较好的均值漂移滤波(Mean shift filtering)对图像进行平滑操作^[17]，该滤波器可以中和图像中颜色相近的区域，平滑区域内的纹理噪声，清理面积较小的颜色区域。通过对比滤波前后效果图(图1)可知，均值漂移滤波滤除了苹果及枝叶表面的纹理细节，使其表面光滑。根据滤波前后的能量图(图2)可知，该滤波器对一些能量值高的噪声区域进行了削弱，对重要区域的能量进行了维持，从而对重要区域具有良好的边界保持特性。

图  1  均值漂移滤波前后图像对比

Figure  1.  Comparison of the images before and after mean shift filtering

下载: 全尺寸图片 幻灯片

图  2  均值漂移滤波前后能量图对比

a1、a2分别为滤波前、后的未完全成熟果实；b1、b2分别为滤波前、后的完全成熟果实

Figure  2.  Comparison of energy diagrams before and after mean shift filtering

a1 and a2 are immature fruits before and after filtering respectively; b1 and b2 are fully matured fruits before and after filtering respectively

下载: 全尺寸图片 幻灯片

1.3   特征图像提取

相关研究利用颜色特征成功提取目标果实^[18]。于慧杰等^[19]利用HSI颜色空间和YUV颜色空间中的苹果二值图进行融合，成功提取绿色苹果区域。Zhao等^[20]利用YIQ(Y：亮度，I：同相，Q：正交相位)颜色空间中的I分量图像和L*a*b*颜色空间中的a*分量图像进行融合，成功提取目标番茄。基于上述方法，本文将RGB颜色空间的R−G分量和YIQ颜色空间的I分量进行像素级融合构造苹果特征图像。

1.3.1   R−G分量图像

RGB颜色空间中的R、G、B 3个分量之间存在很强的相关性^[21]，无法区分果实与背景。由于苹果呈红色，枝叶背景等呈绿色，用R分量图与G分量图上的像素点值进行代数相减后，得到R−G分量图像可有效突出果实区域，抑制环境噪声。同时，为避免图像像素亮度分布不均衡，本文对R−G色差分量图像进行归一化处理，将图像的灰度值控制在0~255内，其定义式为：

式中，NormalizeRG表示归一化后的R−G分量，R(x, y)、G(x, y)分别是RGB图像矩阵中第x行y列红色像素点与绿色像素点灰度值。

R−G分量特征图像归一化后的结果如图3所示。

图  3  未完全成熟果实(a)和完全成熟果实(b) 归一化后的R−G分量特征图像

Figure  3.  Normalized R−G component feature images of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

1.3.2   I分量图像

YIQ颜色空间是对RGB空间的线性转换，该颜色空间中的亮度信息与色度信息独立存在。Y分量代表图像亮度信息，I分量代表从橙色到青色的颜色变化，Q分量代表从紫色到黄绿色的颜色变化^[22]。由于I分量携带红色信息较多，故选择I分量图像作为融合的另一幅源图像。根据以下公式(2)可以获得I分量图像，通过以下公式(3)对I分量进行归一化。

式中，R、G和B表示图像矩阵中红色、绿色、蓝色分量图中像素点上的灰度值。

式中，NormalizeI表示归一化后的I分量，$I(x,\;y)$、${I_{\min }}(x,\;y)$和${I_{\max }}(x,\;y)$分别代表I分量图第x行y列像素的当前值、最小值和最大值。

I分量特征图像归一化后的结果如图4所示。

图  4  未完全成熟果实(a)和完全成熟果实(b) 归一化后的I分量特征图像

Figure  4.  Normalized I component feature images of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

1.4   基于像素加权平均的图像融合方法

基于像素加权平均的图像融合方法是对源图像进行大小匹配后设定各自的比重系数，将图像上对应点的信息进行线性相加，生成新的融合图像^[23]。参与融合的源图像提供各自优势信息，以提高融合结果的可靠性，计算公式如下：

式中，A(x, y)、B(x, y)代表2幅源图像中第x行y列的像素值，F(x, y)代表融合后的图像像素值，$ {\omega _1} $和$ {\omega _2} $为图像A和B的加权系数，$ {\omega _1} $+$ {\omega _2} $=1。对于青红相间的果实图片，本文取$ {\omega _1} $为0.75、$ {\omega _2} $为0.25，对于完全成熟的果实图像，本文取$ {\omega _1} $为0.5、$ {\omega _2} $为0.5。融合后的图像结果如图5所示。

图  5  未完全成熟果实(a)和完全成熟果实(b) 融合后的图像

Figure  5.  Fusion images of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

1.5   Otsu分割

为了从融合图像中提取目标苹果，使用Otsu算法进行图像分割。该算法是一种自适应阈值确定的方法，其原理是根据图像的灰度特性，遍历直方图像素范围，选取某一最佳阈值，将图像分成背景和前景两部分，当两部分的方差最大时，分割效果最佳^[24]。利用Otsu算法对融合前后的图像分别进行了分割，结果如图6所示。

图  6  未完全成熟果实(a)和完全成熟果实(b) Otsu分割效果

Figure  6.  Otsu segmentation effects of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

在果实未完全成熟的条件下，利用Otsu算法对I分量进行分割，导致一些青色果实或枝干被误分割出来，对于红色苹果目标的提取造成一定难度。而对R−G分量图与融合后的图像进行分割，二者均能够分割出红色果实目标区域，但是从果实的完整度方面来看，后者分割出的果实区域更加完整。

在果实完全成熟的条件下，利用Otsu算法对R−G分量进行分割，导致果实区域存在缺陷。对I分量进行分割，其分割结果会携带部分背景枝叶信息，2种分量图均不能分割出较清晰的果实区域。从融合后的苹果图像中可以看出目标苹果和背景之间存在显著灰度差异，其分割结果携带背景噪声较少，目标苹果区域相对较完整。

1.6   基于改进灰度图像梯度场的圆形Hough变换苹果识别与定位

Hough变换^[25]是利用形状特征进行有效目标识别的方法之一，起初用来识别直线，之后用来识别圆。本文采用基于灰度图像梯度场的Hough变换法来识别、定位图像中的目标苹果，为了增强算法鲁棒性，引入形态学重建滤波算法、构造去除假圆算法来优化Hough变换算法，提高识别准确率。

1.6.1   图像预处理

融合后的灰度图中依然存在细小的背景噪声，本文采用形态学重建滤波消除噪声区域。形态学重建包括开运算重建和闭运算重建，开重建能填补苹果区域的孔洞，闭重建滤掉“凸起”，消除小面积区域，重建操作能保留原物体的形状，处理效果如图7所示。

图  7  形态学重建滤波处理前后图像对比

Figure  7.  Comparison of images before and after morphological reconstruction filtering

下载: 全尺寸图片 幻灯片

1.6.2   梯度信息

标准梯度Hough变换检测圆形主要依据二值图像进行边缘轮廓提取^[26]，边缘轮廓是否平滑直接影响检测精度。为了避免检测精度受边缘轮廓干扰，本研究利用图像的梯度场信息代替标准算法中的边缘检测，提高检测精度。

设图像函数f(x, y)在点(x, y)的梯度是一个具有大小和方向的矢量，设G_x和G_y分别表示x方向和y方向的梯度^[27]，这个梯度的矢量可以表示为：

梯度幅值和梯度方向角度分别表示为：

扫描灰度图像，利用公式计算像素点的梯度幅值，设梯度强度阈值为Q，对梯度幅值大于Q的点计算其梯度方向信息，对于梯度幅度小于Q的像素点则在计算中不被考虑，这样可减少“幅值强度变化均匀”的背景区域的梯度计算。

1.6.3   累加矩阵及圆心检测

圆的一般方程为：

式中，r为半径，设圆心的变量x, y所构成的二维参数空间为累加矩阵空间A，检测圆的最小和最大半径区间为[minimum_radius，maximum_radius]，对上述符合梯度幅值条件的像素点沿梯度方向指定半径范围进行映射^[27]，把该点的梯度幅值作为权重在累加矩阵中相应的坐标点处进行投票，投票后的三视图如图8所示。图中累加数组的峰值越高，表示是圆心的概率越大，由于图像中的苹果区域并不能呈现很好的圆形，因此圆心累加后的堆积阵列中的峰值轮廓呈矮胖状；同时，在苹果周围还存在一些小尺度不规则区域，也会导致堆积阵列的生成，不利于局部极大值的检测。为了更好地提取苹果圆心峰值位置，本文构造局部极大值的滤波器，用该滤波器对累加矩阵进行卷积，削弱不明显的峰，得到滤波结果如图9。将图9中极大峰值的坐标进行图像坐标转换，得到苹果圆心坐标，圆心检测结果如图10所示。

图  8  未完全成熟果实(a)和完全成熟果实(b) 累加矩阵3D视图

Figure  8.  Cumulative matrix 3D views of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

图  9  未完全成熟果实(a)和完全成熟果实(b) 卷积滤波结果

Figure  9.  Convolution filtering results of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

图  10  未完全成熟果实(a)和完全成熟果实(b) 圆心检测图

Figure  10.  Center detection images of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

1.6.4   半径检测

将检测出的圆心坐标代入圆方程${(x - a)^2} + {(y - b)^2} = {r^2}$中，即可得到候选半径r，设置半径累加器B，对候选半径出现的次数进行累加计数，取次数最高的一个或几个的均值作为圆心对应的半径。

1.6.5   剔除虚假圆

由于实际情况的多样性，很难避免虚假目标的出现。利用上述方法检测图像中的目标苹果，结果如图11所示，由图11可知，青红相间的果实图像中大部分苹果受遮挡较少，利用该方法可以准确识别出成熟果实所在位置。而完全成熟的果实图像中，右下角的苹果被枝叶严重遮挡，苹果目标区域有明显圆弧缺口，导致算法无法准确定位苹果所在的圆形。为此本文利用分割后的二值图像中的圆面积与算法检测到的圆面积作为先验条件，剔除假圆目标。

图  11  未完全成熟果实(a)和完全成熟果实(b) Hough变换算法识别结果

Figure  11.  Hough transform algorithm recognition results of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

设本文算法检测到的目标圆形区域面积集合为$ {C_i} = \left\{ {{C_1},{C_2},{C_3},\cdots ,{C_m}} \right\} $，分割后的二值图像中苹果区域面积集合为$ {D_i} = \left\{ {{D_1},{D_2},{D_3},\cdots ,{D_n}} \right\} $，m为算法检测得到的圆的个数，n为二值图中独立的区域个数，其中$ m \geqslant n $，则分割检测到的目标区域与分割后目标区域相交的面积为E_i，用公式表示为

如果相交面积E_i和二值图中圆的分割面积D_i之比(K_i)大于一定阈值，则判别为正确圆，反之为虚假圆，公式为：

根据真假目标判别准则，其中一个圆是虚假目标予以剔除，结果如图12所示。

图  12  未完全成熟果实(a)和完全成熟果实(b) 虚假目标去除结果

Figure  12.  False target removal results of immature fruits (a) and fully matured fruits (b)

下载: 全尺寸图片 幻灯片

2.   验证试验与结果分析

2.1   试验平台和参数

为了验证本文算法的有效性和可靠性，随机采集50幅青红相间和50幅完全成熟的苹果图像(包括完全裸露、部分遮挡、遮挡严重的果实)进行试验，在Matlab软件中使用OpenCV2库进行图像处理。计算机配置为Win10(64 位)，运行内存8 G，处理器为lntel(R) Core(TM) i5-7200U，主频2.70 GHz。

2.2   图像融合后的分割结果

随机选取了不同成熟度苹果图像，测试图像融合及分割效果，结果如图13所示。由图13可知，融合后的图像增强了苹果区域灰度，削弱了背景区域灰度，使苹果与背景之间存在明显的灰度差异，利用Otsu算法可准确分割出目标苹果区域。

图  13  果实图像融合及分割结果

Figure  13.  Fusion and segmentation results of fruit images

下载: 全尺寸图片 幻灯片

2.3   不同算法的识别结果

为验证本文识别算法准确性，采用最小外接圆算法与本文算法做对比试验。选取6幅苹果图像，2种算法识别结果如图14、15所示。由图14可知，最小外接圆法对于完全裸露的苹果果实能够进行准确的识别，但是对于少数粘连或重叠的苹果会出现误识别现象，误将2个苹果识别为1个，识别效果不佳。而本文改进梯度场Hough算法能够同时兼顾果实的生长姿态与遮挡情况，对于上述情况均具有较好的识别效果(图15)。

图  14  最小外接圆算法识别结果

a1、a2和a3：未完全成熟果实；b1、b2和b3：完全成熟果实

Figure  14.  Recognition result of the minimum circumscribed circle algorithm

a1, a2 and a3: Immature fruits; b1, b2 and b3: Fully matured fruits

下载: 全尺寸图片 幻灯片

图  15  本文算法识别结果

a1、a2和a3：未完全成熟果实；b1、b2和b3：完全成熟果实

Figure  15.  Recognition results of the algorithm in this paper

a1, a2 and a3: Immature fruits; b1, b2 and b3: Fully matured fruits

下载: 全尺寸图片 幻灯片

根据2种算法对6幅苹果图像的识别结果，相比于最小外接圆算法，本文算法圆心坐标的偏离范围程度较实际圆心坐标低，半径误差也相对较小，其中平均半径误差为1.206个像素值，而最小外接圆算法的平均半径误差为8.853个像素值。

为了进一步检验所提算法的有效性和可靠性，对采集的100幅苹果图片进行试验，其中包含486颗未完全成熟苹果，523颗完全成熟苹果。识别时间及正确率见表1、表2。本文算法的平均识别时间为0.367 s，比最小外接圆算法缩短了0.287 s。本文算法平均识别正确率为91.44%，其中，完全裸露的苹果目标识别正确率为100%，被遮挡面积≤1/2 果实的识别正确率在90%以上，被遮挡面积>1/2 果实的识别正确率在80%以上。而最小外接圆算法仅在果实完全裸露的情况下识别正确率为100%，在其他情况下识别正确率不稳定，这是因为最小外接圆算法以分割后的二值图像为检测依据，若所检测的区域是一个完整的苹果区域，该算法拟合识别效果较好；若检测的区域中存在果实存在粘连或重叠情况，算法会将粘连或重叠果识别为一个，这大大降低识别正确率；若苹果受遮挡较为严重，该算法会将其看作成细小噪声进行剔除，导致果实不能被及时识别出。

表  1  2种算法识别时间及正确率对比

Table  1.  Comparison of recognition time and accuracy of two algorithms

算法 Algorithm	成熟度 Maturity	识别时间/s Recognition time	识别正确率/% Recognition accuracy
本文方法 Algorithm in this paper	未完全成熟 Immature	0.351	91.92
	完全成熟 Fully matured	0.382	90.96
	平均 Average	0.367	91.44
最小外接圆法 The minimum circumscribed circle algorithm	未完全成熟 Immature	0.632	80.61
	完全成熟 Fully matured	0.675	79.58
	平均 Average	0.654	80.09

下载: 导出CSV 

| 显示表格

表  2  不同遮挡程度的果实识别正确率对比

Table  2.  Comparison of recognition accuracy of fruits with different occlusion degrees

算法 Algorithm	成熟度 Maturity	完全裸露果实 Completely exposed fruits				被遮挡面积≤1/2果实 Fruits with ≤ 1/2 covered area				被遮挡面积>1/2果实 Fruits with > 1/2 covered area
		数量 Quantity	识别数量 Recognition quantity	识别正确率/% Recognition accuracy		数量 Quantity	识别数量 Recognition quantity	识别正确率/% Recognition accuracy		数量 Quantity	识别数量 Recognition quantity	识别正确率/% Recognition accuracy
本文方法 Algorithm in this paper	未完全成熟 Immature	307	307	100		112	105	93.75		67	55	82.01
	完全成熟 Fully matured	283	283	100		147	134	91.16		93	76	81.72
最小外接圆法 The minimum circumscribed circle algorithm	未完全成熟 Immature	307	307	100		112	92	82.14		67	40	59.70
	完全成熟 Fully matured	283	283	100		147	117	79.59		93	55	59.14

下载: 导出CSV 

| 显示表格

为衡量识别质量，引入相对偏差作为果实识别精准度的判别标准，圆心相对误差(C_Error)和半径相对误差(R_Error)的公式如下：

式中，S表示苹果的实际面积，D表示拟合圆心与人工检测苹果圆心之间的距离，R表示拟合半径与人工检测半径之间的距离，即半径误差。

对2种算法计算的圆心与半径值进行相对偏差检测，结果见表3。由表3可知，利用本文算法计算出的圆心相对误差均值为0.216%，半径相对误差均值为0.048%，两者均小于最小外接圆法，说明本文算法对果实圆心的定位及半径的判断较为精准，检测精度较高。

表  3  2种算法圆心与半径相对误差对比

Table  3.  Comparison of the relative errors of the center and radius between two algorithms

算法 Algorithm	成熟度 Maturity	平均圆心坐标误差/% Mean center coordinate error	平均半径误差/% Mean radius error
本文方法 Algorithm in this paper	未完全成熟 Immature	0.226	0.051
	完全成熟 Fully matured	0.205	0.044
	平均值 Mean	0.216	0.048
最小外接圆法 The minimum circumscribed circle algorithm	未完全成熟 Immature	0.574	0.162
	完全成熟 Fully matured	0.441	0.578
	平均值 Mean	0.508	0.370

下载: 导出CSV 

| 显示表格

3.   结论

1)本文提出一种基于图像融合果实分割与识别方法，该方法适用于自然环境中不同成熟阶段的苹果果实目标。为了增强目标苹果特征信息，对2种不同颜色空间的特征图像进行融合，融合后的图像更利于Otsu算法进行精准分割。针对融合后的图像，提出改进梯度场Hough变换方法，引入形态学重建算法平滑背景噪声，以二值图像为判断标准剔除算法识别出的假圆，提高算法的准确性。

2)对归一化后的R−G分量图像与I分量图像进行像素级融合，融合后的图像目标果实区域灰度更加明显，用Otsu阈值算法进行分割，能够克服由R−G分量引起的过分割与I分量中的欠分割问题。

3)用梯度场Hough变换算法进行优化，识别图像中的果实个数、检测果实位置信息，选取识别正确率、识别时间评价果实数量识别精度；选取圆形及半径相对误差评价果实定位精度。算法对完全裸露果实的识别正确率为100%，被遮挡面积≤1/2果实为92.46%，被遮挡面积>1/2果实为81.87%，圆心相对误差平均值为0.216%，半径相对误差为0.048%，平均识别时间为0.367 s。该算法能够快速识别苹果目标，具有较高精度和效率的果实定位，可以服务于苹果采摘机器人进行果实采摘。