《外文翻译基于机器视觉的水果的识别和定位.doc》由会员分享，可在线阅读，更多相关《外文翻译基于机器视觉的水果的识别和定位.doc（11页珍藏版）》请在金锄头文库上搜索。
1、基于机器视觉的水果的识别和定位顾辉，陆亚亚，娄吉林，张伟同浙江科技大学，信息工程学院，中国，杭州，, oo327, phonixlou, 摘要 本文讨论了低级别的机器视觉水果和蔬菜收获机器人，介绍了在自然场所下的水果和蔬菜的识别和定位，结合彩色模型提出了一种新的分割方法。更重要的是，它为确定脱落点介绍了一种新型的观点，成功的解决了当果实被闭塞时采摘中心点和脱落点的确定。同时，通过几何学技术解决了生长歪斜的果实的切除点的确定。事实证明，在自然场所下，效果良好。关键字：机器视觉，水果物体，识别，定位1 引言 在人类征服自然的这个过程中，人类正面临改造自然和促进社会的能力有限问题。结果，人类一直在寻
2、求机器人代替人完成复杂的任务，而智能机器人是最好的选择。 众所周知，视觉是人类探索世界最主要的途径。约百分之八十的信息是通过视野获得的。因此，给予智能机器人视觉功能是非常重要的。在这里，我们可以定义机器视觉如下：它能够在输入图像 1 处理后产生一些描述图片内容 。 许多领域与机器视觉是有关联。因此，它广泛的应用在各个方面，从医学图像，到遥感图像，从工业检测，到农业区等。 我们要讨论的水果和蔬菜采收机器人，是一类具有感知能力，可编程控收获，运输和包装庄稼 2 ，自动机械采收系统 。在这个收获过程中，视觉系统的主要问题，是识别并找到水果物体 3 。在这里，识别的意思是从复杂背景 4 分割出果实物体
3、 。定位，包括两方面内容：果实中心的位置和脱落的一点。 最近，有不少正在研究关于基于机器视觉的水果和蔬菜收获机器人 5 6 。蔡健荣介绍了在自然场所下的机器视觉识别方法。用大津算法，它得到分割阈值自动提取目标 7 。宫良介绍了基于机器视觉和机器人播种嫁接技术的发明，他们已投入生产 8 。Slaughter D.C在色数码图像 9 中建立一个用颜色特征经典的橙子模型。 在这些研究中，有很多从复杂的自然背景提取水果的方法。但其基本构想是，通过转换颜色模型到另一个比较容易过程中，或者更适合的场合来提取水果对象。但是，仍然有两个问题仍然悬而未决： 1 ）当果实生长歪时如何确定脱落点; 2 ）有这么多的
4、水果重叠时候如何确定中心和脱落点的，另一方面，侦测整个边缘是不可能。如果这两个问题依然悬而未决，这意味着收获可能是一个失败的。 并且更重要的是，只有约40的水果和蔬菜在果园 10 是可见，这意味着约有60的物体部分遮挡或完全闭塞。一般来说，农业机器人加上适合的风扇，以吹开覆盖水果的树叶。因此，它可能部分解决果实完全闭塞的问题。 所以，在本文中，我们只讨论了果实部分遮挡的问题，在特别是，该案件的两个水果重叠。作为一个整体，我们的问题是讨论的是属于低层次的机器视觉，在机器视觉是关键步骤之一。2 本文中使用的方法2.1 概要 从上述分析，我们知道，为了将果实从叶片和树枝分离出来，我们应该利用适合某些
5、情况的色彩模式。该三原色颜色模式是常用的，是不适合果园图象。因为在三原色的颜色空间，该三色来不仅代表着色调值，而且代表着亮度。因此，周围的照明也可能增添识别的难度， 因此三原色在这个分割过程中是不可靠的。为了利用水果在色调空间的聚类特征，我们必须分开，色调和亮度信息。通过三原色转换到单独色调和亮度的模型，我们可以实现这一目标。2.2 彩色模型 在本文中，我们使用的是三种类型的彩色模型。第一个是液晶显示器（亮度和色差）模型。在这个模型中，有四种颜色属性，其中包括亮度信息Y，红色色差Cr，绿色色差Cg ，蓝色色差Cb 。变换公式如下： 在这个实验过程中，我们发现了红色色差在果实中远远高于树叶或树枝
6、，甚至未成熟的果实，如不成熟番茄会稍后就会涉及。因此，我们不得不考虑红色色差Cr。 第二个模式，我们采用的是规则的RGB 。用图表来代表色性能三个部分。变换公式定义如下：很明显它满足： 结合上述两种模式的优势，我们可以在本文中推断出第三颜色模型LHM。从第一彩色模型选择Y和Cr，从第二个模式选择r和g，我们可以构建公式如下：3 分割 在自然条件下的果园，非均匀的光照因素使闭塞的叶片和树枝都更难以分离。目前，我们可以将彩色图像分成三类： （ 1 ）基于阈值的分割; （ 2 ）基于边缘检查和成长区域的分割; （ 3 ）基于颜色聚类 11 的分割 。3.1 聚类和分类 聚类的主要构想是要区分不同对象
7、，其中包括不同类别的物体和同一物体的不同部位 12 。所有分类算法都是基于一个假设，认为图像问题描绘一种或多种特点，并认为这些特点属于其中几个独特的特点和独特的分类。 传统的分类习惯包括两个阶段的过程：训练和测试。在最初的训练期，特有道具的典型图像特点是被隔立的，基于这些，一种独特的描述每个分类的方法，即培训，就产生了。在随后的测试阶段，这些特征的空间分割区，是用来区分图像特征。在实验中，我们取样60像素的叶片，树枝，水果等，并分别创立了分类。采用两个特征模式M和N ，我们建立判定函数：，当A，B和C是任意常数为只要数字，满足条件。在这里，特征图案可能是颜色，形状，大小，或物体的任何性质。根据
8、判定函数或者，我们可以将图像分为两部分，如图1：3.2 水果的分离 在这项研究中，我们采用了基于阈值的分割方法。该阈值是来自判定函数在上述3种图像模型的应用。根据以上段落，我们可以得到三个决策函数： 第一函数，F1，分离果实部分及叶片部分，第二函数，F2，从树枝部分分离水果部分，以及第三函数F3 ，从树枝部分分离叶片部分。但是，在实验要求的基础上，我们只是要水果从背景中分割出来，并且叶和树枝部分视为背景。所以，现在还没有必要考虑F3 。3.3 分析液晶模型图像 显然，果实，树叶及树枝的红色有不同的亮度和色彩。因此，采样60像素的果实，树叶及树枝来比对，从图2 （ a ）中，我们知道水果的平均值
9、，而且树叶和树枝的平均值差距很大，所以这是个适宜使用最低间隔分类。 从训练集，我们根据该最小距离分类可以得到决策函数如下：3.4 分析规则的三原色模型图像 在以同样的方式，我们却得到了如图2（ b ）训练集，及构造决策函数如下：3.5 分析LHM模型图像 结合两种模式的优点，我们相信从相交的两种模式可以得到更好的结果。此外，该区域分割过程中相交的瑕疵是相当小，并很容易消除，所以交集的结果根本不影响识别。使用三种模式分割的结果分别如下：4 连通域标记 在图3中，我们从上述的步骤可以发现这个物体获得的图像，还存在着一些瑕疵，这将扰乱正常的识别。采用八个连通部分来标识这个部分，我们可以得到几个贴标以
10、后的标识值。所以计算该地区的每一个标签的价值，我们保留最大的地区，并取消其他的区域。为进一步处理中，我们抽取边缘连接的部分; 结果表明，如图4 。5 区域中心点和脱落点 球形水果和蔬菜，如苹果，橘子和西红柿，它们之间相似度高到98 ， 他们的二维图形看起来像一个圆 13 。因此，我们可以将球形水果简化成圆的问题。 可惜，多数文章没有涵盖几个水果物体重叠的情况，因为在这种情况下的位置和采摘是困难的。但是，出于常识，我们可以了解问题如下： 机器人一个接一个摘水果，所以没有必要在同一时间从图像采集系统中寻找该果实的中心。当一个水果被采摘以后，剩下的水果位置会由于它倾向的位置和地心引力而相应改变。根据
11、这种理解，我们可以确信在布景中定位果实的中心是足够的。这样，我们就可以缩短处理时间和简化处理步骤。先采摘最高的水果，可以很容易地绘制出水平切线。如果有几种水果物体相交与横向切线，我们可以采取第一点为有效点，从左至右作为一项规则。然后从左右两边同时做垂直线，得到相交点B和C及计算|AB|和|AC| 。在以同样的方式，绘制从下往上的水平线，得到了交叉点D，所以外观是长方形如图5显示。 假设|AB|AC| ，考虑在B-A-C-D的所有点，而放弃考虑BD间的各点。因为分布在BD的各点只有极低限度的概率从圆上通过A点，所以放弃考虑这些点也可以降低计算复杂度。根据经验，我们常常可以为一类的水果或蔬菜构建一
12、个模型。举例来说，我们可以在实验中将西红柿模拟为图6 （ a ），以及苹果，可以模拟为图6 （ b ）项。点O为中心， A点是水平线通过该中心最左边的轮廓果实的交点，B点是脱落点。该角OAB称为 。衡量100个番茄和苹果的角度，我们可以得到平均角度，举例来说，番茄 48 ，和苹果 51 。所以，只要水果自然下垂，我们可以通过模型得到该中心和脱落点。5.1 中心点 我们在上面说到这些水果和蔬菜可以简化为圆，因此，测定水果的中心等于测定圆的中心。最近，把绝大部分在中心上研究建立在Hough变换14的改进的基础上;把其他的建立在几何学方法15的基础。然而， 这些方法计算的复杂性是相当庞大，结果导致进
13、程速度减缓。因此，它并不适合采收割机器视觉实时性能的要求。 考虑分在B-A-C-D的所有点如图5，让A点为出发点，以随机抽样方式选择四点v1，v2，v3，v4，你可以选择一种A作为圆上必须通过的常数点。根据该定理认为，三个非共线点可确定一个圈，我们知道，四个边缘点一般可以确定四个圆： c123 ， c234 ， c124 ， c134 。这个圆可以记为： 在这里它满足： 所以，如果有三点非共线，我们就可以得到一个圆。这个圆记为c123 ，中心（a123 ，b123 ），半径为r123，可以计算出中心和半径如下 16 ： 假设V4的（ x4 ; y4 ）成为第四边缘像素，然后V4和圆c123边界
14、的之间的距离记为： 如果v4准确的相切于圆C123 ，上述方程等于0 。但由于已获得的图象都是数字化的，因此，很难保证这一点准确相切于圆。因此，圆检测的目标是为了发现不准确但大体上位于数字化的圆上的边缘线的位置。为方便起见，我们把经过 v i, v j, v k 的圆记做Cijk和它的圆心和半径分别记（ aijk ， bijk ） 和rijk。让vm和cijk之间的距离记作： 如果我们找到一个距离小于给定的极限TD ，我们称此点相切于圆。在这里，我们还必须保证上述三个点中随机选出两点之间的距离应大于给定的极限Ta。如果有两点太接近，圆就可能不是真正的圆。如图7例子所示点v 1 ， 2中， v3
15、位于真正的圆的边界，但当V2和v3太接近时不良的情况发生了，通过v1， v2 ，v3确定的圆不同于真正的圆。为了避免这种情况下，我们应该限制任何两个点之间的距离大于一定的极限Ta。 下列步骤，是要找出在所有真正的圆中拥有最多有效点的圆。我们为这些有可能的圆设定一个计数器c = 0 ，来计算有多少边缘线相切于可能的圆。对于任何一个集V中的像素，如果dm-ijk ijk。另外，我们着手下一个像素。我们继续上述过程，直到所有边缘像素V都检查完。把相切于可能圆的线的数字记做np。如果np大于球形极限Tg，那么称这些圆为真实的圆，否则它是一个假的圆，并代入所有的点到集V。然后研究集np，我们从中获得了最大的一，让相应的圆圈作为最近的圆。
