《水果品质自动分级的机器视觉系统外文翻译》由会员分享,可在线阅读,更多相关《水果品质自动分级的机器视觉系统外文翻译(11页珍藏版)》请在金锄头文库上搜索。
1、水果品质自动分级的机器视觉系统水果品质自动分级的机器视觉系统原文来源:原文来源:J. Blasco; N. Aleixos; E. Molt.Machine Vision System for Automatic Quality Grading of Fruit. Biosystems Engineering (2003) 85 (4), 415423;摘要摘要水果和蔬菜,通常以批次的形式提供给消费者消费。而水果的均匀性和外观对消费者的决策有着重大的影响。由于这个原因,农农产品的展现无论是在田地里还是在最后流向消费者的不同阶段,都会被处理,而且通常是朝着同类产品的清洗和分类方面来进行的。该项目
2、的ESPRIT3,参考 9230。集处理,检查和包装水果和蔬菜于一体的综合系统(英文简写SHIVA)形成了一种自动、无损检测和处理的水果的机器人系统。本文的目的是报告在Valenciano de Investigaciones Agrarias 研究所研究的对桔子,桃子,苹果品质进行实时测评而发展起来的机器视觉技术,并评估该技术在下列质量属性:大小,颜色,茎的位置及外部瑕疵检测中的效率。此种分解研究,在贝叶斯判别分析的基础上,使用并且允许水果因背景不同而精确的进行区分。因此,尺寸的确定性恰当的得到了解决。水果由此系统测出的颜色,和目前被用作标准的色度指标值非常吻合。在茎块的定位和瑕疵的检测中也
3、取得了良好的效果。该系统在用大批量苹果进行在线测试分级后也取得了很不错的表现,并且并在缺陷检测和规模估计中分别取得了 86和 93的重复一致性。此系统的准确性和可重复性和人工分级几乎一样。1.简介简介机器视觉在水果和蔬菜检验中的应用在最近几年有所增加。如今,世界各地的一些制造商生产按水果大小,颜色和重量进行水果前期分级的分拣机。然而,市场不断地要求更高质量的产品,因此,其他功能已经发展来提高机器视觉检测系统(例如茎定位,确定主,副皮肤的颜色,检测污点) 。大小,是第一个与质量有关的参数,已经通过使用机器视觉测量周长或直径其中任一种得到了测量(陶等,1990;Varghese 等,1999) ,
4、周长(萨卡沃尔夫,1985)或直径(布罗迪等。 ,1994) 。颜色也是一个重要的品质因素,已被广泛研究(Singh 等人,1992 年,1993 年。哈恩,2002 年;多布然斯基和 Rybczynski,2002) 。有些水果有一种颜色均匀分布在皮肤表面,我们称之为主色。该平均表面颜色对这些水果来说是一个很好的质量指标。然而,一些其他水果(例如桃子,苹果,西红柿)有次要颜色可作为一种成熟的良好指标。在这种情况下,它是不可能完全只把全球面色彩作为质量参数的。在桔子,桃子,苹果这些水果中,有必要进行长茎检测,以避免损害其他水果,或者是因为没有他们可能意味着质量损失。已经有若干解决方案被提出了来
5、确定茎的位置,如:使用结构的照明检测苹果凹陷(杨,1993);颜色分割技术来区分柑橘类水果的花萼和茎块(鲁依斯等,1996) ;或研究苹果光的反射(彭曼,2002) 。有时候,茎容易混淆成皮肤上的缺陷或瑕疵。损伤和擦伤检测是质量评价的一个关键因素。众多苹果擦伤检测方法中有一种是基于对干扰过性滤器的使用(Rehkugler斯鲁普,1986 年) 。其他研究同时进行瑕疵处理和颜色评定这两项。(米勒和 Delwiche,1989 年;勒费弗尔等,1994;切鲁托等,1996;莱曼斯等,1999,2002; Blasco 及蜕皮澳,2002 年) 。最近的技术结合红外和可见的信息来检测瑕疵(Aleix
6、os 等,2002)或者使用高光谱成像(Peirs 等,2002) 。这项工作的目的是报告在项目 ESPRIT3(参考 9230 的集处理,检查和包装水果和蔬菜于一体的综合系统,英文简写 SHIVA) ,该技术在其他地方被描述过(墨尔特等,1997,1998) ,和 Valeenciano Agrarias(IVIA)研究所在 1998 年三月进行的测试中取得的成果的基础上发展而来的图像分析技术。该视觉系统是为了在线测量与桔子,桃子,苹果质量有关的几个参数,如大小,以及鉴定次要色点(桃和苹果一些种类的水果需要) ,茎块位置或斑点的存在。水果要在不 1 秒的时间里于四个不同角度被检测。为了评估视
7、觉系统的效率,自动检验的性能和重复性和专家们的人工检测进行了比较。2.材料与方法材料与方法2.1.硬件硬件机器视觉系统是由一个三电荷耦合器件(CCD)彩色摄像机(索尼 XC003P)和一个图像采集卡(流星的 Matrox)组成的,并被连接到了一台可兼容的个人电脑奔腾 200 兆赫,48Mb 随机存取存储器(RAM)。该系统提供了 768 每 576 像素的图像,以 35mm 每像素实现。图像采集卡从相机撷取并解码复合视频信号为在红,绿,蓝色坐标(RGB)的三个用户定义的缓冲区。照明系统是一个环形日光灯管组成的,里面内室涂有白色亚光半球形荧光,并在顶部有一个洞来放置相机。由在于日光灯管和场景之间
8、放置了用于保护的反射面,避免了直射向水果的光。视觉系统是用于自动检测,处理和包装的机器人系统中一部分。进入检查室前的水果都被单个化处理了,然后传递给一系列的移动真空杯,他们有旋转和翻译能力,能使水果在四个不同角度传递给相机,使其不位于重叠的位置,以尽量多的检查水果的表面(图 1) 。2.2.图像分析图像分析图像分析是由 IVIA 用编程语言 C 研发的一个特定的应用软件来来执行的,在磁盘操作系统下运行(DOS) 。该软件分为两 模块:一个为培训系统的应用;另一个为命令采集,处理图像,并提供各水果质量估计参数给机械控制系统。系统需要离线预先训练。利用录制的水果图像,专家选择不同区域的图像和分配所
9、有每一个地区像素于其中一个预先确定的类别:背景,原色,次主色,一般伤害类型 1,一般伤害类型 2,特定的功能,茎,花萼。由于分类采用这样一种方式,所以他们对所有类型的水果都适用。训练系统分别单一颜色的水果,此主色类没有使用。用两个类颜色方法检测一般的损害是合理的,因为每个种类的水果都有不同的颜色的缺陷 ,可以区分为明亮的与黑暗的。另一个预先定义的类被用于检测水果的特定特点,如金冠苹果的赤褐色度。由于每个类代表性的区域已选定,贝叶斯判别模型被创建,它 利用像素的三个基本色:红色,绿色和蓝色作为独立变量(RGB) 。 贝叶斯判别分析包括对上述每个类别的 RGB 值组合的概率的计算。一个阿雷尔(19
10、91)描述的算法被应用,即采用不同的协方差矩阵为每个类,它的结果在二次判别模型。此过程可参考表来进行。该表,存储在计算机内存中并在网上操作时给予咨询,允许每个像素的图像分配到最接近匹配的类.水果的颜色,作为水果成熟的状态标志,即是是在同一种水果里,也可以因为许多因素而略有不同。由于此分割方法极大地依赖于每个水果的像素颜色,它是对这些变化非常敏感。出于这个原因,该系统需要进行测试,并且对每个测试期都要创建一个新的表格。图 1(a)第一图像的采集(b)第二个图像的采集-杯 1 旋转水果 120(c)第三 个图像的采集-杯 1 将水果再旋转 120(d)第四图像的采集-杯 2 抓住水果并旋 转 18
11、0在线操作最先要获取第一幅图像,并利用上面提到的表格将其按先前定义的类进行 分类(图.2(a) ) 。图 2 (a) 照相机拍摄的原始图像(b)分割图像显示完好皮肤,褐色化度,茎块和损 坏区域(c)除了茎和背景以外的所有区域,用来计算的大小类别(d)展示了大小 如何估计的图像同一种类的八个相连的像素中的每一份被认为是相互独立的区域。然后,为了加快轮廓提取的进程,基于模滤波器的缓和程序被应用到了分段的图像,以便平缓图像之间的毗邻地区及消除孤立的不良分类像素图. 2(b)第二步由提取特性来将水果按大小进行分类构成。单值图像中的前景是水果的图像,认为是各区域形成的,除了那些被视为背景或茎块的区域。然
12、而茎块并不认为是水果的一部分,因为较长的茎块可能导致错误的测量尺寸(图. 2(c) ) 。 然后,对水果区域边界进行提取并编纂通过用链码为基础的算法 (弗里曼,1961 年)来计算量做惯性主轴的长度面积和尺寸(图. 2(d) ) 。 在第三步中,各地区不再视作为单果,每个独立的区域面积却要被测定(图. 3(a))。为了纠正分割过程中产生的错误,表面积少于一定的阈值的区域被认为是无效的分类像素。对于有效的地区,根据他们的像素所处类别不同,不同的参数被计算。例如,在有任何类各地区组成的损害像素区域中,长度和面积分别计算。在被划为茎块的区域的情况中,只有共同的坐标质心进行了测定。在检测到多茎块的情况
13、中,最长的区域被选定为真正的 茎块,其他的认为是干扰(图 3(b) ) 。在分配到基本和次等的颜色区域,质心及颜色 RGB 均值要计算。该流程的整个过程如图 4 所示。该水果四个角度被不断重复。 当最后一个图像被处理时,每个果实下列特征都要测量:(1)主要损伤的长度定义为主要区域的长度,归类为损伤,在上面四种视角中都有;(2)损伤面积等同于所有受伤区域的总和,在四个独立的视角中; (3)茎和瑕疵需要考虑,如果在四种视角中的任一种中发现;(4)基础色计算作为基础的颜色,在每个独立的视角中统计(5)次主色计算作为次要主色,在每个独立的视角中统计(6)水果的尺寸根据现在的标准,尺寸是根据替代物的尺寸
14、测来的。由于水果不具有方向性,水果都是由离茎最近的地方开始定位测量的。如果茎在少于两张图像中看到,该水果的尺寸就被当做其他四幅图像的水果的平均尺寸。尽管一些用于颜色描述的立体模型,作为 HIS 或 La * b *值,描述的颜色和我们的感觉很接近,但 RGB 系统被用来描述是由于图像采集卡直接提供本系统中的图像的像素颜色,所以后面的进一步消耗的计算资源的转换是不需要的。图 3 (a)分割图像显示褐色度,茎和损坏的区域(b)图像显示周长,褐色度中 心和茎区和最长损害区的长度2.3 该系统的性能评价该系统的性能评价 2.3.1.分割程序分割程序 虽然分割方法的可靠性可由系统通过结果和可重复推导出来
15、,为了在水果的图像上分析分割程序通常要做个初步试验。在这些测试中,代表团体桔子,桃子,苹果的图像的像素,对应于其背景,皮肤完整度,损伤和茎秆(除了桃子) ,被人工选定生成基于贝叶斯非线性判别的判别分析函数。这些功能在一个独立设置的像素上进行了测试,属于不同图像,也是人工选定。两个独立设置的像素的使用保证了分类器的估计的性能是没有偏见性的。 2.3.2.色彩估计色彩估计 为了评估利用开发的传感器估计的演的精度,颜色测量取自 22 西红柿几个表面。这些部位从一个红绿色颜色变动为红色。机器视觉系统确定果实颜色的能力通过比较常用于不同的水果的几种标准色指数得到了计算。这些指数从猎人实验室获得,和由三色
16、度计圆形区域(8 毫米直径)在选定的每一个部门随机提供的值一致。 2.3.3.茎定位茎定位为了评估该对茎的位置的算法的性能,每一个,100 个桔子随机的角度图片和100 苹果的都被使用。在桃子的情况下, 76 个水果中每个水果都随机取向的取了两个图像,共提出了 152 图像。该图像分析算法得到了应用同时茎的重心也显示在了电脑屏幕上。然后,操作者决定是否系统正确地在个图像中检测到茎。 2.3.4.专家的重复性专家的重复性 在确定视觉系统在测量大小和检测瑕疵的精度前,为了估计人工操作的精度和重复性要进行一个简单的试验,这是目前商业分级厂房的的参考。由于苹果的形状更加不规则所以被用于这些实验。桃子和柑橘更加类似球形,因而更容易被视觉系统分辨大小。在第一个实验中,40 个周长 63 和 86 毫米之间的苹果被随机挑选。每个苹果的大小被专家用卡钳测量了两次。两个测量进行了比较并且通过平均误差来计算精度。为了估计检测瑕疵时人工操作的重复性,另一个检测是:48 个苹果被机器分类后被选定,其中 24 个列为有缺陷的,其他 24 个为无缺陷。接着,