《视觉注意的非监督提取彩色图像对象概要》由会员分享，可在线阅读，更多相关《视觉注意的非监督提取彩色图像对象概要（8页珍藏版）》请在金锄头文库上搜索。
1、视觉注意的非监督提取彩色图像对象本文提出了一种无监督的通用模型的观众的注意力从提取彩色图像的对象。如果没有图像内容的完整语义理解，模型制定注意对象作为一个马尔可夫随机场（MRF）通过整合计算视觉注意机制，重视反对种植技术。此外，我们描述了MRF通过能量函数吉布斯随机场。最小化能量函数的提供了一种实用的方法，得到关注的对象。 880上的真实图像和用户实验结果16科目主观评价论证的有效性提议的方法。关键词：关注对象，马尔可夫随机场，对象越来越大，视觉注意力。引言多媒体应用的内容相关的功能呼吁高效的工具，可以提取有趣在物体的图像。尽管努力在这个领域很大，大多数方法可以只是的帮助下正常工作或者用户的交
2、互1或下几个特定对象的假设应用程序是已知的先验2。 一与传统方法的问题是，它们不取人类视觉注意考虑。视觉注意的是具有神经生物学概念在近距离的对象集中精神力量的能力观察。如3，4，许多生理实验指出已经证明，人类视觉系统只能处理在全部细节输入信息的一部分，而其余的是留下了近未处理。视觉注意的是负责决定4什么样的视觉信息被全部处理。注意强烈主观的，但计算模型关注提供了一种定量地测量。在5，ITTI等。呈现视觉注意力基于显着，计算模型。其主要思想是基于人类视觉特性与鲜明的特点到他们周围的物体通常被认为。第一，三个基于造影图像特征被组合以产生一个显着图。然后，一个赢家通吃神经网络采用以检测注意位置显着图
3、。最近，一些证实，对视觉注意的结论已应用于几个多媒体应用，包括手写数字识别和人脸识别6视频摘要7，以及图像适应8。在本文中，无需完整的语义图像理解，我们尝试自动开发的通用框架提取观众的关注对象基于人眼视觉注意的机制。它是在一个两阶段过程来实现。第一阶段是生成由ITTI模型5的显着图，其编码的图像中的每个位置的注意值。在第二阶段中，只有少数关注的种子第一选定根据显着图。然后，马尔可夫随机场（MRF）模型整合注意值和低级别特点是采用按顺序增长的关注对象从这些选定的关注种子开始。我们的工作中的一个重要优点在于，它提取对象以类似于人类的方式。眼球运动的研究9已经表明，人类主体可能无法并重在图象中的所有
4、对象，并且通常只参加到较少的对象。起初，他/她通常很快几眼在图像定位注意（FOCUS）的几个焦点，并然后集中在这些FOAs为更多的细节处理。在我们的模型中，显着图的产生可以模拟人的在照片一眼的行为。注意选种可能模仿定位FOAs的过程。注意对象生长可以被视为上次操作集结。本文的其余部分安排如下。 在第二节，我们介绍了如何将关注的对象模型。 在第三节，由MRF模型的关注对象提取呈现。实验结果示于第四节。最后，结论在第五节给出II。建模注意对象基本上，注意的对象被定义为有意义那些更容易吸引观众的注意力物理实体比图像中的其它对象。在我们的工作中，各方关注对象可以通过三个属性来建模：关注价值，边集，和同
5、质性的措施。具体而言，注意的在图像中的对象被定义为AO=AV,ES,HM其中AO是指关注对象，AV，ES和HM是关注价值，边集，和同质性措施AO的分别。注意值是观众关注的一个量化指标在一个关注对象。它是在图象的换算显着图（SM）。在本文中，我们利用的类似的想法ITTI的工作5，得到的SM，因为它已被支持一些生理实验4。 5，只有低级别的功能（颜色，强度和方向相反）被采用计算SM，并没有高级别功能被考虑。眼睛跟踪实验已经表明，人类通常更加注重物体接近到图像的中心。因此，摄影师总是让他/她感兴趣的对象到设在图像的中心。在本文中，我们提高在ITTI的SM通过将位置提示。为简单起见，的归一化高斯函数与
6、位于中心影像中心采用修改的SM。 进一步来说，显着性值的计算方法是SV(i,j)=SV*(i,j)点G(i,j)其中，（I，J）为M* N个象素的的SM的一个点，SV *（I，J）是其由ITTI模型（I，J）显着性值是归一化的高斯在中心的功能（M-1）/ 2，（N-1）/ 2），和SV（I，J）是在（I，J）整合了位置线索的显着值。 二SM例子在图中描绘。 1.在SM，较大的像素强度是，越有可能在像素吸引观察者的注意。作为边集及均匀性的措施，它们是通常用于描述对象/在图像区域/视频分割技术。边集包含了所有的边界一对一悉心对象的像素。在同质化的措施表示通过一个关注对象的颜色纹理分布。 在10，D
7、eng等推荐一个很好的同质性描述符，记，关于颜色和纹理的信息。 如果是在物体上计算的，它可表征的颜色纹理对象的均匀性。然而，如果计算上的局部区域，这是该区域是否是在对象的良好指标内部或物体边界附近10。换句话说，我们可以通过一个小窗口计算过检测物体边缘在图像。由于其出色的表现，本文利用描述符，以获得对象边界和措施对象的同质性III。提取的关注对象我们的工作结合视觉注意与接种对象/区域生长2，10，以提取关注对象。它包括四个主要步骤。首先，我们发现按照注意的种子到视觉注意和边缘信息。 其次，开始与所选择的种子，注意目的是通过生长一个MRF模型的手段。然后，二后过程执行缩小所提取的结果。最后，如果
8、所有的注意力得到的物体，在提取处理终止; 除此以外，返回到第一步骤中提取另一个关注的对象。 它值得注意的是，如10，执行我们的对象长势量化彩色图像上从区分我们的方法的新颖特点传统的对象/地区的种植技术是双重的。首先，人类的感知注意的语义知识掺入到对象提取的过程。 另外，传统的区域生长算法以数字开头初始的种子，并且这些种子生长以并行方式。 本经常导致过度分割。相比之下，我们的方法生长的对象一个接一个。根据递减的顺序关注价值，关注种子依次增长它们的对象。这种生长方式便于提取完整的对象。A.注意测定种子它公知的是寻找最佳种子区域是一个关键在地区问题越来越多。作为一个关注对象，健全种子面积不应该只成为
9、观众关注的焦点，但还可以位于其中心附近。关于SM和边缘信息，很容易地看到，注意力种子区域应对应于局部边缘值的极小以及最大值当地的显着价值。令P是图像中的像素，且R是一个小窗口，在体育中心我们首先计算的平均R中的局部边缘值，由UE表示。然后，平均的R中的显着性值，通过UE表示被计算。该地区R，A R的关注，被定义为 基本上，区域注意确定的区域的优先被认为是作为种子，以启动一个关注对象生长。面积注意值越高，越可能是与关注对象相关联的区域。请注意，设置一个对于R最佳规模是一个不平凡的问题。据经验设定根据图像的大小。在我们的实验中，对于图像256*384大小，R =17 *17;及的图像尺寸512*
10、768，R =37 *37。B.注意对象成长生长（AOG）过程是由控制的注意对象融合的重视，颜色纹理均匀性，以及边缘信息。让我们假设一个关注对象AO从生长最初的关注种子区。随后，这些未分配满足一个相似性测试的AO的相邻象素是反复添加到它。这组AO，AP的所有未分配的相邻像素，可以通过简单地建模2 其中，N（X，Y）是像素P（X，Y）的3 * 3附近。对于像素P属于AP，相似性测试确定是否P将加入AO能不能被配制成其中，是阈值和Dif（P，AO）表示颜色测试像素及其相邻的注意力之间差目的。1）制定的问题：通过13的启发，我们可能配制AOG作为条件概率的问题。特定SM的，边缘信息，和的均匀性量度对
11、象，我们要计算最大后验概率（MAP）的关注对象的估计。也就是说，找到最佳关注对象AO*，它满足这里，表示在该模型中的参数。我们的模型物体的像作为MRF英寸根据哈默斯利克利福定理12，在MRF可由吉布斯进行说明制剂用能量函数。 从而E（AO SM，EI，HM；）被定义为那里的能量函数注意的对象中，Q是一个归一化因子，T是温度。2）定义能量函数：考虑这三个在给定的条件（6），我们定义能量函数作为其中E（AO SM）是关注能源功能，E（AO EI）的边缘能量的功能，E（AO HM）的同质性能量的功能，是参数。然后注意能量函数使用第一计算SM其中，AV（）是在整个图像I的AV（AO）显着性值的总和，是
12、显着性值的总和在注目对象AO。更具体地，它们是由下式给出这里，SV（X，Y）是在第（x，y）的像素的显着性值SM。然后，边缘能量函数使用边缘信息来定义。首先，边缘图进行二值化。然后，边缘能量函数被定义为其中，BL（AO）是关注对象的边界的长度，和EN（AO）是属于的边界上的像素的数目AO以及在二值化边缘图的边缘像素。 边缘能反映怎么可能AO的边界一致的图像的“真实”边缘。最后，均匀能量函数是通过引入所定义新概念“，从良好的学习对象，”我们的基本的想法是将从学到的先验知识良好的对象实例到对象提取工艺。我们首先估算良好的同质性概率分布对象。然后，将了解到均匀概率分布可被用作先验知识来帮助对象提取过
13、程。近日，人的数据库中被标记分割已建立11.1我们选择的对象4287从这个数据库作为“好对象”的同质化好对象的概率分布可以从估计这些4287训练数据。同质性能量函数是由此定义为其中，P（AO）代表的概率一个好对象根据其同质性措施。结合上述能量的功能，所述MAP估计敖变3）实施：地图估计所获得最小化的能量的功能。其实，关注后裔是固定的，其关注对象生长可以被变换到在（5），以结束找到一个最佳阈值的一个问题成长的过程。也就是说，最佳的注意对象可以通过找到最佳阈值来获得该导致的最小能量。我们假设阈值有一个范围0，M。给定一个的，一个关注对象的生长值是由控制（4）和（5），然后将此注意力对象的能量被计算
14、由（8）。从所有可能的值，最佳选择，其中满足其中AO表示关注对象是控制下生长的阈值。为了进一步减少搜索负担时决定最佳的，我们可以固定M键小的值，因为的对象同质的假设。在我们当前的实现，M = 6。C.后处理在实践中，二后处理需要缩小所提取的结果。 “关闭”的操作，首先用来填补孔中的关注对象。然后，相邻的注意对象合并只要它们的颜色分布是足够接近彼此。D.关注的对象数确定该模型的最终困难的问题是如何确定图像中的关注的对象的数量。注意目标提取的一些实验结果。本文提出了一种基于注意的自适应方法强度。让AO1，AO2，AO3，.，AO N，.在图像我的关注对象和A在代表当前正在生长的之一。其对应的注意种
15、子是R 1，.，Rn中，.的数注意对象在I被确定为最小N，N = 1，满足以下任一条件：在（16）中，表示显着性值的平均第（n+ 1）个关注的种子，是显着的平均以上的值。IV。实验结果无监督的关注对象提取模式已经在880通用测试图像来自Corel的图像画廊。我们的测试图像涵盖了各种类别，如“鸟”，“虎”，“马”，“花”，“船”，“夕阳”，“汽车”等所有用一组固定的参数进行实验。如13中，参数由下式确定实证分析。良好的效果可以通过设置来实现=0.25 ,=0.5 , =0.25。图 2显示了一组样本采用我们的模型，在左边的列包含结果原始图像和右列所提取的注意对象。视觉可接受的提取结果说明该模型的
16、有效性。由于视觉注意很强客观性，我们构建用户主观测试，以进一步评估的质量我们模型。十六人类受试者，包括9男七女性，被邀请参加测试。大多数志愿者是研究生。他们中有些人没有背景图像处理方面的知识，但其他图像处理专业。100图像及其相应的提取关注对象随机抽取，共880实验选择图像被用于试验。在每个测试中，我们让主题通过对原始图像搜索第一，然后将其萃取关注对象。在测试过程中，未给予受试者任何提示。每一个主题被要求给他/她的主观得分给每个实验结果。为了获得定量而统一的评估，我们提供的受试者以下5个分数：5：提取的对象是我想专注于什么，和对象提取结果是完美的（不是错过了重要的关注对象，同样的位置和边关注的对象是很
