《Real-Time Human Detection Using Contour Cues_基于轮廓线索的实时人体检测_2011ICRA.docx》由会员分享，可在线阅读，更多相关《Real-Time Human Detection Using Contour Cues_基于轮廓线索的实时人体检测_2011ICRA.docx（11页珍藏版）》请在金锄头文库上搜索。
1、Real-Time Human Detection Using Contour Cue_基于轮廓线索的实时人体检测_2011ICRA摘要 本文提出了一种实时并且精准的人体检测架构C4。C4在目前最高精确度下可以达到20帧每秒的检测速度，并且是在只使用一个处理线程和不使用GPU等硬件的情况下达到的。能达到实时而精确的检测源于以下两点：第一，相邻像素差值的符号是描述轮廓的关键信息；第二，CENTRIST描述子非常适合做人体检测，因为它编码了符号信息并且可以隐式地表达全局轮廓。使用CENTRIST描述子和线性分类器，我们提出了一种不需要显式生成特征向量的计算方法，它不需要图像的预处理或特征向量的归一
2、化，只需要O(1)时间去测试一个图片区域。C4也非常适合进一步的硬件加速，我们在一个嵌入式的1.2GHzCPU上同样实现了20fps的高速人体检测。引言 人体检测在生活中应用广泛：监控系统和机场安全，自动驾驶和驾驶辅助系统，人机交互，互动娱乐，智能家庭和老人辅助，军方的寻人应用等。广泛的应用和挑战吸引了很多研究者参与到其中来。 本文的目的是以最少的误报率进行实时而精确的人体检测。在机器人系统上，计算效率尤其重要，不仅要达到实时的检测，还要做的占用尽量少的CPU资源，使得其他任务例如路径规划、导航等不会受到影响。 目前的人体检测在很多方面已经达到问题的前沿，例如：特征、分类器、速度、遮挡处理等，
3、引文111做了详细论述。然而，至少还有两个重要问题没有得到解决： (1)实时检测检测速度非常重要，因为实时检测是很多现实应用12的先决条件。(2)确定最重要的信息源HOG1和LBP8特征在人体检测中取得了成功，但我们还不是很清楚的了解这些特征中最重要的信息是什么，或者说，为什么这些特征可以取得这么好的检测效果。 在本文中，我们认为这两个问题是紧密相关的，我们证明合适的特征选择会带来高效的检测结果。事实上，特征计算是现有方法的主要瓶颈，现有方法即使使用GPU的100+并行处理线程，也只能达到大约10fps的检测速率。大多数时间都耗费在了特征计算上(包括图像预处理、特征构建和特征向量归一化)。 本
4、文主要解决了两个问题。第一，通过一系列精心设计的实验(见Section-A)表明表征身体外沿的轮廓特征可以提供人体检测的重要信息。我们发现相邻像素差值的符号对于表示轮廓至关重要，但差值的大小没有符号信息重要。 第二，我们提出用轮廓线索(contour cues)进行人体检测，并表示成熟的CENTRIST13特征非常适合人体检测(见Section-B)。CENTRIST编码了像素差值的符号信息，并且可以表示全局(大规模)轮廓。在Section-C中，我们将CENTRIST与其他特征进行了对比。 CENTRIST特征在速度上非常吸引人，在Section中，我们提出了一种不包括图像预处理和特征向量归
5、一化的评价方法。事实上，没有必要显式地计算CENTRIST特征向量，因为它已经无缝的嵌入在分类器中，能够达到视频流检测速度。我们使用层级分类器，所以将此方法叫做C4：detecting humanContour using aCascadeClassifierand theCENTRISTdescriptor. C4可以在不使用GPU的单线程上实现精确地实时人体监测。在Section中，我们用两种评价方法展示实验结果，第一，在一个标准人体检测数据集上的实验结果；第二，在线检测结果，即在iRobot PackBot上的实验结果。特别的，我们还展示了基于实时行人检测的行人跟踪。我们将此检测系统提供
6、给其他研究者使用。相关研究工作 人体检测的精确度仍是主要研究方向，尤其是在低FPPI2(False Positive Per Image)时的高检测率。在此方面的研究主要向两个方向发展：特征和分类器。 人体检测中使用过各种特征，例如Haar7，edgelet10，然而HOG是使用最多的人体检测特征1,3,4,6,8。边缘在不同方向上的强度分布似乎可以有效地在图像中捕获人体。近来，LBP(LocalBinaryPatern)方法的变体也表现出很大潜力58。最近人体检测趋向于联合多种信息源，例如颜色、局部纹理、边缘、运动等等14,6,8,15，引入更多信息通道会提高检测精度，但同时也会增加检测时间
7、。 在分类器方面，线性SVM由于速度快而被广泛使用。HIK SVM(Histogram IntersectionKernel SVM)1617可以达到更高的精度，耗时有所增加4。 最近的研究还提高了人体检测的速度。层级(cascade)711和积分图148被广泛用来加速检测。然而，检测速度仍远低于帧率，所以人们使用GPU来做并行计算，例如，9中的系统达到了10fps，8中达到了4fps，两者都使用了GPU。在Section中，我们展示了一种可以在不使用GPU的单线程上达到20fps的方法(并且此方法非常易于做GPU加速)。表对比了当前的几种快速检测方法的速度和精度，包括本文提出的C4方法。表，
8、几种人体检测方法的速度比较。VGA分辨率是640*480，qVGA是320*240，精度单位是1FPPI(False Positive Per Image) 移动机器人平台上的人体检测系统已有很多相关研究工作18,19,20,21，多数都是利用测距传感器(ranging sensor)1821。3D传感器对于检测和跟踪有很大作用(人体位于地平面之上，可以在深度上被很好的分割)，此方面也已经有一些不错的系统出现。然而这些方法有一个缺点：测距系统的解析度有限、临时采样率有限、难以处理强烈的室外光。因此，探索被动光电传感器例如摄像机的可用性变得更加重要。使用CENTRIST描述子检测人体轮廓A 像素
9、差值的符号对于编码轮廓和人体检测至关重要 我们认为轮廓是人体检测中最有用的信息，而相邻像素差值的符号是对轮廓进行编码的关键。这两个假设都在本节有实验支持。假设1：对于人体检测，最重要的就是编码轮廓信息，而这正是HOG描述子的关键。局部纹理可能对检测有害，例如人衣服上的图案可能扰乱检测器。图1b是图1a的Sobel梯度图(计算图1a中每个像素的Sobel梯度，归一化到0,255，然后替换原像素值)。Sebel图会平滑局部高频纹理信息，所以图1b中剩下的轮廓可以清晰地显示人体的位置。图1(a)原图，(b)Sobel梯度图，(c)梯度符号图 Dalal的HOG论文1中的图6也表明在人体轮廓周围的图像
10、块是HOG描述子中最重要的。然而，我们还没有清楚地知道HOG描述子中编码的到底是什么信息，使得它在人体检测中如此成功。 我们要通过实验表明轮廓是HOG描述子中编码的最重要的信息。我们使用论文1中的原始HOG检测器，但使用Sobel图进行测试。原始HOG SVM检测器使用轮廓和其他信息(例如有衣服上的纹理)交织在一起进行训练，这样训练出来的检测器如果在只有轮廓信息的Sobel图上能够检测出人体，就表明轮廓信息是HOG编码的主要信息。结果，检测精度在1FPPI时是67%，比14中评价的12个检测器中的7个都要好。 因此，我们相信轮廓是HOG描述子中用于人体检测的最重要的信息。C4和其他现有方法的最
11、大不同是C4明确地从Sobel图中检测人体轮廓。假设2：相邻像素间差值的符号是编码轮廓的关键信息。我们经常使用梯度来检测轮廓，而梯度是通过相邻像素做差来获得的。我们将说明差值的符号是编码轮廓的关键信息，而差值的幅值(大小)并没有符号重要。 为了证明此假设，对于给定的图像I，我们生成图像I，I与I保持相邻像素差值符号的一致，但差值大小被忽略。即其中p1和p2是任意一对相邻的像素。举例如下：上式中，I中的96对应I中的3，因为存在比较路径：2323896。换句话说，虽然I中忽略了差值的大小，但元素之间的空间相对位置仍会提供一种大小关系。此外，I和I中的梯度幅值也会有很大不同。将图1b看做I，则图1
12、c就是对应的I(像素值变换到0,255区间)，可以很容易地从中检测出人体轮廓。 我们仍通过实验验证假设2，使用原始HOG检测器在梯度符号图(类似图1c)上进行人体检测，在1FPPI时达到了61%的精度，比14中评价的7中方法的精度都要高。虽然在Sobel图和符号图上的检测精度都比较低，但要注意到，所用的分类器都是在原图上进行训练的，我们在没有改变原始HOG分类器的情况下就取得了比现有的一些方法还要高的精度。这充分证明了，人体检测中最有用的信息是人体的全身轮廓信息，而相邻像素的差值符号是编码轮廓信息的关键。B CENTRIST描述子 我们建议使用CENTRIST描述子13来识别人体，因为它简洁的
13、编码了关键的符号信息，并且不需要图像的预处理和后处理。CENTRIST意思是CENsusTRansform hISTogram。在此节中我们会说明为什么CENTRIST描述子适合人体检测，并将CENTRIST描述子与其他描述子进行对比(在Section-C中)。CensusTransform(CT，普查变换)最初是为了建立局部区域的一致性而设计的22。CT比较像素点与其周围像素的灰度值大小，如下式所示：如果中心像素值大于或等于周围的某个像素值，对应位置的值为1，否则值为0。从像素值比较得到的这8个值以一定的顺序(我们以从左到右、从上到下的顺序)排列在一起，转换为0,255间的一个十进制数，这个
14、数就是中心像素的CT值。CENTRIST描述子就是这些CT值的直方图13。 如公式(3)所示，CT值简洁的编码了相邻像素的差值符号信息。CENTRIST所遗漏的似乎只有捕获全局(大尺度)轮廓的能力。 对于给定的具有CENTRIST描述子h的图像I，和有匹配的CENTRIST描述子的图像I，我们希望I与I相似，尤其是在全局轮廓上相似。如图2所示，图2a是一个108*36的人体轮廓，我们将此图分割为12*4个块(block)，每个块的大小是9*9。对于每个块I，我们找到具有相同CENTRIST描述子的图像I。如图2b所示，根据CENTRIST描述子重建的图像与原图很相似，虽然图像的左边有些许错误，
15、但人体轮廓的全局特征仍被很好的保留下来。图2从CENTRIST描述子重建的图像 CENTRIST描述子不仅编码了最重要的局部差值符号信息，而且还隐式地编码了人体的全局轮廓信息，所以我们认为CENTRIST描述子可以很好的表达人体轮廓。C 与HOG和LBP的比较 在本节我们将CENTRIST与HOG和LBP这两个最常用的人体检测描述子进行对比。 对于分类来说，同类别样本的特征向量应该彼此相似，不同类别样本的特征向量应该不相似。对于任意样本x，计算x与所有其他样本的相似度。设xin是同类别的样本中与x相似度最高的，xout是不同类别样本中与x相似度最高的。s(x,y)表示x与y的相似度，值越大表明相似度越高。很明显，我们希望sNN= s(x,xin) s(x,xout)值是正的并且越大越好。sNN是正值表明x被最近邻规则正确分类。因此s
