1基于多传感器决策级融合的远距离目标检测【关键词】 可见光图像序列; 红外图像序列; 决策级融合; DS 证据理论Abstract: Aim at the problem of detecting for long distance targets with visual and thermal infrared image sequences, a method of targets detection based on multisensor decision level fusion was developed. The algorithm firstly acquires targets detection from each sensor by frame difference accumulation and local intensity image; and then fuses the results using “and” logic to reduce the part of redundant information. Then extracts the multiple features of these target candidate areas in fusion detection result from the two sensor images as the evidence to eliminate redundant information. Finally, to distinguishe the false target from real target using DS evidence theory based on multiple features, and send the recognition result to the target detection output of the whole system. The experimental results demonstrated that this approach is feasible and robust.Key words: visual image sequences; thermal infrared image sequences; decision level fusion; DS evidence theory引言多传感器远距离目标的检测在军事应用领域中具有重要的意义,多传感器信息融合已经成为信息处理技术领域中研究的热点问题。
由于单传感器图像提供的信息具有局限性,而多传感器图像数据之间存在互补性和冗余性,可以将不同传感器数据进行融合,增强目标检测的可靠性目前关于多传感器融合的远距离目标检测文献较少,李振华等[1]提出一种基于运动目标检测的红外和可见光动态图像的融合方法,但该方法适应于大目标检测赵鹏等[2]提出了一种红外与可见光图像的新的特征级融合与运动目标跟踪方法,这种方法不需要图像配准,降低了融合的计算复杂度D.Borghy[3]提出了一种基于多传感器图像序列融合的目标检测,在单传感器图像中通过七种纹理检测D.Borghy[4]提出了一种基于单幅图像特征级融合目标检测与运动目标检测相结合的决策级融合,但是该方法需要进行多级融合李秋华等[5]提出一种基于 DS 证据理论的红外小目标融合检测方法和一种采用 DS 证据理论的双色红外小目标融合检测[6]的方法,但以上两种都只是适合于红外小目标本文针对摄像头静止的情况下,提出了一种基于决策级融合的检测方法,该方法通过帧间差累积,在各传感器的图像中确定了运动目标区域,并提取当前帧的局部灰度图像和目标区域,利用融合的规则确定了最后的目标区域然后在2各传感器图像中提取融合检测结果中各候选区域的多个图像特征,最后采用采用DS 证据理论对各候选区域进行基于多特征检测识别得到最终的检测结果。
本文方法的优点是多传感器的融合增强了检测结果的可靠性,算法比较简单1 运动区域提取及目标特征提取 [*2]1.1 运动区域提取 首先采用帧间差运算[7] ,假设第 i帧图像为 fi,帧间差图像为 dfi,定义公式为:dfi(x, y)=|fi+t(x, y)-fi (x, y)|, (1)式中:fi+t(x,y)为第 i+t帧的灰度值,fi(x,y)为第 i帧的灰度值,t 为帧间间隔的帧数对于慢速运动的目标,连续帧间差不能反映运动的区域,需要间隔 t帧,t 是由目标运动的速度决定在一幅帧间差图像中目标会存在空洞效应,对多帧帧间差图像进行累积,可以清除空洞效应假设 gfi(x,y)为 i帧帧间差分相累积,其公式为:gfi(x,y)=dfi(x,y)+dfi-t(x,y), (2)式中 dfi(x,y)代表第 i帧帧间差,dfi-t(x,y)代表第 i-t 帧帧间差,累积帧数根据运动目标的速度而定先对帧间差分累积图像进行阈值分割,接着对其进行膨胀操作确定运动区域根据运动目标,提取出局部灰度图像假设运动区域图像记作 F(x,y),在运动区域内像素点的值为 1,非运动区域内像素点的值为 0, ff(x,y)表示红外灰度图像,Bf(x,y)表示红外局部灰度图像,公式如下:Bf(x,y) = ff(x,y) × F(x,y). (3)类似的,可见光的灰度图像记作 fv(x,y),相应的局部灰度图像记作 Bv(x,y),公式如下: Bv(x,y) = fv(x,y)×F(x,y),(4)式中(x,y)∈s,s 表示运动区域,×表示逻辑符号。
提取两种传感器的局部灰度图像后,再分别提取目标区域1.2 目标特征提取分别提取两种传感器的局部灰度图像之后,可以发现,在图像平面上目标比周围的背景亮度要高本文通过在局部灰度图像上提取目标的对比均值和均值来表示目标与周围背景区域的平均强度对比和平均强度在提取目标之前,针对局部灰度图像,这里定义一个具有方向的矩阵滑窗,如图 1其中 T为当前象数(x0,y0)上定义的目标区域[8] (目标窗口):B(H)TB(H)图 1 目标与背景区域 T={(x0+i,y0+j)|i∈[-2×tw,2×tw],j∈[-th,th]}. (5)目标窗口的大小为(4×tw+1,2×th+1),这里 tw和th选择比所检测的最大目标尺寸稍大的数值;B(H)为当前像素在水平方向上的对比背景区域(背景窗口)B(H)={(x0+i,y0+j)|i∈[-bw,bw],j∈[-bh,-th]∪[th,bh]}, (6)这里选择背景窗口的大小和目标窗口的大小相同,即 bw=2×tw,bh=2×th.(x0,y0)∈(1,2,…,M)×(1,2,…,N);图像的大小为 M×N目标的各个特征定义如下:3(1) 对比均值 Cs(x,y)=1NT(i,j)∈T(x,y)fs(i,j) -1NB(i,j)∈B(x,y)fs(i,j), (7)式中:NT=(4×tw+1,2×th+1)——目标窗口内的像素数;NB=(2×bw+1,2×bh+1)-NT——水平方向背景窗口内的像素数;fs(i,j)为在第s(s=1,2)个传感器中当前帧的局部灰度值。
2) 灰度均值 μs=1NT(i,j)∈T(x,y)fs(i,j),(8) 式中:μs 在第s(s=1,2)个传感器中局部灰度图像的灰度均值;其它与式(7)相同1.3 两种传感器“与”逻辑融合检测在两种传感器成像系统中,首先对两种传感器得到的局部灰度图像进行阈值分割,得到检测的二值图像(采用 0表示背景点,1 表示目标点),然后将该二值图像通信到中心处理器在中心处理器中,采用“与”逻辑对两个局部传感器检测的结果进行融合,得到两种传感器检测的结果,其公式如下:fusion(x,y)=fin(x,y)&fvi(x,y),(9)式中 fin(x,y)和 fvi(x,y)分别表示红外和可见光图像检测二值图像;fusion(x,y)为融合中心可以看出,只用两种传感器都对应于目标候选点时,融合中心才是候选点2 基于 DS 证据理论的决策融合在得到某个候选区域对应的多个特征之后,首先根据该区域的多个特征值采用相应的基本概率分配函数计算该区域基于各个特征属于目标和背景的基本可信度及不确定度;然后应用 DS 证据理论正交规则对来自多个特征的证据进行综合,得到该候选区域属于目标和背景的信任度和不否定度,即置信区间;最后根据决策规则对该候选区域进行判决得到目标识别结果。
2.1 确定基本概率分配函数在应用 DS 证据理论对所得到的候选区域进行基于多特征融合识别,必须对确定的候选区域进行基于各个特征的基本概率分配函数采用 S型函数拟和基于各特征的基本概率分配函数获得了良好的识别效果,对各候选区域的各个特征进行编号,即令 Fk,k=1,…,4,分别为 C1,μ1,C2,μ2,具体方法如下:首先,在对各种背景条件下的样本多传感器图像局部灰度图像进行处理得到多个候选区域,分别统计属于目标的所有候选区域和属于背景的所有候选区域的各个特征的平均值,具体公式如下:mk(T)=Nt=1FkN, (10)式中 mk(T)属于目标的所有候选区域的第 k个特征 Fk的平均值;N 为属于目标的所有候选区域的个数属于背景的所有候选区域的第 k 特征 Fk 的平均值 mk(B)与 mk(T)类似,这里不再赘述然后,采用 S型函数对基于各个特征的基本概率分配函数进行拟合,采用公式表示为:mk(T)=11+exp(-(Fk-mk(T))),(11)4mk(B)=11+exp(-(Fk-mk(B))),(12)式中 mk(T)和 mk(B)分别为某候选区域在第 k 特征量为 Fk 时该候选目标区域为目标和背景的基本可信度,即基本概率分配函数。
2.2 计算信任度和不否定度在目标检测应用中,DS 证据理论的识别框架包括两个元素,即 Ω={T,B},其中 T 表示目标,B 表示背景对于采用单一特征 Fk(k=1,…,4)的候选区域识别算法,可以采用相应的基本概率分配函数来描述,它在目标识别过程中的不确定性定义基本概率分配函数 mk为 mk:2Ω→[0,1]的映射,必须满足如下条件:mk()=0,(13)mk(T)+mk(B)+mk(Ω)=1,(14)式中 mk(T)和 mk(B)分别为仅依据特征 Fk 判决某候选区域为目标和背景的基本可信度;mk(Ω)为该判决过程中的不确定度采用 DS 证据理论中的正交和规则对基于各个特征的多个基本可信度进行复合得到基于特征融合的基本可信度复合规则表示为:m(A)=(m1…m4)(A)=K-1∩Ai=A1≤k≤4mk(Ai), (15)式中 A,Ai={T,B,Ω}Ω;m 为多证据复合的基本概率分配函数 K=1-Conflict 是反映证据冲突程度的加权系数多证据冲突程度的计算公式可表示为:Conflict=∩Ai=1≤k≤4mk(Ai).(16) 在得到复合基本概率分配函数后,可以根据以下公式计算得到多证据复合判决的信任度函数和不否定度函数:bel(A)=AiAm(Ai),(17)pl(A)=Ai∩A≠m(Ai),(18)式中{A,Ai=T,B}Ω;bel(A)和 pl(A)分别表示事件 A为真的信任度和不否定度;对于 AΩ 的信任度等于 A中所有子集的基本可信度之和,在目标检测应用中,信任度函数和不否定度函数可简化为:bel(T)=m(T),bel(B)=m(B); (19)pl(T)=m(T)+m(Ω),pl(B)=m(B)+m(Ω).(20)从上式可以看出,某候选区域被判决为目标或背景5的信任度是复合基本可信度,而不否定度为基本可信与不确定度之和,即 bel(A)≤pl(A),AΩ。
2.3 决策规则在证据理论应用中,一般可以根据最大信任度和最大不否定度原则作出最悲观和最乐观的决策但为了进一步。