《基于角点特征的电子稳像算法(1)》由会员分享，可在线阅读，更多相关《基于角点特征的电子稳像算法(1)（6页珍藏版）》请在金锄头文库上搜索。
1、新技术应用 2061 基于角点特征的电子稳像算法 姚 军 蒋晓瑜 杜登崇 装甲兵工程学院控制工程系 北京 100072 【摘 要】 提出了一种基于角点特征的电子稳像算法。首先采用改进的角点检测算子获得图像中的 角点，并建立当前帧与参考帧的映射关系。然后根据仿射变换模型得到帧间全局运动参 数的最小二乘解，最后采用卡尔曼滤波平滑运动参数，得到帧间的实时运动补偿量。实 验结果表明该算法对运动矢量估计准确，对其采用Kalman滤波既去除了高频抖动，又 较好地保留了摄像机的主动运动，稳像后的视频效果良好。 【关键词】 角点 Kalman滤波 全局运动估计 电子稳像 Digital image stabi
2、lization algorithm based on corner feature Yao Jun Jiang Xiaoyu Du Dengchong Department of Control Engineering，the Academic of Armored Force Engineering，Beijing 100072，China Abstract：A electronic stabilization algorithm for image sequence based on corner features is present. First，the corners are ex
3、tracted from image using Harris operator，then the mapping relationship is established between images and global motion vectors are obtained adopting least-squares solution using affine transformation model. Lastly，correctional vectors are acquired using Kalman filter. Experimental results show the v
4、ideo sequences have a good visual effect and the correct vectors of camera are reserved， noise is eliminated. Keyword：corners；Kalman filter；global motion estimation；digital image stabilization 电子稳像是一种利用计算机数字图像处理技术与电子设备来检测确定图像序列帧间偏移，并利 用此偏移进行补偿而获得清晰图像序列的技术1。与传统的机械稳像和光学稳像相比，电子稳像 具有体积小、能耗小、更精确、更灵活、使用更方
5、便、并且高智能化的特点。电子稳像主要有两大 关键技术，一是运动矢量检测方法，二是图像补偿方法。稳像算法中常用的检测图像运动矢量的方 法有：块匹配法、投影算法、特征点匹配法、特征匹配法以及位平面匹配法等2-4。当检测出数字 图像序列帧间运动矢量后，本文提出了一种角点检测算法，利用该方法获得参考图像和当前图像中 的角点，然后根据距离不变性准则排除不符合要求的角点。获得角点后根据仿射模型建立一组方 程，利用多个角点坐标作为输入，通过求解矛盾方程组获得最小二乘解获得运动估计矢量。然后基 于对摄像机的运动为匀速运动的假设上，用卡尔曼滤波器对运动估计矢量作低通滤波，得到运动补 偿矢量，实现视频稳像。 基金
6、资助：军队十一五预研项目（404010204） 作者简介：姚军（1979） ，男，博士研究生，研究方向为模式识别、电子稳像。电话：13120090554，E-mail： yaojun10336 通信作者：蒋晓瑜（1967） ，男，教授，博士生导师，研究方向为图像处理、模式识别、电子稳像等。电话： 13910593731，E-mail：xiaoyu.j 2062 2008 全国博士生学术论坛电气工程论文集 1 角点检测算法 改进的角点检测法是一种基于Sobel模板的方法，该方法主要考虑像素邻域点的灰度变化，即图 像的亮度变化，将与邻点亮度对比足够大的点定义为角点。与许多其他角点检测方法相比，该方
7、法具 有鲁棒性强，检测质量高，易于工程实现等优点。本文采用共有三个33的Sobel模板，分别将其 命名为T1，T2和T3.其中T1是Sobel水平模板，T2是垂直模板，T3是均值模板。采用均值模板可 以增强算法的抗噪能力。 101 T1202 101 = 121 T2000 121 = 111 T3111 111 = 算法的实现可描述如下，图1描述了其流程，主要包括：Sobel水平运算、Sobel垂直运算、自相 关矩阵运算、均值运算、特征值运算和阈值化运算几个环节。 自相关矩 阵运算 均值 运算 图象输入 Sobel 水平运算 Sobel 垂直运算 特征值 运算 阈值化 运算 获得角点 图 1
8、 角点检测算法流程图 Fig.1 the flow chart of corner detection algorithm （1）分别对原图像( , )f x y使用水平模板T1和垂直模板T2进行卷积运算，获得水平方向和垂直 方向的差分图像 x D和 y D； （2）对差分图像 x D和 y D进行规范化，其过程就是差分图像的每一个像素除上一个系数。系数 Factor由模板尺寸，模板数据和图像类型决定。这里取3 4 255Factor= 。 （3） 分 别 从 差 分 图 像 x D和 y D中 取 出 对 应 的 差 分 结 果 x I与 y I， 构 建 自 相 关 矩 阵 2 2 xxy
9、 xyy II I Cov I II = ，Cov中的 2 x I、 xy I I与 2 y I分别对应图像CovImg中相应“像素”的三个位段，这 里CovImg是24位位图，三个位段分别是像素的RGB颜色值； （4）图像CovImg与均值模板T3进行卷积获得均值图像CovImgAv； （5）由均值图像CovImgAv通过公式（1） () 2 2 02 02 1 22 PixAvPixAv PixAvPixAv DstPixPixAv + =+ （1） 得到特征图像Dst。其中DstPix是特征图像的像素值 ，0PixAv，1PixAv与2PixAv分别是均值 图像对应像素的三个位段。 （6
10、）先对特征图像Dst进行阈值化，然后对阈值化结果选择局部最大值获得图像角点。阈值化时 采用的阈值()TA Max Dst=，其中A为系数，()Max Dst为特征图像Dst的最大值。 下面是两帧图像角点提取的结果，图2与图3是原图，图4与图5是放大的角点结果图。 图 2 第一帧图像 图 3 第二帧图像 Fig.2 the first frame Fig.3 the second frame 新技术应用 2063 图 4 第一帧图像的角点 图 5 第二帧图像的角点 Fig.4 corners of the first frame Fig.5 corners of the second frame
11、 通过上述方法获得相邻帧对应的特征角点，但由于可能存在局部运动区域或移出视野等原因，不 能保证匹配完全正确，所以将一组特征点构成一个约束结构，这样的特征点集就具有整体稳定性。其 中最简单的特征就是两点之间的相对位置，当摄像机只存在平移和旋转运动时，图像中所有特征点之 间的相对距离在摄像机运动前后是保持不变的，即特征点的两两间距是不变的。由此，利用距离准则 消除误匹配是实现运动一致性对应的一种有效方法，这种方法具有抑制噪声干扰的优点5。图6是 距离准则示意图，其中角点2相对于其他点的距离变化超过阈值，应该排除。图7和图8是利用该准 则分别对图4与图5过滤后的图像。 1 6 5 3 2 4 1 2
12、 3 4 5 6 （a）参考图像的角点 （b）当前图像的角点 （a）the corners of reference image （b）the corners of current image 图 6 距离准则示意图 Fig.6 illustration of distance criterion 图 7 图 4 匹配后的角点 图 8 图 5 匹配后的角点 Fig.7 reserved corners of fig.4 Fig.8 reserved corners of fig.5 2 运动矢量估计 根据仿射模型公式（2） j 12i1 j34i2 x x k y y aab aab =+ （
13、2） 通过匹配特征角点，建立参考帧与当前帧之间的映射方程。式（2）中（ j x， j y） ， （ i x， i y）分别是 2064 2008 全国博士生学术论坛电气工程论文集 当 前 帧 和 参 考 帧 对 应 的 坐 标 ， （ 1 b， 2 b） 是 二 维 平 移 量 ，k是 变 焦 系 数 ， 描 述 缩 放 ， 12 34 cos sin -sin cos aa aa = 是正交的旋转矩阵， 描述图像的旋转变换。 由于旋转和平移的图像中特征 点之间的欧氏距离不变，所以可以采用重心法计算变焦系数k6。在求得变焦系数k后方程一共只有 三 个 未 知 量 ， 而 每 一 对 匹 配 角
14、 点 能 够 建 立 两 个 方 程 ， 所 以 只 要 两 对 角 点 就 能 求 出 参 数 () 123412 aaaabb。为加强算法的稳定性，这里采用N（2N）对角点代入公式（2） 中，求解矛盾方程最小二乘解的方法获得全局运动矢量。 3 基于 Kalman 滤波的运动补偿 求得运动估计矢量后，利用Kalman滤波确定运动补偿量，这样可以避免图像序列的跳跃，增强 动态图像的平稳性。在电子稳像中，考虑到运动估计矢量是摄像机主动扫描分量与随机抖动分量的叠 加，所以在建立滤波器的状态转移方程时，基于以下假设： （1）摄像机的主动扫描运动为恒速运动； （2）由于随机抖动的存在，速度变化v服从某种随机分布，这里指高斯分布； （3）旋转角 描述摄 像机由于随机倾斜而产生的旋转运动，所以假设其为随机变化的噪声，服从高斯分布。另外，由于摄 像机在切向上的移动距离不大，变焦系数很小，所以从精度上不宜再对其做滤波处理。因此，进行 Kalman滤波的状态量为(), xy，其中(), xy分别表示旋转角，当前帧相对于前一帧在x方向的 平移量，在y方向的平移量。根据前面假设，状态空间模型可以表示为 1 (0,)10000 001100 (0,)00100 000011 (0,)00001 kk xxx yyy N xx vvN yy vvN + =+ （3）
