计算机视觉_标定

《计算机视觉_标定》由会员分享，可在线阅读，更多相关《计算机视觉_标定（54页珍藏版）》请在金锄头文库上搜索。

1、计算机视觉,孙明竹 ,摄像机标定与立体视觉 Camera Calibration & Stereoscopic Vision,主要内容,第4章 摄像机标定 摄像机成像模型 摄像机标定方法 第5章 立体视觉 立体视觉原理 三维重建,第4章 摄像机标定,4.0 补充：坐标变换 4.1 摄像机成像模型 4.2 摄像机标定方法分类 4.3 直接线性变换(DLT)标定法 4.4 张正友平面标定法,4.0 补充：坐标变换,坐标系 在欧氏空间（笛卡尔坐标系）进行表示 参考坐标系 世界坐标系 主要内容 4.0.1 位置和姿态的表示 4.0.2 坐标变换 4.0.3 齐次坐标变换,4.0.1 位置和姿态的表示,

2、1. 位置描述 在三维坐标系A下确定空间中一点的位置 用一个3*1的矢量表示 2. 姿态描述 在物体上固定一个坐标系B，给出此坐标系相对于参考坐标系A的表达 用一个3*3的矩阵（旋转矩阵）描述 3. 位姿描述 在三维空间中表示物体的位置和姿态,旋转矩阵的性质,旋转矩阵中的9个元素只有3个是独立的 旋转矩阵是单位正交矩阵是单位矢量，且相互垂直,4.0.2 坐标变换,1. 平移坐标变换 两个坐标系A和B的姿态相同 2. 旋转坐标变换 两个坐标系A和B有共同的坐标原点 3. 一般坐标变换 用过渡坐标系C将坐标变换分解为旋转和平移,4.0.2 坐标变换,例：已知坐标系B的初始位置与坐标系A重合，将B相

3、对于A的z轴逆时针旋转30，再沿A的x轴平移12个单位，沿A的y轴平移6个单位，求旋转矩阵 和平移向量 。 若点P在B中的坐标为5 9 0T，求P在A中的位置,4.0.2 坐标变换,4. 混合坐标变换 点P由坐标系C变换到坐标系B，再变换到坐标系A,4.0.3 齐次坐标变换,向量 矩阵 向量 齐次坐标(Homogeneous coordinate) 用4*1的列矢量表示三维空间中的点，称为点的齐次坐标是比例系数， 表示无穷远点,4.0.3 齐次坐标变换,齐次变换矩阵平移,旋转,4.0.3 齐次坐标变换,混合坐标变换,4.1 摄像机成像模型,主要内容 4.1.1 摄像机成像中的坐标系 4.1.2

4、 线性摄像机成像模型 4.1.3 畸变与非线性摄像机模型,4.1.1 摄像机成像中的坐标系,1. 世界坐标系(w)参考坐标系/基准坐标系 用于描述摄像机和物体的位置 2. 摄像机坐标系(c)固定在摄像机上 原点在光心 Zc轴沿光轴方向， Xc/Yc轴分别平行于成像平面,世界坐标系,摄像机坐标系,4.1.1 摄像机成像中的坐标系,3. 以物理单位表示的图像坐标系 (x, y) 原点在摄像机光轴与图像平面的交点 x/y轴与摄像机Xc/Yc轴平行，沿图像平面方向 4. 以像素为单位表示的图像坐标系 (u, v) 原点在数字图像的左上角 u/v轴沿图像平面向右向下为正方向,世界坐标系,摄像机坐标系,图

5、像坐标系,4.1.2 线性摄像机成像模型,图像形成的过程,刚体变换,世界坐标系中的物体,摄像机坐标系中观察,二维数字图像,二维图像(物理单位),成像,图像数字化,摄像机 外参数,摄像机 内参数,4.1.2 线性摄像机成像模型,摄像机外参数模型 将物体在世界坐标系中的位置，变换到摄像机坐标系下（6个独立外参数） 摄像机内参数模型 1. 小孔成像：将物体在像面上成像 2. 图像数字化x/y坐标系原点o在u/v坐标系下的坐标为(u0, v0)像素在轴上的物理尺寸为dx, dy(单位：mm) 1) 简单情况：u/v轴互相垂直（4个独立内参数） 2) 实际情况：u/v轴夹角为 （5个独立内参数）,4.1

6、.2 线性摄像机成像模型,总结 成像过程内参数矩阵 外参数矩阵 摄像机参数矩阵：,4.1.3 畸变与非线性摄像机模型,畸变 径向畸变 离心畸变 薄透镜畸变,径向失真,切向失真,理想位置,切向失真,径向失真,非线性摄像机模型,以物理单位表示的图像坐标系(x, y) 理想(xu, yu)：小孔成像结果 实际(xd, yd)：畸变后结果，实际进行数字化位置 加入畸变后的成像过程小孔成像 畸变 描述畸变,非线性摄像机模型,径向失真 光线在远离透镜中心的地方比靠近中心的地方更弯曲 对于径向失真，摄像机中心的畸变为零，随着向边缘移动，畸变越来越严重切向失真 由于透镜制造上的缺陷，使透镜本身与成像平面不平行

7、,4.2 摄像机标定方法分类,1. 传统摄像机标定方法 利用已知标定参照物进行标定 优点：可以应用于任意的摄像机模型，标定精度高 缺点：标定过程复杂，需要高精度的已知结构信息,如标定块或标定板等立体靶标：直接线性变换(DLT)标定法 平面靶标：张正友平面标定法,4.2 摄像机标定方法分类,2. 主动视觉摄像机标定方法 利用已知的摄像机运动，由景物约束确定摄像机参数 优点：通常可以线性求解，鲁棒性比较高 缺点：不能用于摄像机运动未知，或摄像机无法控制的场合,4.2 摄像机标定方法分类,3. 摄像机自标定方法 依靠多幅图像间的对应关系对摄像机进行标定 优点：不需要标定物，仅需建立图像间的对应，灵活

8、性强，潜在应用范围广 缺点：非线性标定，求解复杂，鲁棒性低,4.3 直接线性变换(DLT)标定法,前提：使用四参数模型，不考虑畸变摄像机参数矩阵,一、基本方法,1. 求解摄像机参数矩阵M将mij作为未知数，矩阵展开并消去zc,一、基本方法,1. 求解摄像机参数矩阵M 对于 n个已知的空间点，得到2n个关于M的方程设 , 通过最小二乘法计算m 在相差一个常数因子m34的前提下，确定M,一、基本方法,2. 分解M得到内外参数,一、基本方法,2. 分解M得到内外参数1）计算m34和r3 2）计算u0和v0 3）计算kx和ky 4）计算其它参数,二、改进方法,加入约束：|r3|=1由r3=m3，将未知

9、数mij分成两部分,二、改进方法,加入约束：|r3|=1 对于 n个已知的空间点，得到2n个关于M的方程形成 在约束|r3|=1 (|X3|=1)的前提下，进行最优化,4.4 张正友平面标定法,前提 内参数矩阵：五参数模型畸变模型：四阶径向畸变模型,4.4 张正友平面标定法,前提 标定物：平面靶标 将世界坐标系置于靶标平面原点设在靶标一角Xw/Yw方向沿靶标平面Zw方向垂直于靶标平面,基本步骤 1. 不考虑畸变，标定摄像机参数，得到参数的线性初值 2. 利用线性初值，进行非线性标定，得到畸变参数 3. 重复1和2，直至参数收敛,4.4 张正友平面标定法,具体步骤 1. 求解单应矩阵 (Homo

10、graphy Matrix ) 2. 求解摄像机内参数 3. 求解摄像机外参数 4. 求解畸变系数k1,k2 5. 参数最优化,参考资料 Zhengyou Zhang, “Flexible Camera Calibration By Viewing a Plane From Unknown Orientations“, IEEE International Conference on Computer Vision, 1999, pp.666-673,1.单应矩阵求解,单应矩阵 单应矩阵给出从一个平面到另一个平面的映射，它包括摄像机内外参数矩阵设靶标上一点在世界坐标系中的位置为 其在图像上对应

11、的坐标为,1.单应矩阵求解,1) 在不考虑噪声情况下，求解单应矩阵转换为解方程AH0 通过奇异值分解(SVD)完成 U和V是正交矩阵，S是A的特征值矩阵(对角矩阵) AH0的解是矩阵V的最后一列,1.单应矩阵求解,2）考虑噪声的影响 假设噪声为零均值高斯噪声，方差矩阵为i，由最大似然估计求解单应矩阵H 定义目标函数F，求解H 使F取到最小实际应用中，假设噪声的方差矩阵使用不考虑噪声情况下得到的单应矩阵H作为初值计算 通过非线性最小二乘方法求出H的最终解,2.摄像机内参数求解,1) 由单应矩阵H分解出内参数2) 引入中间矩阵B,3) 求解中间矩阵B：转换为解方程vb=0,2.摄像机内参数求解,2

12、.摄像机内参数求解,4) 由中间矩阵B计算摄像机内参数,3.摄像机外参数求解,1) 根据单应性条件计算外参数2) 通过奇异值分解(SVD)保证旋转矩阵R的性质U和V是正交矩阵，S是对角矩阵 R是单位正交阵，则矩阵S必须为单位阵I 强制计算R，使其更接近单位正交阵,4.畸变系数求解,畸变模型角点在成像面上的理想坐标角点在成像面上的实际坐标二阶、四阶径向畸变系数,刚体变换 小孔成像 畸变 数字化,4.畸变系数求解,将畸变模型转换到数字图像坐标进行求解角点在实际图像中的坐标位置没有畸变情况下，角点在理想图像中的坐标位置转换为解方程Ak=B 通过最小二乘法完成求解,5.参数最优化,已知摄像机内外参数初

13、值和畸变系数初值 根据目标函数F，通过非线性最小二乘方法，实现参数最优化共采集m幅靶标图像，在每张图像中提取n个角点表示第j幅图像中第i个角点在图像中的实际位置， 是该点根据摄像机参数和畸变系数的计算结果， 是该点对应的世界坐标系位置是第j幅图像的摄像机外参数,4.4 张正友平面标定法,程序流程总结（I） 0. 初始化：摄像机位置保持不变，将标定板置于不同位置采集m幅图像（世界坐标系随之变化），检测图像中的角点，设每幅图像中可检测出n个角点 1. 单应矩阵H求解（共m个）for j=1:m1）对第j幅图像，求解方程AHj 0（共2n个方程，9个未知数），得到Hj的初值2）考虑噪声影响，进行非线

14、性优化，获取Hj 2. 摄像机内参数求解：综合m幅图像中的单应矩阵Hj ，求解方程vb=0（共2m个方程，6个未知数），将中间矩阵B进行分解，获得内参数矩阵Min（5个参数）,4.4 张正友平面标定法,程序流程总结（II） 3. 摄像机外参数求解（共m个） for j=1:m由Hj和Min计算Rj和Pj 4. 畸变系数求解：综合m幅图像中的n个角点，求解方程Ak=B（共2mn个方程，2个未知数），得到畸变系数k1,k2 5. 参数最优化：通过非线性最小二乘法，优化Min（5个参数），Rj和Pj（6m个参数）和k1,k2,摄像机标定(OpenCV),OpenCV函数检测标定板角点 cvFindC

15、hessboardCorners：检测标定板角点 cvFindCornerSubPix：亚像素精度角点检测 cvDrawChessboardCorners：绘制角点,摄像机标定(OpenCV),cvCalibrateCamera2( const CvMat* object_points, const CvMat* image_points, const CvMat* point_counts, CvSize image_size,CvMat* intrinsic_matrix,CvMat* distortion_coeffs,CvMat* rotation_vectors=NULL,CvMat

16、* translation_vectors=NULL,int flags=0 );,角点在世界坐标系位置(mn*3矩阵) 角点在图像中坐标(mn*2矩阵) 每幅图像角点数(m*1矩阵) 图像大小 内参数矩阵(3*3矩阵) 畸变系数(5*1矩阵)旋转向量(m*3矩阵)平移向量(m*3矩阵)标志位,总结：摄像机标定,4.0 补充：坐标变换 4.1 摄像机成像模型 4.2 摄像机标定方法分类 4.3 直接线性变换(DLT)标定法 4.4 张正友平面标定法,OpenCV编程练习,练习I（10月21日交） 编程实现直接线性变换(DLT)标定法（包括基本方法和改进方法），显示标定结果（内参数和外参数），对基本方法和改进方法的标定结果进行比较 练习II（10月28日交） 使用自己编写的Harris角点检测程序，检测标定板图像的角点，并使用OpenCV的标定函数完成摄像机标定，显示标定结果（内参数和畸变系数）,