《双目视觉简介》由会员分享，可在线阅读，更多相关《双目视觉简介（10页珍藏版）》请在金锄头文库上搜索。
1、双目立体视觉，在百度百科里的解释是这样解释的：双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理 并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点 间的位置偏差，来获取物体三维几何信息的方法。我相信未来的世界一定是三 维感知的世界，毕竟二维世界很多情况下不能满足要求的。一 视差Disparity与深度图那么提到双目视觉就不得不提视差图：双目立体视觉融合两只眼睛获得的 图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对 应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们 称作视差(Dis
2、parity)图像。对于视差的理解自己可以体验一下：将手指头放在离眼睛不同距离的位置， 并轮换睁、闭左右眼，可以发现手指在不同距离的位置，视觉差也不同，且距 离越近，视差越大。那么提到视差图，就有深度图，深度图像也叫距离影像，是指将从图像采 集器到场景中各点的距离(深度)值作为像素值的图像。获取方法有：激光雷 达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。那么这里引申一下深度图与点云的区别，点云：当一束激光照射到物体表 面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行 扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得 到大量的激光
3、点，因而就可形成激光点云。深度图像经过坐标转换可以计算为点云数据；有规则及必要信息的点云数 据可以反算为深度图像。 两者在一定条件下是可以相互转化的，之前的博客 里，有使用PCL库实现过点云提取深度图，当然给出相机参数也是可以由深度 图转为点云的。截图一个深度图：所以深度与视差的关系如下D=|L-R|式中，L、R和D分别代表左视图、右视图和对应的绝对差值图的亮度值。 绝对差值图并不是严格意义上的视差图，但是它的计算方法最为简单，速度快 它给出的结果可以作为参考。那么我们知道视差又有另外一个概念就是UV-disparity mapping，简单的 给个图表示：Original disparity
4、 ma0 1231110 013145150S2023351D552354420012 1V-dparity map30100001003是怎么得到这个结果的呢？原来是统计统计视差的个数，比如V- disparity Map中的第一行分别统计视差为0,1,2,3,4,5的个数，所以得到了 V-disparity Map的第一行分别为:0，2,0,1,1,1，那么在真实的图喜爱那个 中得到的结果如下：V disparity mrpU-dispariv那么利用视差可以做很多有用的功能，比如列举一篇文章。二 Raysray就是连接图像上一点到光心形成的一条射线。这个也是之后的对极约QYtransla
5、te by 7 rotate by Rcamera-centred coord inales那么建立世界坐标系，我们的两条rays是相交的。如下图所示，接下来就 是利用rays的相交关系，来解释対极几何(Epipolar geometry ) 了。ay!-fworid pointtranslate Dy i rotate Rcamera-centred coordinates111 Jinnage of ray from other 匚ameras optic centre to world point/cairtora-centrad ccjordinatesleft epipolar li
6、neleft epipoleright epipoleright epipolar tineimage at othecameras optic centre以上的图文说明明了对极几何(Epipolar Geometry)描述的是两幅视图 之间的内在射影关系，与外部场景无关，只依赖于摄像机内参数和这两幅试图 之间的的相对姿态。有以下几种概念1. 基线(baseline):直线Oc-Oc为基线。2. 对极平面束(epipolar pencil):以基线为轴的平面束。3. 对极平面(epipolar plane):任何包含基线的平面都称为对极平面。4. 对极点(epipole):摄像机的基线与每幅
7、图像的交点。比如，上图中的点 e 和 e。5. 对极线(epipolar line):对极平面与图像的交线。比如，上图中的直线 l 和 l。6. 5点共面：点x，x，摄像机中心Oc Oc，空间点X是5点共面的。7. 极线约束:两极线上点的对应关系。说明：直线l是对应于点x的极线，直线l是对应于点x的极线。极线约束是 指点x 一定在对应于x的极线l上，点x 一定在对应于x的极线l上。根据以上原理就得出了基础矩阵F和本质矩阵E等，网上有很多资料的。 这里直接将推导公式贴出来就好了。R =甩峙一 7）曲_ 丁 一 H Pr =护齐（R是正交矩阵）”（片-丁尸丁 乂乃=“flrFjT r x F； =
8、 0 f； n） -1:1 = ao 迟人珀A： -T:I)TV Tx-I；JTA-TT-T丫梵n _ im 尸几n十：班一厂对”十（丁心 有几mT x fl = .SFi =止E卫! =0/Ff RWRE =溜FEH F =計广=翠耳砧T班評=Q本质矩阵E的基本性质：秩为2，且仅依赖于外部参数R和T。其中，P表 示世界坐标点矢量，p表示像素点矢量。那么基础矩阵求法：由于本质矩阵E并不包含相机内参信息，且E是面向 相机坐标系的。实际上，我们更感兴趣的是在像素坐标系上去研究一个像素点 在另一视图上的对极线，这就需要用到相机内参信息将相机坐标系和像素坐标 系联系起来。假设Pl和Pr是世界坐标值，其
9、对应的像素坐标值为Ql和Qr相 机内参矩阵为M，那么城g根据那么令基础矩阵r =（制冷左曾,那么订旳=u也就是我们在下图的第一幅图找到一个特征点，通过以上対极几何的知识 推导出，该点在第二幅图位于图喜的哪个位置。along(raisaaie b杲 T? liescftrrvei* eeitiea 匚oerdjnatics at pat n t in world心pg by J?camera centred coordiintes of Imaqc- ot world 口olnt 一earner* centred eoordinaces o-f kmagc or wofJd pmnt P = |
10、叭 0、/|camara-c#nrtf4dcrrordiniHtjes举个例子，比如 kinectDepth CameraObtain depth via Stereo Triangulation无论是双目还是kinect都是类似的原理f=Focal length b=Baseline d=Disparity value ps=Pixel size D=DepthFocal lengthBaseline Pixel sizeDisparity备注：(Pixel size)像素大小是图像传感器中单个像素的大小。像素大小用微 米表示。由于立体视觉系统使用两个摄像机，图像传感器的像素大小必须相同。 随着像素尺寸的减小，系统的深度范围增大。(Disparity value)视差是指在两个摄像机图像之间的像素位置的差异。 假设立体视觉相机中的左图像在位置(1,30)具有像素，并且相同的像素在右图 像中的位置(4,30)存在，视差值或差值为(4-1)=3。视差值与上述公式的深度成 反比。
