《计算摄像学专题第12讲》由会员分享，可在线阅读，更多相关《计算摄像学专题第12讲（78页珍藏版）》请在金锄头文库上搜索。
1、计算摄像学专题第十二讲 Depth of Field(DoF),戴琼海 王雁刚 清华大学 自动化系,第十二讲提纲,2.1 多张图像拍摄,2.2 单张图像拍摄,什么是Depth of Field,什么是Depth of Field 反映透镜或相机的属性 物平面的共轭像平面上呈清 晰像的轴向深度 思考 Depth of Field 与上节课所讲 Time of Filght(ToF)获取的深度有何异同？,Depth of Field的推导,主平面,主平面,物平面,象平面,Depth of Field的推导,Depth of Field的推导,当极限分辨角确定后，允许的弥散斑大小还与眼睛到图像的距离
2、有关 为了获得正确的空间感觉，不发生景象的歪曲，必须要以适当的距离观察图像 思考 如何才能获得正确的空间感觉？ 观察距离到底如何确定？,Depth of Field的推导,我们说要获得正确的空间感觉，应当使得成像平面上个点对眼睛的张角与直接观察空间时，各对应点对眼睛的张角是相同的,入射光瞳,出射光瞳,A,B,B,A,E,Depth of Field的推导,Depth of Field的推导,什么会影响Depth of Field,什么会影响Depth of Field,F数与Depth of Field,此式说明：光圈的F数与景深呈线性关系。实际上，F数越小，表明光圈越大,F数与Depth o
3、f Field,F/2.8,F/32,思考： 1）F/2.8与F/32对应的光圈分别在何种情况下使用？ 2）如果迫不得已必须采用F/2.8的光圈，如何才能增大Depth of Field？ 3）若我们可使用F/32的光圈采集，如何才能获得F/2.8“突出重点”的效果？,Depth of Field的深入思考,光场的相关理论,光场采样与图像获取,光场采样与图像获取,三维空间的光场到二维平面光场的简化处理与直观感觉,光场采样与图像获取,Depth of Field的深入思考,Depth of Field的问题及小结,Depth of Field 与Defocus的关系 存在的原因是：sensor、
4、人眼等感光器都存在极限分辨率 Depth of Field造成的blur，本质上是因为out of focus Depth of Field涉及的两个重要问题 增大Depth of Field 针对必须使用大光圈的拍摄情形 获得Depth of Field“突出重点”的效果 美学设计 检测、识别等领域,Depth of Field的问题及小结,Depth of Field的正问题与逆问题,增大,减小,V.S.,第十二讲提纲,2.1 多张图像拍摄,2.2 单张图像拍摄,Depth of Field问题的解决思路,重新阐述Depth of Field的两大类问题 “增大”Depth of Fiel
5、d “减小”Depth of Field 增大Depth of Field 降低感光器的极限分辨率 选取更小的光圈 在不改变极限分辨率、不使用小光圈的情形下，通过计算摄像的技术手段来获得更大的景深 思考：如何“减小”Depth of Field？,Depth of Field问题的解决思路,在前面的讨论中，我们已经知道 Depth of Field存在的根本原因是： 传感器、人眼等感光器存在极限分辨率 一些有意思的题外话 眼大无珠 贼眉鼠眼 闪烁着智慧光芒的小眼睛,Depth of Field问题的解决思路,由于极限分辨率的存在，原本清晰成像的焦平面可以扩展到成空间的深度范围 增大Depth
6、of Field的技术手段是否可以按照如下思考的方式 多张图像拍摄：相机分别聚焦于不同平面，然后融合拍摄的多组图像? 单张图像拍摄： 捕获光场，重新积分不同角度的光线，得到图像? 想办法使得单张图像的整体模糊与深度关系可控?如，模糊核一致或模糊核清楚地知道,第十二讲提纲,2.1 多张图像拍摄,2.2 单张图像拍摄,多张图像拍摄相关文献,US Patent 1987 Depth of focus Imaging process method IEEE Conference on Computer Vision 1993 Enhanced Image Capture Through Fusion
7、,多张图像拍摄的关键技术,融合多幅图像信息，以期望获得更大景深的效果是一种很直观的想法 这里仅做简要介绍，感兴趣的同学可翻阅相关的视觉文章 牺牲时间，换取景深。该想法关键问题是,如何融合不同焦 距平面上的图像？,多张图像拍摄的关键技术,SIGGRAPH 2004 Interactive Digital Photomontage,多张图像拍摄的关键技术,此方法分为两个步骤 分割Graph-cut 融合梯度融合方案 Graph-cut可以用户指定，也可全自动计算 梯度融合则是保证图像的视觉效果,第十二讲提纲,2.1 多张图像拍摄,2.2 单张图像拍摄,单张图像的Depth of Field增强,多
8、张图像拍摄增加Depth of Field，只能针对静态场景 如何实时地增加动态场景的Depth of Field成为一个棘手的问题 问题是： 能否利用单张图像增加Depth of Field？ 答案是： 这是可以做到的，我们将重点介绍几类单张图像Depth of Field增强的方案,单张图像的Depth of Field增强,Light Field Camera 2005. Light field photography with a hand-held plenoptic camera 2010. Focused plenoptic camera and rendering Depth-
9、Invariant Blur 1995. Extended depth of field through wave-front coding 2010. Flexible depth of field photography 2010. Diffusion coded photography for extended depth of field Depth-Varying Blur 2007. Image and depth from a conventional camera with a coded aperture,单张图像的Depth of Field增强,光场相机,Version
10、2.0 Georgiev et al. 10,Version 1.0 N.g. Ren et al. 05,单张图像的Depth of Field增强,Light Field Camera 2005. Light field photography with a hand-held plenoptic camera 2010. Focused plenoptic camera and rendering Depth-Invariant Blur 1995. Extended depth of field through wave-front coding 2010. Flexible dept
11、h of field photography 2010. Diffusion coded photography for extended depth of field Depth-Varying Blur 2007. Image and depth from a conventional camera with a coded aperture,光场相机与Depth of Field,光场相机的目的是为了记录光场的角度信息与位置信息 传统相机将所有的角度信息积分到固定位置处，前面我们已经讲到这个知识点。请同学们特别注意这个重要的观点与思想 光场相机需要牺牲空间分辨率来获得角度分辨率 因此，使
12、用光场相机来获得Depth of Field可以说是将多张图的技术移植到了单张图像上,光场相机拍摄出的图片,传统相机与光场相机,光场相机原理,传感器单元上，微透镜阵列对应位的像素值等效于主透镜上同一位置的光线 主透镜平面可以用来刻画不同角度的光线 我们称主透镜平面为角度平面，传感器平面为位置平面,思考： 若把不同微透镜阵列后的像素组合起来构成一幅新的图像，该图像反映了什么？,光场相机原理,Sub-aperture Image 这是一个很重要的成像观点 也就是说，图像的形成过程可以如此思考 假设我们所拥有的主透镜可以任意地开不同位置的小孔 显然，每个小孔都会有成像视差效应 对这些小孔所成的图像进
13、行叠加，构成主透镜的图像？,光场相机原理,网络学堂，我给出一些Raw-data，感兴趣的同学可以用Matlab尝试一下,光场相机的几项关键技术,如何保证不发生混叠？,光场相机的几项关键技术,数字重聚焦(Digital Refocusing),数字重聚焦,单张图像的Depth of Field增强,Light Field Camera 2005. Light field photography with a hand-held plenoptic camera 2010. Focused plenoptic camera and rendering Depth-Invariant Blur 19
14、95. Extended depth of field through wave-front coding 2010. Flexible depth of field photography 2010. Diffusion coded photography for extended depth of field Depth-Varying Blur 2007. Image and depth from a conventional camera with a coded aperture,Depth-Invariant Blur,波前编码技术(Wave-front Coding) 设计合理的
15、相位板 灵活的景深采集技术 不同深度的积分拍摄 漫反射体编码技术(Diffusion Coding) 设计有效的漫反射体 使用一些传统的去模糊方法来处理拍摄得到的图像,波前编码技术,技术难题在于如何设计合理的相位板使得拍摄的图像与focus的敏感程度降低? 两个假设 长方形的Aperture是可分离的 拍摄到的图像不是最终生成的图像，而只是中间结果图像，需要后续处理 理论基础 Ambiguity function Wigner distribution function,波前编码的数学基础,波前编码的数学基础,波前编码的数学基础,长方形Aperture的Ambiguity变换,波前编码的数学基
16、础,波前编码的数学基础,波前编码的数学基础,Depth-Invariant Blur,波前编码技术(Wave-front Coding) 设计合理的相位板 灵活的景深采集技术 不同深度的积分拍摄 漫反射体编码技术(Diffusion Coding) 设计有效的漫反射体 使用一些传统的去模糊方法来处理拍摄得到的图像,灵活的景深采集技术,采集的图像,去除blur后的结果,Depth-Invariant Blur,波前编码技术(Wave-front Coding) 设计合理的相位板 灵活的景深采集技术 不同深度的积分拍摄 扩散编码技术(Diffusion Coding) 设计有效的扩散板 使用一些传统的去模糊方法来处理拍摄得到的图像,扩散编码技术,扩散编码技术,单张图像的Depth of Field增强,Light Field Camera 2005. Light field photography with a ha
