《基于纹理的深度图重建PPT课件》由会员分享，可在线阅读，更多相关《基于纹理的深度图重建PPT课件（45页珍藏版）》请在金锄头文库上搜索。
1、9.4 9.4 基于纹理的深度图重建基于纹理的深度图重建包含多个纹理区域的图像包含多个纹理区域的图像beerenflowerfoodwater彩色纹理图像彩色纹理图像1 1 纹理（纹理（TextureTexture）目前对于纹理的精确定义还未形成统一认识，目前对于纹理的精确定义还未形成统一认识，多根据应用需要做出不同定义多根据应用需要做出不同定义两种较常采用的定义：两种较常采用的定义： 定义定义1 1 按一定规则对元素（按一定规则对元素（elementselements）或）或基元（基元（primitivesprimitives）进行排列所形成的重复模）进行排列所形成的重复模式式. . 定义定
2、义2 2 如果图像函数的一组局部属性是恒如果图像函数的一组局部属性是恒定的，或者是缓变的，或者是近似周期性的，定的，或者是缓变的，或者是近似周期性的，则图像中的对应区域具有恒定的纹理则图像中的对应区域具有恒定的纹理纹理（纹理（TextureTexture）纹理的基本特征纹理的基本特征 纹理是区域属性，并且与图像分辨率（或纹理是区域属性，并且与图像分辨率（或称尺度，称尺度，resolution or scaleresolution or scale）密切相关）密切相关 重复性重复性规则性规则性周期性周期性方向性方向性空域滤波空域滤波局部模板法局部模板法 设计一组具有频率选择性的模板，与设计一组具
3、有频率选择性的模板，与图像做卷积图像做卷积. .局部矩法局部矩法 以每一个像素为中心，计算局部窗口以每一个像素为中心，计算局部窗口内的矩特征值，形成特征图像内的矩特征值，形成特征图像. . 相当于相当于用一组模板对图像进行滤波用一组模板对图像进行滤波. .空域滤波空域滤波The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filter
4、s and 4 low-pass Gaussian filters.GaborGabor变换与小波变换变换与小波变换GaborGabor变换（高斯窗口）变换（高斯窗口） 小波变换：小波变换： 窗口宽度随频率变化而变化窗口宽度随频率变化而变化(D. Gabor, 1946)(D. Gabor, 1946)GaborGabor变换纹理特征变换纹理特征二维二维GaborGabor滤波器具有频率和方向选滤波器具有频率和方向选择性择性GaborGabor纹理特征提取的一般步骤：纹理特征提取的一般步骤： 1. 1. 用不同尺度和方向的用不同尺度和方向的GaborGabor滤波器对滤波器对图像进行滤波，得到
5、一组子图像；图像进行滤波，得到一组子图像； 2. 2. 对各个子图像做一定处理；对各个子图像做一定处理； 3. 3. 根据子图像计算相应特征，形成特根据子图像计算相应特征，形成特征矢量或特征图像，比如子图像窗口内的征矢量或特征图像，比如子图像窗口内的标准差标准差. .GaborGabor变换纹变换纹理特征示例：理特征示例：(a) (a) 纹纹理图像理图像(b) (b) 滤波图像滤波图像 (16,135(16,135度度) )(c) (c) 滤波图像滤波图像 (32,0(32,0度度) )(d) (d) 特征图像特征图像(b)(b)(e) (e) 特征图像特征图像(c)(c)小波变换纹理特征小波
6、变换纹理特征 对图像作小波变换，对图像作小波变换， 分别得到水平和垂直方分别得到水平和垂直方向上的高频和低频子图向上的高频和低频子图像，可以对低频子图像像，可以对低频子图像或每个子图像再作同样或每个子图像再作同样的变换的变换. . 根据最后得到根据最后得到的每个子图像计算一个的每个子图像计算一个特征，如能量，墒等，特征，如能量，墒等，形成纹理特征矢量形成纹理特征矢量. .MarkovMarkov随机场随机场图像建模的重要工具，应用广泛图像建模的重要工具，应用广泛 (J. Besag, 1974)(J. Besag, 1974)预备知识（标注问题，预备知识（标注问题，labelinglabeli
7、ng） 位位(site)(site)集合：集合： 标志标志(label)(label)集合，位上可能发生事件集合，位上可能发生事件的集合，可以是连续的，也可以是离散的集合，可以是连续的，也可以是离散的：的：，MarkovMarkov随机场随机场标注：标注：为位集合中每个位指定一个标志为位集合中每个位指定一个标志的过程，位集合到标志集合的映射：的过程，位集合到标志集合的映射：MarkovMarkov随机场随机场标注：标注：从如下从如下 空间中导出空间中导出 的过程：的过程：在图象领域，可将在图象领域，可将 理解为一幅图象，理解为一幅图象， 则则是全部可允许图像的集合是全部可允许图像的集合. .
8、标注也被称为着色标注也被称为着色(coloring(coloring，数学规，数学规划划) )或配置或配置(configuration(configuration，随机场，随机场) )如果各个位为随机变量，则位集合如果各个位为随机变量，则位集合 称为随机场称为随机场. .MarkovMarkov随机场随机场在随机场中，从在随机场中，从 导出导出 的过的过程就是确定程就是确定 出现的概率出现的概率. . 假设各个位的标注是彼此无关的，假设各个位的标注是彼此无关的，则有则有 实际应用时，需要考虑上下文约束实际应用时，需要考虑上下文约束 (contextual constraints)(contex
9、tual constraints) MarkovMarkov随机场随机场，只需单独考虑每个位，问题简单（理想）只需单独考虑每个位，问题简单（理想）MarkovMarkov随机场随机场当且仅当以下两个条件满足时，随当且仅当以下两个条件满足时，随机场为机场为MarkovMarkov随机场：随机场： 正性（正性（PositivityPositivity）MarkovMarkov性性(Markovianity)(Markovianity)若若f fi i能够独立发生，那么能够独立发生，那么f f就能够发生就能够发生一个像素点的随机概率只与它邻域的像一个像素点的随机概率只与它邻域的像素有关素有关邻域系统
10、的等级划分邻域系统的等级划分根据矩阵中各位置与位置根据矩阵中各位置与位置i i的距离，可以将邻域系统表的距离，可以将邻域系统表达为等级形式达为等级形式一个象素点和图像中其他各象素点的相关性就可以通过条一个象素点和图像中其他各象素点的相关性就可以通过条件概率和邻域系统来描述件概率和邻域系统来描述GibbsGibbs随机场随机场邻域系统邻域系统(neighboring system)(neighboring system) 邻域集邻域集 (neighbor set)(neighbor set)：一阶邻域（四连通），二阶邻域（八连通）等一阶邻域（四连通），二阶邻域（八连通）等 团团(cliques)
11、(cliques)： 由邻域关系限定的位子集由邻域关系限定的位子集 单位团单位团(single-site) (single-site) ，双位团，双位团(pair-(pair-site) site) ，三位团，三位团(triple-site)(triple-site)等等团是有序的团是有序的: :GibbsGibbs随机场随机场邻域邻域团团 团具有尺寸团具有尺寸, , 形状和方向形状和方向 GibbsGibbs随机场随机场当且仅当随机场的配置服从当且仅当随机场的配置服从GibbsGibbs分布时，分布时，称为称为GibbsGibbs随机场随机场: : 规范化常量，称为划分函数规范化常量，称为划
12、分函数（partition functionpartition function）：温度常量，常取：温度常量，常取1 1所有团势能之和，称为能量函所有团势能之和，称为能量函数数(energy function)(energy function)：团势能：团势能(clique potential)(clique potential)GibbsGibbs随机场随机场物理意义物理意义 配置的能量越小，其概率越大配置的能量越小，其概率越大均匀性均匀性 (homogeneity)(homogeneity)： 与团在随机场中的位置无关与团在随机场中的位置无关与位与位i i无关无关 各向同性各向同性(iso
13、tropic)(isotropic)：与团的方向无关与团的方向无关 在纹理领域，在纹理领域，Markov(Gibbs)Markov(Gibbs)随机场具随机场具 有均匀性有均匀性或者说，或者说，GibbsGibbs随机场随机场Hammersley-CliffordHammersley-Clifford定理定理 MarkovMarkov随机场与随机场与GibbsGibbs随机场等价随机场等价意义：意义： 既可以用局部成分的相互影响来建模，既可以用局部成分的相互影响来建模，也可以用全局能量来建模也可以用全局能量来建模. .如何确定团势能的形式和参数是如何确定团势能的形式和参数是Markov(Gib
14、bs)Markov(Gibbs)随机场的主要工作随机场的主要工作. .划分函数的计算复杂度很高，是一划分函数的计算复杂度很高，是一个难题，实际多做一定简化个难题，实际多做一定简化. .3 3 从纹理恢复形状从纹理恢复形状根据纹理属性变化与表面形状的关根据纹理属性变化与表面形状的关系恢复表面形状系恢复表面形状. . 三种效应：三种效应： 透视缩小透视缩小( (与表面方向有关与表面方向有关) ) 缩放和密度变化缩放和密度变化( (与观察者与观察者 和纹理基元的距离有关和纹理基元的距离有关) )基准维基准维(characteristic (characteristic dimension)dimen
15、sion)： 没有发生透视缩小的方向没有发生透视缩小的方向3. 3. 从纹理恢复形状从纹理恢复形状几种方法几种方法 Bajcsy-LiebermanBajcsy-Lieberman方法：利用基元尺方法：利用基元尺寸梯度，求相对深度寸梯度，求相对深度; ; Witken Witken方法：利用边缘方向分布，估方法：利用边缘方向分布，估计表面方向计表面方向; ; Blostein-Ahuja Blostein-Ahuja方法：利用基元面积方法：利用基元面积梯度，估计表面方向梯度，估计表面方向. .椭圆长短轴在缩小（缩放效应）椭圆长短轴在缩小（缩放效应）缩小速度长轴为线性，短轴为二次（透视缩小效缩小
16、速度长轴为线性，短轴为二次（透视缩小效应，长轴方向为基准维）应，长轴方向为基准维）Blostein-AhujaBlostein-Ahuja方法方法假设表面为平面，纹理基元单一且假设表面为平面，纹理基元单一且无深度差无深度差恢复公式（依据）的推导恢复公式（依据）的推导 1. 1. 为简化推导，将坐标系统转换到为简化推导，将坐标系统转换到tilttilt方向方向 2. 2. 根据透视投影模型，建立任意基元根据透视投影模型，建立任意基元长短轴与中心基元长短轴的长度关系；长短轴与中心基元长短轴的长度关系； 3. 3. 将上述关系转化为任意基元与中心将上述关系转化为任意基元与中心基元的面积关系基元的面积
17、关系. .坐标系统变换坐标系统变换透视投影模型透视投影模型Blostein-AhujaBlostein-Ahuja方法方法形成表面方向估计依据形成表面方向估计依据 为未知参数空间，根据纹理图像为未知参数空间，根据纹理图像从中搜索最佳结果：从中搜索最佳结果： 将该空间离散化，对于每组值，计算图像中将该空间离散化，对于每组值，计算图像中各个位置上的纹理基元面积，与实际面积比较，获各个位置上的纹理基元面积，与实际面积比较，获得拟合度，取最佳拟合度对应的结果得拟合度，取最佳拟合度对应的结果. (. (表面拟合表面拟合) )Blostein-AhujaBlostein-Ahuja方法结果示例方法结果示例
18、4.4.基于纹理变化的深度估计算法基于纹理变化的深度估计算法SFTSFT的传统方法是通过建立一个随机场模型描述图像中纹的传统方法是通过建立一个随机场模型描述图像中纹理信息，通过学习得到模型参数，实现场景深度重建，但理信息，通过学习得到模型参数，实现场景深度重建，但由于此类方法使用的是局部的、二维纹理信息，因此所建由于此类方法使用的是局部的、二维纹理信息，因此所建立的模型中无法完全反映出场景中各目标间的空间关系。立的模型中无法完全反映出场景中各目标间的空间关系。近几年来，针对此类问题的研究逐渐向使用全局的、多尺近几年来，针对此类问题的研究逐渐向使用全局的、多尺度的、分层次的纹理信息方向发展，并已
19、经开始应用于实度的、分层次的纹理信息方向发展，并已经开始应用于实际系统中。际系统中。20062006年，斯坦福大学的年，斯坦福大学的Andrew NgAndrew Ng等人应用机器学习的方等人应用机器学习的方法，采用分层的多尺度马尔科夫随机场模型，通过对大量法，采用分层的多尺度马尔科夫随机场模型，通过对大量的训练集数据的学习，建立室外场景图像中各目标间的空的训练集数据的学习，建立室外场景图像中各目标间的空间关系模型，并将取得的结果应用在无人汽车的自主导航间关系模型，并将取得的结果应用在无人汽车的自主导航中。中。这种利用全局的三维几何纹理信息的方法，实际上就是在这种利用全局的三维几何纹理信息的方
20、法，实际上就是在利用了图像利用了图像“质地变化率质地变化率”的同时也利用了图像中的遮挡的同时也利用了图像中的遮挡信息（空间关系）。信息（空间关系）。3-D Depth Reconstruction from a Single Still ImageAshutosh Saxena, Sung H. Chung, Andrew Y. Ng ,20074.1 Visual Cues for Depth PerceptionMonocular Cuestexture variations, texture gradients, interposition, occlusion, known objec
21、t sizes, light and shading, haze, defocus, etc.global information, local information.Stereo CuesMotion Parallax and Focus Cues4.2 Feature VectorThe image is divided into small rectangular patches, and estimate a single depth value for each patch.Two types of features: absolute depth featuresused to
22、estimate the absolute depth at a particular patchand relative features, used to estimate relative depths. Feature Vectorthree types of local cues: texture variations, texture gradients, color.Capture cuesLaws masks(3*3)- texture variationsOriented edge filters(6)- texture variationsColor channel(2)-
23、 color2.1 Features for absolute depthFeatures for absolute depthinitial feature vector-sum absolute energy and sum squared energy,multiple spatial scales-capture more global properties of the image,immediate neighbors-capture occlusion relationships, vertically column-show vertical structure. absolu
24、te depth feature vector x is 19 34 = 646 dimensional.2.2 Features for relative depthA different feature vector is used to learn the dependencies between two neighboring patches.a 10-bin histogram of each of the 17 filter outputs |I Fn|, giving us a total of 170 features yis for each patch i at scale
25、 s.relative depth features yijs for two neighboring patches i and j at scale s will be the differences between their histograms.4.3 Probabilistic ModelHierarchical Multi-scale MRF ModelProbabilistic ModelGaussian ModelLaplacian modelGaussian Modeldi(s) depths for multiple scales s = 1, 2, 3.enforce
26、a hard constraint that depths at a higher scale are the average of the depths at the lower scale.Ns(i) are the 4 neighbors of patch i at scale s.M is the total number of patches in the image (at the lowest scale); Z is the normalization constant for the model; xi is the absolute depth feature vector
27、 for patch i; and and are parameters of the model.Gaussian Model(r,1r,2r) is the different parameters for each row r in the imageThe model is a conditionally trained MRF, in that its model of the depths d is always conditioned on the imagefeatures X; i.e., it models only P(d|X). Laplacian modelExperimentsData collection, using a 3-d laser scanner to collect images and their corresponding depthmapsExperimentsExperiments(a)original image, (b) ground truth depthmap, (c)predicted depthmap by Gaussian model, (d) predicted depthmap by Laplacian model.
