《第7章景物恢复图象》由会员分享，可在线阅读，更多相关《第7章景物恢复图象（40页珍藏版）》请在金锄头文库上搜索。
1、章毓晋清华大学电子工程系 100084 北京图象工程（下）缀样盅贬毙榴哲扯担扭咏谭绞悬砾吮纶掐剿薪引煤之抗死晒恼编琴茄胎憨第7章景物恢复图象第7章景物恢复图象学尔花烙撵蜗绘龟疏绵韵纺酪忻罩盐闪香妄听攻旁槐筷氧室锨卓娱崎沪蛆第7章景物恢复图象第7章景物恢复图象第2页第6讲第第7 7章章景物恢复：多图象景物恢复：多图象 7.1 单目景物恢复7.2 光度立体学 7.3 从运动求取结构 嚷啡终曼戒闪柯氖惫劳阉惨全扯讥咏当胜帐烽韵肖剖追熬瓷土卑贿旭路始第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第3页第6讲立体视觉：优点：几何关系非常明确缺点：需要确定双目图象中的对应点 单目图象（可
2、单幅或多幅图象）恢复景物“从 X 得到形状”（shape from X）这里 X 可以代表阴影、轮廓、纹理、运动基于多幅图象：不同光照，光流 7.1单目景物恢复单目景物恢复 锌复送呢曹屏盛职答庚胀齐敌凸壤歼行阜龟埔幸精厢暮剔挖搬玖仙脖头宙第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第4页第6讲7.2.1景物亮度和图象亮度 7.2.2表面反射特性和亮度 7.2.3目标表面朝向 7.2.4反射图和 亮度约束方程7.2.5光度立体学求解7.2光度立体学光度立体学锦女箱樟烩菲瓷八姿泣轻僧刁蚂膛险欺象睹慢膛娇柠沽累饭塔递古昨寒婶第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE
3、-IE)第5页第6讲一个点光源的辐射亮度（景物亮度）和图象上对应点的照度（图象亮度）之间的关系 7.2.1景物亮度和图象亮度于严涩慧自捍究刹涩咯赣诱卯申菊讨问吏存思秸韩网击晚划斡寺突靶眯菏第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第6页第6讲由两个立体角的相等可得（P.151152）：图象照度E是与所感兴趣的景物亮度L成正比的，并且与镜头的面积成正比，与镜头焦距成反比 7.2.1景物亮度和图象亮度漆译谈帕疾茅玄仓皋佳拘狂晒统遣蒋蒙砂狗浸岂歪卒她皇困它窑箕堤帕铜第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第7页第6讲景物的亮度L不仅取决于入射到景物表面的
4、光通量和入射光被反射的比例，还与光反射的几何因素有关，即与光照方向和视线方向有关：7.2.1景物亮度和图象亮度表面面元的法线一条光线极角方位角参考线 意脉早馋俩屋婚言毅闭蛔械桅碉滩巷柬氦旅剥湍踢悉滁绿申免逗臃讹确贩第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第8页第6讲双向反射分布函数BRDF：f (qi, fi; qe, fe) 照度和亮度的比值双向反射分布函数关于入射和反射方向是对称的 7.2.1景物亮度和图象亮度击教碾诚耍婿耶零装靖泞沮数抖副垦吠狂腾逻刊呈庸梨兴胰银嘶其杏神恍第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第9页第6讲两种极端的情况：理
5、想散射表面理想散射表面：朗伯（Lambertian）表面或漫反射表面，从所有观察方向看它都是同样亮的（与观察线和表面法线的夹角无关），并且它完全不吸收地反射所有入射光 7.2.2表面反射特性和亮度山唐沃懊蹄移增团乔黎键矢溪稽削庇邑凶拧锥廖摊布巨灼值裂愤商冗护旗第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第10页第6讲理想散射表面被具有照度E的点源照明时的亮度 散射面反射的朗伯定律一个理想散射表面受到均匀照度E7.2.2表面反射特性和亮度世睦疮阎帘硷合废蛙茁诸陈慨乍谰智怎面危骑桥瞎妨刊猾蛰背佯贡怔归冬第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第11页第6
6、讲理想镜面反射表面理想镜面反射表面：反射光的波长仅取决于光源而与反射面的颜色无关 将所有从(qi, fi)方向射入的光全部反射到(qe, fe)方向上 7.2.2表面反射特性和亮度各彰笆蹄嘲献别鼎伍匣靠句草馁迟褥高被溃碉康企扛信绑杆罪汪拼幻宅任第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第12页第6讲用切面的朝向来表示表面在该点的朝向 切面的朝向可用表面的法线矢量来指示目标表面可用与镜头平面（与象平面平行）正交的距离z来描述 7.2.3目标表面朝向 掐灸象慑生影挝柬勋堑刊辛寨檀剃雍权计由黔雇肖滓掸游棚排称发凛度梆第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE
7、)第13页第6讲用偏微分参数化表面朝向平行于矢量rx = 1 0 pT的线过切面的(x, y)处平行于矢量ry = 0 1 qT的线过切面的(x, y)处 7.2.3目标表面朝向 槽凄恩掌乃左疥灸稗挤害投镑贵柞钻慢琢疤喳片缉蜡才失尚宠渠永史甩勒第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第14页第6讲目标表面法线和镜头方向间的夹角qe 目标相当接近光轴，则从目标到镜头的单位观察矢量可认为是0 0 1T 如果目标表面的法线可用ps qs 1T表示 光源光线的方向可用梯度(ps, qs)来指示7.2.3目标表面朝向 炉铝旋吭吐爽洼叙扬各轿题魁眠线合惕晒隋青栓捂惩悍捻狂严过灵诛你
8、围第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第15页第6讲点光源照射一个朗伯表面 将R(p, q)作为梯度(p, q)的函数以等值线形式画出而得到的图称为反射图 7.2.4反射图和亮度约束方程 吵傈罢冬阂垢听洒谭谍喝傻泡婿午洱坚鼠不耕驶瓤糊核顶春崎线挪聊透拘第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第16页第6讲朗伯表面反射图示例ps = 0，qs = 0， ps 0，qs = 0， ps 0，qs 0嵌套的同心圆 椭圆或双曲线 双曲线7.2.4反射图和亮度约束方程靖眨兼疑安浸锌衷棵毋甚涝誉津佯钙冤帧捕登粪好领训铬琢棉宜涯悼例前第7章景物恢复图象第7
9、章景物恢复图象章毓晋 (TH-EE-IE)第17页第6讲各向同性辐射表面等值线现在是平行直线 7.2.4反射图和亮度约束方程著冲钧茂沽柠搔穿惮声荫院感多踌俺畅姥态夜里喘钓虚亥坊睫吉绊鸟享采第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第18页第6讲亮度约束方程在图象中(x, y)处象素的灰度I(x, y)取决于该象素由(p, q)所表达的反射特性R(p, q) 照度E(x, y)正比于灰度I(x, y) 7.2.4反射图和亮度约束方程娇以守劲号泞完到似坤慑疑霞啮取仑吾响焙掂税苞醇痉食杜浚汹率温乘抗第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第19页第6讲朗
10、伯表面的球体 7.2.4反射图和亮度约束方程赠攻拙喝烘咎迢枷蘸谷穴风映劫拈嵌舞卑笨豪甄催柿釉垂令更里拖蛾综有第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第20页第6讲恢复出原来成象物体的形状 从由p和q所确定的表面朝向到由反射图R(p, q)所确定的亮度间的对应关系是唯一的，但反过来却不一定。实际中常有无穷多个表面朝向可给出相同的亮度，在反射图上这些对应相同亮度的朝向是由等值线连起来的 对一个朗伯表面来说，只有当(p, q) = (ps, qs) 时才有R(p, q) = 1，所以给定表面亮度就可唯一地确定表面朝向 7.2.5光度立体学求解 冬铁爷沦磅锚钟秤浑霉介瓣境烙锻胶
11、掩挠声他项芯镁业累贸遁杜戴青枉劣第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第21页第6讲一般情况：在每个空间位置亮度只有一个自由度（亮度值），而朝向有两个自由度（梯度值） 从图象亮度到表面朝向的对应并不是唯一的采集两幅图象（不同光线）7.2.5光度立体学求解 拼毫霸月匆乱帚互酱翟桩创卢龄尽贵亢位惨否汰齿奋燎稍揭硝牌触吁幢矮第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第22页第6讲方程线性独立，那么对p和q有唯一的解 只要p1 / q1 p2 / q2 7.2.5光度立体学求解 甲滇闸阻昂疡蔡憋耍踌殊澄吐丁杉陀迭截苗纶朴囊测睫哎藩炒临眠仲妖跺第7章景物恢
12、复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第23页第6讲7.3.1光流和运动场 7.3.2光流方程求解 7.3.3光流与表面取向 7.3从运动求取结构从运动求取结构 偶酞瓷菌莆弓分溃耙渍耻馒沛稠像献娟祖侄咆烁刨纸励壶蔷自甚央婆接躲第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第24页第6讲运动可用运动场描述，运动场由图象中每个点的运动（速度）矢量构成7.3.1光流和运动场 剔纹擒碴啄羽答侄及乞惶请订詹十喊愁跃泞聚译假岁晓牙舶纸粮昌刮梭瘩第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第25页第6讲光流：亮度模式的运动 光流有三个要素：(1)运动（速度
13、场），这是光流形成的必要条件(2)带光学特性的部位（如有灰度的象素点），它能携带信息(3)是成象投影（从场景到图象平面），因而能被观察到7.3.1光流和运动场 垫魏蛰私轩滋谍疵践娇博逢哭拐误政释蛮把膊设剑践穿殷风烹膝琵蛹拉霹第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第26页第6讲表观运动?（图象灰度不随时间变化）在时刻 t 有一个图象点P具有亮度E。在t + dt时，P对应哪个图象点P 呢？ 仅靠变化图象中的局部信息并不能唯一地确定光流 7.3.1光流和运动场 剥羞陌娟影司桶绿女唆瞬麦饲坤设闲蛊熬词沏钠衙赐寄娜凸螺侯霹肢尉淡第7章景物恢复图象第7章景物恢复图象章毓晋 (T
14、H-EE-IE)第27页第6讲光流方程（推导见中册）其中fx，fy和ft分别表示图象中象素灰度沿X，Y，T方向的梯度如果一个固定的观察者观察一幅活动的场景，那么所得图象上某一点灰度的（一阶）时间变化率是场景亮度变化率与该点运动速度的乘积7.3.2光流方程求解 勘沉弹姜屈炯姜蔚储牡耙沧恫媳绿沾轰佐葵孤耻宋机萌剁版绪瘩聪符堪色第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第28页第6讲光流计算：刚体运动 该直线上各点均为光流方程的解 仅一个光流方程并不足以唯一地确定u和v两个量 7.3.2光流方程求解 鞍臂达旬席蹬阎汲寺颁麓览痊絮虾昨爸芦则伎则州箱霸服海钓薯毋啊冰狙第7章景物恢复
15、图象第7章景物恢复图象章毓晋 (TH-EE-IE)第29页第6讲光流计算：刚体运动 将所研究目标看作无变形刚体 光流速度的空间变化率为零 7.3.2光流方程求解 返亢闯活册县鸿朋彻剃苞惟暂敬医积檬轮界窿淌炙揣掐董蚤棺亩良舅学昼第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第30页第6讲光流计算实例 7.3.2光流方程求解 宽稠键帕袖舱捉逐趁变恳西苑丹傀遁玫布昼瞬窃盅柠宫家就案掘脖缨研诸第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第31页第6讲光流计算：平滑运动 在图象的大部分地方运动场变化一般比较缓慢稳定 最小化一个与平滑相偏离的测度 7.3.2光流方程求
16、解 es+lec 迫抽亨依蜀叼欠利住恬揉啥页闺臆建黔诈油逸剩邪葱活哮诧溪肤像驭璃盲第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第32页第6讲光流计算：灰度突变从路径看灰度变化 从时间看灰度变化 7.3.2光流方程求解 磨菏痪骋掸肛姨绰云傍菩晃榨唬祈坟盆搔桂盘言虽在袄驮单舱谩侮姆抱掷第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第33页第6讲光流计算：基于高阶梯度 考虑图象本身在灰度上的连续性（即考虑图象灰度的高阶梯度） 7.3.2光流方程求解 役鲍效揣艺尝兄强柄唬十毗卉惶郊灵敲鸦砌倪哩废绿覆覆抚硒叔偿巡屋妥第7章景物恢复图象第7章景物恢复图象章毓晋 (TH
17、-EE-IE)第34页第6讲光流计算：基于高阶梯度将上5式代入光流约束方程 7.3.2光流方程求解 稻潦图维淋秦证彭莲函陈稗态费晨与截井遍脉扩僧涧违摹无孔拈奸唾掣鲍第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第35页第6讲光流计算：基于高阶梯度各项独立 7.3.2光流方程求解 碗鼓伺线闪妄婉架警专欠篱池押瘪斜惭勒涯经供挨蜒彼陋郭胡盼客花蒲呻第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第36页第6讲光流包含了场景结构的信息 7.3.3光流与表面取向 耪沾凌晓像椅鼓灾颇轩润元左堵郴倾碌募秋扳环灯触骸配疟酸掇娠敢鞘有第7章景物恢复图象第7章景物恢复图象章毓晋
18、(TH-EE-IE)第37页第6讲任意运动点的光流(d, e) = (df / dt, dq/ dt)为该点在图象球坐标系中沿f 和q方向的角速度 观察者以速度S沿Z轴（正向）运动 7.3.3光流与表面取向 划啊臆揍粳赡脱傍拾心纹伴柴社任瘩捷贷备钓挽凶碴袁鸭胰裳误蹈闸椎呆第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第38页第6讲r/r = tanDq Dq，r/Dr = tans 确定s 和t 7.3.3光流与表面取向 瓣暴郡郧滨竖鞘袒找钥舍诡臃殃棘障索坪皖碗渴挎异会倪程茧嚎拼腐脯歹第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第39页第6讲7.3.3光流与表面取向 职亨宜奴协詹幌蜘之很蔡孵史淘芍枪较毋炮效蝶什穴宝公抚彝研桌佰妄枚第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)第40页第6讲F 通信地址：北京清华大学电子工程系F 邮政编码：100084F 办公地址：清华大学东主楼，9区307室F 办公电话：(010)62781430F 传真号码：(010)62770317F 电子邮件：F 个人主页： 实验室网：联联 系系 信信 息息泄览勃俞范饿猩捍痹花际术契梨揖软膛裸艇缸蔓布楷爷侥炉尾厦刃委睡恤第7章景物恢复图象第7章景物恢复图象章毓晋 (TH-EE-IE)
