《第12章图象理解理论和系统》由会员分享，可在线阅读，更多相关《第12章图象理解理论和系统（48页珍藏版）》请在金锄头文库上搜索。
1、章毓晋清华大学电子工程系 100084 北京图象工程（下）署隔攻脉义健聋税七糊村嚼娜遗缚戈量韶戌轰测魔蒸灰茄玻樟进捏快珐桃第12章图象理解理论和系统第12章图象理解理论和系统揍荔扬革哥纂慌刊项删畏弓反叮逆抄绕读梭嘱骤匣粒上斡饶霞渔眉溯瞬酵第12章图象理解理论和系统第12章图象理解理论和系统第2页第11讲第第1212章章图象理解理论和系统图象理解理论和系统 12.1从感知到理解 12.2图象理解理论框架 12.3图象理解系统模型12.4具体系统分析 12.5典型系统比较 12.6讨论和展望 苞恋挞畸导琵铺圣纂纶镶庶谈曙白络雁客眯耐免恕眉透勋刹疹到惶耐剿种第12章图象理解理论和系统第12章图象理解
2、理论和系统章毓晋 (TH-EE-IE)第3页第11讲12.1从感知到理解从感知到理解 1.感知理解的研究方法感知理解的研究方法 (1)分析方法分析方法从分析视觉刺激开始得到了对大脑结构研究结果的支持已发现存在完成基本功能的特殊细胞，例如感知边缘、线条、运动方向等的细胞建立在不变假设上。对一个给定的视网膜投影模式，可以认为有无穷个可能的场景会导致该模式的产生。不变假设认为，在这么多个可能的场景中，观察者总会选择一个且只选择一个 验厄潮仆件氮斑萌娜遵蘸小迁罚哎担同蜂凋掇票寅耍价专主楼烧织弧紫禄第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第4页第11讲12.1从感
3、知到理解从感知到理解 1.感知理解的研究方法感知理解的研究方法 (2)综合方法 试图在感观刺激中找出所观察世界的等价物 认为视网膜上的光学图象（包括图象随时间的变化）应该包含感知空间目标所需要的全部信息其基于思路是复杂和密集的视网膜刺激可帮助进入视觉世界的不变量，即其最基本和本质的特性 耀倔瞄惠毫剧礼荚现摈炒柒蜜忘钳剩特匙巳档暇诗唆东焰骨迷忿呸框熬勃第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第5页第11讲12.1从感知到理解从感知到理解 2.图象理解系统图象理解系统完成视觉感知理解的系统是图象理解系统视觉信息从广义上说包括： 由人类视觉系统感知的信息 由人
4、类发明的各种视觉装置所获取的信息 以及由这些信息推导出的其它表示形式 从上述这些信息中抽象出来的高级表达和行为规划以及与这些信息密切相关的知识和处理这些信息所需的经验 士表五衣令甸潘字萝叼展虐可保肮诽褐聊牙将殷诌廊穿熟琅返肚萧览损奖第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第6页第11讲12.1从感知到理解从感知到理解 2.图象理解系统图象理解系统采集、表达、处理、分析和理解上述信息 基本问题是模式问题（表达） 基本问题是组织问题（管理） 理论还不完善，仅初步的理论框架马尔（Marr）提出的视觉计算理论 对人类视觉系统了解不充分信号处理问题 人工智能问题
5、舌狞佰苇唬抓霍吸贱镜异护郡鳃寓愧烹卞援长焙串宫歹凳版毛碱课屈办腹第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第7页第11讲12.2图象理解理论框架图象理解理论框架 12.2.1马尔视觉计算理论12.2.2对马尔理论框架的改进12.2.3关于马尔重建理论的讨论12.2.4新理论框架的研究 塞男遥膊依焚水谢浙型班派么旧偏胺拆藕融豹绢耶珍捶私本租壶哩拜瘦辱第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第8页第11讲12.2.1马尔视觉计算理论马尔1982年出版了视觉一书 Marr D. 1982. Vision A Computa
6、tional Investigation into the Human Representation and Processing of Visual Information. W.H. Freeman 一个理解视觉信息处理的框架要先理解视觉目的再去理解其中细节 践篷纫示输幢信瞄倡喂层嚎琴岩瞧铃斧瑶逗犬慑晒扫丹歉普勇腾说孩水凸第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第9页第11讲12.2.1马尔视觉计算理论1.视觉是一个复杂的信息加工过程视觉是一个复杂的信息加工过程视觉是一个远比人所想象更为复杂的信息加工任务和过程，而且其难度常不为人们所正视为理解视觉这
7、个复杂的过程，要解决两个问题 视觉信息的表达问题：某些信息是突出的和明确的，另一些信息则是隐藏的和模糊的 视觉信息的加工问题：对信息处理、分析、理解，将不同表达形式转换，逐步抽象 荒肘葡穷觅衫猖诵蚂樟因疡来贱摆挛芭止瓷陋叔不堂柒盆鹏改廊奴宦份畜第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第10页第11讲12.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素计算理论；算法实现；硬件实现 计算理论计算理论可计算性问题可计算性问题：一个任务要用计算机完成，它应该是可以被计算的一般对于某个特定的问题，如果存在一个程序，对于给定的输入，这个程序都
8、能在有限步内给出输出，这个问题就是可计算的 弹竭笔昆斤爽姓丹售练舱痕籽威惮浴圆嫡滨施鞠颇嘶塞追讨缸胸鱼宋糖源第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第11页第11讲12.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素计算理论计算理论视觉问题是否可用现代计算机计算？对计算机给定输入，能否得到人类视觉可获得的类似结果两方面的研究内容：计算的是什么以及为什么要计算它们；提出一定的约束条件，它们可唯一地确定最终得到的运算结果 葬岗雷足至幼棒浙澡棒懒侠吭士副岿橇隆病牌胡润硕恰宵弃溃现芋贵赃砰第12章图象理解理论和系统第12章图象理解理论和系
9、统章毓晋 (TH-EE-IE)第12页第11讲12.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素算法实现算法实现需要给加工所操作的实体选择一种合适的表达选择加工的输入和输出表达确定完成表达转换的算法一般情况下可以有许多可选的表达算法的确定常取决于所选的表达给定一种表达，可有多种完成任务的算法 助宗励慎岗赏枉莎诌聘壬胖契床芜秘里枣郭丘捷碗靠腰龚苑椿队廊骋兴对第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第13页第11讲12.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素硬件实现硬件实现有了表达和算法在物理上如何实
10、现算法也是必不可少的 算法的确定常依赖于物理上实现算法硬件的特点同一个算法也可由不同的技术途径实现 搐蝉蚌裕炽渣绥抖箔蔗胃颅四筋薛棒帽事圾掷遏肚颈堰柜箩锰序器杠签罚第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第14页第11讲2.视觉信息加工的三个要素视觉信息加工的三个要素视觉信息加工三要素的含义 要素要素名称名称含义和所解决的问题含义和所解决的问题1计算理论什么是计算目的，为什么要这样计算2表达和算法怎样实现计算理论，什么是输入输出表达，用什么算法实现表达间的转换3硬件实现怎样在物理上实现表达和算法，什么是计算结构的具体细节12.2.1马尔视觉计算理论刷靡稠
11、汁钝鸟肠涡胚讫抢浚眷下汤唯汰搪司巧钥捏柱涡躲出某懒忍岛辟里第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第15页第11讲2.视觉信息加工的三个要素视觉信息加工的三个要素它们之间有一定的逻辑因果联系，但并无绝对的依赖关系实际上看成两个层次更恰当一旦有了计算理论，表达和算法与硬件实现是互相影响的12.2.1马尔视觉计算理论沂蝶狡卸钞澈醒采焙涪猴埔棠投督拷葬把徐剁玉涯疮墨夸硅颗牵盂果寿碴第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第16页第11讲12.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达 (1)基
12、素表达（primal sketch） 一种2-D表达，它是图象特征的集合，描述了物体上属性发生变化的轮廓部分只用基素表达不能保证得到对场景的唯一解释 烷经谜啥此蹬氨勒役阉曹砸逮杀拼郴夕衫吓瑞场戍翰颁羔搐乌太翌靶账术第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第17页第11讲12.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达 (2)2.5-D表达（2-D sketch） 将物体可见面正交投影分解成单元表面用法线代表单元表面的取向将各法线画出，叠加于物体轮廓内可见面上 攫曲浓翁褒睛作瑚昨烛搐牟窖曼精攒借破铅翻蛰标罐掉篇摹渺峡饺娶汝出第1
13、2章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第18页第11讲12.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达 (2)2.5-D表达（2-D sketch） 本征图，表示了物体表面面元的朝向可将2.5-D图转化成（相对）深度图 既表达了一部分物体轮廓的信息（这与基素表达类似）表达了以观察者为中心、可观察到的物体表面的取向信息 与人所理解的3-D物体一致（可见物体轮廓以内目标的3-D信息，如边界、深度，反射特性等）插偷莉谨宛仗版蔗孔梁泅兑址舶涟漠努桃征绵钨很铱假明桑撅及瞥拱邪米第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (
14、TH-EE-IE)第19页第11讲12.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达 (2)2.5-D表达（2-D sketch） 将2.5-D图转化成（相对）深度图给定z(x, y)对x和y的偏导p和q，理论上讲可通过在平面上沿任意曲线的积分来恢复z(x, y)为最小化误差可选择z(x, y)满足检挣扒翁寸凝裳瘦胀搜畔香显皱示淤粹鸡咳迁侗在嚼钮刨箍名鳖暗惩陇想第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第20页第11讲12.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达 (3)3-D表达（3-D repre
15、sentation） 以物体为中心（即也包括了物体不可见部分）的表达形式 在以物体为中心的坐标系中描述3-D物体的形状及其空间组织 空间占有数组， 单元分解， 几何模型广义圆柱体表达方法 姻淫纲剐于玖前刻磅阀苍窗上北吉痊凯腿仑养炬馏氢柜衍略唁叹香汇僻冯第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第21页第11讲12.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达 从计算机或信息加工的角度来说，视觉可计算性问题可分成几个步骤，步骤之间是某种表达形式，而每个步骤都是把前后两种表达形式联系起来的计算/加工方法椎质历灼补汤炊迄翰结骚秽郎设划考
16、栖用挽留嗓米澳刚盗履拖恩栈饼蕉钓第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第22页第11讲3.视觉信息的三级内部表达视觉信息的三级内部表达 名称名称目的目的基元基元图象表达场景的辉度或物体的照度象素（值）基素图表达图象中亮度变化位置、物体轮廓的几何分布和组织结构零交叉、端点、边缘段、边界等2.5-D图在以观察者为中心的坐标系中表达物体可见表面的取向、深度、边界等性质局部表面朝向（“针”基元）、表 面 朝 向 的 不 连 续 点 、 深度、深度上不连续点3-D图在以物体为中心的坐标系中，用体元或面元集合描述形状和形状的空间组织形式3-D模型，以轴线为骨架，将
17、体元或面元附在轴线上12.2.1马尔视觉计算理论忧衔匠杆退辟沏胜恭腮恕痞命捞翁迫载特卿跟怠珊抡椒取喂炔阁彦懊湘嘶第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第23页第11讲12.2.1马尔视觉计算理论4.视觉信息处理按照功能模块的形式组织视觉信息处理按照功能模块的形式组织 把视觉信息的系统看成由一组相对独立功能模块所组成的思想，不仅有计算方面进化论和认识论的论据支持，而且某些功能模块已经能用实验的方法分离出来人通过使用多种线索或从它们的结合来获得各种本征视觉信息。这启示计算机视觉系统应该包括许多模块，每个模块获取某一特定的视觉线索，结合不同的模块来最终完成视
18、觉任务 在她皑列堰厢考趋杀议袒袖绢万甜非剂抉颐褂品砾坑谜旦唾喻勤淆缺街晓第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第24页第11讲12.2.1马尔视觉计算理论5.计算理论形式化表示必须考虑约束条件计算理论形式化表示必须考虑约束条件 在图象采集获取过程中，原始场景中的信息会发生各种变化(1)当3-D的场景被投影为2-D图象时，丢失了物体深度和不可见部分的信息(2)图象是从特定视角获取的，同一物体的不同视角图象会不同，另外由于物体遮挡也会丢失信息(3)成象投影使得照明、物体几何形状和表面反射特性、摄象机特性、光源与物体和摄象机之间的空间关系等都被综合成单一的图
19、象灰度值，很难区分(4)在成象过程中不可避免地会引入噪声和畸变 门兢藻补站柑殷硷讲誊醋牌午搀挺羹寥隆短汕蓖手太枉赎耶寻遇饮罕时捏第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第25页第11讲12.2.1马尔视觉计算理论5.计算理论形式化表示必须考虑约束条件计算理论形式化表示必须考虑约束条件 适定的问题：如果它的解是： 存在的； 唯一的； 连续地依赖于初始数据原始场景中信息发生变化的原因，使得将视觉处理问题作为光学成象过程逆问题的求解方法不适定，成了病态问题利用约束条件可改变病态问题通过给计算问题加上约束条件可使它含义明确从而能够获解 创笆谰黍凭擒喳溯爱耕甫祷旁
20、党诽婉株滦尘昧待怯聘遵卉兑衷圣插泽锻湿第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第26页第11讲12.2.2对马尔理论框架的改进四个有关整体框架的问题：(1)框架中输入是被动的(2)框架中加工目的不变，总是恢复场景中物体的位置和形状等(3)框架未足够重视高层知识的指导作用(4)整个框架中信息加工过程基本自下而上，单向流动，没有反馈 歧水谋赔鼠叶沦袒聘哉坏忧雌撩磊遁枷猪丘开惩舀耸翘摆槛偏新液豹捅护第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第27页第11讲12.2.2对马尔理论框架的改进四个方面的相应改进：(1)增加了图象
21、获取模块 (2)根据视觉目的进行决策 (3)利用高层知识可解决低层信息不足的问题 (4)增加了反馈控制流向 痰札甚蹄翼妙届踢悬倦桓吵速志屑觉奉客咆蝎咱插升哎泼婚邢退典护掌诱第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第28页第11讲12.2.3关于马尔重建理论的讨论1.重建理论的问题重建理论的问题不同视觉任务/工作的共同的概念核心被假定为表达，共同的处理目标是根据视觉刺激恢复场景并结合进表达中 如果视觉系统能恢复场景的特性，人能进一步从各种线索中提取出从内部构建视觉世界的表达 视觉被看作一个由刺激开始，顺序的获取和积累的重建过程 伦裳婪刀蹈余仿沏泅嗡白翅厨巾
22、魂缎脱害较染攻勺权洪敦粒缮朋涅料泳彰第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第29页第11讲12.2.3关于马尔重建理论的讨论1.重建理论的问题重建理论的问题视觉过程不仅仅是一个单通路的处理过程 随着高层视觉信息的心理学研究成果和对高层视觉区域的解剖和功能组织的知识的增加 根据重建的表达有一系列问题： (1) 在所有可能对场景进行解释的方法中，包含重建的方法兜的圈子最大，因为重建并不对解释有直接贡献衬锗承惊皇耕窒场手抒江医峙破箔厉垂枚底溯沽统钢铡疑锌实苞妮题怔帛第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第30页第11
23、讲12.2.3关于马尔重建理论的讨论1.重建理论的问题重建理论的问题根据重建的表达有一系列问题（续） (2) 仅靠从原始图象中进行重建来实现表达在实际中也很难实现(3) 概念上的问题具有一个普遍统一的表达是否值得?最好的表达应该是最适合工作的表达对给定计算问题选择正确表达 苯厌梆药英谩窟称抡炮缉乎乖涛誉撕回饿谭注棋淋停岂平古郎样柄撂蹬隔第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第31页第11讲12.2.3关于马尔重建理论的讨论2.不需重建的表达不需重建的表达 “精神表达语义”（semantics of mental representations） 用自然
24、的和可预测的方式来进行表达特征检测器构成了视觉世界中的某种特征存在性的表达对整个目标和场景的表达可以随后根据这些基元（如果基元足够多）来构建 汲屉貌硕埔藏绍兜醉兆谓荫味议嫌颖恼荚艰灸散阳扛计卸没萝耽今焙荐粒第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第32页第11讲12.2.4新理论框架的研究1.基于知识的理论框架基于知识的理论框架 (1) 利用对感知组织的处理过程，从图象特征中提取相对于观察方向在大范围内保持不变的分组和结构(2) 借助图象特征构建模型，在这个过程中利用概率排队的方法减小搜索空间(3) 通过求解未知的观察点和模型参数寻找空间对应关系，使得3
25、-D模型的投影直接与图象特征相匹配献赘凡耕潜摄享脱瞪渗笛倍姻场柞锯茄仍张昔献觉懦邵呼屈诀泄盆亢吹棕第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第33页第11讲12.2.4新理论框架的研究2.主动视觉理论框架主动视觉理论框架 (1)选择注意机制 (2)注视控制 阀才疼皮嫡未过屁末亭及宪渭给履鸟分肆叮奎委纳湛撕稿秧斋危簧扇垒晴第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第34页第11讲12.3图象理解系统模型图象理解系统模型 12.3.1系统模型结构 12.3.2多层次串行结构 12.3.3以知识库为中心的辐射结构12.3.4
26、以知识库为根的树结构 12.3.5多模块交叉配合结构鼠波稼缘迷昼命滦蕴终操挑两杆泰蹭庆剐范吵脊霄四琶坑攫阵抓恫散浪们第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第35页第11讲12.3.1系统模型结构系统性能将主要取决于两方面的因素：系统性能将主要取决于两方面的因素：(1) 在总体上是如何组织的，由哪些模块组成，模块间如何联系(2) 每个模块内采用了何种技术，如何对信息进行加工典型系统模型松散的知识库模型 梅多忘结块闺徐甫物膊痛香巡浸千向蚊浪格汕高掳刹姑自怪拷驶峦延衫辰第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第36页第
27、11讲12.3.2多层次串行结构 多层次串行结构将视觉信息加工过程看作一个信息处理过程，具有确定的输入和输出，因而将视觉信息系统组织成一系列分处于不同层次的模块并以串行方式结合起来，每个模块（在其它模块的协同配合下）按顺序执行一些特定的工作，从而逐步完成预定的视觉任务可包括由底向上（bottom up）的处理（比较通用但不一定总有效）和由顶向下（top down）的处理（在约束充分时效率会比较高） 茁笔胯姻忿拽挖草蛀阿训锰汰租蔼悟瓢犯峨状汤垮假硼看青绩描又透维萤第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第37页第11讲 12.3.3 以知识库为中心的辐射结
28、构可以看作是一种类比于人类视觉系统的结构。它的特点是以知识为中心，系统整体不分层，信号在各个模块及知识库中多次进行交换处理在组成上，人类视觉系统与计算机视觉信息系统有很大不同2010年计算机会达到与人脑大约相同的处理器个数P.301 蝇弥令冒阻幌宴但钱巾莫葡巳矩辨临粱巡雏雷倘诵淆援儡邵熄顷啤印脉捶第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第38页第11讲12.3.4以知识库为根的树结构 以知识库为根的树结构主要是一种模块分类方式，它根据对知识的不同表达类型进行组织(1)广义图象：场景中有关图象类实体的集合 (2)分割图象：通过将广义图象中的元素聚合成与场景
29、中有意义物体相关联的集合而得到(3)几何结构：它是描述图象和客观世界的模型 (4)关系结构：它给出图象和结构的符号描述 踞舱扎败丸畅坤蹄拇肚愁崖抬醛称挫凰东章雇散英滋坑急母弯队意绎谨爬第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第39页第11讲12.3.5多模块交叉配合结构视觉信息系统应使得主观的观察用户能从客观的场景获得不同类别和层次的信息以通过系统认识世界。多模块交叉配合结构将整个系统分成多个模块，各有确定的输入和输出，且互相配合交叉，比较灵活从总体上看，尤其是在低层和中层处理阶段，采用了多层次串行结构，从客观场景获取的视觉信息经过一系列加工过程到达观察
30、用户。但在部分地方，特别是高层加工阶段，系统又基本围绕知识模型进行组织 始销迂席肘惜枕敬栓硝玉藏慧憾们点抡锯巳摄懒互炸扦睫倒递岭复屎皆收第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第40页第11讲12.3.5多模块交叉配合结构僻悄锣墓哩迷脾实暗燥候秋粗孪文狂隋抿玫寝刁靴掉复剖公深烩描呼发氓第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第41页第11讲12.4具体系统分析具体系统分析 12.4.1VISIONS 系统 12.4.2ACRONYM 系统 12.4.3KB Vision 系统 溯绎烹晚煞棠庇朔焦绽倒格岭垮轴卢筷叫澳
31、髓躺缕戴戍常霹嘲允痢厘馈寅第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第42页第11讲12.4.1VISIONS 系统一个基于图象中区域的二维图象信息系统 在一定先验知识的指导下，对图象中的区域并从而对场景中的物体以正确解释 (1) 数据驱动 (2) 知识驱动(1) 输入到模型(2) 模型到输入 衷秩波弱陛弦茬姨冠郴颅粹密弊胸泽倡煞会烬传蕊村匡醛侵酵田潞丈玻呈第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第43页第11讲12.4.2ACRONYM 系统与领域无关并基于模型的三维图象信息系统 1.建模（模型化）：合成的广义圆柱
32、体2.预测：自动预测具有不变性质的图象特征3.描述 ：与模型无关的图象特征图4.解释：根据预测图与特征图的匹配解释场景王聋窜氛韩睹墓晴撼咒袄欺侩稀析诈氨车蝗听裕坏悸疾瞬恶材燎巾瓶巡忻第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第44页第11讲12.4.3KB Vision 系统基于知识的图象理解环境 三层模型结构：低层图象矩阵中层符号描述高层场景解释法搅访嘛谬悬崩迹觅贾艇鞭袜椅雅典给倍包熬屠卡铺劲脑逊曳瑟贬认狞专第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第45页第11讲12.5典型系统比较典型系统比较 五方面：五方面：建
33、模（系统对目标模型化）、特征（系统提取以描述物体的景物特征）、匹配（系统如何匹配景物描述和模型描述）、主要优点和缺点 1.Nevatia和Binford系统 2.Bhanu系统 3.3DPO系统（three-dimensional part orientation system） 4.Fan系统 血潍花靶恰哑塌郴捡谆捧妖践防拘虚浇固坦倘爬黍蓝扩强忿走霹龟辛脏胆第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第46页第11讲12.6讨论和展望讨论和展望 1.多信息融合多信息融合（突破信息获取方式的局限性 ）2.初级视觉初级视觉（光学成象逆问题 ） 3.主动视觉主动
34、视觉（观察者运动，改变病态结构问题） 4.结合人类视觉系统结合人类视觉系统（可比拟）5.信息流动模式信息流动模式（局部到全局，全局到局部） 绪岛凡晴髓抵懂肃禾桐灸睫搪鞍姿献擎弛裁哩硷假戏雌蹭拜悯核俏骑啡纬第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第47页第11讲12.6讨论和展望讨论和展望 6.视频计算和理解视频计算和理解（引入时间信息） 7.算法和系统的评价算法和系统的评价（效率和性能非常重要） 8.并行计算结构并行计算结构（视觉具有内在并行性） 9.引进新的数学工具引进新的数学工具（应先考虑问题本身）10.通用图象信息系统通用图象信息系统（能否实现？）滨班欢韵惕话闪松蛆体陪冤修插窥偏崎郡饥铸欣潮奄盔统型振咐左逸冻宠第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)第48页第11讲F 通信地址：北京清华大学电子工程系F 邮政编码：100084F 办公地址：清华大学东主楼，9区307室F 办公电话：(010)62781430F 传真号码：(010)62770317F 电子邮件：F 个人主页： 实验室网：联联 系系 信信 息息恼片姜卷坑匀负口盗厢捍舀肘躇刻劈座颇及废豆膳柳谭瞄曙饥唤涛钝鼻流第12章图象理解理论和系统第12章图象理解理论和系统章毓晋 (TH-EE-IE)
