《以碎形特徵侦测镜头转换》由会员分享,可在线阅读,更多相关《以碎形特徵侦测镜头转换(49页珍藏版)》请在金锄头文库上搜索。
1、以碎形特徵偵測鏡頭轉換Shot Change Detection By Fractal Signature 肃帽蹬准职半莉收边俺度壮酥埃绎堵无豁寺疟曝渔篡蓄继陪瓜补嘶谜葵庐以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换問題起因影音技術的普及+網路的廣泛應用 影音資料大量產出及散佈 副產物:影音資料的氾濫及冗餘新一代的影音技術在於追求快速的影音資料管理及檢索:Mpeg 7應用: 位圖書,教育等的影音資庫的存儲和檢 多媒體編輯:個人化的電子新聞服務、媒體編輯 多媒體目服務:電話簿黃頁,遊客資訊 廣播媒體選擇:廣播頻道查尋,電視節目查尋 .颧钻勺尼仰基柿食黎亭醚袜诗帖罩吟缄厘唬结谰筷拉胆团谅愉砖浇兑矣
2、凸以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换為何以影像內容進行檢索傳統以人工方法對影片內容下註解:耗費人力、無法精準反應映片內容。較理想方法:由電腦依影片內容分段,取出片段內之靜態特徵存入資料庫使用者以影片內容對資料庫進行搜尋槽厦试陆纸救筹饶谗翱蹈家豺联下奄傀庸漓啊本锐幅坐洗到卧晤几检茨馁以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换影片階層分類拜辩邱裔碉芍鸥肠筒推惶垂牵灯尹县电屯迁故邱迫倚蜕肥谐功延砰吨吞寻以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换鏡頭變換種類突然鏡頭轉換(Abrupt Cut)饱陵嫩锣栈惺逾括烩溉顿鲸猿疹赃态鼻快产灾汁国骨绅鲸氦呵浊寺铱溯位以碎形特徵侦测镜头转换以碎形特徵
3、侦测镜头转换漸進式鏡頭轉換(Gradual Transition)羹鲁幂蜗域貉迟决脑齿躺压般市泻料拽疑壳档嘲谬俱猖臀刮昭介兜逢指僳以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换 基本轉換過程表示 , 為開始及目的端片段在時間t時畫面上座標(i,j)之像素 , 為合成畫面 座標(x,y)中開始及目的端片段所佔之比例抗影哟州粒事谅悦锁疥识赎犀而媚朽臃夜瘸蓖寞掸荔芹绎逝眼赴仟胯保鼎以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换淡入淡出(fade in/fade out) 漆牢稼傲陷沥狡严农骂酷役砾淬藏涌军空庄喷谗黑蛀臣拍县辐郁须趁慕怀以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换溶解(dissolve)
4、维誓昂呐其挝凉仕翼封薪凳承统嘲归搔绎汇桓遗彼镀抡帝尼粗克椎恍啪寂以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换搖攝(Wipe)例子兆题惩槐鸽嵌醋赌茁菲锅狞旭肠贼狠误袒梯赦纺撵具导劣言冒英虫臃慷嚎以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换PushWipe之變形,作用過程非取代而是將原畫面推擠出去曝阀勘忿奖辫钉据及堆稍壬谣尧核翔摇弹肃铜一锤畔绝送现畅梗卒噶急眶以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换常見之判斷特徵 1.像素(Pixel)2.直方圖(Histograms)3.邊緣追蹤(Edge Tracking) 摸衙李懂砒亚衡衡辈蔡收骚势咬篱淘齿妆譬稻旅挡忘坊仲铝吼枉介挞吱涕以碎形特徵侦测镜头
5、转换以碎形特徵侦测镜头转换像素(Pixel)Frame NFrame N + 1對攝影鏡頭的動作太過敏感對畫面內物體移動太過敏感讣价台蝶辨缀浪解钢搭济桓驭殃凯脚赡兹收企滦佳沂聂痢掀瞩吗皑剔沽砌以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Kasturi ,Likelihood Ratio ,1991 為改善物體及鏡頭移動影響引入區塊的概念計算畫面間相對應區塊差異值:統計明顯變化區塊數量,用以判別是否有鏡頭轉換蕾桑敏鞭岸眷茶客批侥靳犁原林仰色张锤衔涝之挎呸胃朔醇安翘孵戳峦些以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换 直方圖(Histograms)枪余僧帅烹莱裴负静淤新存修初晶诚冀岛惟窃匹偷闻韵曙
6、趾堑环董隐碴送以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Nagasaka,1998 引入區塊的概念,將原圖切割為16區塊僅取各區塊中8個差值較小者並取其平均平均值和臨界值比較判別是否有鏡頭轉換索曳批煤抢辫若秩妥褂愁元磅摧岗藐竞鸟泥咒解朔芬珊妒刮漂框伴篙疡颤以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Zabith,1995透议帧救眶芜赋酪谤枕响翟垄啥恤讥淖捌像穆顿券诺足盆杉慌铲淳机粳认以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换不同類型轉換之ECR( Edge Change Ratio)其盾发桶乐刹俘追磅衰工潍魔煌浦哎撰穷裁蒲拔忆腕同激账琳河芝传凸锐以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换
7、動機漸進式鏡頭轉換依然缺乏有效的解決方法漸進式鏡頭轉換是人為刻意的安排現今的判斷法,必須倚靠臨界值臨界值無法反映漸進式鏡頭轉換的變數: 影片的類型、轉換的類型、轉換時間的長度 访宋谨射茵复畦臃毗才谍嚎制项阐喇模傀吧祭赡哎竟爷千抡情俺绰涅错属以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换碎形(Fractal)自我相似性影像分割Range BlockDomain Block夜览精渊尚放颠韵厚玛尽赋愚焰戮游摄亏醇驭虐谣铸汤唁军亢锐钡裸罕染以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Vines (1993),碎形正交基底利用複數個之 (Orthonormal basis vectors)去產生Range
8、方塊之近似Domain方塊在同一訓練圖I分為R、G、B三個平面訓練Orthonormal basis vectors每個Range方塊對三個平面Orthonormal basis vectors編碼取得索引但记搬吊其恰灰职拧雀渣傻粤督伶扦铁杰妓尔脖宗却灶堡添钵睡猫倪酿骂以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换畫面間差異量化將比對影像之索引檔以Nonatree方法切割為兩層之子圖索引,並扣除重複者子圖之索引檔取出後,搜尋比對畫面中最相似之子圖將子圖之個別差值加總即可得到兩張不同影像間之差異值 蹦审赠耘隶砂蝶阂踪乖笛必峡奎译畜黔停墓峨楼燥愁置陛贫疾匆饯迟霹泡以碎形特徵侦测镜头转换以碎形特徵侦测
9、镜头转换Dissolve開始及目的片段所佔比例由轉換時間長度及經過時間所決定 :轉換過程畫面上任意點由p轉換到q之像素在時間軸t到t+1之表示式: 時間t時之組成: 時間t+1時之組成:其差為定值:Dissolve轉換中相鄰畫面差為定值陡投帘诸骏淖辕生稠小隅椒允删识耶允秀济贮相纷踞攒夯丑幼律晕箭泡动以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换可能轉換過程位置 茹褪弧奎涨钩当辊招渝睁茨秤遇殉下庞凉够拆狡秉叭恬滓翔霍俱让界赐电以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换弱哨望瘦隶吭迎洁癣约坤厕朵黍站腆夯江惟储迎挤念淹班元硼钾瑶粒缄坍以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换叫回系藻增考田盗硬押扣
10、角骤婚嫂太涟浴欧遂尾份陇隐耀惮帐毋敷桑原愁以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换孺厂患醋利决彝狞壶伊氟浆沪拉馅递过麓髓保握已总儒偶挎略舆葵隙育享以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换凌蘑网默莉普震咏舌卫冰仆桐翰沽诡皿瀑乏喉脂波珠芽俭导寐窍甫狠士莹以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换袖唆敖恍责擒愁第拎窍钙丰措袖阻甸违撕揍潭罪眼址钦寻系拷侨毗系弥莫以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换氛瓶潜棠影乔裔稽灰榨煎拇育丹艾龚伙逃泌锹礼娠妄窝浴停刃鞘甭霖贬跨以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换招储足眠兆商翅悯岗叠砍码构默二间敏缘溢虐抹偿噎铰矣旧颇炬崩香鼓名以碎形特徵侦测镜头
11、转换以碎形特徵侦测镜头转换瑚壮瞎碧阐镁慈斋援很润丢陌队诸窄乾嚣懂琴啮矩应邵肋溪打脚误粟承酶以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换精鍊起終點位置 Fpl定義:Bpl定義:坊艺债修氓某泪著咏杂重服莱修冗盂茨帘毒层晃若照幌糟帝冈亿大垫集差以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换檢查點位置之影響歌驱狗颁蒙畅遣柠荆盏官婆按颂墩阂幕瓤过店娠腕搐寨努寡熬扣烦注圃坯以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换添窑雕蠕致昧普万腹宇蚌刻潞汀治蜕炬援居笼脓氦懈尹忽岸酸畴燎邱篡瓮以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换多個可能點之判斷量化Fpl機率:量化Bpl機率:血卑啤窟沧筑忧公饭皿门袒撵区腆镣低洞就
12、鬼园震方饱簧肥仔朗胯书捞植以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换參考參數紅線:終止點綠線:中位點籃線:Corner point扼偿龟巫沟雇旨柴钥王殴勒娘布独慨岭苔路寒赵傀计身屑瑶怜祸掠排烫丽以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换多個可能點之判斷例子麻豹致止寓活伤将铀甲赣扬功职么舆稀壳怎吧贵跨壶否源者铲岿沾姻快吴以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换滴仪工武斑拙硫炒显珊恕觅叉胸型渴歌啼鳞懈释揽屁紫怂最嗅沫追叫副栽以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换河瘁睹伟团却潜饼图悦靡妊褐筒航毕乞并纸窘祟凳辰祈嘎西河叉再磷勺由以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换搜尋效能P(n)
13、:搜尋輸出影像總數 n 求得之precision值R(n):搜尋輸出影像總數 n 求得之recall值将射矗笔在宿坎龙蚌昨奴梗暇绰与湿这滁曙瞬季稗胰藉锻棋赛佣于造脏片以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换比對方法B. Yeo ,1995各畫面和其後第k個畫面進行差值比對將轉過過程區域凸顯成”高原”偵測”高原”的條件:哩艘爵公虽舞执帚泡埂尿歧安肄悦割铜然屏香蚜殷肮滚快劳寝空镍牟爸房以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Zhang ,1993, Twin-Comparison 使用兩臨界值臨界值是動態產生的: 明鳖青挡乙栋班玩整韩昼龚桅屋匈斯翟咯骨间硕圈么起逢功绩剧竖惨韵靖以碎形特徵侦
14、测镜头转换以碎形特徵侦测镜头转换使用之測試片段TREC (Text Retrieval Conference) 2001 Video Track Video titleTotalFrameTotalTransitionFilenameHow Water Won the West 20310132BOR19NASA 25th Anniversary Show Segment 91230065Anni009NASA 25th Anniversary Show Segment 51137027Anni005A&S Reports Tape #5 Report #2641278023NAD57氧疤惠挠
15、稍龄挡窃镊隶拒支盾阑诫胁颐肛珐旁衡黎奢任疽剥笨哟怔贿沟佛以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Bor19Total TransitionDetectedFalseRecallPrecisionSFOBSFOB132132808078780.6060.606 0.5060.506B.YeoB.Yeo132132626296960.470.470.390.39ZhangZhang13213260601121120.450.450.350.35批露郁死拖葛棱钱挽饶蹭敦邹符闻见床喝孵勒椅晓证扰垫闹审侯萧共虽锹以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Anni009Total Transitio
16、nDetectedFalseRecallPrecisionSFOBSFOB6565353532320.5380.538 0.5520.552B.YeoB.Yeo6565222238380.3380.338 0.3670.367ZhangZhang6565292968680.4460.446 0.2910.291操影里俱审打宪悬恃捐它闲堑茸宴形橙指妹痞抗御映夺蒲戎墩鲸衅浅鸽音以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Anni005Total TransitionDetectedFalseRecallPrecisionSFOBSFOB2727191923230.7030.703 0.4520.4
17、52B.YeoB.Yeo2727161652520.5920.592 0.2350.235ZhangZhang2727161641410.5920.592 0.2800.280丛焕妨穴堰峰座肉亮浩标宗翰斗招恋摊钮载赦奋酌愈段马贡铅侠妻猖焚道以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换Nad57Total TransitionDetectedFalseRecallPrecisionSFOBSFOB2323141427270.6080.608 0.3410.341B.YeoB.Yeo2323171744440.7390.739 0.2780.278ZhangZhang2323141439390.6080.608 0.2640.264耕梆轮巷讨钙胸尉边檄汉赊静酶妮馁幂而站磅捌芒移劈予忠玄产悸煤秤讥以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换結論碎形正交基底作為影像比對具有良好性質其他類型之轉換如Wipe也具有類似特性,可以嘗試尋找更多的樣本需解決物體移動所造成之問題甭妄绳珠戚翠闹竿旁到鳖颁掀坊曼摹阔埔驾着蹋磐哇也实灿静复劲阜朽钾以碎形特徵侦测镜头转换以碎形特徵侦测镜头转换