《大尺寸萤幕双摄影机多点触控设计》由会员分享，可在线阅读，更多相关《大尺寸萤幕双摄影机多点触控设计（11页珍藏版）》请在金锄头文库上搜索。
1、大尺寸螢幕雙攝影機多點觸控設計大尺寸螢幕雙攝影機多點觸控設計 柳家瑋 粘存賢 陳慶瀚 中央大學資訊工程系 摘摘 要要 觸控螢幕已經成為消費性電子產品最重要的人機介面。比起傳統的單點式觸控螢幕（single touch-panel，即只能使用一個指標來操作的螢幕） ，雙點式（dual-touch）和多點式(multi-touch)的觸控螢幕能提供更多直覺、有趣的操作，目前應用在大螢幕的多點觸控系統有著高複雜性、高成本的問題。在這個研究中，我們提出一個雙點式觸控方法。使用兩個裝置於螢幕左上角和右上角的攝影機取得螢幕表面的觸控點影像和動態資訊，進而分析手指或觸控筆的螢幕座標位置或運動狀態。基於這個雙
2、攝影機取像系統，我們成功的開發出一套適用在大尺寸螢幕、建構成本極低且不占空間的多點觸控系統，提供使用 者更方便、更直覺的操作。 關鍵字關鍵字: 觸控螢幕、多點觸控、雙攝影機 2008 位科技與創新管研討會 文編號：147 位科技組 1133Multi-touch with large-size screen in dual camera Jia-Wei LIOU, Tsun-Shian NIAN, Ching-Han CHEN Dept. of Computer Science and Information Engineering, National Central University A
3、BSTRACT Touch panel is becoming a most important user interface in the consumer electronics. Comparing with the conventional single-touch panel, dual-touch and multi-touch could provide a more instinctive and funny operation for user. Nowadays, a multi touch-panel with a large-size screen exist some
4、 problems such as high cost and complex design. In this research, we propose a method about dual-touch panel. We use two cameras to get touch point and moving information that on the surface of panel from fingers. The two cameras are installed on the top left and top right corner of the panel. We ma
5、ke use of two images which cameras captured to analysis positions of fingers and moving path. Base on the two cameras architecture, we develop a dual-touch panel suit for the large-size screen successfully and this system is very low cost and small volume. The dual-touch system we developed could pr
6、ovide a more convenient and instinctive operation for user. Keyword：touch panel, multi touch, dual camera 2008 位科技與創新管研討會 文編號：147 位科技組 11341.回顧 1.回顧 觸控螢幕的演進，從以往的電阻式、電容式等單點觸控技術，到現在的投影電容式、光學式、數位影像式等多點觸控技術；單點式的觸控技術，往往只能讓使用者點點按鈕，或是模擬滑鼠的功能，就應用上來說較無法多元，而現在的多點式觸控螢幕中，可以同時偵測到兩點以上的接觸，讓我們得以完成許多以往單點式觸控難以做到的事情，例
7、如影像的旋轉、縮放等等，因此，多多點式的觸控螢幕也會帶給使用者更直覺、更方便的人機介面。 觸控螢幕的種類非常多，不同種類的觸控技術都各有其優缺點，目前常用的單點式觸控螢幕技術，大約分成以下幾種:電阻式、表面電容式、表面聲波和光學式等等。 電阻式的觸控螢幕可以用手指或筆等任何物體去按壓螢幕上的電阻薄膜產生電阻的變化，藉此來偵測(x,y)座標，電阻式的觸控螢幕非常普及，最主要的優點是價格便宜，除此之外，還有防水、耐污性佳，耐刮等優點，缺點是透光度不佳，精準度不夠，使用年限低。 表面電容式的觸控螢幕無法用任意的物體來操作，必須要使用可導電的物體，例如人的手指；當人的手指碰觸到面板表面時，此時手指便會
8、吸取一點微量的電流，引起電容值的變化，後面的控制器則會算出電流被吸走的比例而算出(x,y)座標。表面電容式的主要優點是敏感，只要輕輕碰觸就能產生反應，而電阻式則必須施力按壓才會有反應；電容式的特性是耐刮、抗磨損、耐用、精準度高和抗污。 表面聲波式觸控面板的表面完全由玻璃組成，三個角落由超音波發射和接收器在中間區域形成一個均勻的聲波力場，利用聲波碰到軟性介質會被吸收掉能量的特性來做觸控定位的目的，因此必須用手指或軟式觸頭（例如鉛筆上的橡皮擦）來操作。由於在螢幕上沒有任何的塗膜，因此有高度的耐用性和清晰性。 光學式的觸控螢幕利用光源接收遮斷原理，將面板範圍內佈滿光源與接收器並組成矩陣，當光線遭遮斷
9、時，即可得知收不到信號接收器的位置，進而確定其精確位置。，特性是有 100%的透光率，可以用任何的物體來操作，壽命長。 目前大多數的應用還是以單點式觸控螢幕為主，而目前較流行的多點式觸控螢幕，像是 MicroSoft 的 Surface 主要原理是將一個紅外線發射器放置在螢幕後方，當我們的手指碰觸到螢幕上時會把發射器射出來的紅外線反射回去，這時候在螢幕後方的四個近紅外線接收器就依據反射的位置來判斷手指的位置。另外 Apple 的 iPhone 採用電容式的做法來實現多點觸控。 多點觸控目前最大的問題在於龐大的體積和價格過高，現行多點觸控螢幕最主要的兩種技術分別是受抑內全反射1 和投影電容2，前
10、者的缺點是體積過大，後者應用在大尺寸螢幕上則單價過高。而我們以雙攝影機的方式來開發多點觸控系統不但可以應用在大尺寸螢幕上，而且成本低廉。 在第二章將介紹我們實做的多點觸控系統硬體架構，第三章說明手指定位演算法流程。 2008 位科技與創新管研討會 文編號：147 位科技組 11352.系統架構 2.系統架構 系統硬體架構如圖一所示，我們將兩個攝影機分別裝置在螢幕的左上角和右上角，藉由兩個攝影機拍攝到的影像來找出手指的座標，接著再傳入電腦裡做處理。 圖一 雙攝影機多點觸控架構 圖二 兩張影像分別是左上角和右上角的攝影機所取得的影像 由圖二的兩張影像來判斷有幾隻手指接觸在螢幕上，並找出這些手指的正
11、確座標，在我們的方法裡，只需要處理圖二中最下面綠色區塊的部分即可。 3.雙攝影機手指定位方法 3.雙攝影機手指定位方法 我們提出的方法和流程如圖三所示，可分成四個步驟；分別是影像前處理、判斷接觸手指個數、計算手指位置和追蹤手指。 圖三 雙攝影機手指定位方法的四個步驟 影像前 處理判斷接觸 手指個數計算手指 位置追蹤手指2008 位科技與創新管研討會 文編號：147 位科技組 1136影像前處理的目的是為了將攝影機所拍攝到的影像轉換成較簡單的一維資訊，並過濾掉影像中的雜訊。判斷接觸手指個數是依據影像前處理的結果來得知有幾隻手指接觸到螢幕。計算手指位置將碰觸到螢幕的手指位置轉換成在螢幕上的絕對座標
12、。追蹤手指是根據上一次計算出的結果來判斷這次手指碰觸到螢幕的位置。 3.1 影像前處理3.1 影像前處理影像前處理影像前處理背景消除背景消除平滑化平滑化二值化二值化影像投影影像投影平等化平等化圖四 影像前處理的五個步驟 在一開始，我們先將攝影機拍攝到的第一張照片拍下來存成成背景，接下來每次拍攝到一張新影像時會與背景影像相減，並將背景消除後的新影像做平滑化來降低雜訊的干擾，我們使用一個 3x3 的遮罩，將遮罩裡的值相加後取平均來當作新的值，公式如下 g x,y =1 9f x + i,y + j 1j=11i=1(1) f(x,y)是每點像素的值，g(x,y)是這次要處理的像素，我們將 g(x,
13、y)周圍的點相加取平均後當作 g(x,y)新的值，接著我們將影像以一個變動的閥值做二值化，二值化後將影像投影，計算每一行白色點的數目並將它轉成一維資訊。下一個步驟將一維的資訊作平等化，平等化的公式如下: Ti=1 kSij+k2kj=1(2) Si代表一維資訊中的第 i 個元素，Ti是最後得結果。圖五是影像前處理中每個步驟的結果。 2008 位科技與創新管研討會 文編號：147 位科技組 1137圖五 (a)背景消除(b)平滑化(c)二值化(d)影像投影(e)平等化 3.2 判斷接觸手指個數 3.2 判斷接觸手指個數 在這個階段，我們必須判斷是否有手指碰到螢幕表面，並且要知道有幾隻手指碰到螢幕
14、。透過上一個步驟的一維影像結果，我們可以得到手指在影像中水平的位置。圖六是辨識手指個數的流程圖。 在一維影像T裡找一個值最高的元素kTk閥值沒有偵測到手指把k的位置記錄 下來並把T在k位 置的左右兩邊區 域消除NOYes在一維影像T裡 找一個值最高的 元素hTh閥值偵測到一隻手指把h的值紀錄下來 偵測到兩隻手指NOYes圖六 辨識手指的個數 第一步，我們在一維影像 T 裡尋找最大值 Tk，如果 Tk大於閥值，我們就確定有一隻手指在位置 k 的地方觸碰到螢幕，如果 Tk小於閥值，我們就確定沒有手指碰觸到螢幕。2008 位科技與創新管研討會 文編號：147 位科技組 1138接下來，我們將位置 k
15、 的周圍消除掉，繼續在一維影像 T 裡尋找最大值 Th，如果 Th大於閥值的話，我們就確定有第二隻手指在 h 的地方碰觸到螢幕，如果 Th小於閥值，表示只有一隻手指碰觸到螢幕。圖七是尋找 k 和 h 的步驟。 圖七 在一維影像 T 中尋找 k 和 h 3.3 計算手指位置3.3 計算手指位置 我們設定 1和 2分別是手指與螢幕左上角和右上角之間的夾角，將 1與 2算出以後便可知道手指在螢幕上的座標。圖八是手指和螢幕間的關係圖。 圖八 1和 2是攝影機的可視範圍，W 是螢幕的寬度，(x,y)是手指位置 我們可以用(3)式來算出 1和 2 1= 2 k1L11+ 1 2= 2 L2K2L22+ 2
16、 k1和 k2分別是手指在左上角攝影機和右上角攝影機中的水平位置，L1 和 L2 則是一維資訊 T 的總長度。我們在算出 1和 2之後，這兩條線的交點就是我們手指在螢幕上的位置，經由(4)式可以算出手指在螢幕上的座標。 x =W tan 2 tan1+tan2 y = xtan1 (3) (4) 2008 位科技與創新管研討會 文編號：147 位科技組 11393.4 追蹤手指 3.4 追蹤手指 在前面的部分我們已經可以算出一隻手指的座標，但是如果在螢幕上有兩隻手指的話，那我們算出來的結果將會出現兩組可能的點，其中一組是我們手指真正的位置，而另外一組則是假點。關係圖如圖九。 圖九 兩隻手指在螢幕上時會出現兩組可能的點 在最後這個部分，我們必須決定那一組是真正的點，而哪一組是假點。我們假設兩隻手指不會同時放下，也就是說兩隻手指
