《計算機視覺》課程綜合作業(yè)

1、 6/6計算機視覺課程綜合作業(yè) 計算機視覺課程綜合作業(yè) 一、論述題 1.計算機視覺的研究領(lǐng)域及其主要支持技術(shù)？簡述當(dāng)前的技術(shù)進(jìn)展。 答：計算機視覺是使用計算機及相關(guān)設(shè)備對生物視覺的一種模擬。它的主要任務(wù)就是通過對采集的圖片或視頻進(jìn)行處理以獲得相應(yīng)場景的三維信息，就像人類和許多其他類生物每天所做的那樣。計算機視覺既是工程領(lǐng)域，也是科學(xué)領(lǐng)域中的一個富有挑戰(zhàn)性重要研究領(lǐng)域。計算機視覺是一門綜合性的學(xué)科，它已經(jīng)吸引了來自各個學(xué)科的研究者參加到對它的研究之中。其中包括計算機科學(xué)和工程、信號處理、物理學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)，神經(jīng)生理學(xué)和認(rèn)知科學(xué)等。有不少學(xué)科的研究目標(biāo)與計算機視覺相近或與此有關(guān)。 主要支持技

2、術(shù)包括圖象處理、模式識別或圖象識別、景物分析、圖象理解等。由于歷史發(fā)展或領(lǐng)域本身的特點這些學(xué)科互有差別，但又有某種程度的相互重迭。 圖象處理 圖象處理技術(shù)把輸入圖象轉(zhuǎn)換成具有所希望特性的另一幅圖象。例如，可通過處理使輸出圖象有較高的信-噪比，或通過增強處理突出圖象的細(xì)節(jié)，以便于操作員的檢驗。在計算機視覺研究中經(jīng)常利用圖象處理技術(shù)進(jìn)行預(yù)處理和特征抽取。 模式識別 模式識別技術(shù)根據(jù)從圖象抽取的統(tǒng)計特性或結(jié)構(gòu)信息，把圖象分成予定的類別。例如，文字識別或指紋識別。在計算機視覺中模式識別技術(shù)經(jīng)常用于對圖象中的某些部分，例如分割區(qū)域的識別和分類。 圖象理解 給定一幅圖象，圖象理解程序不僅描述圖象本身，而且

3、描述和解釋圖象所代表的景物，以便對圖象代表的內(nèi)容作出決定。在人工智能視覺研究的初期經(jīng)常使用景物分析這個術(shù)語，以強調(diào)二維圖象與三維景物之間的區(qū)別。圖象理解除了需要復(fù)雜的圖象處理以外還需要具有關(guān)于景物成象的物理規(guī)律的知識以及與景物內(nèi)容有關(guān)的知識。 當(dāng)前的技術(shù)進(jìn)展： 人工智能所研究的一個主要問題是：如何讓系統(tǒng)具備“計劃”和“決策能力”？從而使之完成特定的技術(shù)動作（例如：移動一個機器人通過某種特定環(huán)境）。這一問題便與計算機視覺問題息息相關(guān)。在這里，計算機視覺系統(tǒng)作為一個感知器，為決策提供信息。另外一些研究方向包括模式識別和機器學(xué)習(xí)（這也隸屬于人工智能領(lǐng)域，但與計算機視覺有著重要聯(lián)系），也由此，計算機視

4、覺時常被看作人工智能與計算機科學(xué)的一個分支。 計算機視覺關(guān)注的目標(biāo)在于充分理解電磁波主要是可見光與紅外線部分遇到物體表面被反射所形成的圖像，而這一過程便是基于光學(xué)物理和固態(tài)物理，一些尖端的圖像感知系統(tǒng)甚至?xí)?yīng)用到量子力學(xué)理論，來解析影像所表示的真實世界。同時，物理學(xué)中的很多測量難題也可以通過計算機視覺得到解決，例如流體運動。也由此，計算機視覺同樣可以被看作是物理學(xué)的拓展。 另一個具有重要意義的領(lǐng)域是神經(jīng)生物學(xué)，尤其是其中生物視覺系統(tǒng)的部分。 在整個20世紀(jì)中，人類對各種動物的眼睛、神經(jīng)元、以及與視覺刺激相關(guān)的腦部組織都進(jìn)行了廣泛研究，這些研究得出了一些有關(guān)“天然的”視覺系統(tǒng)如何運作的描述（盡管

5、仍略嫌粗略），這也形成了計算機視覺中的一個子領(lǐng)域人們試圖建立人工系統(tǒng)，使之在不 同的復(fù)雜程度上模擬生物的視覺運作。同時計算機視覺領(lǐng)域中，一些基于機器學(xué)習(xí)的方法也有參考部分生物機制。 計算機視覺的另一個相關(guān)領(lǐng)域是信號處理。很多有關(guān)單元變量信號的處理方法，尤其對是時變信號的處理，都可以很自然的被擴展為計算機視覺中對二元變量信號或者多元變量信號的處理方法。但由于圖像數(shù)據(jù)的特有屬性，很多計算機視覺中發(fā)展起來的方法，在單元信號的處理方法中卻找不到對應(yīng)版本。這類方法的一個主要特征，便是他們的非線性以及圖像信息的多維性，以上二點作為計算機視覺的一部分，在信號處理學(xué)中形成了一個特殊的研究方向。 2.雙目立體視

6、覺技術(shù)原理及其研究現(xiàn)狀？ 答：雙目立體視覺是計算機視覺的一個重要分支，即由不同位置的兩臺或者一臺攝像機（CCD）經(jīng)過移動或旋轉(zhuǎn)拍攝同一幅場景，通過計算空間點在兩幅國像中的視差，獲得該點的三維坐標(biāo)值。 基本原理如下： 立體視覺系統(tǒng)由左右兩部攝像機組成。如圖二所示，圖中分別以下標(biāo)l和r標(biāo)注左、右攝像機的相應(yīng)參數(shù)。世界空間中一點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(ur，vr)。這兩個像點是世界空間中同一個對象點A的像，稱為“共軛點”。知道了這兩個共軛像點，分別作它們與各自相機的光心Ol和Or的連線，即投影線alOl和arOr，它們的交點即為世界空間中

7、的對象點A(X，Y，Z)。這就是立體視覺的基本原理。 雙目體視目前主要應(yīng)用于四個領(lǐng)域：機器人導(dǎo)航、微操作系統(tǒng)的參數(shù)檢測、三維測量和虛擬現(xiàn)實。 目前研究現(xiàn)狀如下： 日本大阪大學(xué)自適應(yīng)機械系統(tǒng)研究院研制了一種自適應(yīng)雙目視覺伺服系統(tǒng)，利用雙目體視的原理，如每幅圖像中相對靜止的三個標(biāo)志為參考，實時計算目標(biāo)圖像的雅可比短陣，從而預(yù)測出目標(biāo)下一步運動方向，實現(xiàn)了對動方式未知的目標(biāo)的自適應(yīng)跟蹤。該系統(tǒng)僅要求兩幅圖像中都有靜止的參考標(biāo)志，無需攝像機參數(shù)。而傳統(tǒng)的視覺跟蹤伺服系統(tǒng)需事先知道攝像機的運動、光學(xué)等參數(shù)和目標(biāo)的運動方式。 日本奈良科技大學(xué)信息科學(xué)學(xué)院提出了一種基于雙目立體視覺的增強現(xiàn)實系統(tǒng)（AR）注冊

8、方法，通過動態(tài)修正特征點的位置提高注冊精度。該系統(tǒng)將單攝像機注冊（MR）與立體視覺注冊（SR）相結(jié)合，利用MR和三個標(biāo)志點算出特征點在每個圖像上的二維坐標(biāo)和誤差，利用SR和圖像對計算出特征點的三維位置總誤差，反復(fù)修正特征點在圖像對上的二維坐標(biāo)，直至三維總誤差小于某個閾值。該方法比僅使用MR或SR方法大大提高了AR系統(tǒng)注冊深度和精度。實驗結(jié)果如圖2，白板上三角開的三頂點被作為單攝像機標(biāo)定的特征點，三個三角形上的模型為虛擬場景，烏龜是真實場景，可見基本上難以區(qū)分出虛擬場景（恐龍）和現(xiàn)實場景（烏龜）。 日本東京大學(xué)將實時雙目立體視覺和機器人整體姿態(tài)信息集成，開發(fā)了仿真機器人動態(tài)行長導(dǎo)航系統(tǒng)。該系統(tǒng)實

9、現(xiàn)分兩個步驟：首先，利用平面分割算法分離所拍攝圖像對中的地面與障礙物，再結(jié)合機器人身體姿態(tài)的信息，將圖像從攝像機的二維平面坐標(biāo)系轉(zhuǎn)換到描述軀體姿態(tài)的世界坐標(biāo)系，建立機器人周圍區(qū)域的地圖；基次根據(jù)實時建立的地圖進(jìn)行障礙物檢測，從而確定機器人的行走方向。 日本岡山大學(xué)使用立體顯微鏡、兩個CCD攝像頭、微操作器等研制了使用立體顯微鏡控制微操作器的視覺反饋系統(tǒng)，用于對細(xì)胞進(jìn)行操作，對鐘子進(jìn)行基因注射和微裝配等。 麻省理工學(xué)院計算機系統(tǒng)提出了一種新的用于智能交通工具的傳感器融合方式，由雷達(dá)系統(tǒng)提供目標(biāo)深度的大致范圍，利用雙目立體視覺提供粗略的目標(biāo)深度信息，結(jié)合改進(jìn)的圖像分割算法，能夠在高速環(huán)境下對視頻圖

10、像中的目標(biāo)位置進(jìn)行分割。 華盛頓大學(xué)與微軟公司合作為火星衛(wèi)星“探測者”號研制了寬基線立體視覺系統(tǒng)，使“探測者”號能夠在火星上對其即將跨越的幾千米內(nèi)的地形進(jìn)行精確的定位玫導(dǎo)航。系統(tǒng)使用同一個攝像機在“探測者”的不同位置上拍攝圖像對，拍攝間距越大，基線越寬，能觀測到越遠(yuǎn)的地貌。系統(tǒng)采用非線性優(yōu)化得到兩次拍攝圖像時攝像機的相對準(zhǔn)確的位置，利用魯棒性強的最大似然概率法結(jié)合高效的立體搜索進(jìn)行圖像匹配，得到亞像素精度的視差，并根據(jù)此視差計算圖像對中各點的三維坐標(biāo)。相比傳統(tǒng)的體視系統(tǒng)，能夠更精確地繪制“探測者”號周圍的地貌和以更高的精度觀測到更遠(yuǎn)的地形。 國內(nèi)研究動態(tài) 浙江大學(xué)機械系統(tǒng)完全利用透視成像原理，

11、采用雙目體視方法實現(xiàn)了對多自由度機械裝置的動態(tài)、精確位姿檢測，僅需從兩幅對應(yīng)圖像中抽取必要的特征點的三維坐標(biāo)，信息量少，處理速度快，尤其適于動態(tài)情況。與手眼系統(tǒng)相比，被測物的運動對攝像機沒有影響，且不需知道被測物的運動先驗知識和限制條件，有利于提高檢測精度。 東南大學(xué)電子工程系基于雙目立體視覺，提出了一種灰度相關(guān)多峰值視差絕對值極小化立體匹配新方法，可對三維不規(guī)則物體（偏轉(zhuǎn)線圈）的三維空間坐標(biāo)進(jìn)行非接觸精密測量。 哈工大采用異構(gòu)雙目活動視覺系統(tǒng)實現(xiàn)了全自主足球機器人導(dǎo)航。將一個固定攝像機和一個可以水平旋轉(zhuǎn)的攝像機，分別安裝在機器人的頂部和中下部，可以同時監(jiān)視不同方位視點，體現(xiàn)出比人類視覺優(yōu)越的

12、一面。通過合理的資源分配及協(xié)調(diào)機制，使機器人在視野范圍、測跟精度及處理速度方面達(dá)到最佳匹配。雙目協(xié)調(diào)技術(shù)可使機器人同時捕捉多個有效目標(biāo)，觀測相遇目標(biāo)時通過數(shù)據(jù)融合，也可提高測量精度。在實際比賽中其他傳感器失效的情況下，僅僅依靠雙目協(xié)調(diào)仍然可以實現(xiàn)全自主足球機器人導(dǎo)航。 火星863計劃課題“人體三維尺寸的非接觸測量”，采用“雙視點投影光柵三維測量” 原理，由雙攝像機獲取圖像對，通過計算機進(jìn)行圖像數(shù)據(jù)處理，不僅可以獲取服裝設(shè)計所需的特征尺寸，還可根據(jù)需要獲取人體圖像上任意一點的三維坐標(biāo)。該系統(tǒng)已通過中國人民解放軍總后勤部軍需部鑒定?？蛇_(dá)到的技術(shù)指標(biāo)為：數(shù)據(jù)采集時間小于5s/人；提供身高、胸圍、腰圍

13、、臀圍等圍度的測量精度不低于1.0cm。 3.機器視覺的應(yīng)用原理及場合，機器人視覺屬于計算機視覺應(yīng)用嗎？ 答：機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)是指通過機器視覺產(chǎn)品（即圖像攝取裝置，分 CMOS 和CCD 兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進(jìn)行各種運算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。 應(yīng)用原理：機器視覺檢測系統(tǒng)采用CCD照相機將被檢測的目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號，圖像處理系統(tǒng)對這些信號進(jìn)行

14、各種運算來抽取目標(biāo)的特征，如面積、數(shù)量、位置、長度，再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果，包括尺寸、角度、個數(shù)、合格 / 不合格、有 / 無等，實現(xiàn)自動識別功能。 應(yīng)用場合：1.自動光學(xué)檢查 2.人臉偵測 3.無人駕駛汽車 機器人視覺屬于計算機視覺應(yīng)用。 4.立體視覺與立體電視有無區(qū)別，為什么？ 答：立體視覺是人眼在觀察事物時所具有的立體感。再進(jìn)一步講，人眼對獲取的景象有相當(dāng)?shù)纳疃雀兄芰Γ―epth Perception），而這些感知能力又源自人眼可以提取出景象中的深度要素（Depth Cue）。 立體電視是一種能夠模擬實際景物的真實空間關(guān)系的電視系統(tǒng)。又稱三維電視(Three-dimens

15、ional television,3D-TV)。立體電視圖像不僅能給觀眾一種深度感覺，而且能給觀眾一種景物伸展于熒光屏之外似乎伸手可觸的感覺。 人眼的立體視覺特性是立體電視的基礎(chǔ)。人類在觀看四周世界時，不僅能看到物體的寬度和高度，而且能知道它們的深度，能判定物體之間或觀看者與物體之間的距離。這種三維視覺特性產(chǎn)生的主要原因是：人們通?？偸请p目同時觀看物體，而由于兩只眼睛視軸的間距（約65 mm），左眼和右眼在看一定距離的物體時，所接收到的視覺圖像是不同的，因而大腦通過眼球的運動、調(diào)整，綜合了這兩幅圖像的信息，產(chǎn)生立體感。在單用左眼和右眼觀看物體時，所產(chǎn)生的圖像移位感覺就叫視差。理論分析可知，在沒

16、有任何工具的情況下，人眼可看到立體物體的最遠(yuǎn)距離不超過 1 km。由經(jīng)驗得知，人的立體視覺還不是絕對靠視差，一只眼睛的人同樣能判定物體深度和距離，他們主要是靠光線明暗、物體的相對尺寸、清楚程度、運動速度等來進(jìn)行判定的，把眼球視線注視于一點或一小區(qū)域后，利用眼睛上下左右轉(zhuǎn)動來對物體上下、左右、前后掃描觀察，以便使物體能在眼球運動、肌肉做功過程中，獲得多幅稍有差別的物體圖像信息，通過長期以來所積累的觀察事物的經(jīng)驗進(jìn)行判定等就足可獲得立體感，由此可見，兩只眼睛觀察觀看同一物體的視覺信號，可以獲得立體感，而用一個眼睛對同一物體從兩個稍有差別的觀察點來獲得圖像信息，也能使人獲得立體感。 也就是說，立體電

17、視是立體視覺中的一項技術(shù)成果，電視利用人的立體視覺 原理發(fā)明的。 5. 基于圖像內(nèi)容的視頻圖像檢索如何進(jìn)行？簡述方法與步驟。 答：視頻數(shù)據(jù)的本質(zhì)是一組連續(xù)的圖像幀，除了存在時間上的先后關(guān)系外，其本身并不具有任何結(jié)構(gòu)信息。要實現(xiàn)基于內(nèi)容的視頻檢索，必須為視頻建立不同層次的結(jié)構(gòu)索引，并進(jìn)一步為視頻的檢索和瀏覽提供基本訪問單元。 基于內(nèi)容的視頻檢索系統(tǒng)框圖如下： 用戶 輸出 6. 基于灰度和特征的兩種匹配算法各有何不同？目前研究較多是基于哪種匹配 算法？ 答：基于灰度的匹配算法是指圖象處理中所稱的區(qū)域相關(guān)方法，它是解決對應(yīng)問題的一個最直觀最簡單的方法。在一幅圖象中以一點為中心選定一區(qū)域（窗口），在另

18、一幅圖象中尋找與該區(qū)域相關(guān)系數(shù)最大的區(qū)域，把該找到的區(qū)域的中心認(rèn)為是原來那區(qū)域中心的對應(yīng)點 。 基于圖像特征方法提取各類圖像中保持不變的特征，如邊緣點、閉區(qū)域的中心等，作為兩幅圖像匹配的參考信息。這類方法的主要優(yōu)點是它提取了圖像的顯著特征，大大壓縮了圖像的信息量，使得計算量小，速度較快，而且這種方法對輸入模塊 詢問模塊 特征/圖像 數(shù)據(jù)庫 特征抽取 檢索模塊 特征比較 特征抽取 交互 詢問模式 瀏覽 和 反饋 特征提取和特征匹配的錯誤更敏感，需要可靠的特征提取和特征一致性?；趫D像特征的匹配方法包括特征提取、特征匹配選取、變換模型及求取參數(shù)坐標(biāo)、變換與插值四個主要組成部分。 基于灰度和特征的兩種匹配算法的不同：基于灰度的匹配算法計