機器視覺應用實例課件第一章

1、視視 覺覺 測測 量量主講人：全燕鳴教授 博士生導師South China University of Technology本章要點： 1.1計算機視覺的發(fā)展與系統(tǒng)構(gòu)成 1.2生物視覺簡介 1.3Marr視覺理論框架 1.4計算機視覺應用領(lǐng)域及面臨問題 1.5視覺測量系統(tǒng)與關(guān)鍵技術(shù)第一章 引論South China University of TechnologySouth China University of Technology2、計算機視覺的研究目標 計算機視覺的研究目標是使計算機具有通過一幅或多幅圖像認知 環(huán)境信息的能力。它不僅在于模擬人眼能完成的功能，更重要的是它能完成人眼所不能勝

2、任的。1、什么是計算機視覺 隨著信號處理理論和計算機技術(shù)的發(fā)展，人們試圖用攝像機獲取環(huán)境圖像并將其轉(zhuǎn)換成數(shù)字信號，用計算機實現(xiàn)對視覺信息處理的全過程，這樣就形成了一門新興的學科計算機視覺。South China University of Technology視覺測量廣泛應用于產(chǎn)品在線質(zhì)量監(jiān)控視覺測量廣泛應用于產(chǎn)品在線質(zhì)量監(jiān)控、微電子器件的自動檢測、各種磨具三、微電子器件的自動檢測、各種磨具三維形狀的測量及生產(chǎn)線線中機械手的定維形狀的測量及生產(chǎn)線線中機械手的定位與瞄準。在檢測領(lǐng)域有重要地位哦！位與瞄準。在檢測領(lǐng)域有重要地位哦！3、視覺測量概念的提出從計算機視覺概念和方法出發(fā)，將計算機視覺應用于

3、空間幾何尺 寸的精確測量和定位，從而產(chǎn)生了一種新的計算機視覺應用概念，視覺測量。視覺測量作為當今高新技術(shù)之一，在電子學、光學探測、圖像處理和計算機技術(shù)不斷成熟和完善的基礎(chǔ)上得到了突飛猛進的 發(fā)展。South China University of Technology美國美國Perceptron公司研制的用于轎車公司研制的用于轎車車身生產(chǎn)的車身生產(chǎn)的Perceptron 1000型多傳型多傳感器視覺測量系統(tǒng)感器視覺測量系統(tǒng) 美國美國Faro公司產(chǎn)品公司產(chǎn)品South China University of Technology ATOS便攜式三維掃描儀便攜式三維掃描儀South China U

4、niversity of Technology 英國英國3D Scanners公司的產(chǎn)品公司的產(chǎn)品South China University of TechnologySouth China University of Technology1.11.1計算機視覺的發(fā)展與系統(tǒng)構(gòu)成計算機視覺的發(fā)展與系統(tǒng)構(gòu)成20世紀世紀50年代開始統(tǒng)計模式識別，工作主要集中在二維圖像分析、識別和理解上。年代開始統(tǒng)計模式識別，工作主要集中在二維圖像分析、識別和理解上。如：字符識別、工件表面、顯微圖片和航空照片的分析解釋如：字符識別、工件表面、顯微圖片和航空照片的分析解釋60年代，年代，Roberts開創(chuàng)了以理解三維

5、場景為目標的三維計算機視覺的研究（開創(chuàng)了以理解三維場景為目標的三維計算機視覺的研究（Roberts提出了所謂的提出了所謂的“積木世界積木世界”說法）說法）70年代，出現(xiàn)了一些計算機視覺應用系統(tǒng)年代，出現(xiàn)了一些計算機視覺應用系統(tǒng)80年代，年代，Marr教授提出了教授提出了Marr視覺理論，該理論成為視覺理論，該理論成為20世紀世紀80年代計算機視覺研年代計算機視覺研究領(lǐng)域中的一個十分重要的理論框架究領(lǐng)域中的一個十分重要的理論框架80年代中期，計算機視覺獲得了迅速發(fā)展，主動視覺理論框架、給予感知特征群的年代中期，計算機視覺獲得了迅速發(fā)展，主動視覺理論框架、給予感知特征群的物體識別理論框架等新概念、

6、新方法、新理論不斷涌現(xiàn)物體識別理論框架等新概念、新方法、新理論不斷涌現(xiàn)90年代，計算機視覺在工業(yè)環(huán)境中得到廣泛應用，同時基于多視幾何的視覺理論得年代，計算機視覺在工業(yè)環(huán)境中得到廣泛應用，同時基于多視幾何的視覺理論得到迅速發(fā)展到迅速發(fā)展South China University of Technology計算機視覺系統(tǒng)構(gòu)成計算機視覺系統(tǒng)構(gòu)成計算機視覺系統(tǒng)一般以計算機為中心，主要有視覺傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊構(gòu)成，如圖所示：標準總線South China University of Technology（1）視覺傳感器視覺傳感器：視覺傳感器是整個計算機視覺系統(tǒng)信息的直接來

7、源，主要由一個或兩個圖像傳感器組成，有時還要配以光投射器及其它輔助設(shè)備。主要功能是獲取足夠的計算機視覺系統(tǒng)要處理的最原始圖像。常用的圖像傳感器：激光傳感器常用的圖像傳感器：激光傳感器、線陣和面陣、線陣和面陣CCD攝像機或攝像機或TV攝像機、數(shù)字攝相機攝像機、數(shù)字攝相機。South China University of TechnologySouth China University of Technology （2）高速圖像采集系統(tǒng)高速圖像采集系統(tǒng)：由專用視頻解碼器、圖像緩沖器以及控制接口電路組成。主要功能是適時地將視覺傳感器獲取的模擬視頻信號轉(zhuǎn)換為數(shù)字圖像信號，并將圖像直接傳送給計算機進行

8、顯示和處理，或者將數(shù)字圖像傳送給專用圖像處理系統(tǒng)進行視覺信號的實施前段處理。隨著邏輯門陣列FPGA芯片的出現(xiàn)，使得大多數(shù)高速圖像采集系統(tǒng)只需由幾個芯片就可以完成。 圖像采集系統(tǒng)與計算機的接口采用工業(yè)標準總線，如ISA、VME、PCI等。 South China University of Technology (3)專用圖像處理系統(tǒng)專用圖像處理系統(tǒng)：是計算機的輔助處理器，主要采用專用集成芯（ASIC)、數(shù)字信號處理器（DSP)或者FPGA等設(shè)計的全硬件處理器，可以實時高速完成各種低級圖像的處理算法，減輕后端計算機的處理負荷，提高整個視覺系統(tǒng)的速度。它與計算機之間的通信可以采用標準總線接口、串行

9、通信總線接口或者網(wǎng)絡(luò)通信等方式。South China University of Technology （4）計算機計算機：計算機是整個計算機視覺系統(tǒng)的核心，它除了控制整個系統(tǒng)的各個模塊的正常運行外，還承擔著視覺系統(tǒng)的最后結(jié)果運算和輸出。由圖像采集系統(tǒng)輸出的數(shù)字圖像可以直接傳送到計算機，有計算機采用純軟件方式完成所有的圖像處理和其他運算。如果純軟件處理能夠滿足視覺系統(tǒng)的要求，就不需專用硬件處理系統(tǒng)出現(xiàn)在計算機視覺系統(tǒng)。South China University of TechnologySouth China University of Technology1.21.2生物視覺簡介生物視覺

10、簡介生物視覺通路如下圖所示：經(jīng)視網(wǎng)膜中的神經(jīng)節(jié)細胞經(jīng)視網(wǎng)膜中的神經(jīng)節(jié)細胞加工后傳出視網(wǎng)膜加工后傳出視網(wǎng)膜上丘物體可見光光學系統(tǒng)光學系統(tǒng)在眼底視網(wǎng)膜上形成物象桿體和錐體桿體和錐體感光細胞感光細胞神經(jīng)信號視束丘腦外膝體視皮層1.2.1 生物視覺通路South China University of Technology視覺第一通路視覺第一通路：神經(jīng)節(jié)細胞軸突在外膝體患神經(jīng)元后，由外膝體神經(jīng)元直接經(jīng)到視放線到視皮層，這是視束的大部分纖維去向，稱為第一視覺通路。神經(jīng)信號主要是通過視覺第一視通路到達視皮層，在視覺過程中起著主要作用視覺第二通路視覺第二通路：視束的一小部分纖維走向內(nèi)方，經(jīng)上丘臂到達上丘和頂

11、蓋前區(qū)。上丘淺層神經(jīng)元投射到丘腦枕換元后，再投射到視皮層，上丘還有纖維直接透射到視皮層。由于這條通路不經(jīng)過外膝體，故稱為視覺第二通路。第二視覺視通路的作用極其微小。South China University of Technology由視覺視通路可以看到，眼、外膝體與視皮層構(gòu)成了對視覺信息處由視覺視通路可以看到，眼、外膝體與視皮層構(gòu)成了對視覺信息處理的三個基本層次。進一步分析表明，外膝體與視皮層有著更為復理的三個基本層次。進一步分析表明，外膝體與視皮層有著更為復雜的分塊結(jié)構(gòu)（尤其是視皮層）。分塊表明了視覺信息處理的并行雜的分塊結(jié)構(gòu)（尤其是視皮層）。分塊表明了視覺信息處理的并行性，不同區(qū)域的是

12、神經(jīng)細胞具有不同的功能；分層表明了視覺信息性，不同區(qū)域的是神經(jīng)細胞具有不同的功能；分層表明了視覺信息處理的串行性。因此，生物視覺系統(tǒng)是一個串行并行處理相結(jié)合的處理的串行性。因此，生物視覺系統(tǒng)是一個串行并行處理相結(jié)合的復雜系統(tǒng)。復雜系統(tǒng)。South China University of Technology1.2.2 感受野的分層等級假設(shè)視覺通路上各層次的神經(jīng)細胞，由簡單到復雜，它們所處理的信息，分別對應于視網(wǎng)膜上的一個局部區(qū)域，層次越深入，該區(qū)域就越大，這就是著名的感受野與感受野等級假設(shè)。感受野是支持視覺信息分層串行處理的最重要的生理學證據(jù)。以信息處理的第一級為例，視網(wǎng)膜上的神經(jīng)節(jié)細胞將感光

13、細胞上接收到的光信號轉(zhuǎn)換成電信號再由它的軸突傳出，但每一個GC細胞只能接收視網(wǎng)膜上一個局部區(qū)域的信號，該區(qū)域就是GC的感受野。GC感受野及其對光信號的轉(zhuǎn)換作用分為：感受野及其對光信號的轉(zhuǎn)換作用分為：1、對空、對空間亮度變化敏感的感受野。間亮度變化敏感的感受野。2、對時間變化敏感的、對時間變化敏感的Y型細胞。型細胞。South China University of Technology1.2.3 視覺信息的并行處理感受野的等級假設(shè)與局部性質(zhì)主要支持視覺信息處理的自下而上的分層次串行處理，然而視覺系統(tǒng)的任務不是單一的，它要識別物體的形狀和顏色，要得到三維物體的深度信息，要檢測物體的方位和運動參數(shù)

14、等等。因此，視覺通路的各個層次上存在著基本互相獨立的并行通道，分別完成不同的視覺任務。South China University of Technology視覺信息的處理是一個串行與并行相結(jié)合的復雜信息處理過程，但目前被人們認知的僅僅是一小部分，從信息處理角度看，迄今對大多數(shù)的處理單元的知識還非常有限，只知道這個單元對某種信息“敏感”，而信息是如何表征的、如何變換的，則仍不清楚，尤其是較高層信息的處理。South China University of Technology1.3 Marr1.3 Marr視覺理論框架視覺理論框架1.3.1 視覺系統(tǒng)研究的三個層次要素要素名稱名稱含義和所解決的

15、問題含義和所解決的問題1計算理論什么是計算目的，為什么要這樣計算2表達和算法怎樣實現(xiàn)計算理論，什么是輸入輸出表達，用什么算法實現(xiàn)表搭建的轉(zhuǎn)換3硬件實現(xiàn)怎樣在物理上實現(xiàn)表達和算法，什么是計算結(jié)構(gòu)的具體細節(jié)South China University of Technology1.3.2 視覺信息處理的三個階段早期視覺早期視覺處理處理中期視覺中期視覺處理處理后期視覺后期視覺處理處理圖像圖像3D描述描述要素圖要素圖2.5維圖維圖由圖像恢復形狀信息的表達框架由圖像恢復形狀信息的表達框架名稱目的基元圖像亮度表示圖像中每一點的亮度值基元圖表是二維圖像中的重要信息，主要是圖像中的亮度變化位置及其幾何分布和組

16、織結(jié)構(gòu)零交叉，斑點，端點和不連續(xù)點，邊緣，有效線段，組合群，曲線組織，邊界2.5維圖在以觀測者為中心的坐標中，表示可見表面的方向、深度值和不連續(xù)的輪廓局部表面朝向（“針”基元）；離觀測者的距離；深度上的不連續(xù)點；表面朝向的不連續(xù)點3維模型表示 在以物體為中心的坐標中，用由體積基元和面積基元構(gòu)成的模塊化多層次表示，描述形狀及其空間組織形式分層次組成若干三維模型，每個三維模型都是在幾個軸線空間的基礎(chǔ)上構(gòu)成的，所有體積基元或面積形狀基元都附著在軸線上South China University of TechnologyMarr視覺理論的不足之處：1、框架中輸入是被動的，給什么圖像，系統(tǒng)就處理什么圖

17、像；2、框架中加工目的不變，總是恢復場景中物體的位置和形狀等；3、框架缺乏或者說為足夠重視高層知識的指導作用；4、整個框架中信息加工過程基本自下而上，單向流動，沒有反饋。改進的Marr框架：圖像獲取早期處理中期處理后期處理高層知識視覺目的反饋South China University of Technology1.4 1.4 計算機視覺應用領(lǐng)域及面臨問題計算機視覺應用領(lǐng)域及面臨問題1、工業(yè)自動化生產(chǎn)線應用：產(chǎn)品檢測、工業(yè)探傷、自動焊接等；2、各類檢驗和監(jiān)視應用：標簽文字標記檢查，郵政自動化，顯微醫(yī)學操作等；3、視覺導航應用。巡航導彈制導、無人駕駛飛機飛行、自動行駛車輛等；4、圖像自動解釋應用

18、：對放射圖、顯微圖像、醫(yī)學圖像、遙感多波段圖 1 像等進行自動判讀理解；5、人機交互應用：人臉識別、智能代理等；6、虛擬現(xiàn)實應用：飛機駕駛員訓練、醫(yī)學手術(shù)模擬、場景建模等。計算機視覺的優(yōu)點：計算機視覺的優(yōu)點：1、最大優(yōu)點是與被測對象的無接觸2、所能觀測的對象十分廣泛3、計算機視覺不知疲勞，始終如一觀測1.4.1計算機視覺應用領(lǐng)域：South China University of Technology建立人類視覺的計算理論，并進而建成可與人類視覺系統(tǒng)相比擬的通用視覺系統(tǒng)是計算機視覺研究的最終目標。1.4.2 計算機視覺面臨的問題：1、如何準確、高速（實時）地識別出目標；2、如何有效的增大存儲容

19、量，以便容納下足夠細節(jié)的目標圖像；3、如何有效的構(gòu)造和組織處可靠的識別算法，并且順利地實現(xiàn)計算機視覺與人的視覺能力比較計算機視覺與人的視覺能力比較能力計算機視覺人的視覺測距能力有限定量估計定方向定量計算定量估計運動分析定量分析，但受限制定量分析檢測邊界區(qū)域?qū)υ肼暠容^敏感定量、定性分析圖像形狀受分割、噪聲制約高度發(fā)達圖像機構(gòu)需要專用軟件，能力有限高度發(fā)達陰影初級水平高度發(fā)達二維解釋對分割完善的目標能較好解釋高度發(fā)達三維解釋較為低級高度發(fā)達總的能力最適合于結(jié)構(gòu)環(huán)境的定量測量最適合于復雜的、非結(jié)構(gòu)化環(huán)境的定量解釋計算機視覺與人的視覺性能標準比較計算機視覺與人的視覺性能標準比較性能標準計算機視覺人的視覺分辨率能力有限定量估計處理速度零點幾秒/每幀圖像定量估計處理方式串行處理，部分并行處理每只眼睛每秒處理（實時）1010空間數(shù)據(jù)視覺功能二維、三維立體視覺有限自然形式三維