機(jī)器視覺應(yīng)用實例課件第一章

1、視視 覺覺 測測 量量主講人：全燕鳴教授 博士生導(dǎo)師South China University of Technology本章要點： 1.1計算機(jī)視覺的發(fā)展與系統(tǒng)構(gòu)成 1.2生物視覺簡介 1.3Marr視覺理論框架 1.4計算機(jī)視覺應(yīng)用領(lǐng)域及面臨問題 1.5視覺測量系統(tǒng)與關(guān)鍵技術(shù)第一章 引論South China University of Technology什么是計算機(jī)視覺什么是計算機(jī)視覺呢？呢？South China University of Technology2、計算機(jī)視覺的研究目標(biāo) 計算機(jī)視覺的研究目標(biāo)是使計算機(jī)具有通過一幅或多幅圖像認(rèn)知 環(huán)境信息的能力。它不僅在于模擬人眼能完

2、成的功能，更重要的是它能完成人眼所不能勝任的。1、什么是計算機(jī)視覺 隨著信號處理理論和計算機(jī)技術(shù)的發(fā)展，人們試圖用攝像機(jī)獲取環(huán)境圖像并將其轉(zhuǎn)換成數(shù)字信號，用計算機(jī)實現(xiàn)對視覺信息處理的全過程，這樣就形成了一門新興的學(xué)科計算機(jī)視覺。South China University of Technology視覺測量廣泛應(yīng)用于產(chǎn)品在線質(zhì)量監(jiān)控視覺測量廣泛應(yīng)用于產(chǎn)品在線質(zhì)量監(jiān)控、微電子器件的自動檢測、各種磨具三、微電子器件的自動檢測、各種磨具三維形狀的測量及生產(chǎn)線線中機(jī)械手的定維形狀的測量及生產(chǎn)線線中機(jī)械手的定位與瞄準(zhǔn)。在檢測領(lǐng)域有重要地位哦！位與瞄準(zhǔn)。在檢測領(lǐng)域有重要地位哦！3、視覺測量概念的提出從計算

3、機(jī)視覺概念和方法出發(fā)，將計算機(jī)視覺應(yīng)用于空間幾何尺 寸的精確測量和定位，從而產(chǎn)生了一種新的計算機(jī)視覺應(yīng)用概念，視覺測量。視覺測量作為當(dāng)今高新技術(shù)之一，在電子學(xué)、光學(xué)探測、圖像處理和計算機(jī)技術(shù)不斷成熟和完善的基礎(chǔ)上得到了突飛猛進(jìn)的 發(fā)展。South China University of Technology看一些實例看一些實例吧吧美國美國Perceptron公司研制的用于轎車公司研制的用于轎車車身生產(chǎn)的車身生產(chǎn)的Perceptron 1000型多傳型多傳感器視覺測量系統(tǒng)感器視覺測量系統(tǒng) 美國美國Faro公司產(chǎn)品公司產(chǎn)品South China University of Technology A

4、TOS便攜式三維掃描儀便攜式三維掃描儀South China University of Technology 英國英國3D Scanners公司的產(chǎn)品公司的產(chǎn)品South China University of Technology 很多大公司都給予視覺測量領(lǐng)域足夠的重視很多大公司都給予視覺測量領(lǐng)域足夠的重視和資金支持，以上是一些世界知名企業(yè)的視和資金支持，以上是一些世界知名企業(yè)的視覺測量產(chǎn)品。通過本課程的學(xué)習(xí)，我們會學(xué)覺測量產(chǎn)品。通過本課程的學(xué)習(xí)，我們會學(xué)習(xí)視覺測量的理論基礎(chǔ)、當(dāng)今視覺測量領(lǐng)域習(xí)視覺測量的理論基礎(chǔ)、當(dāng)今視覺測量領(lǐng)域的發(fā)展現(xiàn)狀、以及對視覺測量產(chǎn)品的運用！的發(fā)展現(xiàn)狀、以及對視覺

5、測量產(chǎn)品的運用！South China University of Technology1.11.1計算機(jī)視覺的發(fā)展與系統(tǒng)構(gòu)成計算機(jī)視覺的發(fā)展與系統(tǒng)構(gòu)成20世紀(jì)世紀(jì)50年代開始統(tǒng)計模式識別，工作主要集中在二維圖像分析、識別和理解上。年代開始統(tǒng)計模式識別，工作主要集中在二維圖像分析、識別和理解上。如：字符識別、工件表面、顯微圖片和航空照片的分析解釋如：字符識別、工件表面、顯微圖片和航空照片的分析解釋60年代，年代，Roberts開創(chuàng)了以理解三維場景為目標(biāo)的三維計算機(jī)視覺的研究（開創(chuàng)了以理解三維場景為目標(biāo)的三維計算機(jī)視覺的研究（Roberts提出了所謂的提出了所謂的“積木世界積木世界”說法）說法）

6、70年代，出現(xiàn)了一些計算機(jī)視覺應(yīng)用系統(tǒng)年代，出現(xiàn)了一些計算機(jī)視覺應(yīng)用系統(tǒng)80年代，年代，Marr教授提出了教授提出了Marr視覺理論，該理論成為視覺理論，該理論成為20世紀(jì)世紀(jì)80年代計算機(jī)視覺研年代計算機(jī)視覺研究領(lǐng)域中的一個十分重要的理論框架究領(lǐng)域中的一個十分重要的理論框架80年代中期，計算機(jī)視覺獲得了迅速發(fā)展，主動視覺理論框架、給予感知特征群的年代中期，計算機(jī)視覺獲得了迅速發(fā)展，主動視覺理論框架、給予感知特征群的物體識別理論框架等新概念、新方法、新理論不斷涌現(xiàn)物體識別理論框架等新概念、新方法、新理論不斷涌現(xiàn)90年代，計算機(jī)視覺在工業(yè)環(huán)境中得到廣泛應(yīng)用，同時基于多視幾何的視覺理論得年代，計算

7、機(jī)視覺在工業(yè)環(huán)境中得到廣泛應(yīng)用，同時基于多視幾何的視覺理論得到迅速發(fā)展到迅速發(fā)展South China University of Technology計算機(jī)視覺系統(tǒng)構(gòu)成計算機(jī)視覺系統(tǒng)構(gòu)成計算機(jī)視覺系統(tǒng)一般以計算機(jī)為中心，主要有視覺傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊構(gòu)成，如圖所示：標(biāo)準(zhǔn)總線視覺傳感器高速圖像采集 系統(tǒng)專用圖形處理 系統(tǒng)計算機(jī)視頻輸入圖像處理圖像數(shù)據(jù)控制總線PIC標(biāo)準(zhǔn)總線South China University of Technology（1）視覺傳感器視覺傳感器：視覺傳感器是整個計算機(jī)視覺系統(tǒng)信息的直接來源，主要由一個或兩個圖像傳感器組成，有時還要配以光投射器

8、及其它輔助設(shè)備。主要功能是獲取足夠的計算機(jī)視覺系統(tǒng)要處理的最原始圖像。常用的圖像傳感器：激光傳感器常用的圖像傳感器：激光傳感器、線陣和面陣、線陣和面陣CCD攝像機(jī)或攝像機(jī)或TV攝像機(jī)、數(shù)字?jǐn)z相機(jī)攝像機(jī)、數(shù)字?jǐn)z相機(jī)。South China University of Technology選擇合適的光源對于獲選擇合適的光源對于獲取清晰圖像非常重要，取清晰圖像非常重要，讓我們認(rèn)識一些常用的讓我們認(rèn)識一些常用的光源：光源：South China University of Technology （2）高速圖像采集系統(tǒng)高速圖像采集系統(tǒng)：由專用視頻解碼器、圖像緩沖器以及控制接口電路組成。主要功能是適時地將

9、視覺傳感器獲取的模擬視頻信號轉(zhuǎn)換為數(shù)字圖像信號，并將圖像直接傳送給計算機(jī)進(jìn)行顯示和處理，或者將數(shù)字圖像傳送給專用圖像處理系統(tǒng)進(jìn)行視覺信號的實施前段處理。隨著邏輯門陣列FPGA芯片的出現(xiàn)，使得大多數(shù)高速圖像采集系統(tǒng)只需由幾個芯片就可以完成。 圖像采集系統(tǒng)與計算機(jī)的接口采用工業(yè)標(biāo)準(zhǔn)總線，如ISA、VME、PCI等。 South China University of Technology (3)專用圖像處理系統(tǒng)專用圖像處理系統(tǒng)：是計算機(jī)的輔助處理器，主要采用專用集成芯（ASIC)、數(shù)字信號處理器（DSP)或者FPGA等設(shè)計的全硬件處理器，可以實時高速完成各種低級圖像的處理算法，減輕后端計算機(jī)的處理

10、負(fù)荷，提高整個視覺系統(tǒng)的速度。它與計算機(jī)之間的通信可以采用標(biāo)準(zhǔn)總線接口、串行通信總線接口或者網(wǎng)絡(luò)通信等方式。South China University of Technology （4）計算機(jī)計算機(jī)：計算機(jī)是整個計算機(jī)視覺系統(tǒng)的核心，它除了控制整個系統(tǒng)的各個模塊的正常運行外，還承擔(dān)著視覺系統(tǒng)的最后結(jié)果運算和輸出。由圖像采集系統(tǒng)輸出的數(shù)字圖像可以直接傳送到計算機(jī)，有計算機(jī)采用純軟件方式完成所有的圖像處理和其他運算。如果純軟件處理能夠滿足視覺系統(tǒng)的要求，就不需專用硬件處理系統(tǒng)出現(xiàn)在計算機(jī)視覺系統(tǒng)。South China University of Technology小結(jié)小結(jié) 隨著計算機(jī)視覺的飛

11、速發(fā)展，二維視覺處理已從二值視覺隨著計算機(jī)視覺的飛速發(fā)展，二維視覺處理已從二值視覺系統(tǒng)發(fā)展為灰度視覺系統(tǒng)，并達(dá)到實用。在三維視覺信息獲系統(tǒng)發(fā)展為灰度視覺系統(tǒng)，并達(dá)到實用。在三維視覺信息獲取上，也取得了巨大的進(jìn)步，并且由于實現(xiàn)思想和條件的不取上，也取得了巨大的進(jìn)步，并且由于實現(xiàn)思想和條件的不同，產(chǎn)生了相應(yīng)的諸多方法，從一定程度上克服了自然環(huán)境同，產(chǎn)生了相應(yīng)的諸多方法，從一定程度上克服了自然環(huán)境的限制，進(jìn)一步擴(kuò)大了計算機(jī)視覺的應(yīng)用領(lǐng)域。的限制，進(jìn)一步擴(kuò)大了計算機(jī)視覺的應(yīng)用領(lǐng)域。South China University of Technology1.21.2生物視覺簡介生物視覺簡介生物視覺通路如

12、下圖所示：經(jīng)視網(wǎng)膜中的神經(jīng)節(jié)細(xì)胞經(jīng)視網(wǎng)膜中的神經(jīng)節(jié)細(xì)胞加工后傳出視網(wǎng)膜加工后傳出視網(wǎng)膜上丘物體可見光光學(xué)系統(tǒng)光學(xué)系統(tǒng)在眼底視網(wǎng)膜上形成物象桿體和錐體桿體和錐體感光細(xì)胞感光細(xì)胞神經(jīng)信號視束丘腦外膝體視皮層1.2.1 生物視覺通路South China University of Technology視覺第一通路視覺第一通路：神經(jīng)節(jié)細(xì)胞軸突在外膝體患神經(jīng)元后，由外膝體神經(jīng)元直接經(jīng)到視放線到視皮層，這是視束的大部分纖維去向，稱為第一視覺通路。神經(jīng)信號主要是通過視覺第一視通路到達(dá)視皮層，在視覺過程中起著主要作用視覺第二通路視覺第二通路：視束的一小部分纖維走向內(nèi)方，經(jīng)上丘臂到達(dá)上丘和頂蓋前區(qū)。上丘淺層神

13、經(jīng)元投射到丘腦枕換元后，再投射到視皮層，上丘還有纖維直接透射到視皮層。由于這條通路不經(jīng)過外膝體，故稱為視覺第二通路。第二視覺視通路的作用極其微小。South China University of Technology由視覺視通路可以看到，眼、外膝體與視皮層構(gòu)成了對視覺信息處由視覺視通路可以看到，眼、外膝體與視皮層構(gòu)成了對視覺信息處理的三個基本層次。進(jìn)一步分析表明，外膝體與視皮層有著更為復(fù)理的三個基本層次。進(jìn)一步分析表明，外膝體與視皮層有著更為復(fù)雜的分塊結(jié)構(gòu)（尤其是視皮層）。分塊表明了視覺信息處理的并行雜的分塊結(jié)構(gòu)（尤其是視皮層）。分塊表明了視覺信息處理的并行性，不同區(qū)域的是神經(jīng)細(xì)胞具有不同的

14、功能；分層表明了視覺信息性，不同區(qū)域的是神經(jīng)細(xì)胞具有不同的功能；分層表明了視覺信息處理的串行性。因此，生物視覺系統(tǒng)是一個串行并行處理相結(jié)合的處理的串行性。因此，生物視覺系統(tǒng)是一個串行并行處理相結(jié)合的復(fù)雜系統(tǒng)。復(fù)雜系統(tǒng)。South China University of Technology1.2.2 感受野的分層等級假設(shè)視覺通路上各層次的神經(jīng)細(xì)胞，由簡單到復(fù)雜，它們所處理的信息，分別對應(yīng)于視網(wǎng)膜上的一個局部區(qū)域，層次越深入，該區(qū)域就越大，這就是著名的感受野與感受野等級假設(shè)。感受野是支持視覺信息分層串行處理的最重要的生理學(xué)證據(jù)。以信息處理的第一級為例，視網(wǎng)膜上的神經(jīng)節(jié)細(xì)胞將感光細(xì)胞上接收到的光信

15、號轉(zhuǎn)換成電信號再由它的軸突傳出，但每一個GC細(xì)胞只能接收視網(wǎng)膜上一個局部區(qū)域的信號，該區(qū)域就是GC的感受野。GC感受野及其對光信號的轉(zhuǎn)換作用分為：感受野及其對光信號的轉(zhuǎn)換作用分為：1、對空、對空間亮度變化敏感的感受野。間亮度變化敏感的感受野。2、對時間變化敏感的、對時間變化敏感的Y型細(xì)胞。型細(xì)胞。South China University of Technology1.2.3 視覺信息的并行處理感受野的等級假設(shè)與局部性質(zhì)主要支持視覺信息處理的自下而上的分層次串行處理，然而視覺系統(tǒng)的任務(wù)不是單一的，它要識別物體的形狀和顏色，要得到三維物體的深度信息，要檢測物體的方位和運動參數(shù)等等。因此，視覺通

16、路的各個層次上存在著基本互相獨立的并行通道，分別完成不同的視覺任務(wù)。South China University of Technology視覺信息的處理是一個串行與并行相結(jié)合的復(fù)雜信息處理過程，但目前被人們認(rèn)知的僅僅是一小部分，從信息處理角度看，迄今對大多數(shù)的處理單元的知識還非常有限，只知道這個單元對某種信息“敏感”，而信息是如何表征的、如何變換的，則仍不清楚，尤其是較高層信息的處理。South China University of Technology1.3 Marr1.3 Marr視覺理論框架視覺理論框架1.3.1 視覺系統(tǒng)研究的三個層次要素要素名稱名稱含義和所解決的問題含義和所解決的

17、問題1計算理論什么是計算目的，為什么要這樣計算2表達(dá)和算法怎樣實現(xiàn)計算理論，什么是輸入輸出表達(dá)，用什么算法實現(xiàn)表搭建的轉(zhuǎn)換3硬件實現(xiàn)怎樣在物理上實現(xiàn)表達(dá)和算法，什么是計算結(jié)構(gòu)的具體細(xì)節(jié)South China University of Technology1.3.2 視覺信息處理的三個階段早期視覺早期視覺處理處理中期視覺中期視覺處理處理后期視覺后期視覺處理處理圖像圖像3D描述描述要素圖要素圖2.5維圖維圖由圖像恢復(fù)形狀信息的表達(dá)框架由圖像恢復(fù)形狀信息的表達(dá)框架名稱目的基元圖像亮度表示圖像中每一點的亮度值基元圖表是二維圖像中的重要信息，主要是圖像中的亮度變化位置及其幾何分布和組織結(jié)構(gòu)零交叉，斑點

18、，端點和不連續(xù)點，邊緣，有效線段，組合群，曲線組織，邊界2.5維圖在以觀測者為中心的坐標(biāo)中，表示可見表面的方向、深度值和不連續(xù)的輪廓局部表面朝向（“針”基元）；離觀測者的距離；深度上的不連續(xù)點；表面朝向的不連續(xù)點3維模型表示 在以物體為中心的坐標(biāo)中，用由體積基元和面積基元構(gòu)成的模塊化多層次表示，描述形狀及其空間組織形式分層次組成若干三維模型，每個三維模型都是在幾個軸線空間的基礎(chǔ)上構(gòu)成的，所有體積基元或面積形狀基元都附著在軸線上South China University of TechnologyMarr視覺理論的不足之處：1、框架中輸入是被動的，給什么圖像，系統(tǒng)就處理什么圖像；2、框架中加工

19、目的不變，總是恢復(fù)場景中物體的位置和形狀等；3、框架缺乏或者說為足夠重視高層知識的指導(dǎo)作用；4、整個框架中信息加工過程基本自下而上，單向流動，沒有反饋。改進(jìn)的Marr框架：圖像獲取早期處理中期處理后期處理高層知識視覺目的反饋South China University of Technology1.4 1.4 計算機(jī)視覺應(yīng)用領(lǐng)域及面臨問題計算機(jī)視覺應(yīng)用領(lǐng)域及面臨問題1、工業(yè)自動化生產(chǎn)線應(yīng)用：產(chǎn)品檢測、工業(yè)探傷、自動焊接等；2、各類檢驗和監(jiān)視應(yīng)用：標(biāo)簽文字標(biāo)記檢查，郵政自動化，顯微醫(yī)學(xué)操作等；3、視覺導(dǎo)航應(yīng)用。巡航導(dǎo)彈制導(dǎo)、無人駕駛飛機(jī)飛行、自動行駛車輛等；4、圖像自動解釋應(yīng)用：對放射圖、顯微圖

20、像、醫(yī)學(xué)圖像、遙感多波段圖 1 像等進(jìn)行自動判讀理解；5、人機(jī)交互應(yīng)用：人臉識別、智能代理等；6、虛擬現(xiàn)實應(yīng)用：飛機(jī)駕駛員訓(xùn)練、醫(yī)學(xué)手術(shù)模擬、場景建模等。計算機(jī)視覺的優(yōu)點：計算機(jī)視覺的優(yōu)點：1、最大優(yōu)點是與被測對象的無接觸2、所能觀測的對象十分廣泛3、計算機(jī)視覺不知疲勞，始終如一觀測1.4.1計算機(jī)視覺應(yīng)用領(lǐng)域：South China University of Technology建立人類視覺的計算理論，并進(jìn)而建成可與人類視覺系統(tǒng)相比擬的通用視覺系統(tǒng)是計算機(jī)視覺研究的最終目標(biāo)。1.4.2 計算機(jī)視覺面臨的問題：1、如何準(zhǔn)確、高速（實時）地識別出目標(biāo)；2、如何有效的增大存儲容量，以便容納下足夠

21、細(xì)節(jié)的目標(biāo)圖像；3、如何有效的構(gòu)造和組織處可靠的識別算法，并且順利地實現(xiàn)計算機(jī)視覺與人的視覺能力比較計算機(jī)視覺與人的視覺能力比較能力計算機(jī)視覺人的視覺測距能力有限定量估計定方向定量計算定量估計運動分析定量分析，但受限制定量分析檢測邊界區(qū)域?qū)υ肼暠容^敏感定量、定性分析圖像形狀受分割、噪聲制約高度發(fā)達(dá)圖像機(jī)構(gòu)需要專用軟件，能力有限高度發(fā)達(dá)陰影初級水平高度發(fā)達(dá)二維解釋對分割完善的目標(biāo)能較好解釋高度發(fā)達(dá)三維解釋較為低級高度發(fā)達(dá)總的能力最適合于結(jié)構(gòu)環(huán)境的定量測量最適合于復(fù)雜的、非結(jié)構(gòu)化環(huán)境的定量解釋計算機(jī)視覺與人的視覺性能標(biāo)準(zhǔn)比較計算機(jī)視覺與人的視覺性能標(biāo)準(zhǔn)比較性能標(biāo)準(zhǔn)計算機(jī)視覺人的視覺分辨率能力有限定量估計處理速度零點幾秒/每幀圖像定量估計處理方式串行處理，部分并行處理每只眼睛每秒處理（實時）1010空間數(shù)據(jù)視覺功能二維、三維立體視覺有限自然形式三維立體視覺感光范圍紫外線、紅外線