機器視覺及應用

1、會計學1機器視覺及應用機器視覺及應用第1頁/共76頁第3頁/共70頁第2頁/共76頁第4頁/共70頁第3頁/共76頁第5頁/共70頁第4頁/共76頁第6頁/共70頁第5頁/共76頁第7頁/共70頁第6頁/共76頁第8頁/共70頁第7頁/共76頁第9頁/共70頁第8頁/共76頁第10頁/共70頁第9頁/共76頁第11頁/共70頁第10頁/共76頁什么是計算機視覺什么是計算機視覺呢？呢？第12頁/共70頁第11頁/共76頁第13頁/共70頁第12頁/共76頁第14頁/共70頁第13頁/共76頁What kind of scene?Where are the cars?How far is the

2、building?第15頁/共70頁第14頁/共76頁第16頁/共70頁第15頁/共76頁第17頁/共70頁第16頁/共76頁視覺測量廣泛應用于產品在線質量監(jiān)控視覺測量廣泛應用于產品在線質量監(jiān)控、微電子器件的自動檢測、各種磨具三、微電子器件的自動檢測、各種磨具三維形狀的測量及生產線線中機械手的定維形狀的測量及生產線線中機械手的定位與瞄準。在檢測領域有重要地位哦！位與瞄準。在檢測領域有重要地位哦！從計算機視覺概念和方法出發(fā)，將計算機視覺應用于空間幾何尺從計算機視覺概念和方法出發(fā)，將計算機視覺應用于空間幾何尺 寸的精確測量和定位，從而產生了一種新的計算機視覺應用概念，寸的精確測量和定位，從而產生了

3、一種新的計算機視覺應用概念，視覺測量。視覺測量作為當今高新技術之一，在電子學、光學探測、視覺測量。視覺測量作為當今高新技術之一，在電子學、光學探測、圖像處理和計算機技術不斷成熟和完善的基礎上得到了突飛猛進的圖像處理和計算機技術不斷成熟和完善的基礎上得到了突飛猛進的 發(fā)展。發(fā)展。第18頁/共70頁第17頁/共76頁看一些實例看一些實例吧吧美國美國Perceptron公司研制的用于轎車公司研制的用于轎車車身生產的車身生產的Perceptron 1000型多傳型多傳感器視覺測量系統(tǒng)感器視覺測量系統(tǒng) 美國美國Faro公司產品公司產品第19頁/共70頁第18頁/共76頁 ATOS便攜式三維掃描儀便攜式三

4、維掃描儀第20頁/共70頁第19頁/共76頁 英國英國3D Scanners公司的產品公司的產品第21頁/共70頁第20頁/共76頁 很多大公司都給予視覺測量領域足夠的重視很多大公司都給予視覺測量領域足夠的重視和資金支持，以上是一些世界知名企業(yè)的視和資金支持，以上是一些世界知名企業(yè)的視覺測量產品。通過本課程的學習，我們會學覺測量產品。通過本課程的學習，我們會學習視覺測量的理論基礎、當今視覺測量領域習視覺測量的理論基礎、當今視覺測量領域的發(fā)展現狀、以及對視覺測量產品的運用！的發(fā)展現狀、以及對視覺測量產品的運用！第22頁/共70頁第21頁/共76頁第23頁/共70頁第22頁/共76頁第24頁/共7

5、0頁第23頁/共76頁第25頁/共70頁第24頁/共76頁第26頁/共70頁第25頁/共76頁第27頁/共70頁第26頁/共76頁計算機視覺系統(tǒng)一般以計算機為中心，主要有視覺傳感計算機視覺系統(tǒng)一般以計算機為中心，主要有視覺傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊構成器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊構成，如圖所示：，如圖所示：第28頁/共70頁第27頁/共76頁視覺傳感器是整個計算機視覺系統(tǒng)信息的直接來源，主要由一個或兩個圖像傳感器組成，有時還要配以光投射器及其它輔助設備。主要功能是獲取足夠的計算機視覺系統(tǒng)要處理的最原始圖像。常用的圖像傳感器：激光傳感器、常用的圖像傳感器：激

6、光傳感器、線陣和面陣線陣和面陣CCD攝像機或攝像機或TV攝攝像機、數字攝相機像機、數字攝相機。第29頁/共70頁第28頁/共76頁選擇合適的光源對于獲選擇合適的光源對于獲取清晰圖像非常重要，取清晰圖像非常重要，讓我們認識一些常用的讓我們認識一些常用的光源：光源：第30頁/共70頁第29頁/共76頁由專用視頻解碼器、圖像緩沖器以及控制接口電路組成。主要功能是適時地將視覺傳感器獲取的模擬視頻信號轉換為數字圖像信號，并將圖像直接傳送給計算機進行顯示和處理，或者將數字圖像傳送給專用圖像處理系統(tǒng)進行視覺信號的實施前段處理。隨著邏輯門陣列FPGA芯片的出現，使得大多數高速圖像采集系統(tǒng)只需由幾個芯片就可以完

7、成。 圖像采集系統(tǒng)與計算機的接口采用工業(yè)標準總線，如ISA、VME、PCI等。 第31頁/共70頁第30頁/共76頁是計算機的輔助處理器，主要采用專用集成芯（ASIC)、數字信號處理器（DSP)或者FPGA等設計的全硬件處理器，可以實時高速完成各種低級圖像的處理算法，減輕后端計算機的處理負荷，提高整個視覺系統(tǒng)的速度。它與計算機之間的通信可以采用標準總線接口、串行通信總線接口或者網絡通信等方式。第32頁/共70頁第31頁/共76頁 （4）計算機計算機：計算機是整個計算機視覺系統(tǒng)的核心，它除了控制整個系統(tǒng)的各個模塊的正常運行外，還承擔著視覺系統(tǒng)的最后結果運算和輸出。由圖像采集系統(tǒng)輸出的數字圖像可以

8、直接傳送到計算機，有計算機采用純軟件方式完成所有的圖像處理和其他運算。如果純軟件處理能夠滿足視覺系統(tǒng)的要求，就不需專用硬件處理系統(tǒng)出現在計算機視覺系統(tǒng)。第33頁/共70頁第32頁/共76頁小結小結 隨著計算機視覺的飛速發(fā)展，二維視覺處隨著計算機視覺的飛速發(fā)展，二維視覺處理已從二值視覺系統(tǒng)發(fā)展為灰度視覺系統(tǒng)，并達到理已從二值視覺系統(tǒng)發(fā)展為灰度視覺系統(tǒng)，并達到實用。在三維視覺信息獲取上，也取得了巨大的進實用。在三維視覺信息獲取上，也取得了巨大的進步，并且由于實現思想和條件的不同，產生了相應步，并且由于實現思想和條件的不同，產生了相應的諸多方法，從一定程度上克服了自然環(huán)境的限制的諸多方法，從一定程度

9、上克服了自然環(huán)境的限制，進一步擴大了計算機視覺的應用領域。，進一步擴大了計算機視覺的應用領域。第34頁/共70頁第33頁/共76頁生物視覺通路如下圖所示：第35頁/共70頁第34頁/共76頁視覺第一通路：視覺第一通路：神經節(jié)細胞軸突在外膝體患神經元后，由外膝體神經元直接經到視放線到視皮層，這是視束的大部分纖維去向，稱為第一視覺通路。神經信號主要是通過視覺第一視通路到達視皮層，在視覺過程中起著主要作用視覺第二通路：視覺第二通路：視束的一小部分纖維走向內方，經上丘臂到達上丘和頂蓋前區(qū)。上丘淺層神經元投射到丘腦枕換元后，再投射到視皮層，上丘還有纖維直接透射到視皮層。由于這條通路不經過外膝體，故稱為視

10、覺第二通路。第二視覺視通路的作用極其微小。第36頁/共70頁第35頁/共76頁由視覺視通路可以看到，眼、外膝體與視皮層構成了對由視覺視通路可以看到，眼、外膝體與視皮層構成了對視覺信息處理的三個基本層次。進一步分析表明，外膝視覺信息處理的三個基本層次。進一步分析表明，外膝體與視皮層有著更為復雜的分塊結構（尤其是視皮層）體與視皮層有著更為復雜的分塊結構（尤其是視皮層）。分塊表明了視覺信息處理的并行性，不同區(qū)域的是神。分塊表明了視覺信息處理的并行性，不同區(qū)域的是神經細胞具有不同的功能；分層表明了視覺信息處理的串經細胞具有不同的功能；分層表明了視覺信息處理的串行性。因此，生物視覺系統(tǒng)是一個串行并行處理

11、相結合行性。因此，生物視覺系統(tǒng)是一個串行并行處理相結合的復雜系統(tǒng)。的復雜系統(tǒng)。第37頁/共70頁第36頁/共76頁視覺通路上各層次的神經細胞，由簡單到復雜，它們所處理視覺通路上各層次的神經細胞，由簡單到復雜，它們所處理的信息，分別對應于視網膜上的一個局部區(qū)域，層次越深入的信息，分別對應于視網膜上的一個局部區(qū)域，層次越深入，該區(qū)域就越大，這就是著名的感受野與感受野等級假設。，該區(qū)域就越大，這就是著名的感受野與感受野等級假設。感受野是支持視覺信息分層串行處理的最重要的生理學證據感受野是支持視覺信息分層串行處理的最重要的生理學證據。以信息處理的第一級為例，視網膜上的神經節(jié)細胞將感光細以信息處理的第一

12、級為例，視網膜上的神經節(jié)細胞將感光細胞上接收到的光信號轉換成電信號再由它的軸突傳出，但每胞上接收到的光信號轉換成電信號再由它的軸突傳出，但每一個一個GCGC細胞只能接收視網膜上一個局部區(qū)域的信號，該區(qū)域細胞只能接收視網膜上一個局部區(qū)域的信號，該區(qū)域就是就是GCGC的感受野。的感受野。GC感受野及其對光信號的轉換作用分為：感受野及其對光信號的轉換作用分為：1、對空、對空間亮度變化敏感的感受野。間亮度變化敏感的感受野。2、對時間變化敏感的、對時間變化敏感的Y型細胞。型細胞。第38頁/共70頁第37頁/共76頁感受野的等級假設與局部性質主要支持視覺信息處理的自感受野的等級假設與局部性質主要支持視覺信

13、息處理的自下而上的分層次串行處理，然而視覺系統(tǒng)的任務不是單一下而上的分層次串行處理，然而視覺系統(tǒng)的任務不是單一的，它要識別物體的形狀和顏色，要得到三維物體的深度的，它要識別物體的形狀和顏色，要得到三維物體的深度信息，要檢測物體的方位和運動參數等等。因此，視覺通信息，要檢測物體的方位和運動參數等等。因此，視覺通路的各個層次上存在著基本互相獨立的并行通道，分別完路的各個層次上存在著基本互相獨立的并行通道，分別完成不同的視覺任務。成不同的視覺任務。第39頁/共70頁第38頁/共76頁視覺信息的處理是一個串行與并行相結合的復雜信息處視覺信息的處理是一個串行與并行相結合的復雜信息處理過程，但目前被人們認

14、知的僅僅是一小部分，從信息理過程，但目前被人們認知的僅僅是一小部分，從信息處理角度看，迄今對大多數的處理單元的知識還非常有處理角度看，迄今對大多數的處理單元的知識還非常有限，只知道這個單元對某種信息限，只知道這個單元對某種信息“敏感敏感”，而信息是如，而信息是如何表征的、如何變換的，則仍不清楚，尤其是較高層信何表征的、如何變換的，則仍不清楚，尤其是較高層信息的處理。息的處理。第40頁/共70頁第39頁/共76頁要素要素名稱名稱含義和所解決的問題含義和所解決的問題1計算理論什么是計算目的，為什么要這樣計算2表達和算法怎樣實現計算理論，什么是輸入輸出表達，用什么算法實現表搭建的轉換3硬件實現怎樣在

15、物理上實現表達和算法，什么是計算結構的具體細節(jié)第41頁/共70頁第40頁/共76頁由圖像恢復形狀信息的表達框架由圖像恢復形狀信息的表達框架名稱目的基元圖像亮度表示圖像中每一點的亮度值基元圖表是二維圖像中的重要信息，主要是圖像中的亮度變化位置及其幾何分布和組織結構零交叉，斑點，端點和不連續(xù)點，邊緣，有效線段，組合群，曲線組織，邊界2.5維圖在以觀測者為中心的坐標中，表示可見表面的方向、深度值和不連續(xù)的輪廓局部表面朝向（“針”基元）；離觀測者的距離；深度上的不連續(xù)點；表面朝向的不連續(xù)點3維模型表示在以物體為中心的坐標中，用由體積基元和面積基元構成的模塊化多層次表示，描述形狀及其空間組織形式分層次組

16、成若干三維模型，每個三維模型都是在幾個軸線空間的基礎上構成的，所有體積基元或面積形狀基元都附著在軸線上第42頁/共70頁第41頁/共76頁MarrMarr視覺理論的不足之處：視覺理論的不足之處：1、框架中輸入是被動的，給什么圖像，系統(tǒng)就處理什么圖像；2、框架中加工目的不變，總是恢復場景中物體的位置和形狀等；3、框架缺乏或者說為足夠重視高層知識的指導作用；4、整個框架中信息加工過程基本自下而上，單向流動，沒反饋。改進的改進的MarrMarr框架：框架：第43頁/共70頁第42頁/共76頁1、工業(yè)自動化生產線應用：產品檢測、工業(yè)探傷、自動焊接等；2、各類檢驗和監(jiān)視應用：標簽文字標記檢查，郵政自動化

17、，顯微醫(yī)學操作等；3、視覺導航應用。巡航導彈制導、無人駕駛飛機飛行、自動行駛車輛等；4、圖像自動解釋應用：對放射圖、顯微圖像、醫(yī)學圖像、遙感多波段圖像等進行自動判讀理解；5、人機交互應用：人臉識別、智能代理等；6、虛擬現實應用：飛機駕駛員訓練、醫(yī)學手術模擬、場景建模等。計算機視覺的優(yōu)點：計算機視覺的優(yōu)點：1、最大優(yōu)點是與被測對象的無接觸2、所能觀測的對象十分廣泛3、計算機視覺不知疲勞，始終如一觀測第44頁/共70頁第43頁/共76頁建立人類視覺的計算理論，并進而建成可與人類視覺系建立人類視覺的計算理論，并進而建成可與人類視覺系統(tǒng)相比擬的通用視覺系統(tǒng)是計算機視覺研究的最終目標統(tǒng)相比擬的通用視覺系

18、統(tǒng)是計算機視覺研究的最終目標。1 1、如何準確、高速（實時）地識別出目標；、如何準確、高速（實時）地識別出目標；2 2、如何有效的增大存儲容量，以便容納下足夠細節(jié)的目標圖像；、如何有效的增大存儲容量，以便容納下足夠細節(jié)的目標圖像；3 3、如何有效的構造和組織處可靠的識別算法，并且順利地實現、如何有效的構造和組織處可靠的識別算法，并且順利地實現計算機視覺與人的視覺能力比較計算機視覺與人的視覺能力比較能力計算機視覺人的視覺測距能力有限定量估計定方向定量計算定量估計運動分析定量分析，但受限制定量分析檢測邊界區(qū)域對噪聲比較敏感定量、定性分析圖像形狀受分割、噪聲制約高度發(fā)達圖像機構需要專用軟件，能力有限

19、高度發(fā)達陰影初級水平高度發(fā)達二維解釋對分割完善的目標能較好解釋高度發(fā)達三維解釋較為低級高度發(fā)達總的能力最適合于結構環(huán)境的定量測量最適合于復雜的、非結構化環(huán)境的定量解釋計算機視覺與人的視覺性能標準比較計算機視覺與人的視覺性能標準比較性能標準計算機視覺人的視覺分辨率能力有限定量估計處理速度零點幾秒/每幀圖像定量估計處理方式串行處理，部分并行處理每只眼睛每秒處理（實時）1010空間數據視覺功能二維、三維立體視覺有限自然形式三維立體視覺感光范圍紫外線、紅外線、可見光可見光第45頁/共70頁第44頁/共76頁視覺測量原理框圖工作時，被測工件處于生產線上，視覺測量系統(tǒng)安工作時，被測工件處于生產線上，視覺測

20、量系統(tǒng)安裝在生產線的固定工位；或者被監(jiān)測工件靜止，而裝在生產線的固定工位；或者被監(jiān)測工件靜止，而視覺測量系統(tǒng)集成在處于運動中的生產作業(yè)設備中視覺測量系統(tǒng)集成在處于運動中的生產作業(yè)設備中。第46頁/共70頁第45頁/共76頁1.5.2 視覺測量關鍵技術視覺測量關鍵技術1、視覺測量模型視覺測量模型對視覺測量系統(tǒng)的測量精度、測量范圍及測量速度有著直接的影響2、視覺傳感器結構優(yōu)化雙目視覺傳感器、結構光視覺傳感器在三維視覺測量系統(tǒng)匯總起著重要作用3、視覺視頻信號實時采集研究一種專用實時圖像采集系統(tǒng)是實現三維測量的條件之一4、視覺視頻信號前段實時處理視覺圖像信息數據量大，能夠完成視覺視頻信號前段實時處理非

21、常重要5、攝像機內部參數標定減輕標定勞動強度、保持攝像機的標定狀態(tài)與使用狀態(tài)完全一致、降低對標定設備的要求是攝像機技術的主要研究方向6、視覺傳感器結構參數現場標定視覺傳感器結構參數現場標定，是視覺傳感器能夠進行三維測量的必要前提7、多傳感器視覺測量系統(tǒng)現場全局標定多傳感器視覺測量系統(tǒng)現場全局標定是建立多傳感器視覺測量系統(tǒng)的核心8、其他關鍵技術被測物體硬定位和軟定位、視覺測量系統(tǒng)小型化與可靠性設計、系統(tǒng)電器網絡控制、機械結構設計、測量軟件編制及測量數據分析與質量預測等第47頁/共70頁第46頁/共76頁人機交互物體識別圖像分割人臉識別動作識別運動跟蹤機器人第48頁/共70頁第47頁/共76頁第4

22、9頁/共70頁第48頁/共76頁第50頁/共70頁第49頁/共76頁SafetyHealthSecurityComfortAccessFun第51頁/共70頁第50頁/共76頁Digit recognition, AT&T labshttp:/ to convert scanned docs to text If you have a scanner, it probably came with OCR softwareLicense plate readers/wiki/Automatic_number_plate_recognition第

23、52頁/共70頁第51頁/共76頁第53頁/共70頁第52頁/共76頁Sony Cyber-shot T70 Digital Still Camera 第54頁/共70頁第53頁/共76頁LaneHawk by EvolutionRobotics“A smart camera is flush-mounted in the checkout lane, continuously watching for items. When an item is detected and recognized, the cashier verifies the quantity of items that

24、were found under the basket, and continues to close the transaction. The item can remain under the basket, and with LaneHawk,you are assured to get paid for it “第55頁/共70頁第54頁/共76頁“How the Afghan Girl was Identified by Her Iris Patterns” Read the story wikipedia第56頁/共70頁第55頁/共76頁Fingerprint scanners

25、on many new laptops, other devicesFace recognition systems now beginning to appear more widelyhttp:/ Matrix movies, ESC Entertainment, XYZRGB, NRC第59頁/共70頁第58頁/共76頁Pirates of the Carribean, Industrial Light and Magic第60頁/共70頁第59頁/共76頁Sportvision first down lineNice explanation on http:/ content cour

26、tesy of Amnon Shashua第62頁/共70頁第61頁/共76頁http:/ Wii has camera-based IRtracking built in. See Lees work atCMU on clever tricks on using it tocreate a multi-touch display! Digimask: put your face on a 3D avatar.“Game turns moviegoers into Human Joysticks”, CNETCamera tracking a crowd, based on this wor

27、k.第64頁/共70頁第63頁/共76頁第65頁/共70頁第64頁/共76頁Vision systems (JPL) used for several tasks Panorama stitching 3D terrain modeling Obstacle detection, position tracking For more, read “Computer Vision on Mars” by Matthies et al.NASAS Mars Exploration Rover Spirit captured this westward view from atop a low pl

28、ateau where Spirit spent the closing months of 2007. 第66頁/共70頁第65頁/共76頁Vision-guided robots position nut runners on wheels第67頁/共70頁第66頁/共76頁/NASAs Mars Spirit Rover/wiki/Spirit_roverSaxena et al. 2008STAIR at Stanford第68頁/共70頁第67頁/共76頁Image guided surgeryGr

29、imson et al., MIT3D imagingMRI, CT第69頁/共70頁第68頁/共76頁第70頁/共70頁第69頁/共76頁第14頁/共70頁第70頁/共76頁What kind of scene?Where are the cars?How far is the building?第15頁/共70頁第71頁/共76頁第26頁/共70頁第72頁/共76頁是計算機的輔助處理器，主要采用專用集成芯（ASIC)、數字信號處理器（DSP)或者FPGA等設計的全硬件處理器，可以實時高速完成各種低級圖像的處理算法，減輕后端計算機的處理負荷，提高整個視覺系統(tǒng)的速度。它與計算機之間的通信可以采用標準總線接口、串行通信總線接口或者網絡通信等方式。第32頁/共70頁第73頁/共76頁視覺第一通路：視覺第一通路：神經節(jié)細胞軸突在外膝體患神經元后，由外膝體神經元直接經到視放線到視皮層，這是視束的大部分纖維去向，稱為第一視覺通路。神經信號主要是通過視覺第一視通路到達視皮層，在視覺過程中起著主要作用視覺第二通路：視覺第二通路：視束的一小部分纖維走向內方，經上丘臂到達上丘和頂蓋前區(qū)。上丘淺層神經元投射到丘腦枕換元后，再投射到視皮層，上丘還有纖維直接透射到視皮層。由于這條通路不經過外膝體，故