智能傳感與檢測技術 課件 第11章機器視覺技術

機械工業(yè)出版社CHINAMACHINEPRESS機器視覺技術第11章智能傳感與檢測技術徐小華主編

ISBN9118-11-111-1160112-6機器視覺技術11智能傳感與檢測技術

機器視覺系統(tǒng)的組成11.1機器視覺數(shù)字圖像處理11.2機器視覺圖像邊緣的檢測11.3機器視覺技術在紡織企業(yè)中的應用11.411.1機器視覺系統(tǒng)的組成11.2機器視覺數(shù)字圖像處理11.2.1圖像處理11.2.2圖像分析11.2.3圖像理解11.3機器視覺圖像邊緣的檢測11.4機器視覺技術在紡織企業(yè)中的應用機器視覺技術11機器視覺是使機器具有像人一樣的視覺，從而實現(xiàn)各種檢測、判斷、識別等功能。一個典型的工業(yè)機器視覺系統(tǒng)組成包括：圖像采集單元：光源、鏡頭、視覺傳感器（包括CCD和COMS）、采集卡等。圖像處理分析單元：工控主機、圖像處理軟件、圖形交互界面等。執(zhí)行單元：接受數(shù)據(jù)和指令，通過電力、液壓、氣壓實現(xiàn)運動的執(zhí)行機構，如機械手或機械臂等執(zhí)行機構。11.1機器視覺系統(tǒng)的組成智能傳感與檢測技術機器視覺技術11視覺傳感器按照芯片類型主要分為電荷耦合器件(ChargeCoupledDevice，CCD)和互補金屬氧化物半導體(ComplementaryMetalOxideSemiconductor，CMOS)兩大類，按照鏡頭和布置方式的不同又分為單目視覺傳感器、多目視覺傳感器和環(huán)視視覺傳感器。機器視覺一項綜合技術，包括圖像處理、機械工程技術、控制、電光源照明、光學成像、視覺傳感器、模擬與數(shù)字視頻技術、計算機軟硬件技術等。機器視覺系統(tǒng)的工作原理示意圖如圖所示。11.1機器視覺系統(tǒng)的組成智能傳感與檢測技術

機器視覺技術11智能傳感與檢測技術11.2機器視覺數(shù)字圖像處理數(shù)字圖像處理的層次分為圖像處理、圖像分析、圖像理解，如圖所示。機器視覺技術11智能傳感與檢測技術11.2機器視覺數(shù)字圖像處理11.2.1圖像處理1.像素生成

像素表示圖像元素，像素的英文“pixel”是一個合成詞（picture和element）。像素是構成數(shù)字圖像的最小單位，是以一個明確的位置和單一色彩數(shù)值組成的小方塊，這些小方塊的組合構成了圖像。圖像分辨率是單位英寸中所包含的像素點數(shù)，例如大多數(shù)網(wǎng)頁制作常用圖片的分辨率為72，即每英寸像素為72，不同像素的圖像質量差別表現(xiàn)如圖所示。a)像素為320x240的圖像b)像素為80x60的圖像機器視覺技術11智能傳感與檢測技術2.灰度值與灰度處理3.數(shù)字圖像處理

圖11-5灰度圖像的矩陣表示圖11-6黑白圖像的矩陣表示機器視覺技術11智能傳感與檢測技術2.灰度值與灰度處理3.數(shù)字圖像處理

圖11-7彩色圖像的矩陣表示機器視覺技術11智能傳感與檢測技術11.2.2圖像分析圖像分析是對圖像中感興趣的目標進行檢測和測量，以獲得它們的客觀信息，從而建對圖像中目標的描述，是一個從圖像到數(shù)據(jù)的過程。圖像分析輸入的是圖像，輸出的是數(shù)據(jù)。11.2.3圖像理解圖像理解在圖像分析的基礎上，進一步研究圖像中各目標的性質和相互聯(lián)系，得出對圖像內容的理解(對象識別)及對原來客觀場景的解釋(機器視覺)，從而指導相關的動作執(zhí)行。圖像理解借助機器視覺，通過知識、經(jīng)驗和機器學習來理解整個客觀世界。圖像理解輸入的是數(shù)據(jù)，輸出的是理解。機器視覺技術11智能傳感與檢測技術11.3機器視覺圖像邊緣的檢測圖像邊緣檢測是圖像處理的基本問題。如圖11-8所示，圖像邊緣構成了物體的輪廓，使得“人”或“機器”一看就知道是什么物體。人類視覺通過物體邊緣就能夠做到識別物體。因此，物體邊緣是圖像中最基本也是最重要的特征，圖像識別和理解圖像的第一步就是邊緣檢測。機器視覺技術11智能傳感與檢測技術11.3機器視覺圖像邊緣的檢測階梯狀邊緣兩邊像素的灰度值明顯不同，邊緣位置容易檢測；脈沖狀邊緣處于灰度值由小到大再到小的突變位置；屋頂狀邊緣處于灰度值由小到大再到小的逐漸變化轉折點位置。道路邊緣圖像分析與檢測示例如圖所示。圖11-9道路邊緣圖像分析與檢測機器視覺技術11智能傳感與檢測技術11.3機器視覺圖像邊緣的檢測圖11-10所示圖像邊緣中，第1行是一些具有邊緣的圖像示例，第2行是沿圖像水平方向的圖像邊緣剖面圖，第3行是剖面的一階導數(shù)，第4行是剖面的二階導數(shù)。第1列和第2列是階梯狀邊緣，第3列是脈沖狀邊緣，第4列是屋頂狀邊緣。實現(xiàn)圖像的邊緣檢測，就是要用離散化梯度逼近函數(shù)根據(jù)二維灰度矩陣梯度向量來尋找圖像灰度矩陣的灰度躍變位置，然后在圖像中將這些位置的點連起來，構成圖像邊緣。機器視覺技術11智能傳感與檢測技術『知識拓展』無人駕駛汽車的感知和定位隨著機器視覺技術的發(fā)展，目前視覺傳感器能提供無人駕駛汽車感知和定位兩個功能。感知功能主要有障礙物識別、交通標志識別、可通行空間識別、交通信號燈識別。定位功能是基于視覺同步定位與建圖(SimultaneousLocalizationndMapping，SLAM)技術，將提前建好的地圖和實時的感知結果做匹配，獲取當前汽車的位置。視覺傳感器工作狀態(tài)受光線明暗、天氣狀態(tài)和拍攝物體形狀的影響較大，MobilEYE是著名的車用視覺系統(tǒng)公司，初創(chuàng)于以色列，于2017年被美國INTEL公司以153億美元收購。美國Tesla汽車公司在其無人駕駛技術方案中，堅決排斥激光雷達，而采用了毫米波雷達+視覺傳感器的方案。除了無人駕駛技術應用以外，視覺傳感器還可以應用于倒車輔助、泊車輔助、駕駛人行為監(jiān)測等。機器視覺技術11智能傳感與檢測技術11.4機器視覺技術在紡織企業(yè)中的應用

紡織企業(yè)是大型勞動和技術密集型企業(yè)，“布匹檢測”流水線（圖11-11）是實時、準確、高效的流水線。在流水線上，所有布匹的顏色、及數(shù)量都要進行自動確認。采用機器視覺的自動識別技術完成以前由人工來完成的檢測工作。在大批量的布匹檢測中，用人工檢查產(chǎn)品質量效率低且精度不高，用機器視覺檢測方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動化程度。機器視覺技術11智能傳感與檢測技術

中國正成為世界機器視覺發(fā)展最活躍的地區(qū)之一，應用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、航天、氣象、科研等國民經(jīng)濟的各個行業(yè)。其重要原因是中國已經(jīng)成為全球