機(jī)器學(xué)習(xí)技術(shù)與應(yīng)用 課件 第12課 機(jī)器人視覺系統(tǒng)

智能機(jī)器人技術(shù)與應(yīng)用“十四五”職業(yè)教育人工智能技術(shù)應(yīng)用專業(yè)系列教材第12課機(jī)器人視覺系統(tǒng)231知識目標(biāo)（1）熟悉機(jī)器人視覺，了解機(jī)器視覺系統(tǒng)的構(gòu)成。（2）熟悉機(jī)器視覺應(yīng)用領(lǐng)域與應(yīng)用場景。（3）了解三維成像技術(shù)，了解機(jī)器人視覺系統(tǒng)設(shè)計。能力目標(biāo)（1）掌握專業(yè)知識的學(xué)習(xí)方法，培養(yǎng)閱讀、思考與研究的能力。（2）積極參與“研究性學(xué)習(xí)小組”活動，提高組織和參與活動的能力，具備團(tuán)隊精神。素質(zhì)目標(biāo)（1）熱愛學(xué)習(xí)，掌握學(xué)習(xí)方法，提高學(xué)習(xí)能力。（2）熱愛讀書，善于分析，勤于思考，關(guān)心技術(shù)進(jìn)步。（3）體驗、積累和提高“大國工匠”的專業(yè)素質(zhì)。學(xué)習(xí)目標(biāo)

愿景

體驗

創(chuàng)意

實踐重點難點（1）熟悉機(jī)器視覺系統(tǒng)及其應(yīng)用場景。（2）熟悉機(jī)器人視覺系統(tǒng)設(shè)計。目錄機(jī)器人的視覺01機(jī)器視覺系統(tǒng)構(gòu)成02機(jī)器視覺應(yīng)用領(lǐng)域03三維成像技術(shù)04機(jī)器人視覺系統(tǒng)設(shè)計05第12課機(jī)器人視覺系統(tǒng)從上個世紀(jì)六十年代開始，人們著手研究機(jī)器視覺系統(tǒng)。一開始，視覺系統(tǒng)只能識別平面上的類似積木的物體，到了七十年代已經(jīng)可以認(rèn)識某些加工部件，也能認(rèn)識室內(nèi)的桌子、電話等物品了。當(dāng)時的研究工作雖然進(jìn)展很快，但卻無法用于實際。這是因為視覺系統(tǒng)的信息量極大，處理這些信息的硬件系統(tǒng)十分龐大，花費(fèi)的時間也很長。隨著大規(guī)模集成技術(shù)的發(fā)展，計算機(jī)內(nèi)存的體積不斷縮小，價格急劇下降，速度不斷提高，視覺系統(tǒng)也走向了實用化。進(jìn)入八十年代后，由于微計算機(jī)的飛速發(fā)展，實用的視覺系統(tǒng)已經(jīng)進(jìn)入各個領(lǐng)域，其中用于機(jī)器人的視覺系統(tǒng)數(shù)量日益增多。機(jī)器人的視覺0101

機(jī)器人的視覺進(jìn)入人工智能時代，機(jī)器人產(chǎn)業(yè)經(jīng)歷了井噴式發(fā)展，工業(yè)機(jī)器人、服務(wù)機(jī)器人、特種機(jī)器人等應(yīng)用領(lǐng)域新場景不斷落地，而當(dāng)下，以機(jī)器之“眼（視覺）”為開始，機(jī)器人技術(shù)正發(fā)起一場新的感知變革。

圖12-4機(jī)器視覺智能機(jī)器人的“眼”AI視覺讓機(jī)器人“睜開眼”了解機(jī)器視覺系統(tǒng)01

機(jī)器人的視覺01

機(jī)器人的視覺12.1.1智能機(jī)器人的“眼”對于智能機(jī)器人的研發(fā)一直在借鑒著人類本身，同樣“眼睛”也不例外。人類通過眼睛“看清”周圍環(huán)境中的事物，在反饋到大腦后，對事物形成“認(rèn)知和決策”。構(gòu)成機(jī)器“眼睛”的技術(shù)從最初的陀螺儀、紅外線到激光雷達(dá)等經(jīng)歷了多次迭代，其中具有劃時代意義的當(dāng)屬激光雷達(dá)技術(shù)（見圖11-5）的應(yīng)用，加之同時期谷歌對Cartographer（制圖師，谷歌的一個視覺算法）的開源，使得機(jī)器人技術(shù)得到顯著進(jìn)步，采用激光方案的產(chǎn)品不斷出現(xiàn)并占領(lǐng)市場。01

機(jī)器人的視覺圖11-5激光雷達(dá)的結(jié)構(gòu)01

機(jī)器人的視覺從技術(shù)角度看，激光雷達(dá)技術(shù)受熱捧的原因主要得益于其技術(shù)原理，通過向周圍發(fā)射激光，光線反彈后被接收器捕獲，根據(jù)時間確定物體的距離，計算出物體的姿態(tài)信息和物理形狀，經(jīng)過算法處理構(gòu)建二維地圖，從而幫助機(jī)器人實現(xiàn)自主定位導(dǎo)航及避障。而這正是之前的技術(shù)方案所做不到的。激光雷達(dá)技術(shù)為機(jī)器人的發(fā)展奠定了基礎(chǔ)，幫助機(jī)器人實現(xiàn)了“看”和自主移動的能力。如何讓機(jī)器人更像“人”，機(jī)器人的“眼”仍是關(guān)鍵。真正意義上的智能機(jī)器人不僅應(yīng)該具有基礎(chǔ)

感知環(huán)境的能力，還應(yīng)該具有對環(huán)境的認(rèn)知、記憶的能力，對人的姿態(tài)識別、情緒

識別能力等，而人工智能視覺的加入，為此提供了新的實現(xiàn)路徑。01

機(jī)器人的視覺12.1.2AI視覺讓機(jī)器人“睜開眼”作為機(jī)器視覺系統(tǒng)最直接的信息源，AI視覺通過利用視覺傳感器和計算機(jī)代替人眼，使機(jī)器擁有類似于人眼對目標(biāo)進(jìn)行分割、分類、識別、跟蹤、判別決策的功能，從而使系統(tǒng)模擬人類“思維”，實現(xiàn)人類思維邏輯的能力，真正實現(xiàn)讓機(jī)器人“睜開眼”。AI視覺的原理和其他方案有著本質(zhì)區(qū)別。利用視覺傳感器可以獲取海量的、富于冗雜的紋理信息，擁有強(qiáng)大的場景辨識能力。采集到的2D環(huán)境信息經(jīng)過算法處理，可生成三維環(huán)境地圖，擁

有豐富的語義信息，不僅可解析出機(jī)器與障礙物的距離，還有它的體積以及屬性信息。此外，對于需要進(jìn)入人類活動中的服務(wù)機(jī)器人，AI視覺還能識別人的姿態(tài)（點頭、搖

頭、體態(tài)、手勢、手臂關(guān)節(jié)等）、表情變化、觸摸屏以及語音對話等信息，將這些信

息綜合起來決策反饋出用戶潛在的交互意圖，實現(xiàn)復(fù)雜度更高的業(yè)務(wù)邏輯。01

機(jī)器人的視覺12.1.3了解機(jī)器視覺系統(tǒng)機(jī)器視覺系統(tǒng)綜合了光學(xué)、機(jī)械、電子、計算機(jī)軟硬件等方面的技術(shù)，涉及到計算機(jī)、圖像處理、模式識別、人工智能、信號處理、光機(jī)電一體化等多個領(lǐng)域。圖像處理和模式識別等技術(shù)的快速發(fā)展，也大大推動了機(jī)器視覺的發(fā)展。一般來說，機(jī)器視覺系統(tǒng)包括了照明系統(tǒng)、鏡頭、攝像系統(tǒng)和圖像處理系統(tǒng)。對于每一個應(yīng)用，都需要考慮系統(tǒng)的運(yùn)行速度和圖像的處理速度、使用彩色還是黑白攝像機(jī)、檢測目標(biāo)的尺寸還

是檢測目標(biāo)有無缺陷、視場需要多大、分辨率需要多高、對

比度需要多大等。01

機(jī)器人的視覺從功能看，典型機(jī)器視覺系統(tǒng)可以分為圖像采集、圖像處理和運(yùn)動控制等部分。

圖12-6機(jī)器視覺系統(tǒng)01

機(jī)器人的視覺（1）非接觸測量，對于觀測者與被觀測者都不會產(chǎn)生任何損傷，從而提高系統(tǒng)的可靠性。（2）具有較寬的光譜響應(yīng)范圍，例如使用人眼看不見的紅外測量，擴(kuò)展了人眼的視覺范圍。（3）長時間穩(wěn)定工作，人類難以長時間對同一對象進(jìn)行觀察，而機(jī)器視覺則可以長時間地完成測量、分析和識別任務(wù)。機(jī)器視覺系統(tǒng)的應(yīng)用領(lǐng)域越來越廣泛。在工業(yè)、農(nóng)業(yè)、國防、交通、醫(yī)療、金融甚至體育、娛樂等等行業(yè)都獲得了廣泛應(yīng)用，已經(jīng)深入到人們的生活、生產(chǎn)和工作的方方面面。機(jī)器視覺系統(tǒng)構(gòu)成0202

機(jī)器視覺系統(tǒng)構(gòu)成視覺系統(tǒng)的設(shè)計分為軟件設(shè)計和硬件設(shè)計兩大部分。視覺系統(tǒng)的硬件設(shè)計視覺系統(tǒng)的工作原理視覺系統(tǒng)的軟件設(shè)計02

機(jī)器視覺系統(tǒng)構(gòu)成02

機(jī)器視覺系統(tǒng)構(gòu)成12.2.1視覺系統(tǒng)的硬件設(shè)計典型的機(jī)器視覺系統(tǒng)主要由鏡頭、攝像機(jī)、圖像采集卡、輸入輸出單元、控制裝置構(gòu)成。一套視覺系統(tǒng)的好壞分別取決于攝像機(jī)像素的高低，硬件質(zhì)量的優(yōu)劣，更重要的是各個部件間的相互配合和合理使用。

圖12-7機(jī)器視覺系統(tǒng)組成02

機(jī)器視覺系統(tǒng)構(gòu)成（1）工業(yè)相機(jī)與工業(yè)鏡頭，又稱攝像頭和光學(xué)部件。視覺系統(tǒng)通常都是由一套或者多套成像器件（攝像頭和鏡頭等光學(xué)部件）組成，用于拍攝被檢測的物體。如果有多路相機(jī)，可以經(jīng)圖像卡切換來獲取圖像數(shù)據(jù)，也可能由同步控制同時獲取多相機(jī)通道的數(shù)據(jù)。根據(jù)應(yīng)用所需要的相機(jī)可能是輸出標(biāo)準(zhǔn)單色視頻（RS-170/CCIR）、復(fù)合信號（Y/C）、RGB信號，也可能是非標(biāo)準(zhǔn)的逐行掃描信號、線掃描信號、高分辨率信號等。（2）光源。燈光用于照亮部件，以便從攝像頭中拍攝到更好的圖像，燈光系統(tǒng)可以有不同形狀、尺寸和亮度，作為輔助成像器件，對成像質(zhì)量的好壞往往能起到至關(guān)重要的作用。一般的燈光可以是高頻熒光燈、LED、白熾燈和石英鹵素?zé)舻刃问健?2

機(jī)器視覺系統(tǒng)構(gòu)成（3）傳感器。通常以光纖開關(guān)、接近開關(guān)等光柵或傳感器的形式出現(xiàn)。當(dāng)傳感器感知到部件靠近時，會給出一個觸發(fā)信號。當(dāng)部件處于正確位置時，傳感器會告訴機(jī)器視覺系統(tǒng)去采集圖像，用以判斷被測對象的位置和狀態(tài)，告知圖像傳感器進(jìn)行正確的采集。（4）圖像采集卡，也稱為視頻抓取卡。通常以插入卡的形式安裝在PC中。圖像采集卡的主要工作是將攝像頭與PC連接起來，把相機(jī)輸出的圖像輸送給電腦主機(jī)，將來自相機(jī)的模擬或數(shù)字信號轉(zhuǎn)換成一定格式的圖像數(shù)據(jù)流，同時可以控制相機(jī)的一些參數(shù)，比如觸發(fā)信號、曝光/積分時間、快門速度等。圖像采集卡形式很多，通常有不同的硬件結(jié)構(gòu)以針對不同類型的相機(jī)，同時也有不同的總線形式，比如PCI、PCI64、CompactPCI，PC104，ISA等。02

機(jī)器視覺系統(tǒng)構(gòu)成（5）PC平臺。這是視覺系統(tǒng)的核心，在這里完成圖像數(shù)據(jù)的處理和絕大部分的控制邏輯，對于檢測類型的應(yīng)用，通常都需要較高頻率的CPU，這樣可以減少處理的時間。同時，為了減少工業(yè)現(xiàn)場電磁、振動、灰塵、溫度等的干擾，必須選擇工業(yè)級的電腦。（6）視覺處理軟件。用來創(chuàng)建和執(zhí)行程序、處理采集來的圖像數(shù)據(jù)理，然后通過一定的運(yùn)算得出結(jié)果，這個輸出的結(jié)果可能是“通過/失?。≒ASS/FAIL）”信號、坐標(biāo)位置、字符串等。常見的機(jī)器視覺軟件以C/C++圖像庫，ActiveX控件，圖形式編程環(huán)境等形式出現(xiàn)，可以是專用功能的（比如僅僅用于LCD檢測、BGA檢測、模版對準(zhǔn)等），也可以是通用目的的（包括定位、測量、條碼/字符識別、斑點檢測、機(jī)器人導(dǎo)航、現(xiàn)場驗證等）。02

機(jī)器視覺系統(tǒng)構(gòu)成（7）控制單元（包含I/O、運(yùn)動控制、電平轉(zhuǎn)化單元等）。一旦視覺軟件完成圖像分析（除非僅用于監(jiān)控），緊接著需要和外部單元進(jìn)行通信以完成對生產(chǎn)過程的控制。簡單的控制可以直接利用部分圖像采集卡自帶的I/O，相對復(fù)雜的邏輯/運(yùn)動控制則必須依靠附加可編程邏輯控制單元/運(yùn)動控制卡來實現(xiàn)必要的動作。02

機(jī)器視覺系統(tǒng)構(gòu)成12.2.2視覺系統(tǒng)的工作原理機(jī)器人視覺的圖像獲取由照明系統(tǒng)、視覺傳感器、模擬-數(shù)字轉(zhuǎn)換器和幀存儲器等組成。機(jī)器人通過視覺傳感器獲取環(huán)境的二維圖像，通過視覺處理器進(jìn)行分析和解釋，進(jìn)而轉(zhuǎn)換為符號，讓機(jī)器人能夠辨識物體，并確定其位置。

圖12-8機(jī)器視覺工作原理02

機(jī)器視覺系統(tǒng)構(gòu)成一個機(jī)器視覺系統(tǒng)的主要工作過程是：

圖12-9機(jī)器視覺應(yīng)用系統(tǒng)02

機(jī)器視覺系統(tǒng)構(gòu)成（1）工件定位檢測器探測到物體已經(jīng)運(yùn)動至接近攝像系統(tǒng)的視野中心，向圖像采集部分發(fā)送觸發(fā)脈沖。（2）圖像采集部分按照事先設(shè)定的程序和延時，分別向攝像機(jī)和照明系統(tǒng)發(fā)出啟動脈沖。（3）攝像機(jī)停止目前的掃描，重新開始新的一幀掃描，或者攝像機(jī)在啟動脈沖來到之前處于等待狀態(tài)，啟動脈沖到來后啟動一幀掃描。（4）攝像機(jī)開始新的掃描之前打開曝光機(jī)構(gòu)，曝光時間可以事先設(shè)定。（5）另一個啟動脈沖打開燈光照明，燈光的開啟時間應(yīng)該與攝像機(jī)的曝光時間匹配。（6）攝像機(jī)曝光后，正式開始一幀圖像的掃描和輸出。（7）圖像采集部分接收模擬視頻信號通過A/D將其數(shù)字化，或者是直接接收攝像機(jī)數(shù)字化后的數(shù)字視頻數(shù)據(jù)。02

機(jī)器視覺系統(tǒng)構(gòu)成（8）圖像采集部分將數(shù)字圖像存放在處理器或計算機(jī)的內(nèi)存中。（9）處理器對圖像進(jìn)行處理、分析、識別，獲得測量結(jié)果或邏輯控制值。（10）處理結(jié)果控制流水線的動作、進(jìn)行定位、糾正運(yùn)動的誤差等。02

機(jī)器視覺系統(tǒng)構(gòu)成12.2.3視覺系統(tǒng)的軟件設(shè)計視覺系統(tǒng)的軟件設(shè)計是一個復(fù)雜的課題，不僅要考慮到程序設(shè)計的最優(yōu)化，還要考慮到算法的有效性及其能否實現(xiàn)，在軟件設(shè)計的過程中要考慮到可能出現(xiàn)的各種問題。視覺系統(tǒng)的軟件設(shè)計完成還要對其魯棒性進(jìn)行檢測和提高，以適應(yīng)復(fù)雜的外部環(huán)境。機(jī)器視覺應(yīng)用領(lǐng)域0303

機(jī)器視覺應(yīng)用領(lǐng)域傳統(tǒng)制造業(yè)面臨的轉(zhuǎn)型升級將給自動化行業(yè)帶來巨大的市場機(jī)遇，而機(jī)器視覺作為自動化領(lǐng)域的高智能化產(chǎn)品，未來具有巨大的發(fā)展?jié)摿Α９I(yè)機(jī)器視覺難點在于精度和速度，要求通常都在毫米級，且工業(yè)領(lǐng)域工業(yè)機(jī)器人抓手的變動是在三維空間內(nèi)。根據(jù)功能不同，機(jī)器人視覺可分為視覺檢驗和視覺引導(dǎo)兩種。觸摸屏平板顯示器太陽能板制造激光加工03

機(jī)器視覺應(yīng)用領(lǐng)域半導(dǎo)體生產(chǎn)機(jī)器人與工廠自動化OCR智慧物流03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.1觸摸屏隨著技術(shù)的發(fā)展，人們對電子產(chǎn)品交互體驗的要求越來越高，觸摸屏設(shè)備正在逐步成為平板電腦、手機(jī)、電子書、GPS、游戲機(jī)等設(shè)備的新寵。觸摸屏生產(chǎn)工藝復(fù)雜，從上游的ITO玻璃鍍膜（即銦錫氧化物半導(dǎo)體透明導(dǎo)電膜）、光刻、集成電路組件加工，到中游的觸摸屏模組貼合、絲網(wǎng)印刷、切割，再到下游的觸摸屏模組貼合、蓋板玻璃檢測，都對工藝提出很高的要求，使機(jī)器視覺技術(shù)成為相關(guān)環(huán)節(jié)生產(chǎn)和質(zhì)量檢測的必要技術(shù)。03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.2平板顯示器平板顯示器（FPD）行業(yè)包括LCD（液晶）、LED（發(fā)光二極管）、OLED（有機(jī)發(fā)光二極管）等多種顯示設(shè)備，各種技術(shù)工藝流程都非常復(fù)雜，其中LCD是當(dāng)前最主要的顯示技術(shù)。FPD行業(yè)對生產(chǎn)效率和產(chǎn)品品質(zhì)有極高的要求，機(jī)器視覺技術(shù)作為非接觸、高精度、高速度的生產(chǎn)，檢測能力成為不可或缺的技術(shù)手段。從前端的ITO（半導(dǎo)體透明導(dǎo)電膜）玻璃檢測、背光模組檢測，到Cell貼合、LCD模組的COG設(shè)備、對位貼合、切割機(jī)、飛針檢測設(shè)備等，機(jī)器視覺技

術(shù)的應(yīng)用提高了設(shè)備廠商的核心競爭力。03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.3激光加工激光加工是一種應(yīng)用廣泛的工業(yè)加工技術(shù)，利用對激光器的運(yùn)動控制，實現(xiàn)高精度的打標(biāo)、切割、雕刻、焊接等功能。隨著激光加工的工藝升

級，傳統(tǒng)技術(shù)已經(jīng)不能滿足工業(yè)加工對高精度高

速度的要求。機(jī)器視覺技術(shù)與激光技術(shù)融合，同

時視覺定位和引導(dǎo)實現(xiàn)高精度加工，降低了對高

成本精密卡具的需求，有助于提升設(shè)

備精度，降低加工成本。

圖12-10激光加工03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.4太陽能板制造太陽能是最有價值的未來綠色能源之一，對太陽能電池生產(chǎn)設(shè)備有很高的要求，從硅錠、硅片純度、到加工鍍膜過程的質(zhì)量控制，都會影響最后太陽能電池片的光電裝換效率。高質(zhì)量的產(chǎn)線能夠減低廢品率，從而降低生產(chǎn)能耗與太陽能電池片產(chǎn)出比，使太陽能成為真正的清潔能源。在太陽能電池片生產(chǎn)過程中，通過機(jī)器視覺定位、測

量、檢測等技術(shù)可大大提高成品率，降低生產(chǎn)成本。

圖12-11生產(chǎn)太陽能電池板03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.5半導(dǎo)體生產(chǎn)半導(dǎo)體技術(shù)是現(xiàn)代信息產(chǎn)業(yè)的根基，也是機(jī)器視覺技術(shù)最早的發(fā)源地。上世紀(jì)90年代，歐美半導(dǎo)體企業(yè)在半導(dǎo)體行業(yè)中應(yīng)用圖像技術(shù)，使其后來逐步發(fā)展成為今天的機(jī)器視覺技術(shù)，并成為半導(dǎo)體工業(yè)不可或缺的關(guān)鍵技術(shù)。同時，半導(dǎo)體

產(chǎn)業(yè)規(guī)模龐大，行業(yè)摩爾效應(yīng)為行業(yè)工藝不斷提

出挑戰(zhàn)，也對其生產(chǎn)設(shè)備中的機(jī)器視覺的要求不

斷提高。圖12-12生產(chǎn)半導(dǎo)體芯片03

機(jī)器視覺應(yīng)用領(lǐng)域表面貼裝技術(shù)（SMT）行業(yè)是繼PCB后又一重點電子信息產(chǎn)業(yè)，也是中國機(jī)器視覺設(shè)備商的發(fā)源地，電子元器件小型化、器件貼裝高密度化、器件管腳陣列復(fù)雜化和多樣化都給現(xiàn)代SMT設(shè)備提出更高的要求。通過運(yùn)用機(jī)器視覺視覺定位、測量、檢測檢測技術(shù)，提升SMT設(shè)備生產(chǎn)效率、提高貼裝精度、提升連續(xù)貼裝工作穩(wěn)定性。助力SMT行業(yè)的設(shè)備升級和技術(shù)提高。03

機(jī)器視覺應(yīng)用領(lǐng)域例如，印制電路板（PCB）是電子信息產(chǎn)品主要的產(chǎn)品載體，在PCB行業(yè)發(fā)展相對成熟的今天，行業(yè)競爭激烈，對高性能設(shè)備的綜合制造能力的要求越來越高。隨著多層板、撓性板、剛撓板等PCB制造技術(shù)的發(fā)展，對PCB生產(chǎn)工藝提出了更高的要求。機(jī)器視覺技術(shù)在PCB板制造過程中得到廣泛應(yīng)用，在菲林AOI、PCBAOI、PCB

AVI、內(nèi)層板AXI、PCB絲網(wǎng)印刷、自動曝光機(jī)、

SPI、打孔機(jī)等設(shè)備中，機(jī)器視覺定位、檢測等視

覺技術(shù)可實現(xiàn)快速、精準(zhǔn)的質(zhì)量檢測和

過程，提高產(chǎn)品質(zhì)量和生產(chǎn)效率，是設(shè)

備性能提升的可靠保障。

圖12-13PCB生產(chǎn)03

機(jī)器視覺應(yīng)用領(lǐng)域表面貼裝技術(shù)（SMT）行業(yè)是繼PCB后又一重點電子信息產(chǎn)業(yè)，也是中國機(jī)器視覺設(shè)備商的發(fā)源地，電子元器件小型化、器件貼裝高密度化、器件管腳陣列復(fù)雜化和多樣化都給現(xiàn)代SMT設(shè)備提出更高的要求。通過運(yùn)用機(jī)器視覺視覺定位、測量、檢測檢測技術(shù)，提升SMT設(shè)備生產(chǎn)效率、提高貼裝精度、提升連續(xù)貼裝工作穩(wěn)定性。助力SMT行業(yè)的設(shè)備升級和技術(shù)提高。03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.6機(jī)器人與工廠自動化工業(yè)機(jī)器人是面向工業(yè)領(lǐng)域的多關(guān)節(jié)機(jī)械手或多自由度的機(jī)器人，在工業(yè)生產(chǎn)中替代人工執(zhí)行單調(diào)、頻繁、長時間作業(yè)，或是危險、惡劣環(huán)境下的作業(yè)，如沖壓、壓力鍛造、熱處理、焊接、涂裝、塑料制品成形、機(jī)械加工和簡單裝配等工序，是現(xiàn)代工廠的自動化水平的重要標(biāo)志。機(jī)器人與視覺技術(shù)結(jié)合，能完成更精準(zhǔn)的組裝、焊接、處

理、搬運(yùn)等工作。例如藥品的生產(chǎn)和加工過程是非常嚴(yán)格的管

理過程，任何微小的差錯都有可能造成嚴(yán)重

的后果。通過機(jī)器視覺手段實現(xiàn)對藥品生產(chǎn)過程的質(zhì)量控制和管理控制，提升藥品質(zhì)量

和包裝質(zhì)量，保障患者的生命安全。03

機(jī)器視覺應(yīng)用領(lǐng)域汽車行業(yè)作為一個自動化程度比較高的高科技行業(yè)，很多先進(jìn)的自動化技術(shù)已經(jīng)成功的運(yùn)用到該行業(yè)各個生產(chǎn)流程中。在汽車制造的許多環(huán)節(jié)已經(jīng)做到了無人化操作，這樣就要求有一種可靠的檢測技術(shù)去驗證每一次裝配的正確性及裝配部件的合格性。機(jī)器視覺技術(shù)以其獨(dú)特的技術(shù)優(yōu)勢成為自動檢測系統(tǒng)的首選。機(jī)器視覺已經(jīng)被廣泛的應(yīng)用于汽車生產(chǎn)制造的各個環(huán)節(jié)，例如汽車零部件的尺寸及外觀質(zhì)量檢測，自動裝配正確性的檢測。以前傳統(tǒng)的檢測方式耗費(fèi)大量人力，而且容易受到工人主觀情緒及自身技術(shù)水平的影響，不能保證很高的檢驗合格率。許多汽

車制造廠家使用機(jī)器視覺檢測來替代傳統(tǒng)的檢測方式，并

取得了良好的效果。03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.7智慧物流現(xiàn)代工業(yè)生產(chǎn)流程管理是現(xiàn)代化生產(chǎn)效率和先進(jìn)性的體現(xiàn)，通過對條碼和字符的識別和跟蹤，能夠形成原材料器件、產(chǎn)成品、包裝箱、產(chǎn)品垛之間的一一對應(yīng)，使現(xiàn)代生產(chǎn)具備可管理、可追溯型（見圖2-15）。對于工業(yè)品的生產(chǎn)工業(yè)管理和器件追溯，對于食品飲料防止串貨和安全追溯，汽車行業(yè)的零部件追溯有著非常重要的應(yīng)用意義。03

機(jī)器視覺應(yīng)用領(lǐng)域

圖12-15物流分揀03

機(jī)器視覺應(yīng)用領(lǐng)域12.3.8OCR在很多行業(yè)中，比如印刷、物流、食品包裝等行業(yè)，大量涉及印刷質(zhì)量檢查、包裝質(zhì)量檢查以及產(chǎn)品包裝上的條碼檢查和字符識別等環(huán)節(jié)。這些應(yīng)用的共同特點是，連續(xù)大批量生產(chǎn)、對外觀質(zhì)量的要求高，具有高度重復(fù)性和智能性。利用OCR（光學(xué)字符識別）中機(jī)器視覺的精度、速度以及工業(yè)環(huán)境下的可靠性，來進(jìn)行字符、圖案、條碼的識別，實現(xiàn)生產(chǎn)過程中自動高效的測量、檢查和辨識。三維成像技術(shù)0404

三維成像技術(shù)機(jī)器人視覺系統(tǒng)的主要功能是模擬人眼視覺成像與人腦智能判斷和決策功能，采用圖像傳感技術(shù)獲取目標(biāo)對象的信息，通過對圖像信息提取、處理并理解，最終用于機(jī)器人系統(tǒng)對目標(biāo)實施測量、檢測、識別與定位等任務(wù)，或用于機(jī)械人自身的伺服控制。在工業(yè)應(yīng)用領(lǐng)域，最具有代表性的機(jī)器人視覺系

統(tǒng)就是機(jī)器人手眼系統(tǒng)。根據(jù)成像單元安裝方式

不同，機(jī)器人手眼系統(tǒng)分為兩大類：固定成像

“眼看手”系統(tǒng)與隨動成像“眼在手”系統(tǒng)。

圖12-16眼在手與眼看手兩種機(jī)器人手眼系統(tǒng)結(jié)合04

三維成像技術(shù)有些應(yīng)用場合，為了更好地發(fā)揮機(jī)器人手眼系統(tǒng)的性能，充分利用固定成像眼看手系統(tǒng)全局視場和隨動成像眼在手系統(tǒng)局部視場高分辨率和高精度的性能，可采用兩者混合協(xié)同模式，如用固定成像眼看手系統(tǒng)負(fù)責(zé)機(jī)器人的定位，使用

隨動成像眼在手系統(tǒng)負(fù)責(zé)機(jī)器人的定向；或者

利用固定成像眼看手系統(tǒng)估計機(jī)器人相對目標(biāo)

的方位，利用隨動成像眼在手系統(tǒng)負(fù)責(zé)目標(biāo)姿

態(tài)的高精度估計等。

圖12-17機(jī)器人協(xié)同視覺系統(tǒng)原理圖三維成像方法三維引導(dǎo)系統(tǒng)框架性能比較04

三維成像技術(shù)04

三維成像技術(shù)12.4.1三維成像方法3D視覺成像可分為光學(xué)和非光學(xué)成像方法。目前應(yīng)用最多的還是光學(xué)方法，包括飛行時間法、激光掃描法、激光投影成像、立體視覺成像等。（1）飛行時間（TOF）3D成像。飛行時間相機(jī)每個像素利用光飛行的時間差來獲取物體的深度。目前已經(jīng)有飛行時間面陣相機(jī)商業(yè)化產(chǎn)品，可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集，特點是檢測速度快、視野范圍較大、工作距離遠(yuǎn)、價格便宜，但精度低，易受環(huán)境光的干擾。04

三維成像技術(shù)（2）掃描3D成像。可分為掃描測距、主動三角法、色散共焦法。掃描測距是利用一條準(zhǔn)直光束通過1D測距掃描整個目標(biāo)表面來實現(xiàn)3D測量。主動三角法是基于三角測量原理，利用準(zhǔn)直光束、一條或多條平面光束掃描目標(biāo)表面完成3D成像（見圖12-18）。色散共焦通過分析反射光束的光譜，獲得對應(yīng)光譜光的聚集位置（見圖12-19）。圖12-18線結(jié)構(gòu)光掃描三維點云生成示意圖04

三維成像技術(shù)圖12-19色散共焦掃描三維成像示意圖04

三維成像技術(shù)掃描3D成像的最大優(yōu)點是測量精度高。其中色散共焦法有其他方法難以比擬的優(yōu)點，如非常適合測量透明物體、高反與光滑表面的物體。但缺點是速度慢、效率低；用于機(jī)械手臂末端時，可實現(xiàn)高精度3D測量，但不適合機(jī)械手臂實時3D引導(dǎo)與定位，因此應(yīng)用場合有限。另外，主動三角掃描在測量復(fù)雜結(jié)構(gòu)面形時容易產(chǎn)生遮擋，需要通過合理規(guī)劃末端路徑與姿態(tài)來解決。04

三維成像技術(shù)（3）結(jié)構(gòu)光投影3D成像。目前這是機(jī)器人3D視覺感知的主要方式。結(jié)構(gòu)光成像系統(tǒng)是由若干臺投影儀和相機(jī)組成，常用的結(jié)構(gòu)形式有：單投影儀-單相機(jī)、單投影儀-雙相機(jī)、單投影儀-多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)-多投影儀等。結(jié)構(gòu)光投影三維成像的基本工作原理是：投影儀向目標(biāo)物體投射特定的結(jié)構(gòu)光照明圖案，由相機(jī)攝取被目標(biāo)調(diào)制后的圖像，再通過圖像處理和視覺模型求出目標(biāo)物體的三維信息。根據(jù)結(jié)構(gòu)光投影次數(shù)劃分，結(jié)構(gòu)光投影三維成像可以分成單次投影3D和多次投影3D方法。單次投影3D主要采用空間復(fù)用編碼和頻率復(fù)用編碼形式實現(xiàn)。由于單次投影曝光和成像時間短，抗振動性能好，適合運(yùn)動物體的3D成像，如機(jī)器人實時運(yùn)動引導(dǎo)，手眼機(jī)器人對生產(chǎn)線上連續(xù)運(yùn)動產(chǎn)品進(jìn)行抓取等操作。但是深度垂直方向上的空間分辨率受到目標(biāo)視場、鏡頭倍率和相機(jī)像素等因素的影響，大視場情況下不容易提升。04

三維成像技術(shù)多次投影3D具有較高空間分辨率，能有效地解決表面斜率階躍變化和空洞等問題。不足之處在于：①對于連續(xù)相移投影方法，3D重構(gòu)的精度容易受到投影儀、相機(jī)的非線性和環(huán)境變化的影響；②抗振動性能差，不合適測量連續(xù)運(yùn)動的物體；③在眼在手視覺導(dǎo)引系統(tǒng)中，機(jī)械臂不易在連續(xù)運(yùn)動時進(jìn)行3D成像和引導(dǎo)；④實時性差。不過隨著投影儀投射頻率和CCD/CMOS圖像傳感

器采集速度的提高，多次投影方法實時3D成像的性能也在逐步改

進(jìn)。04

三維成像技術(shù)對于粗糙表面，結(jié)構(gòu)光可以直接投射到物體表面進(jìn)行視覺成像；但對于大反射率光滑表面和鏡面物體3D成像，結(jié)構(gòu)光投影不能直接投射到被成像表面，需要借助鏡面偏折法。偏折法對于復(fù)雜面型的測量，通常需要借助多次投影方法，因此具有多次投影方法相同的缺點。另外偏折法對曲率變化大的表面測量有一定的難度，因為條紋偏折后反射角的變化率是被測表面曲率變化率的2倍，因此對被測物體表面的曲率變化比較敏感，很容易產(chǎn)生遮擋難題。04

三維成像技術(shù)（4）立體視覺3D成像。這是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu)，一般情況下是指從不同的視點獲取兩幅或多幅圖像重構(gòu)目標(biāo)物體3D結(jié)構(gòu)或深度信息。圖12-20雙目立體視覺工作原理示意圖04

三維成像技術(shù)立體視覺可分為被動和主動兩種形式。被動視覺成像只依賴相機(jī)接收到的由目標(biāo)場景產(chǎn)生的光輻射信息，通過2D圖像像素灰度值進(jìn)行度量。被動視覺常用于特定條件下的3D成像場合，如室內(nèi)、目標(biāo)場景光輻射動態(tài)范圍不大和無遮擋；場景表面非光滑，且紋理清晰，容易通過立體匹配尋找匹配點；或者像大多數(shù)工業(yè)零部件，幾何規(guī)則明顯，控制點比較容易確定等。主動立體視覺是利用光調(diào)制（如編碼結(jié)構(gòu)光、激光調(diào)制等）照射目標(biāo)場景，對目標(biāo)場景表面的點進(jìn)行編碼標(biāo)記，然后對獲取的場景圖像進(jìn)行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的3D結(jié)構(gòu)。主動立體視覺的優(yōu)點是抗干擾性能強(qiáng)、對環(huán)境要求不高（如通過帶通濾波消除環(huán)境光干擾），3D測量精度、重復(fù)性和可靠性高；缺點是對于結(jié)構(gòu)復(fù)雜的場景容易產(chǎn)生遮擋問題。04

三維成像技術(shù)基于結(jié)構(gòu)光測量技術(shù)和3D物體識別技術(shù)開發(fā)的機(jī)器人3D視覺引導(dǎo)系統(tǒng)，可對較大測量深度范圍內(nèi)散亂堆放的零件進(jìn)行全自由定位和拾取。相比傳統(tǒng)的2D視覺定位方式只能對固定深度零件進(jìn)行識別且只能獲取零件的部分自由度的位置信息，具有更高的應(yīng)用柔性和更大的檢測范圍?？蔀闄C(jī)床上下料、零件分揀、碼垛堆疊等工業(yè)問題提供有效的自動化解決方案。04

三維成像技術(shù)12.4.2三維引導(dǎo)系統(tǒng)框架3D重建和識別技術(shù)。通過3D掃描儀可快速準(zhǔn)確地獲取場景的點云圖像，通過3D識別算法，可實現(xiàn)在對點云圖中的多種目標(biāo)物體進(jìn)行識別和位姿估計。

圖12-213D重建與識別04

三維成像技術(shù)多種材質(zhì)識別效果測試。得益于健壯的重建算法和識別算法，可對不同材質(zhì)的零件進(jìn)行穩(wěn)定的重建和識別，即便是反光比較嚴(yán)重的鋁材料及黑色零件都能獲得較好的重建和識別效果，可適用于廣泛的工業(yè)場景。機(jī)器人路徑規(guī)劃。并不是獲得零件的位姿信息后就能馬上進(jìn)行零件的拾取，這僅僅只是第一步，要成功拾取零件還需要完成以下幾件事：手眼標(biāo)定、編排拾取順序、路徑規(guī)劃。自主開發(fā)的機(jī)器人軌跡規(guī)劃算法，可輕松完成上述工作，保證機(jī)器人拾取零件過程穩(wěn)定可靠。快速切換拾取對象。只需要制作模板、零件拾取配置、機(jī)器人拾取配置、切換手抓

等四個簡單操作，即可實現(xiàn)拾取對象的快速切換，無需進(jìn)行復(fù)雜的工裝、產(chǎn)線的調(diào)

整。04

三維成像技術(shù)12.4.3性能比較雖然光學(xué)3D視覺成像測量方法種類繁多，但能夠安裝在工業(yè)機(jī)器人上，組成一種合適的隨動成像眼在手系統(tǒng)，對位置變動的目標(biāo)執(zhí)行3D成像測量、引導(dǎo)機(jī)器人手臂準(zhǔn)確定位和實施精準(zhǔn)操作的方法有限。因為從工業(yè)應(yīng)用的角度來說，人們更關(guān)心的是3D視覺傳感器的精度、速度、體積與重量。鑒于機(jī)器人末端能夠承受的端載荷有限，允許傳感器占用的空間有限，傳感器在滿足成像精度的條件下，重量越輕體積越小也就越實用。所以，對于隨動成像眼在手系統(tǒng)，最佳3D

成像方法是采用被動單目（單相機(jī)）3D成像方法，這樣

不僅體積小、重量輕，也解決了雙目和多目多視圖遮擋難

題。04

三維成像技術(shù)（1）類似于飛行時間相機(jī)、光場相機(jī)這類的相機(jī)，可以歸類為單相機(jī)3D成像范圍，它們體積小，實時性好，適合隨動成像眼在手系統(tǒng)執(zhí)行3D測量、定位和實時引導(dǎo)。但是，飛行時間相機(jī)、光場相機(jī)短期內(nèi)還難以用來構(gòu)建普通的隨動成像眼在手系統(tǒng)，主要原因如下：①飛行時間相機(jī)空間分辨率和3D精度低，不適合高精度測量、定位與引導(dǎo)。②對于光場相機(jī)，目前商業(yè)化的工業(yè)級產(chǎn)品只有為數(shù)不多的幾家，如德國Raytrix，雖然性能較好，空間分率和精度適中，但價格貴，使用成本太高。（2）結(jié)構(gòu)光投影3D系統(tǒng)，精度和成本適中，有相當(dāng)好的應(yīng)用市場前景。它由若干個相機(jī)-投影儀組成的，如果把投影儀當(dāng)作一個逆向的相機(jī)，可以認(rèn)為該系統(tǒng)是一個雙目或多目3D三角測量系統(tǒng)。04

三維成像技術(shù)（3）被動立體視覺3D成像，目前在工業(yè)領(lǐng)域也得到較好應(yīng)用，但應(yīng)用場合有限。因為單目立體視覺實現(xiàn)有難度，雙目和多目立體視覺要求目標(biāo)物體紋理或幾何特征清晰。（4）結(jié)構(gòu)光投影3D、雙目立體視覺3D都存在下列缺點：體積較大，容易產(chǎn)生遮擋。針對這個問題雖然可以增加投影儀或相機(jī)覆蓋被遮擋的區(qū)域，但會增加成像系統(tǒng)的體積，減少在Eye-in-Hand系統(tǒng)中應(yīng)用的靈活性。機(jī)器人視覺系統(tǒng)設(shè)計0505

機(jī)器人視覺系統(tǒng)設(shè)計配置一個基于PC的機(jī)器視覺系統(tǒng)時，認(rèn)真計劃和注意細(xì)節(jié)能幫助我們確保檢測系統(tǒng)符合應(yīng)用需求。首先，計算機(jī)是機(jī)器視覺系統(tǒng)的關(guān)鍵組成部分。應(yīng)用在檢測方面，一般來講，計算機(jī)的速度越快，視覺系統(tǒng)處理每一張圖片的時間就越短。在制造現(xiàn)

場，因為有振動、灰塵、熱輻射等，一般需要工業(yè)級的

計算機(jī)。其次，確定設(shè)計的目標(biāo)可能是最重要的一步

，需要決定在這個檢測任務(wù)中實現(xiàn)什么。