機(jī)器視覺原理及應(yīng)用 課件 第1章 緒論

機(jī)器視覺原理及應(yīng)用TianGongUniversity《機(jī)器視覺原理及應(yīng)用》第1章緒論1.1機(jī)器視覺1.2機(jī)器視覺研究的任務(wù)、基本內(nèi)容、應(yīng)用領(lǐng)域與困難1.3馬爾視覺理論1.4機(jī)器視覺與計(jì)算成像視覺是人類強(qiáng)大的感知方式，它為人們提供了關(guān)于周圍環(huán)境的大量信息，使得人們能有效地與周圍環(huán)境進(jìn)行交互。據(jù)統(tǒng)計(jì)，人類從外界接收的各種信息中80%以上是通過視覺獲得的，人類有50%的大腦皮層參與視覺功能運(yùn)轉(zhuǎn)。關(guān)于視覺有很多有趣的發(fā)現(xiàn)，比如螳螂蝦的眼睛能探測(cè)到偏振光。人眼以及普通相機(jī)只能感受到光的強(qiáng)度信息而不能探測(cè)到光的偏振信息。澳大利亞昆士蘭大學(xué)的研究人員發(fā)現(xiàn)，螳螂蝦的復(fù)眼能探測(cè)到偏振光。根據(jù)生物醫(yī)學(xué)及光學(xué)方面的理論知識(shí)，生物組織特性與偏振信息有關(guān)，所以螳螂蝦的眼睛是能夠“診斷”出生物組織的病變的。此外，蜻蜓等昆蟲具有復(fù)眼結(jié)構(gòu)，蜘蛛有很多只眼睛，青蛙的眼睛只能看到動(dòng)態(tài)場(chǎng)景，狗對(duì)色彩信息的分辨能力極低。1.1機(jī)器視覺1.1機(jī)器視覺那么，介紹完生物的視覺功能之后，什么是機(jī)器視覺呢？機(jī)器視覺是機(jī)器(通常指數(shù)字計(jì)算機(jī))對(duì)圖像進(jìn)行自動(dòng)處理并報(bào)告“圖像是什么”的過程，也就是說它用于識(shí)別圖像中的內(nèi)容，比如自動(dòng)目標(biāo)識(shí)別。計(jì)算機(jī)視覺一般以計(jì)算機(jī)為中心，主要由視覺傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊組成。根據(jù)DavidA.Forsyth和JeanPonce的定義，計(jì)算機(jī)視覺是借助于幾何、物理和學(xué)習(xí)理論來建立模型，從而使用統(tǒng)計(jì)方法來處理數(shù)據(jù)的工作。它是指在透徹理解攝像機(jī)性能與物理成像過程的基礎(chǔ)上，通過對(duì)每個(gè)像素值進(jìn)行簡(jiǎn)單的推理，將多幅圖像中可能得到的信息綜合成相互關(guān)聯(lián)的整體，確定像素之間的聯(lián)系以便將他們彼此分割開，或推斷一些形狀信息，進(jìn)而使用幾何信息或概率統(tǒng)計(jì)計(jì)數(shù)來識(shí)別物體。1.1.1機(jī)器視覺的發(fā)展圖為20世紀(jì)70年代至今機(jī)器視覺發(fā)展過程中的部分主題，包括機(jī)器視覺發(fā)展初期（20世紀(jì)70年代）的數(shù)字圖像處理和積木世界，20世紀(jì)80年代的卡爾曼濾波、正則化，20世紀(jì)90年代的圖像分割、基于統(tǒng)計(jì)學(xué)的圖像處理以及21世紀(jì)計(jì)算攝像學(xué)與機(jī)器視覺中的深度學(xué)習(xí)等。1.1.2機(jī)器視覺與其它領(lǐng)域的關(guān)系

機(jī)器視覺屬于交叉學(xué)科，它與眾多領(lǐng)域都有關(guān)聯(lián)。尤其是機(jī)器視覺與計(jì)算機(jī)視覺之間的關(guān)系，有的學(xué)者認(rèn)為二者一樣，有的則認(rèn)為二者存在差別，下方圖顯示了機(jī)器視覺與其他領(lǐng)域的關(guān)系圖，包括計(jì)算機(jī)視覺、圖像處理、人工智能、機(jī)器人控制、信號(hào)處理、成像等。人工智能、機(jī)器人控制等概念在相關(guān)學(xué)科中都有比較明確的定義。成像是表示或重構(gòu)客觀物體形狀及相關(guān)信息的學(xué)科。1.2機(jī)器視覺研究的任務(wù)、基本內(nèi)容、應(yīng)用領(lǐng)域與困難機(jī)器視覺系統(tǒng)被用于分析圖像和生成對(duì)被成像物體的描述。這些描述必須包含關(guān)于被成像物體的某些信息。用于完成某些特殊的任務(wù)。機(jī)器視覺系統(tǒng)可以看作一個(gè)與周圍環(huán)境進(jìn)行交互的部分。它是關(guān)于場(chǎng)景的反饋回路中的一個(gè)單元，而其它單元?jiǎng)t被用于決策與執(zhí)行決策。機(jī)器視覺研究的內(nèi)容非常廣泛，比如以下幾個(gè)方面：●相機(jī)標(biāo)定與圖像形成?！穸祱D像分析、邊緣檢測(cè)與圖像濾波等低水平圖像處理問題。●圖像分割，紋理描述與分割?！馭hapeFromX三維視覺?！窳Ⅲw視覺?！窆饬髋c運(yùn)動(dòng)分析?！衲繕?biāo)匹配，檢測(cè)與識(shí)別。●3D傳感，形狀描述、目標(biāo)跟蹤。●視覺人機(jī)交互與虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)。●計(jì)算成像。1.2.3應(yīng)用領(lǐng)域機(jī)器視覺在很多領(lǐng)域已經(jīng)得到了廣泛應(yīng)用。1）工業(yè)自動(dòng)化生產(chǎn)線：將圖像和視覺技術(shù)用于工業(yè)自動(dòng)化，可以提高生產(chǎn)效率和生產(chǎn)質(zhì)量，同時(shí)還可以避免人的疲勞、注意力不集中等帶來的誤判。具體例子有工業(yè)探傷、自動(dòng)流水線和裝配、自動(dòng)焊接、PCB檢查以及各種危險(xiǎn)場(chǎng)合工作的機(jī)器人等。2）視覺導(dǎo)航：用于無人駕駛飛機(jī)、無人駕駛汽車、移動(dòng)機(jī)器人、精確制導(dǎo)及自動(dòng)巡航裝備捕獲目標(biāo)和確定距離，既可以避免人的參與及由此帶來的危險(xiǎn)，也可提高精度和速度。3）光學(xué)字符識(shí)別:閱讀信上的手寫郵政編碼和自動(dòng)號(hào)碼牌識(shí)別。4）機(jī)器檢驗(yàn)：快速檢驗(yàn)部件質(zhì)量，用立體視覺在專用的光照環(huán)境下測(cè)量飛機(jī)機(jī)翼或汽車車身配件的容差。5）零售業(yè)：針對(duì)自動(dòng)結(jié)賬通道的物體識(shí)別及基于人臉識(shí)別的支付功能。6）醫(yī)學(xué)成像：配準(zhǔn)手術(shù)前和手術(shù)中的成像，或關(guān)于人類老化過程中大腦形態(tài)的長(zhǎng)期研究。7）人機(jī)交互：讓計(jì)算機(jī)借助人的手勢(shì)、嘴唇動(dòng)作、軀干運(yùn)動(dòng)、表情等了解人的要求而執(zhí)行指令，這既符合人類的互動(dòng)習(xí)慣，也可增加交互便捷性和臨場(chǎng)感。8）虛擬現(xiàn)實(shí)：飛機(jī)駕駛員訓(xùn)練、手術(shù)模擬、場(chǎng)景建模、戰(zhàn)場(chǎng)環(huán)境仿真等。1.2.4困難使機(jī)器具有看的能力不是一件容易的事情。那么，機(jī)器視覺的研究有哪些困難？對(duì)于這個(gè)問題，可從以個(gè)方面理解。1）在3D向2D轉(zhuǎn)換過程中損失信息。在相機(jī)或者人眼圖像獲取過程中，會(huì)出現(xiàn)3D向2D轉(zhuǎn)換過程中的信息損失。2）解釋。人類可以自然而然地對(duì)圖像進(jìn)行解釋，而這一任務(wù)卻是機(jī)器視覺要解決的難題之一。3）噪聲。真實(shí)世界中的測(cè)量都含有噪聲，這就需要使用相應(yīng)數(shù)學(xué)工具和方法對(duì)含有噪聲的視覺感知結(jié)果進(jìn)行分析與處理，從而較好地復(fù)原真實(shí)視覺數(shù)據(jù)。4）大數(shù)據(jù)。圖像數(shù)據(jù)是巨大的，視頻數(shù)據(jù)相應(yīng)地會(huì)更大。雖然技術(shù)上的進(jìn)步使得處理器和內(nèi)存不足已經(jīng)不是問題，但是，數(shù)據(jù)處理的效率仍然是一個(gè)重要的問題。5）亮度測(cè)量。在成像傳感時(shí)，用圖像亮度近似表示輻射率。輻射率依賴于輻照度（輻照度與光源類型、強(qiáng)度和位置有關(guān)）、觀察者位置、表面的局部幾何性質(zhì)和表面的反射特效等。其逆任務(wù)是病態(tài)的，比如由亮度變化重建局部表面方向。通常病態(tài)問題的求解是極其困難的。6）局部窗口和對(duì)全局視圖的需要。通常，圖像分析與處理的是其中的局部像素，也就是說通過小孔來看圖像。通過小孔看世界很難實(shí)現(xiàn)全局上下文的理解。1.2.5機(jī)器視覺與人的視覺關(guān)系機(jī)器視覺是研究如何能讓計(jì)算機(jī)像人類那樣通過視覺實(shí)現(xiàn)“see”的學(xué)科。視覺實(shí)際上包含兩個(gè)方面：“視”和“覺”，也就是說機(jī)器視覺不僅要捕獲場(chǎng)景信息還需要理解場(chǎng)景信息。具體來講，它是利用相機(jī)和計(jì)算機(jī)代替人眼，使得機(jī)器擁有類似于人類的對(duì)目標(biāo)進(jìn)行分割、分類、識(shí)別、跟蹤、判別和決策的功能。對(duì)人類來說非常簡(jiǎn)單的視覺任務(wù)對(duì)于機(jī)器卻可能異常復(fù)雜。在很多方面，機(jī)器視覺的能力還遠(yuǎn)遠(yuǎn)不如人類視覺，原因在于人類經(jīng)過大量的學(xué)習(xí)、認(rèn)識(shí)和了解，已經(jīng)對(duì)現(xiàn)實(shí)世界中存在的各種事物有了準(zhǔn)確、完善的分類歸納能力，而計(jì)算機(jī)則缺少相應(yīng)的過程，就像一個(gè)嬰兒很難分清不同的人，很難辨別物體的形狀和外觀、人的表情等，但經(jīng)過與外界的交互、學(xué)習(xí)就能逐漸掌握對(duì)事物和場(chǎng)景的識(shí)別和理解能力。讓計(jì)算機(jī)達(dá)到人類的視覺能力需要一個(gè)完善的學(xué)習(xí)過程。此外，生物的眼睛經(jīng)歷了５億多年的進(jìn)化，視覺系統(tǒng)不斷完善，而相機(jī)的出現(xiàn)才短短一百多年。在圖像理解等高級(jí)機(jī)器視覺問題上，計(jì)算機(jī)的視覺能力通常低于人類。人類及其他生物的眼睛具有的強(qiáng)大功能，所以機(jī)器視覺研究過程中借鑒了生物視覺的功能原理，比如Gabor濾波器的頻率和方向表達(dá)同人類視覺系統(tǒng)類似，卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建參考了人類大腦提取視覺信息的方式。1.3馬爾視覺理論Marr首次從信息處理的角度綜合了圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床神經(jīng)病學(xué)等方面已取得的重要研究成果，在1982年出版的《視覺》（Vision）一書提出了視覺理論框架，使得計(jì)算機(jī)視覺有了一個(gè)比較明確的體系。該框架既全面又精煉，是使視覺信息理解的研究變得嚴(yán)密，并把視覺研究從描述的水平提高到數(shù)理科學(xué)水平的關(guān)鍵。Marr的理論指出，要先理解視覺的目的，再去理解其中的細(xì)節(jié)。這對(duì)各種信息處理任務(wù)都是合適的。下面簡(jiǎn)要介紹Marr視覺理論的基本思想及理論框架。1.3.1視覺是一個(gè)復(fù)雜的信息加工過程馬爾從信息處理系統(tǒng)的角度出發(fā)，認(rèn)為對(duì)視覺系統(tǒng)的研究應(yīng)分為三個(gè)層次，即計(jì)算理論層次、表達(dá)與算法層次和硬件實(shí)現(xiàn)層次。計(jì)算理論層次主要回答視覺系統(tǒng)的計(jì)算目的與計(jì)算策略是什么，或視覺系統(tǒng)的輸入輸出是什么，如何由系統(tǒng)的輸入求系統(tǒng)的輸出。在這個(gè)層次上，視覺系統(tǒng)輸入是二維圖像，輸出則是三維物體的形狀、位置和姿態(tài)。視覺系統(tǒng)的任務(wù)是研究如何建立輸入輸出之間的關(guān)系和約束，如何由灰度圖像恢復(fù)物體的三維信息。表達(dá)與算法層次是要進(jìn)一步回答如何表達(dá)輸入和輸出信息，如何實(shí)現(xiàn)計(jì)算理論所對(duì)應(yīng)功能的算法，以及如何由一種表示變換成另一種表示。一般來說，使用不同的表達(dá)方式完成同一計(jì)算的算法會(huì)不同，但表達(dá)與算法是比計(jì)算理論低一層次的問題，不同的表達(dá)與算法，在計(jì)算理論層次上可以是相同的。最后一個(gè)硬件實(shí)現(xiàn)層次解決如何用硬件實(shí)現(xiàn)上述表達(dá)和算法的問題，比如計(jì)算機(jī)體系結(jié)構(gòu)和具體的計(jì)算裝置及其細(xì)節(jié)。1.3.3視覺系統(tǒng)處理的三個(gè)階段馬爾從視覺計(jì)算理論出發(fā)，將系統(tǒng)分為自下而上的三個(gè)階段，即視覺信息從最初的原始數(shù)據(jù)（二維圖像數(shù)據(jù)）到最終對(duì)三維環(huán)境的表達(dá)經(jīng)歷了三個(gè)階段的處理，如圖所示。第一階段（早期視覺處理階段）構(gòu)成所謂“要素圖”或“基元圖”，基元圖由二維圖像中的邊緣點(diǎn)、直線段、曲線、頂點(diǎn)、紋理等基本幾何元素或特征組成。對(duì)第二階段（中期視覺處理階段），馬爾稱為對(duì)環(huán)境的2.5維描述。1.3.3視覺系統(tǒng)處理的三個(gè)階段馬爾的視覺計(jì)算理論是視覺研究中第一個(gè)影響較大的理論，它推動(dòng)了這一領(lǐng)域的發(fā)展，對(duì)圖像理解和機(jī)器視覺的研究具有重要作用。但是馬爾的理論也有不足之處，比如下面四個(gè)有關(guān)整體框架的問題。１）框架中的輸入是被動(dòng)的，輸入什么圖像，系統(tǒng)就加工什么圖像。２）框架中的目的不變，總是恢復(fù)場(chǎng)景中物體的位置和形狀。３）框架缺乏或者說沒有足夠重視高層知識(shí)的指導(dǎo)作用。４）整個(gè)框架中的信息加工過程基本自下而上，單向流動(dòng)，沒有反饋。針對(duì)上述問題，人們提出了一系列改進(jìn)思路，具體如圖所示1.4機(jī)器視覺與計(jì)算成像計(jì)算攝像學(xué)或計(jì)算成像（computationalphotography）是綜合了機(jī)器視覺、計(jì)算機(jī)圖形學(xué)、人工智能、信號(hào)處理等技術(shù)的新興領(lǐng)域。在計(jì)算成像中通常會(huì)在傳感數(shù)據(jù)采用圖像分析與處理算法獲得超越傳統(tǒng)成像系統(tǒng)能力的圖像。傳統(tǒng)成像通常輸出的為圖像，而計(jì)算成像輸出數(shù)據(jù)需要進(jìn)一步計(jì)算獲得最終的圖像數(shù)據(jù)。計(jì)算成像綜合了以前端光學(xué)和后端信號(hào)處理一體化設(shè)計(jì)為代表的聯(lián)合處理方式，并將其命名為“ComputationalPhotography”，標(biāo)志著計(jì)算光學(xué)成像的誕生。計(jì)算成像發(fā)展迅速，其中以單光子成像、單像素成像、非視覺成像、偏振成像、光場(chǎng)成像、事件相機(jī)成像、多光譜成像、Fourier疊層成像、散射介質(zhì)成像等為代表的計(jì)算成像技術(shù)極大克服了傳統(tǒng)成像的局限性，在越來越多的領(lǐng)域得到廣泛的應(yīng)用。1.4.1單光子成像單光子成像是面向極低光照成像條件下的高靈敏成像。單光子成像是固態(tài)成像技術(shù)的拓展，光電探測(cè)過程的靈敏度可以通過系統(tǒng)設(shè)計(jì)得到提高，直到最終能探測(cè)單個(gè)光子到達(dá)的光子。中國(guó)科技大學(xué)徐飛虎教授等提出了高效的少光子計(jì)算成像算法，首次實(shí)現(xiàn)每個(gè)像素只探測(cè)一個(gè)光子的超低光、高靈敏三維成像。單光子成像技術(shù)通過脈沖激光照射目標(biāo)，在回波光子數(shù)極少的情況下，采用大口徑光學(xué)鏡頭進(jìn)行收集，通過單光子探測(cè)器記錄光子到達(dá)時(shí)間，并由光子計(jì)數(shù)器記錄信號(hào)個(gè)數(shù)，并基于泊松統(tǒng)計(jì)的方法，通過增大重復(fù)次數(shù)，可累積出目標(biāo)光強(qiáng)信息與距離信息，從而實(shí)現(xiàn)對(duì)目標(biāo)的灰度成像及三維成像。2019年打破了單光子三維成像的最遠(yuǎn)距離記錄，能夠以每像素1光子的靈敏度對(duì)45公里遠(yuǎn)的物體成像。中國(guó)科學(xué)技術(shù)大學(xué)潘建偉院士、徐飛虎教授等實(shí)現(xiàn)超過200公里的遠(yuǎn)距離單光子三維成像，首次將成像距離從十公里突破到百公里量級(jí)，為遠(yuǎn)距離目標(biāo)識(shí)別、對(duì)地觀測(cè)等領(lǐng)域應(yīng)用開辟新道路。1.4.2單像素成像單像素成像是近年來被廣泛研究的一種新型成像技術(shù)。單像素相機(jī)在照明端采取結(jié)構(gòu)光照明，在探測(cè)端采用單像素光強(qiáng)探測(cè)器收集信號(hào)。當(dāng)照明結(jié)構(gòu)發(fā)生變化時(shí)，相應(yīng)的物光光強(qiáng)的變化反映出照明結(jié)構(gòu)與物體空間信息之間的關(guān)聯(lián)程度。通過不斷變化照明結(jié)構(gòu)并累積關(guān)聯(lián)信息，最終實(shí)現(xiàn)對(duì)物體的成像。由于單像素相機(jī)在探測(cè)端只需要光強(qiáng)探測(cè)，它對(duì)探測(cè)器的要求遠(yuǎn)遠(yuǎn)低于普通成像中的面陣探測(cè)器。如圖所示，光源發(fā)出的光經(jīng)過成像物體反射通過透鏡會(huì)聚到空間光調(diào)制器（DMD），被單像素探測(cè)獲取。然后通過空間光調(diào)制器的圖案和單像素探測(cè)器的信號(hào)進(jìn)行運(yùn)算可重構(gòu)出物體的圖像。照明光電探測(cè)器成像透鏡背向散射1.4.3偏振成像偏振成像相機(jī)通過在傳統(tǒng)相機(jī)成像芯片前放置多向偏振光學(xué)元件過濾其他偏振方向的光，保存偏振光方向的光線，得到傳感器偏振強(qiáng)度。圖為分焦面成像原理圖，多向偏振元件使得進(jìn)入每個(gè)相機(jī)光感器芯片像元的光為單一偏振方向，實(shí)現(xiàn)相機(jī)傳感器每個(gè)像素點(diǎn)的光強(qiáng)信息為單一偏振方向。通常，商業(yè)上所用的偏光傳感器芯片搭載了4向偏光元件，單次采集可獲取0度、45度、90度和135度方向偏振光數(shù)據(jù)。與傳統(tǒng)成像相比，偏振成像可提供偏振度、偏振角、斯托克斯等參數(shù)，在偏振去霧成像、偏振導(dǎo)航、生物醫(yī)學(xué)成像、工業(yè)視覺反光去除方面具有巨大的潛力。此外，通過偏振成像實(shí)現(xiàn)三維重建也是計(jì)算機(jī)三維視覺中的重要的三維重建方式。通過偏振參數(shù)計(jì)算物體表面法向量，可進(jìn)而重建物體深度信息。目前，單獨(dú)使用偏振信