圖像分析與識(shí)別-1課件

SchoolofInstrumentationScience&OptoelectronicsEngineering圖像分析與識(shí)別ImageAnalysisandRecognition1圖像分析與識(shí)別主講教師：祝世平電話： E-Mail：辦公室： 新主樓B座705室2參考教材-1國外著名高等院校信息科學(xué)與技術(shù)優(yōu)秀教材?！秷D像處理分析與機(jī)器視覺（第二版）》，MilanSonka,VaclavHlavac,RogerBoyle著，分中文和英文版，人民郵電出版社，2003年9月。3互動(dòng)出版網(wǎng)（絕版）；

圖書館借閱、復(fù)?。◤?fù)份）；拷貝本書的PDF文件。5參考教材-2教育部高等教育司推薦：國外優(yōu)秀信息科學(xué)與技術(shù)系列教學(xué)用書?！稊?shù)字圖像處理（第二版）》，岡薩雷斯等著，阮秋琦等譯，電子工業(yè)出版社，2003年3月。6參考教材-3清華大學(xué)信息科學(xué)技術(shù)學(xué)院教材-信息與通信工程系列?！秷D像工程》，章毓晉編著，清華大學(xué)出版社，分為：上冊(cè)（圖像處理（第2版），2006年3月。第1版獲全國普通高等學(xué)校優(yōu)秀教材一等獎(jiǎng)）；下冊(cè)（圖像分析，2005年10月）。7第一章引言8人眼的基本構(gòu)造角膜虹膜睫狀肌睫狀小帶視軸玻璃體中央凹盲點(diǎn)視網(wǎng)膜神經(jīng)和鞘脈絡(luò)膜虹膜晶狀體前房睫狀體10人眼的成像過程12電磁波譜及可見光譜14單個(gè)圖像傳感器的工作原理15一維線陣圖像傳感器和二維面陣圖像傳感器16單個(gè)圖像傳感器的成像過程17線陣圖像傳感器的成像過程18圖像處理、分析與計(jì)算機(jī)(機(jī)器)視覺是認(rèn)知科學(xué)與計(jì)算機(jī)科學(xué)中一個(gè)令人興奮的活躍分支。自20世紀(jì)70年代，該領(lǐng)域經(jīng)歷了人們對(duì)其興趣的爆炸性增長之后，在80到90年代逐步走向成熟，伴隨而來的是實(shí)際應(yīng)用的顯著增長。20市場(chǎng)上相關(guān)軟件和硬件產(chǎn)品日益增加；

世界范圍的大學(xué)里都提供了有關(guān)圖像處理、分析和計(jì)算機(jī)(機(jī)器)視覺的課程。21數(shù)字圖像處理最早的應(yīng)用之一是在報(bào)紙業(yè)。借助電報(bào)打印機(jī)進(jìn)行數(shù)字圖像傳輸甚至可以追溯到上世紀(jì)20年代。早在上世紀(jì)20年代曾引入電纜圖片傳輸系統(tǒng)，把橫跨大西洋傳送一幅圖片所需的時(shí)間從一個(gè)多星期減少到3個(gè)小時(shí)。23為了用電纜傳輸圖片，首先對(duì)圖片要進(jìn)行編碼，然后在接收端用特殊的打印設(shè)備重構(gòu)該圖片。下圖就是用這種方法傳送并利用電報(bào)打印機(jī)通過字符模擬中間色調(diào)還原出來的圖像。

24這些早期數(shù)字圖像視覺質(zhì)量的改進(jìn)工作，涉及到打印過程的選擇和亮度等級(jí)的分布等問題。用于得到上圖的打印方法到1921年底就被徹底淘汰了，轉(zhuǎn)而支持一種基于光學(xué)還原的技術(shù)，該技術(shù)在電報(bào)接收端用穿孔紙帶打出圖片。26下圖就是用這種方法得到的圖像，對(duì)比上圖，它在色調(diào)質(zhì)量和分辨率方面的改進(jìn)都很明顯。

27

1922年在信號(hào)兩次穿越大西洋后，從穿孔紙帶得到的數(shù)字圖像。28

1929年從倫敦到紐約用15級(jí)色調(diào)設(shè)備通過電纜傳送的未經(jīng)修飾的照片30計(jì)算機(jī)圖像處理技術(shù)的歷史可以追溯到1946年世界上第一臺(tái)電子計(jì)算機(jī)誕生。但在上世紀(jì)50年代計(jì)算機(jī)主要還是用于數(shù)值計(jì)算，滿足不了處理大數(shù)據(jù)量圖像的要求。31在上世紀(jì)60年代，第3代計(jì)算機(jī)的研制成功，以及快速傅里葉變換算法的發(fā)現(xiàn)和應(yīng)用使得對(duì)圖像的某些計(jì)算得以實(shí)現(xiàn)。人們從而逐步開始利用計(jì)算機(jī)對(duì)圖像進(jìn)行加工利用。32在上世紀(jì)70年代，數(shù)字圖像處理技術(shù)有了長足的進(jìn)展。第一本重要的圖像處理專著也得以出版，RosenfeldA,KakAC.“DigitalPictureProcessing,”AcademicPress,1976。33到上世紀(jì)80年代，許多能獲取3D圖像的設(shè)備和處理分析3D圖像的系統(tǒng)研制成功。進(jìn)入上世紀(jì)90年代，圖像處理技術(shù)已逐步涉及人類生活和社會(huì)發(fā)展的各個(gè)方面。

進(jìn)入21世紀(jì)，數(shù)字圖像處理技術(shù)必將得到進(jìn)一步的發(fā)展和應(yīng)用。34總之，數(shù)字圖像處理技術(shù)在近20多年的時(shí)間里面，迅速地發(fā)展成為一門獨(dú)立的具有強(qiáng)大生命力的學(xué)科。數(shù)字圖像處理技術(shù)得到極大的重視和長足的發(fā)展，出現(xiàn)了許多新理論、新方法、新算法、新手段、新設(shè)備。35第三節(jié)數(shù)字圖像處理的應(yīng)用36一、遙感技術(shù)以前，需要大量的人力對(duì)偵察飛機(jī)拍攝的空中攝影照片進(jìn)行進(jìn)行分析?，F(xiàn)在利用圖像處理系統(tǒng)進(jìn)行判讀分析，既可以提高效率，又可以從照片中提取人工所不能發(fā)現(xiàn)的大量的有用情報(bào)。37遙感技術(shù)分為飛機(jī)遙感和衛(wèi)星遙感技術(shù)。從遙感衛(wèi)星所獲得的圖像的圖像質(zhì)量有時(shí)不是很好，如果仍采用簡單的直觀判讀如此昂貴代價(jià)所獲取的的圖像是不合算的，因此必須采用圖像處理技術(shù)。

38南極洲臭氧層空洞的衛(wèi)星照片

NASA的Nimbus7號(hào)衛(wèi)星拍攝39多光譜遙感圖像需要進(jìn)行融合配準(zhǔn)，以期獲得單獨(dú)每個(gè)譜段所不能獲得的更為豐富的信息，這就必須采用數(shù)字圖像處理技術(shù)。

40同一區(qū)域的全色波段高分辨率（1m）衛(wèi)星遙感圖像

Thepanchromaticband(525.8–928.5μm)ofthe1-mhigh-resolutionpanchromaticimage41同一區(qū)域的多譜段低分辨率（4m）衛(wèi)星遙感圖像

Thered(631.9–697.7μm),green(506.4–595.0μm),blue(444.7–516.0μm)andNIR(757.3–852.7μm)bandsofthe4-mlow-resolutionmultispectralimages42Intensity–hue–saturation(IHS)

圖像融合算法43Broveytransform(BT)

圖像融合算法44Principalcomponentanalysis(PCA)圖像融合算法45High-passfiltering(HPF)

圖像融合算法46High-passmodulation(HPM)

圖像融合算法47àtrousalgorithm-baseddyadicwavelettransform(ATW)圖像融合算法48Multiresolutionanalysis-basedintensitymodulation(MRAIM)圖像融合算法49原始的LRMI圖像以及通過IHS,BT,PCA,HPF,HPM,ATW和MRAIM方法融合后的HRMI圖像50二、醫(yī)學(xué)圖像處理醫(yī)學(xué)上不管是基礎(chǔ)科學(xué)還是臨床應(yīng)用，都是圖像處理應(yīng)用種類極多的領(lǐng)域。生物醫(yī)學(xué)的顯微圖像的處理分析，例如紅白細(xì)胞、細(xì)菌和染色體的分析。

51X射線成像的實(shí)例胸部X射線圖像主動(dòng)脈造影圖像52大家最熟悉的X射線在醫(yī)學(xué)成像中的應(yīng)用是計(jì)算機(jī)軸向斷層術(shù)（CT）。通過CT，可以產(chǎn)生人體的大量“切片”，這些剖面圖合在一起就構(gòu)成了病人體內(nèi)的三維圖，使得肌體病變特別是腫瘤診斷起到了革命性的變化。53頭部CT54超聲波成像的實(shí)例甲狀腺肌肉層有損害55在醫(yī)學(xué)中，無線電波可以用于核磁共振成像（MRI），是繼CT后醫(yī)學(xué)影像學(xué)的又一重大進(jìn)步。相對(duì)于X-射線透視技術(shù)和放射造影技術(shù)，MRI對(duì)人體沒有輻射影響，相對(duì)于超聲探測(cè)技術(shù)，核磁共振成像更加清晰，能夠顯示更多細(xì)節(jié)。56MRI圖像膝蓋脊椎57三、工業(yè)領(lǐng)域中的應(yīng)用基于機(jī)器視覺技術(shù)的物體二維或三維坐標(biāo)精密測(cè)量、深度方向的距離測(cè)量和空間定位。機(jī)器人視覺是機(jī)器人應(yīng)用中一個(gè)非常關(guān)鍵的核心技術(shù)。58工業(yè)產(chǎn)品的無損探傷、表面和外觀的自動(dòng)檢查和識(shí)別、裝配和生產(chǎn)線的自動(dòng)化、印刷電路板的視覺檢查、機(jī)械零件的自動(dòng)識(shí)別分類和幾何尺寸測(cè)量等。59電路板：檢測(cè)丟失元件丸劑膠囊：尋找缺少藥丸瓶子：尋找沒有達(dá)到要求液位的瓶子塑料中氣泡分析谷物分析：顏色、異常目鏡圖像：檢測(cè)是否存在缺陷60三維在線視覺檢測(cè)系統(tǒng)組成61汽車白車身激光視覺檢測(cè)站62四、軍事公安方面運(yùn)動(dòng)目標(biāo)的圖像自動(dòng)跟蹤技術(shù)，例如巡航導(dǎo)彈的三維自動(dòng)地形識(shí)別與匹配。公安業(yè)務(wù)圖片的判讀分析，如指紋識(shí)別、不完整圖片的復(fù)原等。公安中的跟蹤、竊視、交通監(jiān)控、事故分析。63指紋識(shí)別64虹膜識(shí)別65車牌識(shí)別66五、文化藝術(shù)方面圖像、視頻的壓縮編碼和解碼。電視畫面的數(shù)字編輯。繪畫等藝術(shù)作品的三維重建。文物資料照片和舊電影拷貝的修復(fù)。67基于圖像的三維重建

（Image-based3Drendering）68六、體育方面運(yùn)動(dòng)員的訓(xùn)練、動(dòng)作分析、評(píng)分等。69七、展望隨著計(jì)算機(jī)技術(shù)的日益發(fā)展，數(shù)字圖像處理技術(shù)的日益完備，數(shù)字圖像處理的應(yīng)用范圍將更加深入和廣泛。70第四節(jié)計(jì)算機(jī)視覺概述71一、什么是計(jì)算機(jī)視覺人類生理上的視覺功能使人類得以感知和理解周圍的世界。計(jì)算機(jī)視覺的目的是，通過電子化地感知和理解圖像，從而模仿和復(fù)制人類的視覺功能。72二、計(jì)算機(jī)視覺的困難和面臨的挑戰(zhàn)我們生活在一個(gè)三維的世界里面，而當(dāng)計(jì)算機(jī)試圖分析三維空間的物體時(shí)，可利用的視覺傳感器通常只能給出二維的圖像。73這個(gè)三維向二維的映射導(dǎo)致了信息的巨大丟失，這就造成了計(jì)算機(jī)視覺中從二維信息反推三維信息所造成的巨大困難和挑戰(zhàn)。這也是為什么計(jì)算機(jī)視覺至今依然不夠成熟的一個(gè)重要原因所在。74三、計(jì)算機(jī)視覺的研究基礎(chǔ)計(jì)算機(jī)視覺的研究基礎(chǔ)包括神經(jīng)生理學(xué)、實(shí)驗(yàn)生理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、模式識(shí)別、人工智能、電子工程等科學(xué)領(lǐng)域的研究結(jié)果和方法。75四、計(jì)算機(jī)視覺的層次和任務(wù)計(jì)算機(jī)視覺建立在低層的圖像處理之上。計(jì)算機(jī)視覺基于高層的圖像分析和理解。低層圖像處理的數(shù)據(jù)由原始圖像構(gòu)成，由亮度數(shù)值組成的二維圖像矩陣是低層圖像處理的輸入和輸出。

76高層的圖像分析和理解的數(shù)據(jù)表達(dá)了有關(guān)圖像內(nèi)容的知識(shí)。例如，物體的大小、形狀以及圖像中物體之間的相互關(guān)系。高層的圖像分析和理解的數(shù)據(jù)來源于圖像但只有那些與高層目標(biāo)有關(guān)的數(shù)據(jù)被提取出來，這樣很大程度地減少了數(shù)據(jù)量。高層數(shù)據(jù)通常表達(dá)為符號(hào)形式。77計(jì)算機(jī)視覺是建立在高層處理基礎(chǔ)上的，圖像分析和理解是計(jì)算機(jī)視覺的核心。高層的處理取決于知識(shí)、目標(biāo)以及如何達(dá)到這些目標(biāo)的計(jì)劃。高層的處理廣泛用到與圖像內(nèi)容（語義）有關(guān)的先驗(yàn)知識(shí)和人工智能的方法。78高層計(jì)算機(jī)視覺試圖模仿人類的認(rèn)知能力，以及根據(jù)包含在圖像中的信息進(jìn)行決策的能力。計(jì)算機(jī)視覺的目標(biāo)是獲得生物系統(tǒng)所能提供的類似結(jié)果，人們期望用它來解決非常復(fù)雜的任務(wù)。79高層視覺從某種形式的形式化世界模型開始，然后將通過數(shù)字化圖像感知的“真實(shí)”與該模型進(jìn)行比較，試圖找到匹配。當(dāng)差別顯現(xiàn)出來時(shí)就尋找部分匹配（或子目標(biāo)）來克服錯(cuò)配(mismatch)；計(jì)算機(jī)轉(zhuǎn)向低層圖像處理，尋找用來更新模型的信息。80這個(gè)過程反復(fù)進(jìn)行，因此“理解”圖像變?yōu)橐粋€(gè)在“自頂向下(top-down)”和“自底向上(bottom-up)”兩個(gè)過程之間的協(xié)作?；谶@樣一個(gè)反饋回路的反復(fù)的圖像理解過程應(yīng)該最終收斂于全局的目標(biāo)。81圖像處理、分析和理解的層次82計(jì)算機(jī)視覺的經(jīng)典著作DavidMarr.“Vision-AComputationalInvestigationintotheHumanRepresent-ationandProcessingofVisualInformation.”Freeman,SanFrancisco,1982.83DavidMarr的書相當(dāng)大地影響了整個(gè)20世紀(jì)80年代的計(jì)算機(jī)視覺研究，其中闡述了受生物視覺系統(tǒng)啟發(fā)而提出來的新的方法論和計(jì)算理論。90年代以來的發(fā)展正在擺脫對(duì)這一范疇的依賴。84五、迄今為止沒有解決的復(fù)雜問題在完成有關(guān)計(jì)算機(jī)視覺的特定任務(wù)時(shí)如何安排低層圖像處理的操作步驟，使這一問題自動(dòng)完成的目標(biāo)仍然沒有達(dá)到。由于領(lǐng)域相關(guān)知識(shí)以及不確定性的原因，這一過程基本上取決于人的直覺和以往的經(jīng)驗(yàn)。85計(jì)算機(jī)視覺目前通常還需要依賴人來參與一系列的相關(guān)操作。有待開發(fā)更普遍適用、更為可靠、更高效率的算法。其它的問題………86六、計(jì)算機(jī)視覺的發(fā)展現(xiàn)狀計(jì)算機(jī)視覺是個(gè)相對(duì)年輕的學(xué)科。有很多相關(guān)方面的教材可供學(xué)習(xí)。在這樣一個(gè)快速發(fā)展的學(xué)科里，另一個(gè)特別重要的信息源是研究期刊。87新的研究進(jìn)展和成果還發(fā)表在定期舉行的圖像處理和計(jì)算機(jī)視覺會(huì)議的論文集中。越來越多的普及型雜志中會(huì)談到有關(guān)本學(xué)科的話題，特別是一些“大眾”媒體和相關(guān)媒體中也提供商業(yè)硬件和軟件系統(tǒng)的資料。88第五節(jié)圖像處理和計(jì)算機(jī)視覺的比較89一、圖像處理“圖像處理”目的在于要使圖像處理后變得更好，圖像處理系統(tǒng)的輸出仍然是一幅圖像。圖像處理系統(tǒng)的功能包括增強(qiáng)、編碼、壓縮、復(fù)原與重構(gòu)。90圖像增強(qiáng)圖像增強(qiáng)系統(tǒng)所執(zhí)行操作的結(jié)果是使人們覺得處理后的圖像質(zhì)量更好。典型的操作運(yùn)算包括：對(duì)比度增強(qiáng)（如直方圖均衡化等功能）、亮度放縮、邊緣銳化等。91圖像編碼編碼是研究圖像信息的表達(dá)方式，使其更經(jīng)濟(jì)與有效，這包括量化方法、冗余消除。使其在傳輸或存儲(chǔ)圖像中出現(xiàn)錯(cuò)誤時(shí)仍具有魯棒性。92圖像壓縮壓縮有許多技術(shù)與編碼中的技術(shù)相同，但其目的在于減少存儲(chǔ)與傳輸圖像的比特?cái)?shù)量。93圖像復(fù)原復(fù)原關(guān)注的是對(duì)圖像中的錯(cuò)誤進(jìn)行修復(fù)。它與圖像增強(qiáng)不同，增強(qiáng)只是關(guān)注使圖像看上去更好些。而要“修正”一幅圖像，需要有圖像退化的模型。94圖像重構(gòu)重構(gòu)通常是指從若干局部圖像重構(gòu)成一幅完整圖像的過程。在計(jì)算機(jī)層析X射線攝像技術(shù)（CT）中，從受試者中得到數(shù)量很大（如360幅）的X射線投影。然后從這組一維信號(hào)中計(jì)算出二維圖像中每一點(diǎn)的X射線吸收率。95相同的方法還用在正電子放射層析攝像技術(shù)（PET）、核磁共振圖像（MRI），以及在某些“從X恢復(fù)形狀”（shape-from-X）的算法中。96二、計(jì)算機(jī)視覺計(jì)算機(jī)視覺是計(jì)算機(jī)對(duì)圖像進(jìn)行自動(dòng)處理并報(bào)告“圖像中有什么”的過程，也就是說它識(shí)別圖像中的內(nèi)容。計(jì)算機(jī)視覺由兩部分組成：特征度量與基于這些特征的模式識(shí)別。97特征度量特征度量是對(duì)圖像的元素（像素）進(jìn)行處理，并從這些像素以及像素集合提取一組度量，這些度量可以表示整幅圖像或其某些組成的特點(diǎn)。98模式分類模式分類被定義為，對(duì)度量做出決策的過程。即給定一個(gè)未知物體的某個(gè)度量或一組度量，根據(jù)未知物體屬于哪些類的知識(shí)，從這些度量作出決策。99模式識(shí)別模式識(shí)別可以像模式分類一樣定義為：對(duì)未知物體進(jìn)行分類，但是一般這個(gè)術(shù)語包括產(chǎn)生度量值這個(gè)過程。100計(jì)算機(jī)視覺系統(tǒng)的組成框圖特征度量原始數(shù)據(jù)特征向量模式分類器類別標(biāo)識(shí)101第六節(jié)總結(jié)102人類的視覺是自然的，看起來容易，但計(jì)算機(jī)模仿視覺是困難的。我們可以期望通過檢查圖像或圖像序列來獲得定量和定性的分析?！案邔印焙汀暗蛯印钡挠?jì)算機(jī)視覺是可以分開的。103圖像處理從數(shù)字化操作開始，然后是預(yù)處理、分割、識(shí)別和理解。對(duì)于圖像分析和理解而言，啟發(fā)式知識(shí)、先驗(yàn)知識(shí)、語法和語義概念是必要的。視覺文獻(xiàn)是大量的、成長的，書可以分為基礎(chǔ)的、高級(jí)的和專著。104為了在本領(lǐng)域保持領(lǐng)先，必須研究大量的相關(guān)文獻(xiàn)。電子出版物和Internet的發(fā)展使計(jì)算機(jī)視覺的入門更簡單了