圖像分析及識別_課件_1

1、12 主講教師：祝世平 電話E-Mail ： 辦公室：新主樓B座705室3國外著名高等院校信息科學(xué)與技術(shù)優(yōu)秀教材。圖像處理分析與機器視覺（第二版），Milan Sonka, Vaclav Hlavac, Roger Boyle 著，分中文和英文版，人民郵電出版社，2003年9月。4本書是為計算機專業(yè)圖像處理、圖像分析和機器視覺課程編寫的教材。講授第一章至第八章，和第十一章；本書被美國卡耐基梅隆大學(xué)(Carnegie Mellon University)等高等學(xué)校選用。 5互動出版網(wǎng)（絕版）； http:/www.china- 2003年3月。7清華大學(xué)信息科學(xué)技術(shù)學(xué)院

2、教材-信息與通信工程系列。 圖像工程，章毓晉編著，清華大學(xué)出版社，分為：上冊（圖像處理（第2版），2006年3月。第1版獲全國普通高等學(xué)校優(yōu)秀教材一等獎）；下冊（圖像分析，2005年10月）。 89第一節(jié) 數(shù)字圖像處理的概述10角膜虹膜睫狀肌睫狀小帶視軸玻璃體中央凹盲點視網(wǎng)膜神經(jīng)和鞘脈絡(luò)膜虹膜晶狀體前房睫狀體11盲點桿狀體（夜視覺）錐狀體（白晝視覺）中央凹121314151617181920圖像處理、分析與計算機(機器)視覺是認知科學(xué)與計算機科學(xué)中一個令人興奮的活躍分支。 自20世紀70年代，該領(lǐng)域經(jīng)歷了人們對其興趣的爆炸性增長之后，在80到90年代逐步走向成熟，伴隨而來的是實際應(yīng)用的顯著增長

3、。21市場上相關(guān)軟件和硬件產(chǎn)品日益增加； 世界范圍的大學(xué)里都提供了有關(guān)圖像處理、分析和計算機(機器)視覺的課程。22第二節(jié) 數(shù)字圖像處理的發(fā)展歷史23數(shù)字圖像處理最早的應(yīng)用之一是在報紙業(yè)。借助電報打印機進行數(shù)字圖像傳輸甚至可以追溯到上世紀20年代。早在上世紀20年代曾引入電纜圖片傳輸系統(tǒng)，把橫跨大西洋傳送一幅圖片所需的時間從一個多星期減少到3個小時。24為了用電纜傳輸圖片，首先對圖片要進行編碼，然后在接收端用特殊的打印設(shè)備重構(gòu)該圖片。下圖就是用這種方法傳送并利用電報打印機通過字符模擬中間色調(diào)還原出來的圖像。 25 1921年由電報打印機采用特殊字符在編碼紙帶中產(chǎn)生的數(shù)字圖像。26這些早期數(shù)字圖

4、像視覺質(zhì)量的改進工作，涉及到打印過程的選擇和亮度等級的分布等問題。用于得到上圖的打印方法到1921年底就被徹底淘汰了，轉(zhuǎn)而支持一種基于光學(xué)還原的技術(shù)，該技術(shù)在電報接收端用穿孔紙帶打出圖片。27下圖就是用這種方法得到的圖像，對比上圖，它在色調(diào)質(zhì)量和分辨率方面的改進都很明顯。 28 1922年在信號兩次穿越大西洋后，從穿孔紙帶得到的數(shù)字圖像。29早期的系統(tǒng)用5個灰度等級對圖像編碼，到1929年已增加到15個等級。在這一時期，由于引入了一種用編碼圖像紙帶去調(diào)制光束而使底片感光的系統(tǒng)，明顯地改善了復(fù)原過程。30 1929年從倫敦到紐約用15級色調(diào)設(shè)備通過電纜傳送的未經(jīng)修飾的照片31計算機圖像處理技術(shù)的

5、歷史可以追溯到1946年世界上第一臺電子計算機誕生。但在上世紀50年代計算機主要還是用于數(shù)值計算，滿足不了處理大數(shù)據(jù)量圖像的要求。32在上世紀60年代，第3代計算機的研制成功，以及快速傅里葉變換算法的發(fā)現(xiàn)和應(yīng)用使得對圖像的某些計算得以實現(xiàn)。人們從而逐步開始利用計算機對圖像進行加工利用。33在上世紀70年代，數(shù)字圖像處理技術(shù)有了長足的進展。第一本重要的圖像處理專著也得以出版，Rosenfeld A, Kak A C. “Digital Picture Processing,” Academic Press, 1976 。 34到上世紀80年代，許多能獲取3D圖像的設(shè)備和處理分析3D圖像的系統(tǒng)研制

6、成功。進入上世紀90年代，圖像處理技術(shù)已逐步涉及人類生活和社會發(fā)展的各個方面。 進入21世紀，數(shù)字圖像處理技術(shù)必將得到進一步的發(fā)展和應(yīng)用。35總之，數(shù)字圖像處理技術(shù)在近20多年的時間里面，迅速地發(fā)展成為一門獨立的具有強大生命力的學(xué)科。數(shù)字圖像處理技術(shù)得到極大的重視和長足的發(fā)展，出現(xiàn)了許多新理論、新方法、新算法、新手段、新設(shè)備。 36第三節(jié) 數(shù)字圖像處理的應(yīng)用37以前，需要大量的人力對偵察飛機拍攝的空中攝影照片進行進行分析?，F(xiàn)在利用圖像處理系統(tǒng)進行判讀分析，既可以提高效率，又可以從照片中提取人工所不能發(fā)現(xiàn)的大量的有用情報。 38遙感技術(shù)分為飛機遙感和衛(wèi)星遙感技術(shù)。從遙感衛(wèi)星所獲得的圖像的圖像質(zhì)量

7、有時不是很好，如果仍采用簡單的直觀判讀如此昂貴代價所獲取的的圖像是不合算的，因此必須采用圖像處理技術(shù)。 39 NASA的Nimbus 7號衛(wèi)星拍攝40多光譜遙感圖像需要進行融合配準，以期獲得單獨每個譜段所不能獲得的更為豐富的信息，這就必須采用數(shù)字圖像處理技術(shù)。 41 The panchromatic band (525.8928.5 m) of the 1-m high-resolution panchromatic image42 The red (631.9697.7m), green (506.4595.0m), blue (444.7516.0m) and NIR (757.3852.

8、7m) bands of the 4-m low-resolution multispectral images4344454647odulation48495051醫(yī)學(xué)上不管是基礎(chǔ)科學(xué)還是臨床應(yīng)用，都是圖像處理應(yīng)用種類極多的領(lǐng)域。生物醫(yī)學(xué)的顯微圖像的處理分析，例如紅白細胞、細菌和染色體的分析。 52胸部X射線圖像主動脈造影圖像53大家最熟悉的X射線在醫(yī)學(xué)成像中的應(yīng)用是計算機軸向斷層術(shù)（CT）。通過CT，可以產(chǎn)生人體的大量“切片”，這些剖面圖合在一起就構(gòu)成了病人體內(nèi)的三維圖，使得肌體病變特別是腫瘤診斷起到了革命性的變化。54頭部CT55甲狀腺肌肉層有損害56在醫(yī)學(xué)中，無線電波可以用于核磁共振成

9、像（MRI），是繼CT后醫(yī)學(xué)影像學(xué)的又一重大進步。相對于X-射線透視技術(shù)和放射造影技術(shù)，MRI對人體沒有輻射影響，相對于超聲探測技術(shù)，核磁共振成像更加清晰，能夠顯示更多細節(jié)。57膝蓋脊椎58基于機器視覺技術(shù)的物體二維或三維坐標(biāo)精密測量、深度方向的距離測量和空間定位。機器人視覺是機器人應(yīng)用中一個非常關(guān)鍵的核心技術(shù)。59工業(yè)產(chǎn)品的無損探傷、表面和外觀的自動檢查和識別、裝配和生產(chǎn)線的自動化、印刷電路板的視覺檢查、機械零件的自動識別分類和幾何尺寸測量等。60電路板：檢測丟失元件丸劑膠囊：尋找缺少藥丸瓶子：尋找沒有達到要求液位的瓶子塑料中氣泡分析谷物分析：顏色、異常目鏡圖像：檢測是否存在缺陷61 轎車白

10、車身 視覺傳感器 視覺傳感器 定位機構(gòu) 傳送機構(gòu) 電氣網(wǎng)絡(luò)控制系統(tǒng) 高速圖像采集系統(tǒng) 信號前端處理系統(tǒng) 計算機 6263運動目標(biāo)的圖像自動跟蹤技術(shù)，例如巡航導(dǎo)彈的三維自動地形識別與匹配。公安業(yè)務(wù)圖片的判讀分析，如指紋識別、不完整圖片的復(fù)原等。公安中的跟蹤、竊視、交通監(jiān)控、事故分析。64656667圖像、視頻的壓縮編碼和解碼。電視畫面的數(shù)字編輯。繪畫等藝術(shù)作品的三維重建。文物資料照片和舊電影拷貝的修復(fù)。6869運動員的訓(xùn)練、動作分析、評分等。70隨著計算機技術(shù)的日益發(fā)展，數(shù)字圖像處理技術(shù)的日益完備，數(shù)字圖像處理的應(yīng)用范圍將更加深入和廣泛。71第四節(jié) 計算機視覺概述72人類生理上的視覺功能使人類得

11、以感知和理解周圍的世界。計算機視覺的目的是，通過電子化地感知和理解圖像，從而模仿和復(fù)制人類的視覺功能。73我們生活在一個三維的世界里面，而當(dāng)計算機試圖分析三維空間的物體時，可利用的視覺傳感器通常只能給出二維的圖像。74這個三維向二維的映射導(dǎo)致了信息的巨大丟失，這就造成了計算機視覺中從二維信息反推三維信息所造成的巨大困難和挑戰(zhàn)。這也是為什么計算機視覺至今依然不夠成熟的一個重要原因所在。75計算機視覺的研究基礎(chǔ)包括神經(jīng)生理學(xué)、實驗生理學(xué)、數(shù)學(xué)、計算機科學(xué)、模式識別、人工智能、電子工程等科學(xué)領(lǐng)域的研究結(jié)果和方法。76計算機視覺建立在低層的圖像處理之上。計算機視覺基于高層的圖像分析和理解。低層圖像處理

12、的數(shù)據(jù)由原始圖像構(gòu)成，由亮度數(shù)值組成的二維圖像矩陣是低層圖像處理的輸入和輸出。 77高層的圖像分析和理解的數(shù)據(jù)表達了有關(guān)圖像內(nèi)容的知識。例如，物體的大小、形狀以及圖像中物體之間的相互關(guān)系。高層的圖像分析和理解的數(shù)據(jù)來源于圖像但只有那些與高層目標(biāo)有關(guān)的數(shù)據(jù)被提取出來，這樣很大程度地減少了數(shù)據(jù)量。高層數(shù)據(jù)通常表達為符號形式。78計算機視覺是建立在高層處理基礎(chǔ)上的，圖像分析和理解是計算機視覺的核心。高層的處理取決于知識、目標(biāo)以及如何達到這些目標(biāo)的計劃。高層的處理廣泛用到與圖像內(nèi)容（語義）有關(guān)的先驗知識和人工智能的方法。79高層計算機視覺試圖模仿人類的認知能力，以及根據(jù)包含在圖像中的信息進行決策的能力

13、。計算機視覺的目標(biāo)是獲得生物系統(tǒng)所能提供的類似結(jié)果，人們期望用它來解決非常復(fù)雜的任務(wù)。80高層視覺從某種形式的形式化世界模型開始，然后將通過數(shù)字化圖像感知的“真實”與該模型進行比較，試圖找到匹配。當(dāng)差別顯現(xiàn)出來時就尋找部分匹配（或子目標(biāo)）來克服錯配(mismatch)；計算機轉(zhuǎn)向低層圖像處理，尋找用來更新模型的信息。81這個過程反復(fù)進行，因此“理解”圖像變?yōu)橐粋€在“自頂向下(top-down)”和“自底向上(bottom-up)”兩個過程之間的協(xié)作。基于這樣一個反饋回路的反復(fù)的圖像理解過程應(yīng)該最終收斂于全局的目標(biāo)。8283David Marr. “Vision - A Computationa

14、l Investigation into the Human Represent-ation and Processing of Visual Information.” Freeman, San Francisco, 1982.84David Marr的書相當(dāng)大地影響了整個20世紀80年代的計算機視覺研究，其中闡述了受生物視覺系統(tǒng)啟發(fā)而提出來的新的方法論和計算理論。90年代以來的發(fā)展正在擺脫對這一范疇的依賴。85在完成有關(guān)計算機視覺的特定任務(wù)時如何安排低層圖像處理的操作步驟，使這一問題自動完成的目標(biāo)仍然沒有達到。由于領(lǐng)域相關(guān)知識以及不確定性的原因，這一過程基本上取決于人的直覺和以往的經(jīng)驗。8

15、6計算機視覺目前通常還需要依賴人來參與一系列的相關(guān)操作。有待開發(fā)更普遍適用、更為可靠、更高效率的算法。其它的問題 87計算機視覺是個相對年輕的學(xué)科。有很多相關(guān)方面的教材可供學(xué)習(xí)。在這樣一個快速發(fā)展的學(xué)科里，另一個特別重要的信息源是研究期刊。88新的研究進展和成果還發(fā)表在定期舉行的圖像處理和計算機視覺會議的論文集中。越來越多的普及型雜志中會談到有關(guān)本學(xué)科的話題，特別是一些“大眾”媒體和相關(guān)媒體中也提供商業(yè)硬件和軟件系統(tǒng)的資料。89第五節(jié) 圖像處理和計算機視覺的比較90“圖像處理”目的在于要使圖像處理后變得更好，圖像處理系統(tǒng)的輸出仍然是一幅圖像。圖像處理系統(tǒng)的功能包括增強、編碼、壓縮、復(fù)原與重構(gòu)。

16、91圖像增強系統(tǒng)所執(zhí)行操作的結(jié)果是使人們覺得處理后的圖像質(zhì)量更好。典型的操作運算包括：對比度增強（如直方圖均衡化等功能）、亮度放縮、邊緣銳化等。92編碼是研究圖像信息的表達方式，使其更經(jīng)濟與有效，這包括量化方法、冗余消除。使其在傳輸或存儲圖像中出現(xiàn)錯誤時仍具有魯棒性。93壓縮有許多技術(shù)與編碼中的技術(shù)相同，但其目的在于減少存儲與傳輸圖像的比特數(shù)量。94復(fù)原關(guān)注的是對圖像中的錯誤進行修復(fù)。它與圖像增強不同，增強只是關(guān)注使圖像看上去更好些。而要“修正”一幅圖像，需要有圖像退化的模型。95重構(gòu)通常是指從若干局部圖像重構(gòu)成一幅完整圖像的過程。在計算機層析X射線攝像技術(shù)（CT）中，從受試者中得到數(shù)量很大（

17、如360幅）的X射線投影。然后從這組一維信號中計算出二維圖像中每一點的X射線吸收率。96相同的方法還用在正電子放射層析攝像技術(shù)（PET）、核磁共振圖像（MRI），以及在某些“從X恢復(fù)形狀”（shape-from-X）的算法中。97計算機視覺是計算機對圖像進行自動處理并報告“圖像中有什么”的過程，也就是說它識別圖像中的內(nèi)容。計算機視覺由兩部分組成：特征度量與基于這些特征的模式識別。98特征度量是對圖像的元素（像素）進行處理，并從這些像素以及像素集合提取一組度量，這些度量可以表示整幅圖像或其某些組成的特點。99模式分類被定義為，對度量做出決策的過程。即給定一個未知物體的某個度量或一組度量，根據(jù)未知物體屬于哪些類的知識，從這些度量作出決策。100模式識別可以像模式分類一樣定義為：對未知物體進行分類，但是一般這個術(shù)語包括產(chǎn)生度量值這個過程。101特征度量原始數(shù)據(jù)特