圖像分析及識(shí)別_課件_1

1、12 主講教師：祝世平 電話E-Mail ： 辦公室：新主樓B座705室3國外著名高等院校信息科學(xué)與技術(shù)優(yōu)秀教材。圖像處理分析與機(jī)器視覺（第二版），Milan Sonka, Vaclav Hlavac, Roger Boyle 著，分中文和英文版，人民郵電出版社，2003年9月。4本書是為計(jì)算機(jī)專業(yè)圖像處理、圖像分析和機(jī)器視覺課程編寫的教材。講授第一章至第八章，和第十一章；本書被美國卡耐基梅隆大學(xué)(Carnegie Mellon University)等高等學(xué)校選用。 5互動(dòng)出版網(wǎng)（絕版）； http:/www.china- 2003年3月。7清華大學(xué)信息科學(xué)技術(shù)學(xué)院

2、教材-信息與通信工程系列。 圖像工程，章毓晉編著，清華大學(xué)出版社，分為：上冊(cè)（圖像處理（第2版），2006年3月。第1版獲全國普通高等學(xué)校優(yōu)秀教材一等獎(jiǎng)）；下冊(cè)（圖像分析，2005年10月）。 89第一節(jié) 數(shù)字圖像處理的概述10角膜虹膜睫狀肌睫狀小帶視軸玻璃體中央凹盲點(diǎn)視網(wǎng)膜神經(jīng)和鞘脈絡(luò)膜虹膜晶狀體前房睫狀體11盲點(diǎn)桿狀體（夜視覺）錐狀體（白晝視覺）中央凹121314151617181920圖像處理、分析與計(jì)算機(jī)(機(jī)器)視覺是認(rèn)知科學(xué)與計(jì)算機(jī)科學(xué)中一個(gè)令人興奮的活躍分支。 自20世紀(jì)70年代，該領(lǐng)域經(jīng)歷了人們對(duì)其興趣的爆炸性增長(zhǎng)之后，在80到90年代逐步走向成熟，伴隨而來的是實(shí)際應(yīng)用的顯著增長(zhǎng)

3、。21市場(chǎng)上相關(guān)軟件和硬件產(chǎn)品日益增加； 世界范圍的大學(xué)里都提供了有關(guān)圖像處理、分析和計(jì)算機(jī)(機(jī)器)視覺的課程。22第二節(jié) 數(shù)字圖像處理的發(fā)展歷史23數(shù)字圖像處理最早的應(yīng)用之一是在報(bào)紙業(yè)。借助電報(bào)打印機(jī)進(jìn)行數(shù)字圖像傳輸甚至可以追溯到上世紀(jì)20年代。早在上世紀(jì)20年代曾引入電纜圖片傳輸系統(tǒng)，把橫跨大西洋傳送一幅圖片所需的時(shí)間從一個(gè)多星期減少到3個(gè)小時(shí)。24為了用電纜傳輸圖片，首先對(duì)圖片要進(jìn)行編碼，然后在接收端用特殊的打印設(shè)備重構(gòu)該圖片。下圖就是用這種方法傳送并利用電報(bào)打印機(jī)通過字符模擬中間色調(diào)還原出來的圖像。 25 1921年由電報(bào)打印機(jī)采用特殊字符在編碼紙帶中產(chǎn)生的數(shù)字圖像。26這些早期數(shù)字圖

4、像視覺質(zhì)量的改進(jìn)工作，涉及到打印過程的選擇和亮度等級(jí)的分布等問題。用于得到上圖的打印方法到1921年底就被徹底淘汰了，轉(zhuǎn)而支持一種基于光學(xué)還原的技術(shù)，該技術(shù)在電報(bào)接收端用穿孔紙帶打出圖片。27下圖就是用這種方法得到的圖像，對(duì)比上圖，它在色調(diào)質(zhì)量和分辨率方面的改進(jìn)都很明顯。 28 1922年在信號(hào)兩次穿越大西洋后，從穿孔紙帶得到的數(shù)字圖像。29早期的系統(tǒng)用5個(gè)灰度等級(jí)對(duì)圖像編碼，到1929年已增加到15個(gè)等級(jí)。在這一時(shí)期，由于引入了一種用編碼圖像紙帶去調(diào)制光束而使底片感光的系統(tǒng)，明顯地改善了復(fù)原過程。30 1929年從倫敦到紐約用15級(jí)色調(diào)設(shè)備通過電纜傳送的未經(jīng)修飾的照片31計(jì)算機(jī)圖像處理技術(shù)的

5、歷史可以追溯到1946年世界上第一臺(tái)電子計(jì)算機(jī)誕生。但在上世紀(jì)50年代計(jì)算機(jī)主要還是用于數(shù)值計(jì)算，滿足不了處理大數(shù)據(jù)量圖像的要求。32在上世紀(jì)60年代，第3代計(jì)算機(jī)的研制成功，以及快速傅里葉變換算法的發(fā)現(xiàn)和應(yīng)用使得對(duì)圖像的某些計(jì)算得以實(shí)現(xiàn)。人們從而逐步開始利用計(jì)算機(jī)對(duì)圖像進(jìn)行加工利用。33在上世紀(jì)70年代，數(shù)字圖像處理技術(shù)有了長(zhǎng)足的進(jìn)展。第一本重要的圖像處理專著也得以出版，Rosenfeld A, Kak A C. “Digital Picture Processing,” Academic Press, 1976 。 34到上世紀(jì)80年代，許多能獲取3D圖像的設(shè)備和處理分析3D圖像的系統(tǒng)研制

6、成功。進(jìn)入上世紀(jì)90年代，圖像處理技術(shù)已逐步涉及人類生活和社會(huì)發(fā)展的各個(gè)方面。 進(jìn)入21世紀(jì)，數(shù)字圖像處理技術(shù)必將得到進(jìn)一步的發(fā)展和應(yīng)用。35總之，數(shù)字圖像處理技術(shù)在近20多年的時(shí)間里面，迅速地發(fā)展成為一門獨(dú)立的具有強(qiáng)大生命力的學(xué)科。數(shù)字圖像處理技術(shù)得到極大的重視和長(zhǎng)足的發(fā)展，出現(xiàn)了許多新理論、新方法、新算法、新手段、新設(shè)備。 36第三節(jié) 數(shù)字圖像處理的應(yīng)用37以前，需要大量的人力對(duì)偵察飛機(jī)拍攝的空中攝影照片進(jìn)行進(jìn)行分析?，F(xiàn)在利用圖像處理系統(tǒng)進(jìn)行判讀分析，既可以提高效率，又可以從照片中提取人工所不能發(fā)現(xiàn)的大量的有用情報(bào)。 38遙感技術(shù)分為飛機(jī)遙感和衛(wèi)星遙感技術(shù)。從遙感衛(wèi)星所獲得的圖像的圖像質(zhì)量

7、有時(shí)不是很好，如果仍采用簡(jiǎn)單的直觀判讀如此昂貴代價(jià)所獲取的的圖像是不合算的，因此必須采用圖像處理技術(shù)。 39 NASA的Nimbus 7號(hào)衛(wèi)星拍攝40多光譜遙感圖像需要進(jìn)行融合配準(zhǔn)，以期獲得單獨(dú)每個(gè)譜段所不能獲得的更為豐富的信息，這就必須采用數(shù)字圖像處理技術(shù)。 41 The panchromatic band (525.8928.5 m) of the 1-m high-resolution panchromatic image42 The red (631.9697.7m), green (506.4595.0m), blue (444.7516.0m) and NIR (757.3852.

8、7m) bands of the 4-m low-resolution multispectral images4344454647odulation48495051醫(yī)學(xué)上不管是基礎(chǔ)科學(xué)還是臨床應(yīng)用，都是圖像處理應(yīng)用種類極多的領(lǐng)域。生物醫(yī)學(xué)的顯微圖像的處理分析，例如紅白細(xì)胞、細(xì)菌和染色體的分析。 52胸部X射線圖像主動(dòng)脈造影圖像53大家最熟悉的X射線在醫(yī)學(xué)成像中的應(yīng)用是計(jì)算機(jī)軸向斷層術(shù)（CT）。通過CT，可以產(chǎn)生人體的大量“切片”，這些剖面圖合在一起就構(gòu)成了病人體內(nèi)的三維圖，使得肌體病變特別是腫瘤診斷起到了革命性的變化。54頭部CT55甲狀腺肌肉層有損害56在醫(yī)學(xué)中，無線電波可以用于核磁共振成

9、像（MRI），是繼CT后醫(yī)學(xué)影像學(xué)的又一重大進(jìn)步。相對(duì)于X-射線透視技術(shù)和放射造影技術(shù)，MRI對(duì)人體沒有輻射影響，相對(duì)于超聲探測(cè)技術(shù)，核磁共振成像更加清晰，能夠顯示更多細(xì)節(jié)。57膝蓋脊椎58基于機(jī)器視覺技術(shù)的物體二維或三維坐標(biāo)精密測(cè)量、深度方向的距離測(cè)量和空間定位。機(jī)器人視覺是機(jī)器人應(yīng)用中一個(gè)非常關(guān)鍵的核心技術(shù)。59工業(yè)產(chǎn)品的無損探傷、表面和外觀的自動(dòng)檢查和識(shí)別、裝配和生產(chǎn)線的自動(dòng)化、印刷電路板的視覺檢查、機(jī)械零件的自動(dòng)識(shí)別分類和幾何尺寸測(cè)量等。60電路板：檢測(cè)丟失元件丸劑膠囊：尋找缺少藥丸瓶子：尋找沒有達(dá)到要求液位的瓶子塑料中氣泡分析谷物分析：顏色、異常目鏡圖像：檢測(cè)是否存在缺陷61 轎車白

10、車身 視覺傳感器 視覺傳感器 定位機(jī)構(gòu) 傳送機(jī)構(gòu) 電氣網(wǎng)絡(luò)控制系統(tǒng) 高速圖像采集系統(tǒng) 信號(hào)前端處理系統(tǒng) 計(jì)算機(jī) 6263運(yùn)動(dòng)目標(biāo)的圖像自動(dòng)跟蹤技術(shù)，例如巡航導(dǎo)彈的三維自動(dòng)地形識(shí)別與匹配。公安業(yè)務(wù)圖片的判讀分析，如指紋識(shí)別、不完整圖片的復(fù)原等。公安中的跟蹤、竊視、交通監(jiān)控、事故分析。64656667圖像、視頻的壓縮編碼和解碼。電視畫面的數(shù)字編輯。繪畫等藝術(shù)作品的三維重建。文物資料照片和舊電影拷貝的修復(fù)。6869運(yùn)動(dòng)員的訓(xùn)練、動(dòng)作分析、評(píng)分等。70隨著計(jì)算機(jī)技術(shù)的日益發(fā)展，數(shù)字圖像處理技術(shù)的日益完備，數(shù)字圖像處理的應(yīng)用范圍將更加深入和廣泛。71第四節(jié) 計(jì)算機(jī)視覺概述72人類生理上的視覺功能使人類得

11、以感知和理解周圍的世界。計(jì)算機(jī)視覺的目的是，通過電子化地感知和理解圖像，從而模仿和復(fù)制人類的視覺功能。73我們生活在一個(gè)三維的世界里面，而當(dāng)計(jì)算機(jī)試圖分析三維空間的物體時(shí)，可利用的視覺傳感器通常只能給出二維的圖像。74這個(gè)三維向二維的映射導(dǎo)致了信息的巨大丟失，這就造成了計(jì)算機(jī)視覺中從二維信息反推三維信息所造成的巨大困難和挑戰(zhàn)。這也是為什么計(jì)算機(jī)視覺至今依然不夠成熟的一個(gè)重要原因所在。75計(jì)算機(jī)視覺的研究基礎(chǔ)包括神經(jīng)生理學(xué)、實(shí)驗(yàn)生理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、模式識(shí)別、人工智能、電子工程等科學(xué)領(lǐng)域的研究結(jié)果和方法。76計(jì)算機(jī)視覺建立在低層的圖像處理之上。計(jì)算機(jī)視覺基于高層的圖像分析和理解。低層圖像處理

12、的數(shù)據(jù)由原始圖像構(gòu)成，由亮度數(shù)值組成的二維圖像矩陣是低層圖像處理的輸入和輸出。 77高層的圖像分析和理解的數(shù)據(jù)表達(dá)了有關(guān)圖像內(nèi)容的知識(shí)。例如，物體的大小、形狀以及圖像中物體之間的相互關(guān)系。高層的圖像分析和理解的數(shù)據(jù)來源于圖像但只有那些與高層目標(biāo)有關(guān)的數(shù)據(jù)被提取出來，這樣很大程度地減少了數(shù)據(jù)量。高層數(shù)據(jù)通常表達(dá)為符號(hào)形式。78計(jì)算機(jī)視覺是建立在高層處理基礎(chǔ)上的，圖像分析和理解是計(jì)算機(jī)視覺的核心。高層的處理取決于知識(shí)、目標(biāo)以及如何達(dá)到這些目標(biāo)的計(jì)劃。高層的處理廣泛用到與圖像內(nèi)容（語義）有關(guān)的先驗(yàn)知識(shí)和人工智能的方法。79高層計(jì)算機(jī)視覺試圖模仿人類的認(rèn)知能力，以及根據(jù)包含在圖像中的信息進(jìn)行決策的能力

13、。計(jì)算機(jī)視覺的目標(biāo)是獲得生物系統(tǒng)所能提供的類似結(jié)果，人們期望用它來解決非常復(fù)雜的任務(wù)。80高層視覺從某種形式的形式化世界模型開始，然后將通過數(shù)字化圖像感知的“真實(shí)”與該模型進(jìn)行比較，試圖找到匹配。當(dāng)差別顯現(xiàn)出來時(shí)就尋找部分匹配（或子目標(biāo)）來克服錯(cuò)配(mismatch)；計(jì)算機(jī)轉(zhuǎn)向低層圖像處理，尋找用來更新模型的信息。81這個(gè)過程反復(fù)進(jìn)行，因此“理解”圖像變?yōu)橐粋€(gè)在“自頂向下(top-down)”和“自底向上(bottom-up)”兩個(gè)過程之間的協(xié)作?；谶@樣一個(gè)反饋回路的反復(fù)的圖像理解過程應(yīng)該最終收斂于全局的目標(biāo)。8283David Marr. “Vision - A Computationa

14、l Investigation into the Human Represent-ation and Processing of Visual Information.” Freeman, San Francisco, 1982.84David Marr的書相當(dāng)大地影響了整個(gè)20世紀(jì)80年代的計(jì)算機(jī)視覺研究，其中闡述了受生物視覺系統(tǒng)啟發(fā)而提出來的新的方法論和計(jì)算理論。90年代以來的發(fā)展正在擺脫對(duì)這一范疇的依賴。85在完成有關(guān)計(jì)算機(jī)視覺的特定任務(wù)時(shí)如何安排低層圖像處理的操作步驟，使這一問題自動(dòng)完成的目標(biāo)仍然沒有達(dá)到。由于領(lǐng)域相關(guān)知識(shí)以及不確定性的原因，這一過程基本上取決于人的直覺和以往的經(jīng)驗(yàn)。8

15、6計(jì)算機(jī)視覺目前通常還需要依賴人來參與一系列的相關(guān)操作。有待開發(fā)更普遍適用、更為可靠、更高效率的算法。其它的問題 87計(jì)算機(jī)視覺是個(gè)相對(duì)年輕的學(xué)科。有很多相關(guān)方面的教材可供學(xué)習(xí)。在這樣一個(gè)快速發(fā)展的學(xué)科里，另一個(gè)特別重要的信息源是研究期刊。88新的研究進(jìn)展和成果還發(fā)表在定期舉行的圖像處理和計(jì)算機(jī)視覺會(huì)議的論文集中。越來越多的普及型雜志中會(huì)談到有關(guān)本學(xué)科的話題，特別是一些“大眾”媒體和相關(guān)媒體中也提供商業(yè)硬件和軟件系統(tǒng)的資料。89第五節(jié) 圖像處理和計(jì)算機(jī)視覺的比較90“圖像處理”目的在于要使圖像處理后變得更好，圖像處理系統(tǒng)的輸出仍然是一幅圖像。圖像處理系統(tǒng)的功能包括增強(qiáng)、編碼、壓縮、復(fù)原與重構(gòu)。

16、91圖像增強(qiáng)系統(tǒng)所執(zhí)行操作的結(jié)果是使人們覺得處理后的圖像質(zhì)量更好。典型的操作運(yùn)算包括：對(duì)比度增強(qiáng)（如直方圖均衡化等功能）、亮度放縮、邊緣銳化等。92編碼是研究圖像信息的表達(dá)方式，使其更經(jīng)濟(jì)與有效，這包括量化方法、冗余消除。使其在傳輸或存儲(chǔ)圖像中出現(xiàn)錯(cuò)誤時(shí)仍具有魯棒性。93壓縮有許多技術(shù)與編碼中的技術(shù)相同，但其目的在于減少存儲(chǔ)與傳輸圖像的比特?cái)?shù)量。94復(fù)原關(guān)注的是對(duì)圖像中的錯(cuò)誤進(jìn)行修復(fù)。它與圖像增強(qiáng)不同，增強(qiáng)只是關(guān)注使圖像看上去更好些。而要“修正”一幅圖像，需要有圖像退化的模型。95重構(gòu)通常是指從若干局部圖像重構(gòu)成一幅完整圖像的過程。在計(jì)算機(jī)層析X射線攝像技術(shù)（CT）中，從受試者中得到數(shù)量很大（

17、如360幅）的X射線投影。然后從這組一維信號(hào)中計(jì)算出二維圖像中每一點(diǎn)的X射線吸收率。96相同的方法還用在正電子放射層析攝像技術(shù)（PET）、核磁共振圖像（MRI），以及在某些“從X恢復(fù)形狀”（shape-from-X）的算法中。97計(jì)算機(jī)視覺是計(jì)算機(jī)對(duì)圖像進(jìn)行自動(dòng)處理并報(bào)告“圖像中有什么”的過程，也就是說它識(shí)別圖像中的內(nèi)容。計(jì)算機(jī)視覺由兩部分組成：特征度量與基于這些特征的模式識(shí)別。98特征度量是對(duì)圖像的元素（像素）進(jìn)行處理，并從這些像素以及像素集合提取一組度量，這些度量可以表示整幅圖像或其某些組成的特點(diǎn)。99模式分類被定義為，對(duì)度量做出決策的過程。即給定一個(gè)未知物體的某個(gè)度量或一組度量，根據(jù)未知物體屬于哪些類的知識(shí)，從這些度量作出決策。100模式識(shí)別可以像模式分類一樣定義為：對(duì)未知物體進(jìn)行分類，但是一般這個(gè)術(shù)語包括產(chǎn)生度量值這個(gè)過程。101特征度量原始數(shù)據(jù)特