圖像處理與計算機(jī)視覺技術(shù)綜述課件

圖像處理與計算機(jī)視覺技術(shù)綜述?

主要參考書–

張廣軍，《機(jī)器視覺》–

崗薩雷斯，《

數(shù)字圖像處理

》–

章毓晉《圖像工程》–

《計算機(jī)視覺——一種現(xiàn)代方法》林學(xué)訚等譯，–

《機(jī)器視覺算法與應(yīng)用》楊少榮等譯，課程介紹?

基礎(chǔ)知識–

數(shù)學(xué)：線性代數(shù)、概率與統(tǒng)計–

計算機(jī)科學(xué)：軟件編程–

電子學(xué)：信號處理視覺重要？?

古語–

百聞不如一見–

一目了然–

眼見為實，耳聽為虛。。。?

人類信息的主要傳遞手段–

視覺，聽覺，味覺，觸覺等–

視覺占60％以上?

人機(jī)交互–

字符、圖形–

計算機(jī)接收信息手段單一（鍵盤，鼠標(biāo)）圖像處理重要？?

兩大應(yīng)用需求–

對圖像信息的改進(jìn)–

機(jī)器自動理解：使計算機(jī)具有視覺主要學(xué)科–

圖像處理、計算機(jī)視覺和模式識別1.1

圖像處理與計算機(jī)視覺的發(fā)展及系統(tǒng)構(gòu)成1.1.1

圖像處理與計算機(jī)視覺的概念1.圖像（Image）–

可以看作是對物體或場景的一種表現(xiàn)形式–

抽象定義：二維函數(shù)f

(x,

y)?

(x,

y):點的空間坐標(biāo)（實數(shù)）Lenna?

f

:點(x,

y)的幅度（亮度、強(qiáng)度或灰度）–

英文單詞?

Image：一般指用鏡頭等科技手段得到的視覺形象?

Picture：強(qiáng)調(diào)手工描繪的人物或景物畫?

Drawings：人工繪制的工程圖?

圖像實例IKONOS衛(wèi)星光學(xué)圖像光學(xué)圖像423mile高16000miles/hLenna1m分辨率

EP－3,海南陵水,01-4-4大腦斷層圖像遙感圖像2.數(shù)字圖像–

數(shù)字化：對x，y

和

f

進(jìn)行離散化-其中的每個點稱為圖像元素，即像素。–

分類（根據(jù)f

的性質(zhì)）?

灰度圖像（特殊：二值圖像）?

彩色圖像3.數(shù)字圖像處理–

DIP（DigitalImageProcessing）–

廣義：與圖像相關(guān)的處理（圖像分析、理解和計算機(jī)視覺等）–

狹義（從輸入和輸出內(nèi)容）：對圖像進(jìn)行各種加工，以改善圖像的視覺效果或突出目標(biāo)，強(qiáng)調(diào)圖像之間進(jìn)行的變換，是一個從圖像到圖像的過程–

廣義上分為三種類型：低、中、高級處理?

圖像處理主要是低級處理及部分中級處理3.數(shù)字圖像處理–

低級處理：輸入輸出都是圖像–

中級處理：圖像分割及目標(biāo)的描述，輸出是目標(biāo)的特征數(shù)據(jù)–

高級處理：目標(biāo)物體及相互關(guān)系的理解，輸出是更抽象的數(shù)據(jù)4.圖像處理與計算機(jī)視覺的區(qū)別與聯(lián)系?

圖像處理主要集中在二維圖像分析、識別和理解，如光學(xué)字符識別、工件表面、顯微圖片和航空照片的分析和解釋等。?

計算機(jī)視覺是采用圖像處理、模式識別、人工智能技術(shù)相結(jié)合的手段，著重于一幅或多幅圖像的計算機(jī)分析，圖像可以由單個或多個傳感器獲取，也可以是單個傳感器在不同時刻獲取的圖像序列。分析是對目標(biāo)物體的識別，確定目標(biāo)物體的位置和姿態(tài)，對三維景物進(jìn)行符號描述和解釋。?

機(jī)器視覺：計算機(jī)視覺技術(shù)工程化，能夠自動獲取和分析特定的圖像，以控制相應(yīng)的行為。計算機(jī)視覺為機(jī)器視覺提供圖像和景物分析的理論及算法基礎(chǔ)，機(jī)器視覺為計算機(jī)視覺的實現(xiàn)提供傳感器模型、系統(tǒng)構(gòu)造和實現(xiàn)手段。1.1.2

圖像處理與計算機(jī)視覺的發(fā)展1.20世紀(jì)20年代：報紙業(yè)–

圖像的編碼與重構(gòu)技術(shù)?

Bartlane電纜圖片傳輸系統(tǒng)：從倫敦到紐約傳送一幅圖片從1周減少到3小時?

色調(diào)質(zhì)量和分辨率改善1921年，電報打1922年，穿孔紙印機(jī)，5個灰度級1929年，15級灰度帶，5個灰度級2.

1964年：航天技術(shù)–

60年代初作為一門學(xué)科，主要目的是改善圖像質(zhì)量，采取的方法有圖像增強(qiáng)和復(fù)原技術(shù)?

美國JPL（噴氣推進(jìn)）實驗室處理衛(wèi)星發(fā)射回來的月球表面的照片應(yīng)用圖像畸變的校正、灰度變換、去除噪聲3.

20世紀(jì)70年代：遙感衛(wèi)星和醫(yī)學(xué)–

圖像增強(qiáng)和圖像識別?

利用遙感圖片，進(jìn)行地質(zhì)資源探測，農(nóng)作物估產(chǎn)，水文氣象監(jiān)測

等–

圖像重構(gòu)?

X光斷層圖像重構(gòu)技術(shù)，英國G.N.Hounsfield

第一臺腦斷層攝像儀應(yīng)用4.20世紀(jì)70年代末：人工智能興起，開始計算機(jī)視覺研究，由2D獲取3D空間信息5.80年代末到今：多媒體技術(shù)–

高速計算機(jī)和大規(guī)模集成電路的發(fā)展：圖像壓縮和多媒體技術(shù)；文本圖像的分析和理解，文字的識別取得重大的進(jìn)展；圖像通訊和傳輸?shù)鹊膹V泛應(yīng)用1.1.3

圖像處理與計算機(jī)視覺的系統(tǒng)構(gòu)成?

系統(tǒng)構(gòu)成框圖?

采集–裝置：兩部分(1)傳感器：能產(chǎn)生與所接受到的電磁能量成正比的模擬電信號（CCD，CMOS）(2)高速圖像采集系統(tǒng)：它能將上述（模擬）電信號轉(zhuǎn)化為數(shù)字（離散）的形式–輸入設(shè)備?具備上述兩種裝置?如：數(shù)碼相機(jī)，數(shù)碼攝像機(jī)，掃描儀圖像輸入輸出設(shè)備?

處理–

裝置：兩部分(1)

專用圖像處理系統(tǒng)：是計算機(jī)的輔助處理器，主要采用專用集成芯片（ASIC)、數(shù)字信號處理器(DSP)或者FPGA等設(shè)計的全硬件處理器。(2)

計算機(jī)：是整個系統(tǒng)的核心，除了控制整個系統(tǒng)的各個模塊的正常運行外，還承擔(dān)最后結(jié)果運算和輸出。數(shù)字圖像處理的關(guān)鍵步驟形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)分割圖像采集表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：圖像采集形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：圖像增強(qiáng)形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：圖像復(fù)原形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：形態(tài)學(xué)處理形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：分割形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：表示&描述形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：對象識別形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割表示&描述對象識別問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：圖像壓縮形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割對象識別表示&描述問題域彩色圖像處理圖像壓縮數(shù)字圖像處理的關(guān)鍵步驟：彩色圖像處理形態(tài)學(xué)處理圖像復(fù)原圖像增強(qiáng)圖像采集分割對象識別表示&描述問題域彩色圖像處理圖像壓縮?

存儲–

數(shù)據(jù)量度單位?

比特（bit），字節(jié)（byte=8bit）?

千字節(jié)（Kbyte）?

兆（10?

吉（106）字節(jié)（Mbyte））字節(jié)（Gbyte）9?

太（1012）字節(jié)（Tbyte）–

圖像信息量大?

1024×1024，灰度圖：1M字節(jié)（不壓縮）?

1024×1024，真彩圖：3M字節(jié)（不壓縮）?

存儲–圖像存儲器(1)處理過程中使用的快速存儲器計算機(jī)內(nèi)存，幀緩存(2)較快的在線或聯(lián)機(jī)存儲器磁盤，磁光盤(3)不經(jīng)常使用的數(shù)據(jù)庫（檔案庫）存儲器磁帶，光盤，光盤塔?

存儲–

格式（表示格式和文件格式）(1)矢量格式用線段或線段的組合體來表示圖像(WMF)(2)光柵格式用許多像素點的集合來表示圖像BMP格式，GIF格式，TIFF格式，JPEG格式1.2

圖象理解理論框架1.2.1

馬爾視覺計算理論1.2.2

對馬爾理論框架的改進(jìn)1.2.3關(guān)于馬爾重建理論的討論1.2.4新理論框架的研究1.2.1

馬爾視覺計算理論?

馬爾1982年出版了《視覺》一書?

Marr

D.

1982.

Vision

A

ComputationalInvestigation

into

the

Human

Representationand

Processing

of

Visual

Information.

W.H.Freeman?

一個理解視覺信息處理的框架要先理解視覺目的再去理解其中細(xì)節(jié)1.2.1

馬爾視覺計算理論1.

視覺是一個復(fù)雜的信息加工過程?

視覺是一個遠(yuǎn)比人所想象更為復(fù)雜的信息加工任務(wù)和過程，而且其難度常不為人們所正視?

為理解視覺這個復(fù)雜的過程，要解決兩個問題?

視覺信息的表達(dá)問題：某些信息是突出的和明確的，另一些信息則是隱藏的和模糊的?

視覺信息的加工問題：對信息處理、分析、理解，將不同表達(dá)形式轉(zhuǎn)換，逐步抽象1.2.1

馬爾視覺計算理論2.

視覺信息加工的三個要素①

計算理論；②算法實現(xiàn)；③硬件實現(xiàn)①

計算理論可計算性問題：一個任務(wù)要用計算機(jī)完成，它應(yīng)該是可以被計算的一般對于某個特定的問題，如果存在一個程序，對于給定的輸入，這個程序都能在有限步內(nèi)給出輸出，這個問題就是可計算的1.2.1

馬爾視覺計算理論2.

視覺信息加工的三個要素①

計算理論目前視覺的可計算性常指對計算機(jī)給定輸入，能否得到人類視覺可獲得的類似結(jié)果兩方面的研究內(nèi)容：①

計算的是什么以及為什么要計算它們；②提出一定的約束條件，它們可唯一地確定最終得到的運算結(jié)果1.2.1

馬爾視覺計算理論2.

視覺信息加工的三個要素②算法實現(xiàn)需要給加工所操作的實體選擇一種合適的表達(dá)選擇加工的輸入和輸出表達(dá)確定完成表達(dá)轉(zhuǎn)換的算法①一般情況下可以有許多可選的表達(dá)②算法的確定常取決于所選的表達(dá)③

給定一種表達(dá)，可有多種完成任務(wù)的算法1.2.1

馬爾視覺計算理論2.

視覺信息加工的三個要素③硬件實現(xiàn)有了表達(dá)和算法在物理上如何實現(xiàn)算法也是必不可少的算法的確定常依賴于物理上實現(xiàn)算法硬件的特點同一個算法也可由不同的技術(shù)途徑實現(xiàn)1.2.1

馬爾視覺計算理論2.

視覺信息加工的三個要素–

計算理論：如何由系統(tǒng)的輸入求出輸出。視覺系統(tǒng)輸入的是二維圖像，輸出則是三維物體的形狀、位置和姿態(tài)，任務(wù)是研究如何建立輸入輸出之間的關(guān)系和約束，如何由二維灰度圖像恢復(fù)物體的三維信息。–

算法實現(xiàn)：如何表達(dá)輸入和輸出信息，如何實現(xiàn)計算理論所對應(yīng)的功能算法，以及如何由一種表示變換成另一種表示。–

硬件實現(xiàn)：用硬件實現(xiàn)上述表達(dá)和算法的問題。1.2.1

馬爾視覺計算理論視覺信息加工三要素的含義要素

名稱含義和所解決的問題1

計算理論

什么是計算目的，為什么要這樣計算2

表達(dá)和算

怎樣實現(xiàn)計算理論，什么是輸入輸出表達(dá)，法用什么算法實現(xiàn)表達(dá)間的轉(zhuǎn)換3

硬件實現(xiàn)

怎樣在物理上實現(xiàn)表達(dá)和算法，什么是計算結(jié)構(gòu)的具體細(xì)節(jié)1.2.1

馬爾視覺計算理論2.

視覺信息加工的三個要素?

它們之間有一定的邏輯因果聯(lián)系，但并無絕對的依賴關(guān)系?

實際上看成兩個層次更恰當(dāng)?

一旦有了計算理論，表達(dá)和算法與硬件實現(xiàn)是互相影響的1.2.1

馬爾視覺計算理論3.

視覺信息的三級內(nèi)部表達(dá)(1)基素表達(dá)（primalsketch）?

一種2-D表達(dá)，它是圖象特征的集合，描述了物體上屬性發(fā)生變化的輪廓部分?

只用基素表達(dá)不能保證得到對場景的唯一解釋1.2.1

馬爾視覺計算理論3.

視覺信息的三級內(nèi)部表達(dá)(2)

2.5-D表達(dá)（2-D

sketch）①將物體可見面正交投影分解成單元表面②用法線代表單元表面的取向③將各法線畫出，疊加于物體輪廓內(nèi)可見面上1.2.1

馬爾視覺計算理論3.

視覺信息的三級內(nèi)部表達(dá)(2)

2.5-D表達(dá)（2-D

sketch）?

本征圖，表示了物體表面面元的朝向?

可將2.5-D圖轉(zhuǎn)化成（相對）深度圖?

既表達(dá)了一部分物體輪廓的信息（這與基素表達(dá)類似）表達(dá)了以觀察者為中心、可觀察到的物體表面的取向信息?

與人所理解的3-D物體一致（可見物體輪廓以內(nèi)目標(biāo)的3-D信息，如邊界、深度，反射特性等）1.2.1

馬爾視覺計算理論3.

視覺信息的三級內(nèi)部表達(dá)(2)

2.5-D表達(dá)（2-D

sketch）?

將2.5-D圖轉(zhuǎn)化成（相對）深度圖?

給定z(x,

y)對x和y的偏導(dǎo)p和q，理論上講可通過在平面上沿任意曲線的積分來恢復(fù)z(x,

y)?

為最小化誤差可選擇z(x,

y)滿足1.2.1

馬爾視覺計算理論3.

視覺信息的三級內(nèi)部表達(dá)(3)

3-D表達(dá)（3-D

representation）?

以物體為中心（即也包括了物體不可見部分）的表達(dá)形式?

在以物體為中心的坐標(biāo)系中描述3-D物體的形狀及其空間組織①

空間占有數(shù)組，②

單元分解，③

幾何模型?

廣義圓柱體表達(dá)方法1.2.1

馬爾視覺計算理論3.

視覺信息的三級內(nèi)部表達(dá)?

從計算機(jī)或信息加工的角度來說，視覺可計算性問題可分成幾個步驟，步驟之間是某種表達(dá)形式，而每個步驟都是把前后兩種表達(dá)形式聯(lián)系起來的計算/加工方法1.2.1

馬爾視覺計算理論名稱目的基元表達(dá)景的度或物體的照度象素（）基素表達(dá)象中亮度化位置、物體

零交叉、端點、段、廓的幾何分布和構(gòu)

界等2.5-D在以察者中心的坐系中表

局部表面朝向（“”基元）、達(dá)物體可表面的取向、深度、

表面朝向的不點、界等性深度、深度上不3-D在以物體中心的坐系中，用

3-D模型，以骨架，將體元或面元集合描述形狀和形狀的空形式體元或面元附在1.2.2

對馬爾理論框架的改進(jìn)?

四個有關(guān)整體框架的問題：(1)框架中輸入是被動的(2)框架中加工目的不變，總是恢復(fù)場景中物體的位置和形狀等(3)框架未足夠重視高層知識的指導(dǎo)作用(4)整個框架中信息加工過程基本自下而上，單向流動，沒有反饋1.2.2

對馬爾理論框架的改進(jìn)?

四個方面的相應(yīng)改進(jìn)：(1)增加了圖象獲取模塊(2)根據(jù)視覺目的進(jìn)行決策(3)利用高層知識可解決低層信息不足的問題(4)增加了反饋控制流向高層知識圖像獲取

早期處理

中期處理

后期處理視覺目的1.2.3關(guān)于馬爾重建理論的討論1.

馬爾重建理論不同視覺任務(wù)

/工作的共同的概念核心被假定為表達(dá)，共同的處理目標(biāo)是根據(jù)視覺刺激恢復(fù)場景并結(jié)合進(jìn)表達(dá)中?

視覺被看作一個由刺激開始，順序的獲取和積累的重建過程1.2.3關(guān)于馬爾重建理論的討論2.重建理論的問題隨著高層視覺信息的心理學(xué)研究成果和對高層視覺區(qū)域的解剖和功能組織的知識的增加?

(1)在所有可能對場景進(jìn)行解釋的方法中，包含重建的方法兜的圈子最大，因為重建并不對解釋有直接貢獻(xiàn)1.2.3關(guān)于馬爾重建理論的討論2.重建理論的問題?

(2)僅靠從原始圖象中進(jìn)行重建來實現(xiàn)表達(dá)在實際中也很難實現(xiàn)?

(3)概念上的問題?

具有一個普遍統(tǒng)一的表達(dá)是否值得??

最好的表達(dá)應(yīng)該是最適合工作的表達(dá)對給定計算問題選擇正確表達(dá)1.2.3關(guān)于馬爾重建理論的討論3.不需重建的表達(dá)?

特征檢測器構(gòu)成了視覺世界中的某種特征存在性的表達(dá)：青蛙的眼睛?

空間分辨率的表達(dá)，一組覆蓋觀察區(qū)域的模式可以確定偏移信息，不需要重建1.2.4新理論框架的研究1.基于知識的理論框架（感知特征群集）(1)

利用對感知組織的處理過程，從圖象特征中提取相對于觀察方向在大范圍內(nèi)保持不變的分組和結(jié)構(gòu)(2)

借助圖象特征構(gòu)建模型，在這個過程中利用概率排隊的方法減小搜索空間(3)

通過求解未知的觀察點和模型參數(shù)尋找空間對應(yīng)關(guān)系，使得3-D模型的投影直接與圖象特征相匹配1.2.4新理論框架的研究2.主動視覺理論框架(1)選擇注意機(jī)制(2)注視控制1.3圖像處理與計算機(jī)視覺的應(yīng)用領(lǐng)域及面臨問題?

主要相關(guān)學(xué)科–

計算機(jī)圖形學(xué)：原指用圖形、圖表、繪圖等形式表達(dá)數(shù)據(jù)信息的科學(xué)，而計算機(jī)圖形學(xué)研究的就是如何利用計算機(jī)技術(shù)來產(chǎn)生這些形式–

模式識別：試圖把圖像分解成可用符號較抽象地描述的類別–

計算機(jī)視覺：主要強(qiáng)調(diào)用計算機(jī)實現(xiàn)人的視覺功能，目前的研究內(nèi)容主要與圖像理解相結(jié)合1.3圖像處理與計算機(jī)視覺的應(yīng)用領(lǐng)域及面臨問題1.3.1

圖像處理與計算機(jī)視覺的應(yīng)用領(lǐng)域–

圖像增強(qiáng)/恢復(fù)–

藝術(shù)級效果–

醫(yī)學(xué)可視化–

工業(yè)檢驗–

法律