第八章目標(biāo)表達(dá)和描述技術(shù)教材

1、1數(shù)字圖像處理第2頁第3頁知識(shí)庫知識(shí)庫特征表示與描述特征表示與描述預(yù)處理預(yù)處理分割分割低級(jí)處理高級(jí)處理中級(jí)處理識(shí)別識(shí)別與與解釋解釋結(jié)果圖像獲取圖像獲取問題第4頁第5頁第6頁n目標(biāo)目標(biāo)：在圖像分析應(yīng)用中人們感興趣的圖像中的某些區(qū)域。n表達(dá)表達(dá)：對(duì)目標(biāo)的表示方法 內(nèi)部表達(dá)：反射性質(zhì)（灰度、顏色、紋理） 外部表達(dá)：形狀n描述描述：抽象的表示目標(biāo) 用一組數(shù)量或符號(hào)(描述子)來表征圖像中被描述物體的某些特征，可以是對(duì)圖像中各組成部分的性質(zhì)的描述，也可以是各部分彼此間的關(guān)系的描述。 邊界描述和區(qū)域描述n關(guān)系關(guān)系 表達(dá)對(duì)描述起重要作用，限定了描述的精確性 表達(dá)側(cè)重于數(shù)據(jù)結(jié)構(gòu)，描述側(cè)重于區(qū)域特征及區(qū)域間的關(guān)系

2、n8.1 輪廓的鏈碼表達(dá)輪廓的鏈碼表達(dá)n8.2輪廓線段的近似表達(dá)輪廓線段的近似表達(dá)n8.3邊界標(biāo)記邊界標(biāo)記n8.4目標(biāo)的層次表達(dá)目標(biāo)的層次表達(dá)n8.5目標(biāo)的骨架表達(dá)目標(biāo)的骨架表達(dá)n8.6運(yùn)動(dòng)表達(dá)運(yùn)動(dòng)表達(dá)n8.7目標(biāo)輪廓的傅里葉描述目標(biāo)輪廓的傅里葉描述n形態(tài)學(xué)描述形態(tài)學(xué)描述第7頁n 邊界表達(dá)邊界表達(dá)邊界點(diǎn)集合邊界點(diǎn)集合參數(shù)邊界參數(shù)邊界曲線逼近曲線逼近標(biāo)志點(diǎn)標(biāo)志點(diǎn)鏈碼鏈碼邊界段邊界段邊界標(biāo)記邊界標(biāo)記多邊形多邊形基于區(qū)域的表達(dá)基于區(qū)域的表達(dá)第10頁n8.1 輪廓的鏈碼表達(dá)輪廓的鏈碼表達(dá)第11頁 在分割過程中當(dāng)確定了邊界后，邊界表達(dá)就是基在分割過程中當(dāng)確定了邊界后，邊界表達(dá)就是基于邊界的像素點(diǎn)對(duì)目標(biāo)的

3、表示形式。于邊界的像素點(diǎn)對(duì)目標(biāo)的表示形式。(1)(1)鏈碼：對(duì)邊界的一種編碼表示方法鏈碼：對(duì)邊界的一種編碼表示方法鏈碼是一種用若干條具有特定長(zhǎng)度和方向的線段連接起來表鏈碼是一種用若干條具有特定長(zhǎng)度和方向的線段連接起來表示目標(biāo)邊界的方法。示目標(biāo)邊界的方法。n8.1 輪廓的鏈碼表達(dá)輪廓的鏈碼表達(dá)每個(gè)線段的長(zhǎng)度固定而方向數(shù)目取為有限，所以只有邊界的起點(diǎn)需用（絕對(duì)）坐標(biāo)表示，其余點(diǎn)都可只用接續(xù)方向來代表偏移量。 第12頁選邊界上一點(diǎn)選邊界上一點(diǎn)(用坐標(biāo)表示用坐標(biāo)表示)作為起點(diǎn)，其它點(diǎn)用方作為起點(diǎn)，其它點(diǎn)用方向數(shù)來表示：向數(shù)來表示：AA:657071324301234567八方向第13頁n鏈碼舉例：鏈碼

4、舉例：4-鏈碼：鏈碼：000033333322222211110011第14頁鏈鏈 碼碼132201223111100 777776655555444443第15頁n鏈碼鏈碼 算法：算法：給每一個(gè)線段邊界一個(gè)方向編碼。給每一個(gè)線段邊界一個(gè)方向編碼。常用有常用有4-鏈碼和鏈碼和8-鏈碼兩種編碼方法。鏈碼兩種編碼方法。從起點(diǎn)開始，沿邊界編碼，至起點(diǎn)被重新從起點(diǎn)開始，沿邊界編碼，至起點(diǎn)被重新碰到，結(jié)束一個(gè)對(duì)象的編碼。碰到，結(jié)束一個(gè)對(duì)象的編碼。第16頁起點(diǎn)問題起點(diǎn)問題 對(duì)同一邊界，如果用不同的邊界點(diǎn)作為鏈碼起點(diǎn)，得到對(duì)同一邊界，如果用不同的邊界點(diǎn)作為鏈碼起點(diǎn)，得到的鏈碼是不同的。的鏈碼是不同的。 例如

5、：例如：以以A為起點(diǎn)，鏈碼為：為起點(diǎn)，鏈碼為：A: 10103322以以B為起點(diǎn)，鏈碼為：為起點(diǎn)，鏈碼為： B: 03322101ABC第17頁鏈碼鏈碼鏈碼起點(diǎn)歸一化鏈碼起點(diǎn)歸一化把鏈碼看作一個(gè)由各方向數(shù)構(gòu)成的自然數(shù)。將這些方向數(shù)依一個(gè)方向循環(huán)以使它們所構(gòu)成的自然數(shù)的值最小第18頁n鏈碼鏈碼 問題問題2：2）由于角度的不同，造成編碼的不同）由于角度的不同，造成編碼的不同 改進(jìn)改進(jìn)2：2）通過使用鏈碼的一階差代替碼子本身的方）通過使用鏈碼的一階差代替碼子本身的方式式第19頁鏈碼鏈碼鏈碼旋轉(zhuǎn)歸一化鏈碼旋轉(zhuǎn)歸一化利用鏈碼的一階差分來重新構(gòu)造一個(gè)序列（一個(gè)表示原鏈碼各段之間方向變化的新序列）這個(gè)差分可

6、用相鄰兩個(gè)方向數(shù)相減得到 第20頁形狀數(shù)形狀數(shù)：一種輪廓形狀描述符，值最?。阂环N輪廓形狀描述符，值最小(鏈碼鏈碼)的差分碼的差分碼形狀數(shù)形狀數(shù) 0 3 0 3 3 1 3 3 第21頁n鏈碼鏈碼 問題問題3：1）鏈碼相當(dāng)長(zhǎng)。）鏈碼相當(dāng)長(zhǎng)。2）噪音會(huì)產(chǎn)生不必要的鏈碼。）噪音會(huì)產(chǎn)生不必要的鏈碼。 改進(jìn)改進(jìn)1：1）加大網(wǎng)格空間。）加大網(wǎng)格空間。2）依據(jù)原始邊界與結(jié)果的接近程度，來確）依據(jù)原始邊界與結(jié)果的接近程度，來確定新點(diǎn)的位置。定新點(diǎn)的位置。第22頁n鏈碼舉例：鏈碼舉例：4-鏈碼：鏈碼：0033322211014-鏈碼：鏈碼：000033333322222211110011第23頁n鏈碼具有平移不

7、變性，即當(dāng)邊界平移時(shí)，其鏈碼不發(fā)生改變。鏈碼具有平移不變性，即當(dāng)邊界平移時(shí)，其鏈碼不發(fā)生改變。n如果邊界的本身對(duì)于旋轉(zhuǎn)和比例修改來說是無變化的，使用鏈碼如果邊界的本身對(duì)于旋轉(zhuǎn)和比例修改來說是無變化的，使用鏈碼才是正確的。一般來說這是不可能的，實(shí)際應(yīng)用時(shí)還需要改進(jìn)才是正確的。一般來說這是不可能的，實(shí)際應(yīng)用時(shí)還需要改進(jìn)n如果用鏈碼后，對(duì)象只要用如果用鏈碼后，對(duì)象只要用1)1)起點(diǎn)坐標(biāo)，起點(diǎn)坐標(biāo)，2)2)周長(zhǎng)（邊界點(diǎn)數(shù)）周長(zhǎng)（邊界點(diǎn)數(shù)）3)3)鏈碼，鏈碼，4)4)對(duì)象編號(hào)，就可以對(duì)象編號(hào)，就可以描述描述。n鏈碼一般用于一幅圖像中有多個(gè)對(duì)象的情況，對(duì)單個(gè)對(duì)象不適用鏈碼一般用于一幅圖像中有多個(gè)對(duì)象的情況

8、，對(duì)單個(gè)對(duì)象不適用。第24頁n8.2 輪廓線段的近似表達(dá)輪廓線段的近似表達(dá)第25頁n實(shí)際中的數(shù)字輪廓常由于噪聲、采樣等的影響而有實(shí)際中的數(shù)字輪廓常由于噪聲、采樣等的影響而有許多較小的不規(guī)則處。這些不規(guī)則處常對(duì)用鏈媽進(jìn)許多較小的不規(guī)則處。這些不規(guī)則處常對(duì)用鏈媽進(jìn)行的輪廓表達(dá)產(chǎn)生較明顯的干擾影響。行的輪廓表達(dá)產(chǎn)生較明顯的干擾影響。n一種抗干擾性能更好，且更節(jié)省表達(dá)所需數(shù)據(jù)量的一種抗干擾性能更好，且更節(jié)省表達(dá)所需數(shù)據(jù)量的方法是用多邊形近似逼近輪廓。方法是用多邊形近似逼近輪廓。n實(shí)際中多邊形表達(dá)的目的常是要用盡可能少的線段實(shí)際中多邊形表達(dá)的目的常是要用盡可能少的線段來代表輪廓并保持輪廓的基本形狀。來代

9、表輪廓并保持輪廓的基本形狀。n常用的多邊形表達(dá)方法有常用的多邊形表達(dá)方法有3種：種：n（1）基于收縮的最小周長(zhǎng)多邊形法）基于收縮的最小周長(zhǎng)多邊形法n（2）基于聚合的最小均方誤差線段逼近法）基于聚合的最小均方誤差線段逼近法n（3）基于分裂的最小均方誤差線段逼近法）基于分裂的最小均方誤差線段逼近法第26頁第27頁P(yáng)225 例例8.2.1 基于收縮的最小周長(zhǎng)多邊形基于收縮的最小周長(zhǎng)多邊形第28頁2、聚合逼近多邊形、聚合逼近多邊形沿輪廓依次連接像素。先選1個(gè)輪廓點(diǎn)為起點(diǎn)，用直線依次連接該點(diǎn)與相鄰的輪廓點(diǎn)。分別計(jì)算各直線與輪廓的（逼近）擬合誤差，把誤差超過某個(gè)限度前的線段確定為多邊形的1條邊并將誤差置零

10、。然后以線段另一端點(diǎn)為起點(diǎn)繼續(xù)連接輪廓點(diǎn)，直至繞輪廓1周。這樣就得到1個(gè)輪廓的近似多邊形。abcdefghijk先從點(diǎn)a出發(fā)，依次做直線ab，ac，ad，ae等。對(duì)從ac開始的每條線段計(jì)算前一邊界點(diǎn)與線段的距離作為擬合誤差 第29頁abcdefghijkP225 例8.2.2 先從點(diǎn)a出發(fā)，依次做直線ab，ac，ad，ae等。對(duì)從ac開始的每條線段計(jì)算前一邊界點(diǎn)與線段的距離作為擬合誤差 第30頁n3、分裂逼近多邊形、分裂逼近多邊形n先連接輪廓上相距最遠(yuǎn)的先連接輪廓上相距最遠(yuǎn)的2個(gè)像素（把輪廓分成兩部分），個(gè)像素（把輪廓分成兩部分），然后根據(jù)一定準(zhǔn)則進(jìn)一步分解輪廓，構(gòu)成多邊形逼近輪廓，然后根據(jù)一

11、定準(zhǔn)則進(jìn)一步分解輪廓，構(gòu)成多邊形逼近輪廓，直到擬合誤差滿足一定限度。直到擬合誤差滿足一定限度。nP225 例例8.2.3n8.2輪廓線段的近似表達(dá)輪廓線段的近似表達(dá)w 分裂逼近多邊形w將輪廓依次分段將輪廓依次分段w 第一步先做第一步先做ag， 計(jì)算計(jì)算diw和和hj。進(jìn)一步計(jì)算。進(jìn)一步計(jì)算b，c，e，wf 等各輪廓點(diǎn)與各相應(yīng)直線等各輪廓點(diǎn)與各相應(yīng)直線w的距離的距離 n8.3 邊界標(biāo)記邊界標(biāo)記第32頁第13章第13章第35頁A r r( )2 A第13章n3、斜率密度函數(shù)、斜率密度函數(shù)n斜率密度函數(shù)可看做將斜率密度函數(shù)可看做將-s曲線沿曲線沿軸投影的結(jié)果。軸投影的結(jié)果。nP228 圖圖8.3.3

12、第37頁n4、距離為弧長(zhǎng)的函數(shù)、距離為弧長(zhǎng)的函數(shù)n基于邊界的標(biāo)記可通過從一個(gè)點(diǎn)開始沿邊界圍繞目基于邊界的標(biāo)記可通過從一個(gè)點(diǎn)開始沿邊界圍繞目標(biāo)逐漸做出來。如果將各個(gè)邊界點(diǎn)與目標(biāo)重心的距標(biāo)逐漸做出來。如果將各個(gè)邊界點(diǎn)與目標(biāo)重心的距離作為邊界點(diǎn)序列的函數(shù)就得到一種標(biāo)記。離作為邊界點(diǎn)序列的函數(shù)就得到一種標(biāo)記。nP228 圖圖8.3.4第38頁n8.4 目標(biāo)的層次表達(dá)目標(biāo)的層次表達(dá)第39頁n目標(biāo)可以看做是所有組成目標(biāo)區(qū)域像素的集合，從目標(biāo)可以看做是所有組成目標(biāo)區(qū)域像素的集合，從集合的觀點(diǎn)來看，集合可分解為子集合，每個(gè)子集集合的觀點(diǎn)來看，集合可分解為子集合，每個(gè)子集合又可繼續(xù)分解，直至每個(gè)元素。合又可繼續(xù)

13、分解，直至每個(gè)元素。n目標(biāo)的層次表達(dá)就是根據(jù)這種思路，利用金字塔式目標(biāo)的層次表達(dá)就是根據(jù)這種思路，利用金字塔式的數(shù)據(jù)結(jié)構(gòu)來表達(dá)目標(biāo)的方法。的數(shù)據(jù)結(jié)構(gòu)來表達(dá)目標(biāo)的方法。n四叉樹四叉樹n二叉樹二叉樹第40頁n四叉樹表達(dá)法在分解時(shí)每次將圖像一分為四。當(dāng)圖四叉樹表達(dá)法在分解時(shí)每次將圖像一分為四。當(dāng)圖像是方形的，且像素個(gè)數(shù)是像是方形的，且像素個(gè)數(shù)是2的整數(shù)次冪時(shí)四叉樹法的整數(shù)次冪時(shí)四叉樹法最適用。最適用。第41頁第13章C0級(jí)1級(jí)2級(jí)1245BDEA3678D31245ABE678C0級(jí)2級(jí)1級(jí)白灰黑AC第43頁第12章 目標(biāo)表達(dá)與描述(2)四叉樹：四叉樹：適用于對(duì)方形圖像采用分裂與合并方法進(jìn)行分適用于

14、對(duì)方形圖像采用分裂與合并方法進(jìn)行分割的情況割的情況E原始圖像原始圖像A BC一次分裂一次分裂E白色表示目標(biāo)白色表示目標(biāo)黑色表黑色表示背景示背景藍(lán)色表示背景混合藍(lán)色表示背景混合AC二次分裂二次分裂B1B2B3B4D1D2D3D4B1B2B3B4D1D2D3D4D DABCDn2、二叉樹、二叉樹n二叉樹表達(dá)法在分解時(shí)每次將圖像一分為二。二叉二叉樹表達(dá)法在分解時(shí)每次將圖像一分為二。二叉樹可以看做是四叉樹的一種變形。樹可以看做是四叉樹的一種變形。nP231 圖圖8.4.2第44頁n8.1 輪廓的鏈碼表達(dá)輪廓的鏈碼表達(dá)n8.2輪廓線段的近似表達(dá)輪廓線段的近似表達(dá)n8.3邊界標(biāo)記邊界標(biāo)記n8.4目標(biāo)的層次

15、表達(dá)目標(biāo)的層次表達(dá)n8.5目標(biāo)的骨架表達(dá)目標(biāo)的骨架表達(dá)n8.6運(yùn)動(dòng)表達(dá)運(yùn)動(dòng)表達(dá)n8.7目標(biāo)輪廓的傅里葉描述目標(biāo)輪廓的傅里葉描述n形態(tài)學(xué)描述形態(tài)學(xué)描述第45頁n8.5 目標(biāo)的骨架表達(dá)目標(biāo)的骨架表達(dá)第46頁8.5 目標(biāo)的骨架表達(dá)目標(biāo)的骨架表達(dá)w 1 1、骨架和骨架點(diǎn)、骨架和骨架點(diǎn)一種簡(jiǎn)化的目標(biāo)區(qū)域表達(dá)方法 第48頁骨骨 架架中軸變換是一種用來確定物體骨架的細(xì)化技術(shù)。（草場(chǎng)火技術(shù)）中軸變換方法（MAT） 具有輪廓B的區(qū)域R的MAT是如下確定的。對(duì)每個(gè)R中的點(diǎn)P，在B中搜尋與它最近的點(diǎn)。如果對(duì)P能找到多于1個(gè)這樣的點(diǎn)（即有2個(gè)或以上的B中的點(diǎn)與P同時(shí)最近），就可以認(rèn)為P屬于R的中線或骨架，或者說P是1

16、個(gè)骨架點(diǎn)。 R B p 第13章 R B p s( , )inf ( , )|dp Bd p zzBn8.5目標(biāo)的骨架表達(dá)w 骨架算法(1)考慮以輪廓點(diǎn)為中心的考慮以輪廓點(diǎn)為中心的8-鄰域，記中心點(diǎn)為鄰域，記中心點(diǎn)為p1，其鄰域的，其鄰域的8個(gè)點(diǎn)順時(shí)針繞中心點(diǎn)分別記個(gè)點(diǎn)順時(shí)針繞中心點(diǎn)分別記為為p2, p3, , p9，其中，其中p2在在p1上方上方首先標(biāo)記同時(shí)滿足下列條件的輪廓點(diǎn)：首先標(biāo)記同時(shí)滿足下列條件的輪廓點(diǎn)： (1.1)2 N(p1) 6(1.2)S(p1) = 1(1.3)p2 p4 p6 = 0(1.4)p4 p6 p8 = 0 n8.5目標(biāo)的骨架表達(dá)w 骨架算法(2)同第同第(1)

17、步，僅改兩個(gè)條件步，僅改兩個(gè)條件 n(2.3)p2 p4 p8 = 0n(2.4)p2 p6 p8 = 0 第13章（目標(biāo)標(biāo)為1，背景標(biāo)為0）考慮以考慮以輪廓點(diǎn)為中心的輪廓點(diǎn)為中心的8-鄰域，記中心點(diǎn)為鄰域，記中心點(diǎn)為p1 p4 P1 p2 p5 p6 p7 p8 p9 p3 110000001111110101111010000111010000111000000對(duì)所有輪廓點(diǎn)都檢查完畢后，將所有標(biāo)記了的點(diǎn)都除去。對(duì)所有輪廓點(diǎn)都檢查完畢后，將所有標(biāo)記了的點(diǎn)都除去。第53頁第12章 目標(biāo)表達(dá)與描述例子例子：000000000111111001111110011111100000111000001

18、1100000111000000000000000000 1111 0011111 00 11 0000011 0000011 00000 000000000步驟步驟(1)(1)作標(biāo)記作標(biāo)記第54頁第12章 目標(biāo)表達(dá)與描述0000000000111100011111000000110000001100000011000000000000000000刪除步驟刪除步驟(1)(1)作標(biāo)記的點(diǎn)作標(biāo)記的點(diǎn)0000000000 000 1111000000 1000000 1000000 000000000000000000步驟步驟(2)(2)作標(biāo)記作標(biāo)記第55頁第12章 目標(biāo)表達(dá)與描述000000000

19、0000000001111000000010000000100000000000000000000000000刪除步驟刪除步驟(2)(2)作標(biāo)記的點(diǎn)作標(biāo)記的點(diǎn)第57頁第58頁第59頁w 全局運(yùn)動(dòng)全局運(yùn)動(dòng)由攝像機(jī)的運(yùn)動(dòng)而產(chǎn)生8.6 運(yùn)動(dòng)表達(dá)運(yùn)動(dòng)表達(dá)w 全局運(yùn)動(dòng)全局運(yùn)動(dòng)常采用參數(shù)模型的方法來描述6參數(shù)仿射模型運(yùn)動(dòng)矢量場(chǎng)表示8.6 運(yùn)動(dòng)表達(dá)運(yùn)動(dòng)表達(dá)w 局部運(yùn)動(dòng)局部運(yùn)動(dòng)常對(duì)應(yīng)場(chǎng)景中目標(biāo)的運(yùn)動(dòng)比較復(fù)雜多樣，可采用緊湊表達(dá)方式8.6 運(yùn)動(dòng)表達(dá)運(yùn)動(dòng)表達(dá)第63頁第64頁第12章 目標(biāo)表達(dá)與描述傅立葉形狀描述子傅立葉形狀描述子: : 描述描述閉合邊界閉合邊界的一種方法，且僅適用于單閉合曲線的一種方法，且僅適用于

20、單閉合曲線 具體的做法：具體的做法：假定某目標(biāo)物的區(qū)域邊界由假定某目標(biāo)物的區(qū)域邊界由Q個(gè)像素組成，把個(gè)像素組成，把這個(gè)區(qū)域看成是在復(fù)平面內(nèi)，每個(gè)點(diǎn)可定義一個(gè)復(fù)數(shù)。從邊界這個(gè)區(qū)域看成是在復(fù)平面內(nèi)，每個(gè)點(diǎn)可定義一個(gè)復(fù)數(shù)。從邊界上任一點(diǎn)開始，按逆時(shí)針方向沿線逐點(diǎn)寫出一個(gè)復(fù)數(shù)序列上任一點(diǎn)開始，按逆時(shí)針方向沿線逐點(diǎn)寫出一個(gè)復(fù)數(shù)序列f(i)，對(duì)此序列進(jìn)行離散傅立葉變換，可得該邊界在頻域的表示對(duì)此序列進(jìn)行離散傅立葉變換，可得該邊界在頻域的表示F(w)。這些傅立葉系數(shù)稱為這些傅立葉系數(shù)稱為邊界的傅立葉描述子邊界的傅立葉描述子。從這些傅立葉系數(shù)。從這些傅立葉系數(shù)中可知邊界變化的劇烈程度。在目標(biāo)描述和識(shí)別中通常只使用中可知邊界變化的劇烈程度。在目標(biāo)描述和識(shí)別中通常只使用F(w)的幅值。的幅值。8.7 目標(biāo)輪廓的傅里葉描述w 輪廓的傅里葉描述輪廓的傅里葉描述 將2-D的問題簡(jiǎn)化為1-D的問題 兩種表示：在空間平面XY上在復(fù)平面UV上8.7 目標(biāo)輪廓的傅里葉描述w 輪廓的傅里葉描述輪廓的傅里葉描述 輪廓傅里葉描述的傅里葉反變換 只利用S(w)的前M個(gè)系數(shù) 為重建輪廓點(diǎn)所用的頻率項(xiàng)少了第67頁傅里葉描述子傅里葉描述子（a）字母H （b）邊界圖 （c）全部傅立葉 （d）采用225項(xiàng)第68頁傅里葉描述子傅里葉描述子 （e）采用45項(xiàng) （f）采用27項(xiàng) （