視頻監(jiān)控與視頻第七章 特征提取-基本特征

1、第7章 圖像描述與分析 7.1 灰度描述 7.2 邊界描述 7.3 區(qū)域描述 7.4 紋理描述 7.5 形態(tài)分析 第7章 圖像描述與分析 T 圖像分析 也叫景物分析或圖像理解 是一種描述過程，研究用自動或半自動裝置和系統(tǒng)，從圖 像中提取有用數(shù)據(jù)或信息生成非圖的描述或表示 圖像分析：特征提取、圖像分割、符號描述、紋理分析、 運動圖 像分析和圖像的檢測與配準(zhǔn) 預(yù)處理 分割特征提取 分類描述 符號表達(dá) 識別跟蹤 解釋描述 輸入圖像 T圖像分析通常按下列順序進(jìn)行 從圖像中提取對象或?qū)ο蠼M成部分的圖像特征 (例如圖像中景物的邊緣或區(qū)域) 利用圖像特征的屬性或相互關(guān)系來決定每個屬 性應(yīng)屬于哪個對象的哪個部

2、分 第7章 圖像描述與分析 7.1 灰度描述 7.1.1 幅度特征 7.1.2 直方圖特征 7.1.3 變換系數(shù)特征 2 00 1 ( , )( , ) NN ij f x yf i j N 7.1.1 幅度特征 最基本的是圖像的幅度特征。 例如在區(qū)域內(nèi)的平均幅度，即 7.1.1 幅度特征 a)原圖 b)利用幅度特征將目標(biāo)分割出來 P(rk)=nk/N 第rk個灰度級出現(xiàn)的頻數(shù) 可從直方圖的分布得到：圖像對比度、 動態(tài)范圍、明暗程度等 一階直方圖的特征參數(shù)： rk量化層 均值： 方差： 歪斜度： 1 0 () k L kk r ur p r 一階矩 1 22 0 ()( ) k L kk r

3、ru p r 二階中心矩 1 3 3 3 0 1 ()( ) k L kk r uru p r 三階中心矩 7.1.2 直方圖特征 峭度： 1 2 2 () k L k r mp r 1 2 0 ()log () L kk b Hp rp r 熵： 能量： 7.1.2 直方圖特征 1 4 4 4 0 1 ()( )3 k L kk r uruP r v v(m+1) u v(m) 水平切口 垂直切口 環(huán)狀切口 扇狀切口 (1) 1 () ()( , )d v m v m S mM u vv (1) 2 () ()( , )d u m u m SmM u vu (1) 3 () ()(,)d m

4、 m SmM (1) 4 () ()( , )d m m SmM 7.1.3 變換系數(shù)特征 T 頻域中的一些特征 如 2 () 2 22 ( , )( , )d d ( , )( , ) jux vy F u vf x y ex y M(u,v) F(u,v)R u vI u v 設(shè)：=幅譜 M與F不是唯一地對應(yīng)（M有位移不變性） 7.1.3 變換系數(shù)特征 T 特征：圖像中含有這些切口的頻譜成分的含量。 信息可作為模式識別或分類系統(tǒng)的輸入信息。已 成功用于土地情況分類，放射照片病情診斷等 F f(x,y) F-1 F(u,v) g(u,v) ( , )U u v ( , )u m n 7.1.

5、3 變換系數(shù)特征 7.2.1 鏈碼描述 7.2.2 傅里葉描述子 7.2 邊界描述 7.2.1 鏈碼描述 T 在數(shù)字圖像中，邊界或曲線是由一系列離散的像素 點組成的，其最簡單的表示方法是由美國學(xué)者 Freeman提出的鏈碼方法。 T 鏈碼實質(zhì)上是一串指向符的序列，有4向鏈碼、8向 鏈碼等。 )90( 1 )180(2 )0(0 )270( 3 )90(2 )135(3 )45( 1 )180(4 )0(0 )225(5 )315(7 )270(6 4向鏈碼 8向鏈碼 7.2.1 鏈碼描述 a)原鏈碼方向 b)逆時針旋轉(zhuǎn)90 90 圖a曲線的鏈碼為：01122233100000765556706

6、 其差分鏈碼為：1010010670000777001116 90 圖b曲線的鏈碼為：23344455322222107770120 其差分鏈碼為：1010010670000777001116 7.2.1 鏈碼描述 曲線的鏈碼是：6022222021013444444454577012 其差分鏈碼是： 220000627712100000017120111 7.2.1 鏈碼描述 曲線的鏈碼是：024444424323566666676711234 其差分鏈碼是： 22000062771210000017120111 7.2.1 鏈碼描述 T鏈碼的特殊性質(zhì) 一個物體很容易實現(xiàn)旋轉(zhuǎn)45。如果一個物

7、體旋轉(zhuǎn) n45，可由原鏈碼加上 n 倍的模8得到 鏈碼的微分，也稱差分碼，由原碼的一階差分求得鏈 碼差分是關(guān)于旋轉(zhuǎn)不變的邊界描述方法 區(qū)域的一些其它性質(zhì)，如面積和角點，可以由鏈碼直接得 7.2.1 鏈碼描述 7.2.2 傅里葉描述子 T對邊界的離散傅里葉變換表達(dá)，可以作為定 量描述邊界形狀的基礎(chǔ)。采用傅里葉描述的 一個優(yōu)點是將二維的問題簡化為一維問題。 邊界點的兩種表示方法 7.3 區(qū)域描述 7.3.1 幾何特征 7.3.2 不變矩 1. 像素與鄰域 a) 4-鄰域 b) 8-鄰域 7.3.1 幾何特征 2. 區(qū)域面積 11 00 ( , ) mn xy Af x y 3. 位置 1111 0

8、000 11 ( , ),( , ) mnmn xyxy Xxf x yYyf x y mnmn 質(zhì)心 形心 1111 0000 11 , nmnm ij ijij xxyy mnmn 7.3.1 幾何特征 4.區(qū)域周長 三種定義： (1) 區(qū)域和背景交界線（接縫）的長度 (2) 區(qū)域邊界8鏈碼的長度 (3) 邊界點數(shù)之和 7.3.1 幾何特征 5. 方向 二階矩軸:物體上的全部點到該線的距離平方和最小 其中 是物體點到直線 的距離 11 22 00 ( , ) mn xy xy rf x y xy r( , )x y 7.3.1 幾何特征 6. 距離 1) 歐幾里德距離（Euclidean）

9、 22 ( ,)()() e dP Qxuyv 2) 4-鄰域距離(City-block城區(qū)距離) 4( , )dP Qxuyv 3) 8-鄰域距離（Chessboard棋盤距離） 8( , )max(,)d P Qxuyv 7.3.1 幾何特征 7.圓形度 描述連通域與圓形相似程度的量。根據(jù)圓周長與圓面 積的計算公式，定義圓形度的計算公式如下： 其中， 為連通域S的面積； 為連通域S的周長。圓形 度 值越大，表明目標(biāo)與圓形的相似度越高 s A 2 4 s c s A L s L c 7.3.1 幾何特征 8. 矩形度 描述連通域與矩形相似程度的量 其中， 為連通域S的面積； 是包含該連通域的

10、最 小矩形的面積。對于矩形目標(biāo)，矩形度 取最大值1， 對細(xì)長而彎曲的目標(biāo)，則矩形度的值變得很小 s R R A A s A R A R 7.3.1 幾何特征 9. 長寬比 其中， 是包圍連通域的最小矩形的寬度； 是包圍連 通域的最小矩形的長度。 R W R L R WL R W L 7.3.1 幾何特征 7.3.2 不變矩 1.矩的定義 對于二維連續(xù)函數(shù) ， 階矩定義為： ( , )f x y()jk ( , )d d,0,1,2 jk jk mx y f x yx yj k 中心矩定義為： () ()( , )d d jk jk xxyyf x yx y 數(shù)字圖像，則上式變?yōu)椋?() ()(

11、 , ) jk jk xy xxyyf x y 2.不變矩 定義歸一化的中心矩為： 利用歸一化的中心矩，可以獲得對平移、縮放、鏡像和旋轉(zhuǎn) 都不敏感的7個不變矩，定義如下： 00 ,1 ()2 jk jk jk 12002 22 2200211 ()4 22 330122103 (3)(3) 7.3.2 不變矩 22 430122103 ()() 22 53012301230122103 22 2103210330122103 (3)() ()3() (3)() 3()() 22 6200230122103 1130122103 () ()() 4()() 22 7210330123012210

12、3 22 1230210330122103 (3)() ()3() (3)() 3()() 7.3.2 不變矩 7.4 紋理描述 7.4.1 矩分析法 7.4.2 灰度差分統(tǒng)計法 7.4.3 灰度共生矩陣法 7.4.4 紋理的結(jié)構(gòu)分析 T紋理特征 自然紋理：種子、草地（無規(guī)則性） 人工紋理：織物、磚墻（有規(guī)則性，它的灰度分布具 有周期性，即使灰度變化是隨機(jī)的，它也具有一定的 統(tǒng)計特性） T標(biāo)志三要素 1）某種局部的序列性在該序列更大的區(qū)域內(nèi)不斷重復(fù) 2）序列基本元素是非隨機(jī)排列組成的 3）區(qū)域內(nèi)任何地方都有大致相同的結(jié)構(gòu)尺寸 7.4 紋理描述 a) 結(jié)構(gòu)型紋理 b) 隨機(jī)型紋理 7.4 紋理描

13、述 T描述紋理圖像特征的參數(shù)有許多種，如 1）知道像素及鄰近像素的灰度分布情況。 2）檢查小區(qū)域內(nèi)灰度直方圖，檢查各小區(qū)域直方圖的相 似性，具有相似直方圖的小區(qū)域同屬一個大區(qū)域 7.4 紋理描述 T 紋理：灰度與顏色的二維變化的圖案，是區(qū)域的重要特 征之一，灰度分布具有周期性、方向性、疏密之分。 T 統(tǒng)計方法：用于木紋、紗地、草地等不規(guī)則物體 自然紋理：具有重復(fù)性排列現(xiàn)象的自然景象，無規(guī)則 T 結(jié)構(gòu)方法：布料的印刷圖案或磚花地等組成紋理的元素 及其排列規(guī)則來描述紋理的結(jié)構(gòu) 人工紋理：是由自然背景上的符號排列組成、有規(guī)則的 7.4 紋理描述 7.4 紋理描述 7.4 紋理描述 (1) 均值（Me

14、an） (2) 方差（Variance） (3) 扭曲度（Skewness） 1 0 () N ii i k fk 1 22 0 ()( ) N ii i kf k 1 3 3 3 0 1 ()( ) N ii i kf k 7.4.1 矩分析法 (5) 熵（Entropy） 1 2 0 ( )log( ) N ii i Hf kf k 7.4.1 矩分析法 1 4 4 0 1 ()( )3 4 N ii i kf k (4) 峰度（Kurtosis） T 灰度差分統(tǒng)計法又稱一階統(tǒng)計法，通過計算圖像中一對像 素間灰度差分直方圖來反映圖像的紋理特征。 令 為兩個像素間的位移矢量， 是位移量 為

15、的灰度差分： T 粗紋理時，位移相差為 的兩像素通常有相近的灰度等級， 因此， 值較小，灰度差分直方圖值集中在 附近； T 細(xì)紋理時，位移相差為 的兩像素的灰度有較大變化 ， 值一般較大，灰度差分直方圖值會趨于發(fā)散 (,)xy ( , )fx y ( , )( , )(,)fx yf x yf xx yy ( , )fx y 0i ( , )fx y 7.4.2 灰度差分統(tǒng)計法 T 灰度直方圖中，各像素的灰度是獨立進(jìn)行處理的， 故不能很好地給紋理賦予特征。因此，如果研究圖 像中兩像素組合中灰度配置的情況，就能夠很好地 給紋理賦予特征，這樣的特征叫二階統(tǒng)計量， （灰度直方圖是一階統(tǒng)計量） 代表性

16、的是以灰度共生矩陣為基礎(chǔ)的紋理特征計算法。 7.4.3 灰度共生矩陣法 T灰度級聯(lián)合分布（二階統(tǒng)計量） 7.4.3 灰度共生矩陣法 (, ),( , ),(,), ,0,1 ,:11,2 -1 (2 -1) (, )( , )| ( , ),(,)(,) ,0-1 L L P i jx y f x yif x Dx y Dyj x yN Dx DyNNNN P i jx yf x yif x Dx y Dyjf x Dx y Dyj i jL 集合（ ）且的元素個數(shù) 共有 （）個共生矩陣 簡化：集合且或且 的元素個數(shù) x,y坐標(biāo)，f(x,y)灰度，L灰度級數(shù) x列，y行 0 0 0 0 ,00

17、 0,90 ,4 ,135 ,45 Dxd Dy DxDyd Dx Dy Dxd Dyd Dxd Dyd 東西 南北 限制為 種： 東北西南 西北東南 7.4.3 灰度共生矩陣法 T例: 012301 123012 A 123012 230123 301230 012301 7.4.3 灰度共生矩陣法 4*4 (0,0)(0,1)(0,2)(0,3)0807 (1,0)(1,1)(1,2)(1,3)8080 (1,0) (2,0)(2,1)(2,2)(2,3)0807 (3,0)(3,1)(3,2)(3,3)7070 A pppp pppp P DxDy pppp pppp 12000 014

18、00 (1,1) 00120 00012 A P DxDy 設(shè)圖像矩陣為 0807 8080 (1,0) 0807 7070 A P 24400 4800 (1,0) 0022 0020 B P 水平方向無重復(fù)，變化 較快 水平方向數(shù)值大，重復(fù)多，紋理 較粗 1）對角線元素全為0，表明同行灰度變化快 2）對角線元素較大，表明紋理較粗 7.4.3 灰度共生矩陣法 7.4.4 紋理的結(jié)構(gòu)分析 紋理結(jié)構(gòu)的描述及排列 a) 紋理基元 b）由規(guī)則 生成的紋理模式 c) 由 和其它規(guī)則生成的二 維紋理模式 SaS SaS 紋理結(jié)構(gòu)分析 圖例 7.4.4 紋理的結(jié)構(gòu)分析 B A 形態(tài)學(xué)基本運算 7.5 形態(tài)

19、分析 1腐蝕 T 集合A被B腐蝕，表示為 ，其定義為： T 其中A稱為輸入圖像，B稱為結(jié)構(gòu)元素。 A B :A Bx BxA 腐蝕類似于收縮 7.5 形態(tài)分析 2. 膨脹 T AC 表示集合A的補集， 表示B關(guān)于坐標(biāo)原點的反射（對稱集）。那么， 集合A被B膨脹，表示為A B，定義為： B () CC ABAB A B B AB 利用圓盤膨脹 7.5 形態(tài)分析 a) 原始圖像 b) 腐蝕圖像 c) 膨脹圖像 7.5 形態(tài)分析 3.開運算 T 假定A仍為輸入圖像，B為結(jié)構(gòu)元素，利用B對A作 開運算，用符號 表示，定義為： ()A BA BB 開運算實際上是A先被B腐蝕，然后再被B膨脹的結(jié) 果。開運

20、算通常用來消除小對象物、在纖細(xì)點處分 離物體、平滑較大物體的邊界的同時并不明顯改變 其體積。 A B 7.5 形態(tài)分析 a)輸入圖像A b)結(jié)構(gòu)元素B c) d) A BA B 用圓盤對輸入圖像開運算的結(jié)果 7.5 形態(tài)分析 開運算濾除背景噪聲 a) 原圖 b)開運算結(jié)果 7.5 形態(tài)分析 4閉運算 T 閉運算是開運算的對偶運算，定義為先作膨脹然后再作腐蝕。 利用B對A作閉運算表示為 ，其定義為: A B () ()A BABB 利用圓盤對輸入圖像進(jìn)行閉運算 7.5 形態(tài)分析 (a) 輸入圖像 (b) 閉運算的結(jié)果 利用閉運算去除前景噪聲 7.5 形態(tài)分析 5邊界檢測 T 利用圓盤結(jié)構(gòu)元素作膨

21、脹會使圖像擴(kuò)大，做腐蝕 會使圖像縮小，這兩種運算都可以用來檢測二值 圖像的邊界。對于圖像A和圓盤B，下圖給出了三 種求取二值邊界的方法：內(nèi)邊界，外邊界和跨騎 在實際邊緣上的邊界，其中跨騎在實際邊緣上的 邊界又稱形態(tài)學(xué)梯度。 7.5 形態(tài)分析 AA BABA ABA B A B ABAAA B 用腐蝕和膨脹運算得出的三種圖像邊界 7.5 形態(tài)分析 三種形態(tài)學(xué)邊界實例 7.5 形態(tài)分析 作業(yè) 7-1 圖像都有哪些特征？簡要說明這些特征的特點？ 7-2 對圖像A和B分別求d1，q00，450的共生矩陣 0 1 2 3 0 1 1 2 3 0 1 2 2 3 0 1 2 3 3 0 1 2 3 0 0

22、 1 2 3 0 1 1 2 3 0 1 2 0 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 1 2 2 2 2 3 3 2 2 2 2 3 3 7-3 在下圖所示的圖像子集中，按8鄰域概念，紅色 標(biāo)記的數(shù)字是否連通？圖像子集S中是否存在孔？ 1 1 0 0 0 1 0 0 0 0 0 1 1 0 0 0 1 0 1 0 0 0 1 1 1 作業(yè) 7-4 試用Robert算子和拉普拉斯算子檢測下面圖像的邊緣 4444444400 4444444400 4455555400 4456665400 4456765400 4456665400 445555

23、5400 4444444400 4444444400 4444444400 作業(yè) 第7章 圖像描述與分析 7.1 灰度描述 7.2 邊界描述 7.3 區(qū)域描述 7.4 紋理描述 7.5 形態(tài)分析 第7章 圖像描述與分析 T 圖像分析 也叫景物分析或圖像理解 是一種描述過程，研究用自動或半自動裝置和系統(tǒng)，從圖 像中提取有用數(shù)據(jù)或信息生成非圖的描述或表示 圖像分析：特征提取、圖像分割、符號描述、紋理分析、 運動圖 像分析和圖像的檢測與配準(zhǔn) 預(yù)處理 分割特征提取 分類描述 符號表達(dá) 識別跟蹤 解釋描述 輸入圖像 T圖像分析通常按下列順序進(jìn)行 從圖像中提取對象或?qū)ο蠼M成部分的圖像特征 (例如圖像中景物

24、的邊緣或區(qū)域) 利用圖像特征的屬性或相互關(guān)系來決定每個屬 性應(yīng)屬于哪個對象的哪個部分 第7章 圖像描述與分析 7.1 灰度描述 7.1.1 幅度特征 7.1.2 直方圖特征 7.1.3 變換系數(shù)特征 2 00 1 ( , )( , ) NN ij f x yf i j N 7.1.1 幅度特征 最基本的是圖像的幅度特征。 例如在區(qū)域內(nèi)的平均幅度，即 7.1.1 幅度特征 a)原圖 b)利用幅度特征將目標(biāo)分割出來 P(rk)=nk/N 第rk個灰度級出現(xiàn)的頻數(shù) 可從直方圖的分布得到：圖像對比度、 動態(tài)范圍、明暗程度等 一階直方圖的特征參數(shù)： rk量化層 均值： 方差： 歪斜度： 1 0 () k

25、 L kk r ur p r 一階矩 1 22 0 ()( ) k L kk r ru p r 二階中心矩 1 3 3 3 0 1 ()( ) k L kk r uru p r 三階中心矩 7.1.2 直方圖特征 峭度： 1 2 2 () k L k r mp r 1 2 0 ()log () L kk b Hp rp r 熵： 能量： 7.1.2 直方圖特征 1 4 4 4 0 1 ()( )3 k L kk r uruP r v v(m+1) u v(m) 水平切口 垂直切口 環(huán)狀切口 扇狀切口 (1) 1 () ()( , )d v m v m S mM u vv (1) 2 () ()

26、( , )d u m u m SmM u vu (1) 3 () ()(,)d m m SmM (1) 4 () ()( , )d m m SmM 7.1.3 變換系數(shù)特征 T 頻域中的一些特征 如 2 () 2 22 ( , )( , )d d ( , )( , ) jux vy F u vf x y ex y M(u,v) F(u,v)R u vI u v 設(shè)：=幅譜 M與F不是唯一地對應(yīng)（M有位移不變性） 7.1.3 變換系數(shù)特征 T 特征：圖像中含有這些切口的頻譜成分的含量。 信息可作為模式識別或分類系統(tǒng)的輸入信息。已 成功用于土地情況分類，放射照片病情診斷等 F f(x,y) F-1

27、 F(u,v) g(u,v) ( , )U u v ( , )u m n 7.1.3 變換系數(shù)特征 7.2.1 鏈碼描述 7.2.2 傅里葉描述子 7.2 邊界描述 7.2.1 鏈碼描述 T 在數(shù)字圖像中，邊界或曲線是由一系列離散的像素 點組成的，其最簡單的表示方法是由美國學(xué)者 Freeman提出的鏈碼方法。 T 鏈碼實質(zhì)上是一串指向符的序列，有4向鏈碼、8向 鏈碼等。 )90( 1 )180(2 )0(0 )270( 3 )90(2 )135(3 )45( 1 )180(4 )0(0 )225(5 )315(7 )270(6 4向鏈碼 8向鏈碼 7.2.1 鏈碼描述 a)原鏈碼方向 b)逆時

28、針旋轉(zhuǎn)90 90 圖a曲線的鏈碼為：01122233100000765556706 其差分鏈碼為：1010010670000777001116 90 圖b曲線的鏈碼為：23344455322222107770120 其差分鏈碼為：1010010670000777001116 7.2.1 鏈碼描述 曲線的鏈碼是：6022222021013444444454577012 其差分鏈碼是： 220000627712100000017120111 7.2.1 鏈碼描述 曲線的鏈碼是：024444424323566666676711234 其差分鏈碼是： 2200006277121000001712011

29、1 7.2.1 鏈碼描述 T鏈碼的特殊性質(zhì) 一個物體很容易實現(xiàn)旋轉(zhuǎn)45。如果一個物體旋轉(zhuǎn) n45，可由原鏈碼加上 n 倍的模8得到 鏈碼的微分，也稱差分碼，由原碼的一階差分求得鏈 碼差分是關(guān)于旋轉(zhuǎn)不變的邊界描述方法 區(qū)域的一些其它性質(zhì)，如面積和角點，可以由鏈碼直接得 7.2.1 鏈碼描述 7.2.2 傅里葉描述子 T對邊界的離散傅里葉變換表達(dá)，可以作為定 量描述邊界形狀的基礎(chǔ)。采用傅里葉描述的 一個優(yōu)點是將二維的問題簡化為一維問題。 邊界點的兩種表示方法 7.3 區(qū)域描述 7.3.1 幾何特征 7.3.2 不變矩 1. 像素與鄰域 a) 4-鄰域 b) 8-鄰域 7.3.1 幾何特征 2. 區(qū)

30、域面積 11 00 ( , ) mn xy Af x y 3. 位置 1111 0000 11 ( , ),( , ) mnmn xyxy Xxf x yYyf x y mnmn 質(zhì)心 形心 1111 0000 11 , nmnm ij ijij xxyy mnmn 7.3.1 幾何特征 4.區(qū)域周長 三種定義： (1) 區(qū)域和背景交界線（接縫）的長度 (2) 區(qū)域邊界8鏈碼的長度 (3) 邊界點數(shù)之和 7.3.1 幾何特征 5. 方向 二階矩軸:物體上的全部點到該線的距離平方和最小 其中 是物體點到直線 的距離 11 22 00 ( , ) mn xy xy rf x y xy r( , )

31、x y 7.3.1 幾何特征 6. 距離 1) 歐幾里德距離（Euclidean） 22 ( ,)()() e dP Qxuyv 2) 4-鄰域距離(City-block城區(qū)距離) 4( , )dP Qxuyv 3) 8-鄰域距離（Chessboard棋盤距離） 8( , )max(,)d P Qxuyv 7.3.1 幾何特征 7.圓形度 描述連通域與圓形相似程度的量。根據(jù)圓周長與圓面 積的計算公式，定義圓形度的計算公式如下： 其中， 為連通域S的面積； 為連通域S的周長。圓形 度 值越大，表明目標(biāo)與圓形的相似度越高 s A 2 4 s c s A L s L c 7.3.1 幾何特征 8.

32、矩形度 描述連通域與矩形相似程度的量 其中， 為連通域S的面積； 是包含該連通域的最 小矩形的面積。對于矩形目標(biāo)，矩形度 取最大值1， 對細(xì)長而彎曲的目標(biāo)，則矩形度的值變得很小 s R R A A s A R A R 7.3.1 幾何特征 9. 長寬比 其中， 是包圍連通域的最小矩形的寬度； 是包圍連 通域的最小矩形的長度。 R W R L R WL R W L 7.3.1 幾何特征 7.3.2 不變矩 1.矩的定義 對于二維連續(xù)函數(shù) ， 階矩定義為： ( , )f x y()jk ( , )d d,0,1,2 jk jk mx y f x yx yj k 中心矩定義為： () ()( , )

33、d d jk jk xxyyf x yx y 數(shù)字圖像，則上式變?yōu)椋?() ()( , ) jk jk xy xxyyf x y 2.不變矩 定義歸一化的中心矩為： 利用歸一化的中心矩，可以獲得對平移、縮放、鏡像和旋轉(zhuǎn) 都不敏感的7個不變矩，定義如下： 00 ,1 ()2 jk jk jk 12002 22 2200211 ()4 22 330122103 (3)(3) 7.3.2 不變矩 22 430122103 ()() 22 53012301230122103 22 2103210330122103 (3)() ()3() (3)() 3()() 22 6200230122103 113

34、0122103 () ()() 4()() 22 72103301230122103 22 1230210330122103 (3)() ()3() (3)() 3()() 7.3.2 不變矩 7.4 紋理描述 7.4.1 矩分析法 7.4.2 灰度差分統(tǒng)計法 7.4.3 灰度共生矩陣法 7.4.4 紋理的結(jié)構(gòu)分析 T紋理特征 自然紋理：種子、草地（無規(guī)則性） 人工紋理：織物、磚墻（有規(guī)則性，它的灰度分布具 有周期性，即使灰度變化是隨機(jī)的，它也具有一定的 統(tǒng)計特性） T標(biāo)志三要素 1）某種局部的序列性在該序列更大的區(qū)域內(nèi)不斷重復(fù) 2）序列基本元素是非隨機(jī)排列組成的 3）區(qū)域內(nèi)任何地方都有大致相

35、同的結(jié)構(gòu)尺寸 7.4 紋理描述 a) 結(jié)構(gòu)型紋理 b) 隨機(jī)型紋理 7.4 紋理描述 T描述紋理圖像特征的參數(shù)有許多種，如 1）知道像素及鄰近像素的灰度分布情況。 2）檢查小區(qū)域內(nèi)灰度直方圖，檢查各小區(qū)域直方圖的相 似性，具有相似直方圖的小區(qū)域同屬一個大區(qū)域 7.4 紋理描述 T 紋理：灰度與顏色的二維變化的圖案，是區(qū)域的重要特 征之一，灰度分布具有周期性、方向性、疏密之分。 T 統(tǒng)計方法：用于木紋、紗地、草地等不規(guī)則物體 自然紋理：具有重復(fù)性排列現(xiàn)象的自然景象，無規(guī)則 T 結(jié)構(gòu)方法：布料的印刷圖案或磚花地等組成紋理的元素 及其排列規(guī)則來描述紋理的結(jié)構(gòu) 人工紋理：是由自然背景上的符號排列組成、

36、有規(guī)則的 7.4 紋理描述 7.4 紋理描述 7.4 紋理描述 (1) 均值（Mean） (2) 方差（Variance） (3) 扭曲度（Skewness） 1 0 () N ii i k fk 1 22 0 ()( ) N ii i kf k 1 3 3 3 0 1 ()( ) N ii i kf k 7.4.1 矩分析法 (5) 熵（Entropy） 1 2 0 ( )log( ) N ii i Hf kf k 7.4.1 矩分析法 1 4 4 0 1 ()( )3 4 N ii i kf k (4) 峰度（Kurtosis） T 灰度差分統(tǒng)計法又稱一階統(tǒng)計法，通過計算圖像中一對像 素間

37、灰度差分直方圖來反映圖像的紋理特征。 令 為兩個像素間的位移矢量， 是位移量 為 的灰度差分： T 粗紋理時，位移相差為 的兩像素通常有相近的灰度等級， 因此， 值較小，灰度差分直方圖值集中在 附近； T 細(xì)紋理時，位移相差為 的兩像素的灰度有較大變化 ， 值一般較大，灰度差分直方圖值會趨于發(fā)散 (,)xy ( , )fx y ( , )( , )(,)fx yf x yf xx yy ( , )fx y 0i ( , )fx y 7.4.2 灰度差分統(tǒng)計法 T 灰度直方圖中，各像素的灰度是獨立進(jìn)行處理的， 故不能很好地給紋理賦予特征。因此，如果研究圖 像中兩像素組合中灰度配置的情況，就能夠很

38、好地 給紋理賦予特征，這樣的特征叫二階統(tǒng)計量， （灰度直方圖是一階統(tǒng)計量） 代表性的是以灰度共生矩陣為基礎(chǔ)的紋理特征計算法。 7.4.3 灰度共生矩陣法 T灰度級聯(lián)合分布（二階統(tǒng)計量） 7.4.3 灰度共生矩陣法 (, ),( , ),(,), ,0,1 ,:11,2 -1 (2 -1) (, )( , )| ( , ),(,)(,) ,0-1 L L P i jx y f x yif x Dx y Dyj x yN Dx DyNNNN P i jx yf x yif x Dx y Dyjf x Dx y Dyj i jL 集合（ ）且的元素個數(shù) 共有 （）個共生矩陣 簡化：集合且或且 的元素

39、個數(shù) x,y坐標(biāo)，f(x,y)灰度，L灰度級數(shù) x列，y行 0 0 0 0 ,00 0,90 ,4 ,135 ,45 Dxd Dy DxDyd Dx Dy Dxd Dyd Dxd Dyd 東西 南北 限制為 種： 東北西南 西北東南 7.4.3 灰度共生矩陣法 T例: 012301 123012 A 123012 230123 301230 012301 7.4.3 灰度共生矩陣法 4*4 (0,0)(0,1)(0,2)(0,3)0807 (1,0)(1,1)(1,2)(1,3)8080 (1,0) (2,0)(2,1)(2,2)(2,3)0807 (3,0)(3,1)(3,2)(3,3)70

40、70 A pppp pppp P DxDy pppp pppp 12000 01400 (1,1) 00120 00012 A P DxDy 設(shè)圖像矩陣為 0807 8080 (1,0) 0807 7070 A P 24400 4800 (1,0) 0022 0020 B P 水平方向無重復(fù)，變化 較快 水平方向數(shù)值大，重復(fù)多，紋理 較粗 1）對角線元素全為0，表明同行灰度變化快 2）對角線元素較大，表明紋理較粗 7.4.3 灰度共生矩陣法 7.4.4 紋理的結(jié)構(gòu)分析 紋理結(jié)構(gòu)的描述及排列 a) 紋理基元 b）由規(guī)則 生成的紋理模式 c) 由 和其它規(guī)則生成的二 維紋理模式 SaS SaS 紋

41、理結(jié)構(gòu)分析 圖例 7.4.4 紋理的結(jié)構(gòu)分析 B A 形態(tài)學(xué)基本運算 7.5 形態(tài)分析 1腐蝕 T 集合A被B腐蝕，表示為 ，其定義為： T 其中A稱為輸入圖像，B稱為結(jié)構(gòu)元素。 A B :A Bx BxA 腐蝕類似于收縮 7.5 形態(tài)分析 2. 膨脹 T AC 表示集合A的補集， 表示B關(guān)于坐標(biāo)原點的反射（對稱集）。那么， 集合A被B膨脹，表示為A B，定義為： B () CC ABAB A B B AB 利用圓盤膨脹 7.5 形態(tài)分析 a) 原始圖像 b) 腐蝕圖像 c) 膨脹圖像 7.5 形態(tài)分析 3.開運算 T 假定A仍為輸入圖像，B為結(jié)構(gòu)元素，利用B對A作 開運算，用符號 表示，定義

42、為： ()A BA BB 開運算實際上是A先被B腐蝕，然后再被B膨脹的結(jié) 果。開運算通常用來消除小對象物、在纖細(xì)點處分 離物體、平滑較大物體的邊界的同時并不明顯改變 其體積。 A B 7.5 形態(tài)分析 a)輸入圖像A b)結(jié)構(gòu)元素B c) d) A BA B 用圓盤對輸入圖像開運算的結(jié)果 7.5 形態(tài)分析 開運算濾除背景噪聲 a) 原圖 b)開運算結(jié)果 7.5 形態(tài)分析 4閉運算 T 閉運算是開運算的對偶運算，定義為先作膨脹然后再作腐蝕。 利用B對A作閉運算表示為 ，其定義為: A B () ()A BABB 利用圓盤對輸入圖像進(jìn)行閉運算 7.5 形態(tài)分析 (a) 輸入圖像 (b) 閉運算的結(jié)

43、果 利用閉運算去除前景噪聲 7.5 形態(tài)分析 5邊界檢測 T 利用圓盤結(jié)構(gòu)元素作膨脹會使圖像擴(kuò)大，做腐蝕 會使圖像縮小，這兩種運算都可以用來檢測二值 圖像的邊界。對于圖像A和圓盤B，下圖給出了三 種求取二值邊界的方法：內(nèi)邊界，外邊界和跨騎 在實際邊緣上的邊界，其中跨騎在實際邊緣上的 邊界又稱形態(tài)學(xué)梯度。 7.5 形態(tài)分析 AA BABA ABA B A B ABAAA B 用腐蝕和膨脹運算得出的三種圖像邊界 7.5 形態(tài)分析 三種形態(tài)學(xué)邊界實例 7.5 形態(tài)分析 行人檢測特征綜述 智能汽車主動安全技術(shù)研發(fā)趨勢智能汽車主動安全技術(shù)研發(fā)趨勢 T 隨著技術(shù)發(fā)展，智能汽車包括自動駕駛汽車成為各國爭取技

44、術(shù)制高點的核心隨著技術(shù)發(fā)展，智能汽車包括自動駕駛汽車成為各國爭取技術(shù)制高點的核心 技術(shù)領(lǐng)域，豈能汽車中具備事前預(yù)防的技術(shù)領(lǐng)域，豈能汽車中具備事前預(yù)防的“主動安全主動安全”是智能汽車技術(shù)中的核是智能汽車技術(shù)中的核 心，圖像傳感器作為智能汽車中的核心部件，被越來越多基于圖像的現(xiàn)有的心，圖像傳感器作為智能汽車中的核心部件，被越來越多基于圖像的現(xiàn)有的 汽車智能系統(tǒng)上，圖汽車智能系統(tǒng)上，圖1顯示了基于計算機(jī)視覺技術(shù)的車載主動安全系統(tǒng)中，顯示了基于計算機(jī)視覺技術(shù)的車載主動安全系統(tǒng)中， 各種可能的圖像傳感器安裝位置，分別對應(yīng)于不同的安全子系統(tǒng)。各種可能的圖像傳感器安裝位置，分別對應(yīng)于不同的安全子系統(tǒng)。 T行

45、人防碰撞系統(tǒng)行人防碰撞系統(tǒng)(Pedestrian Warning and Protection System/ Collision Avoidance System) 行人防碰撞系統(tǒng)利用圖像處理技術(shù)有效識別行人，利用汽車的速度、方向盤角度及橫擺角速度等信號行人防碰撞系統(tǒng)利用圖像處理技術(shù)有效識別行人，利用汽車的速度、方向盤角度及橫擺角速度等信號 ，通過一套演算方法的開發(fā)來估計車輛和行人的移動路徑，依據(jù)危險狀況進(jìn)行提前預(yù)警，從而規(guī)避，通過一套演算方法的開發(fā)來估計車輛和行人的移動路徑，依據(jù)危險狀況進(jìn)行提前預(yù)警，從而規(guī)避 碰撞事故。碰撞事故。 T智能氣囊系統(tǒng)智能氣囊系統(tǒng)(Smart Airbags)

46、智能氣囊系統(tǒng)在碰撞發(fā)生時，根據(jù)人所在的位置確定是否完全展開安全氣囊，根據(jù)圖像算法判定身體智能氣囊系統(tǒng)在碰撞發(fā)生時，根據(jù)人所在的位置確定是否完全展開安全氣囊，根據(jù)圖像算法判定身體 和頭部位置，確定展開氣囊的強度和力度，做出及時相應(yīng)和判斷。和頭部位置，確定展開氣囊的強度和力度，做出及時相應(yīng)和判斷。 T盲點檢測系統(tǒng)盲點檢測系統(tǒng)(Blind-spot Monitor) 盲點檢測系統(tǒng)直接把攝像頭安裝在汽車周邊，為駕駛者提供視線盲點的圖像信息，在轉(zhuǎn)彎、泊位或倒盲點檢測系統(tǒng)直接把攝像頭安裝在汽車周邊，為駕駛者提供視線盲點的圖像信息，在轉(zhuǎn)彎、泊位或倒 車時可以提醒司機(jī)注意盲區(qū)的動態(tài)或靜態(tài)障礙，防止碰撞及其它意

47、外情況發(fā)生。車時可以提醒司機(jī)注意盲區(qū)的動態(tài)或靜態(tài)障礙，防止碰撞及其它意外情況發(fā)生。 T疲勞駕駛檢測系統(tǒng)疲勞駕駛檢測系統(tǒng)(Drowsy Driving Detection System) 疲勞駕駛檢測系統(tǒng)通過對人眼的開合程度以及頻率進(jìn)行分析，實現(xiàn)對駕駛者疲勞狀態(tài)的判斷疲勞駕駛檢測系統(tǒng)通過對人眼的開合程度以及頻率進(jìn)行分析，實現(xiàn)對駕駛者疲勞狀態(tài)的判斷 T車道偏離預(yù)警系統(tǒng)車道偏離預(yù)警系統(tǒng)(Lane Departure Warning System) 車道偏離系統(tǒng)可以對危險的換道行為進(jìn)行預(yù)警；當(dāng)駕駛者長時間在車道安全范圍之外時，也可以間接車道偏離系統(tǒng)可以對危險的換道行為進(jìn)行預(yù)警；當(dāng)駕駛者長時間在車道安全

48、范圍之外時，也可以間接 提醒駕駛者處于危險狀態(tài)。提醒駕駛者處于危險狀態(tài)。 實例： 圖 1 豐田安全駕駛安全駕駛輔助輔助系統(tǒng) 圖圖 2 奧迪的奧迪的安全駕駛安全駕駛輔助安全系統(tǒng)輔助安全系統(tǒng) 圖圖 3 寶馬寶馬安全駕駛安全駕駛輔助輔助系統(tǒng)系統(tǒng) 行人檢測 T行人檢測（行人檢測（Pedestrian Detection) 指從輸指從輸 入的圖像或視頻幀中判斷是否包含行人。行入的圖像或視頻幀中判斷是否包含行人。行 人檢測兼具剛性和柔性物體的特征，外形容人檢測兼具剛性和柔性物體的特征，外形容 易發(fā)生改變，如穿著，遮擋物，姿態(tài)，視角易發(fā)生改變，如穿著，遮擋物，姿態(tài)，視角 等影響。等影響。 T行人檢測技術(shù)分為

49、兩塊：行人檢測技術(shù)分為兩塊： 特征提取，分類與定位特征提取，分類與定位 行人檢測流程 行人檢測常用特征行人檢測常用特征 Haar特征特征 T Haar特征是對物體灰度信息進(jìn)行描述物體的特性的特征。每個模板特征是對物體灰度信息進(jìn)行描述物體的特性的特征。每個模板 的特征值就是對應(yīng)的白色區(qū)域灰度值的和減去黑色區(qū)域灰度值的和，的特征值就是對應(yīng)的白色區(qū)域灰度值的和減去黑色區(qū)域灰度值的和， 他表征的是圖像中灰度信息的變化。他表征的是圖像中灰度信息的變化。Haar特征在人臉檢測中常常用特征在人臉檢測中常常用 到，到， Haar特征是由一系列模板組成的特征是由一系列模板組成的，如如下下圖所示圖所示。人眼部分的

50、灰人眼部分的灰 度值偏小，就可以用一種度值偏小，就可以用一種Haar特征表征；人的鼻子的地方會偏亮，特征表征；人的鼻子的地方會偏亮， 也可以用另一種也可以用另一種Haar特征來表征。特征來表征。 Haar特征特征 T HOG-Histogram of oriented gradient T Dalal等等受到受到SIFT特征啟發(fā)，提出了梯度方向直方圖特征啟發(fā)，提出了梯度方向直方圖HOG特征特征。 T HOG特征是目前行人檢測中最為成功的特征之一，這種特征對光照的變化，復(fù)特征是目前行人檢測中最為成功的特征之一，這種特征對光照的變化，復(fù) 雜的背景和行人多種姿勢有較好的容錯率，在行人檢測中魯棒性很好

51、雜的背景和行人多種姿勢有較好的容錯率，在行人檢測中魯棒性很好 顏色歸一化 T 這種處理方式的作用是可以減少因光照、局部明暗變化、角度這種處理方式的作用是可以減少因光照、局部明暗變化、角度 等因素帶來的影響，調(diào)節(jié)圖像的對比度、抑制噪音的干擾。等因素帶來的影響，調(diào)節(jié)圖像的對比度、抑制噪音的干擾。 T 計算方法計算方法： gamma標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化，如公式所示，如公式所示，Ic(u,v)代表的是代表的是c通通 道（可以是道（可以是RGB顏色空間的某個通道，也可以是灰度空間的單顏色空間的某個通道，也可以是灰度空間的單 通道）像素點通道）像素點(u,v)的值。的值。 (1) ( , )( , ) cc I

52、u vI u v 計算圖像梯度 模板類型模板類型 1-D 中心中心 1-D 無中心無中心 1-D 立方中立方中心心 2 2 對角矩陣對角矩陣 3 3 Sobel 算子算子-1,0,1-1,11,-8,0,8,-1 誤檢率誤檢率 (10-4FPPW) 11% 12.5%12%12.5%14% 計算圖像梯度是計算HOG特征的重要基礎(chǔ)步驟，在這一步中的作用 主要是能夠獲取圖像的輪廓信息。Dalal在他的文章試驗了用一維模板 -1,1、-1,0,1、1,-8,0,8,-1、22對角矩陣模板、Sobel算子模板等進(jìn) 行計算，實驗結(jié)果表明使用最簡單的一維模板效果最理想。 表表 3 1 Dalal采用不同模

53、板算子對檢測結(jié)果的影響采用不同模板算子對檢測結(jié)果的影響 總體來說，最好最簡單的方法是使用一維模板總體來說，最好最簡單的方法是使用一維模板-1,0,1。利用這個。利用這個 模板在橫坐標(biāo)模板在橫坐標(biāo)x方向和縱坐標(biāo)方向和縱坐標(biāo)y方向的兩個方向上對圖像進(jìn)行處理，方向的兩個方向上對圖像進(jìn)行處理， 得到圖像在這一像素點得到圖像在這一像素點 T x, y方向方向上的兩個梯度值。計算公式分別為公式上的兩個梯度值。計算公式分別為公式2和公式和公式3 ，其中，其中Gx(u,v)是在是在x軸上的梯度值，軸上的梯度值，Gy(u,v)是在是在y軸上的軸上的 梯度值，梯度值，p(u,v)是坐標(biāo)點在是坐標(biāo)點在(u,v)的圖

54、像像素值的圖像像素值 (2) (3) ( , )(, )(, )11 x G u vp uvp uv ( , )( ,)( ,)11 y G u vp u vp u v T 然后根據(jù)這兩個方向的梯度值用公式計算該點的梯度方然后根據(jù)這兩個方向的梯度值用公式計算該點的梯度方 向向和和梯度幅度值，并采用公式梯度幅度值，并采用公式6對梯度方向的無符號對梯度方向的無符號化化（ 即即0180 ）。）。 (4) (5) (6) ( , ) ( , )arctan() ( , ) x y G u v u v G u v ( , )( , ) ( , ) ( , ), others 0 u vu v u v u

55、 v ( , )( , )( , ) 22 xy s u vG u vG u v T最核心的部分最核心的部分： T在一個在一個64 128大小的檢測窗口中，將圖像劃分成大小的檢測窗口中，將圖像劃分成16 16大小的大小的block塊，每一個塊，每一個block塊內(nèi)塊內(nèi) 又分成四個又分成四個8 8大小的大小的cell，而左右兩個，而左右兩個block塊和上下兩個塊和上下兩個block塊之間都重疊了兩個塊之間都重疊了兩個cell大大 小的區(qū)域，這樣，在一個檢測窗口中，水平方向上會產(chǎn)生小的區(qū)域，這樣，在一個檢測窗口中，水平方向上會產(chǎn)生7個個block塊，垂直方向上會產(chǎn)生塊，垂直方向上會產(chǎn)生 15個個

56、block塊，總共有（塊，總共有（7 15=）105個個block塊，分塊方式如圖所示。塊，分塊方式如圖所示。 計算方向梯度直方圖計算方向梯度直方圖 計算方向梯度直方圖 T 計算直方圖在單獨每一個計算直方圖在單獨每一個block塊中進(jìn)行，將梯度方向在塊中進(jìn)行，將梯度方向在0180 內(nèi)按內(nèi)按 照每照每20 劃分為范圍相等的劃分為范圍相等的9個個bin，如圖所示。，如圖所示。計算時計算時使用一種使用一種單線單線 性插值性插值方式來計算方式來計算cell中的每個像素點梯度方向?qū)ο噜弮蓚€不同的中的每個像素點梯度方向?qū)ο噜弮蓚€不同的bin 的的貢獻(xiàn)權(quán)重貢獻(xiàn)權(quán)重，然后根據(jù)權(quán)重值分別插入到這兩個，然后根據(jù)權(quán)

57、重值分別插入到這兩個bin中。中。 計算方向梯度直方圖 T 同時使用同時使用雙線性插值雙線性插值根據(jù)該像素點在根據(jù)該像素點在block塊中的位置計算塊中的位置計算 其對其對4個個cell的貢獻(xiàn)權(quán)重值的貢獻(xiàn)權(quán)重值，如圖所示。這樣，兩次的插值方，如圖所示。這樣，兩次的插值方 式組成的三線性插值使得每一個像素點都對式組成的三線性插值使得每一個像素點都對4個個cell的直方圖的直方圖 有貢獻(xiàn)，更準(zhǔn)確、均衡地構(gòu)建了有貢獻(xiàn)，更準(zhǔn)確、均衡地構(gòu)建了HOG特征。特征。 計算方向梯度直方圖 T 用如上所說的方式對用如上所說的方式對1個個block塊內(nèi)的塊內(nèi)的4個個cell進(jìn)行進(jìn)行9個個bin的直方的直方 圖投票計

58、算統(tǒng)計，遍歷圖投票計算統(tǒng)計，遍歷256個像素點后，得到個像素點后，得到36維的維的block梯度梯度 直方圖特征。直方圖特征。 block歸一化 Tblock歸一化及生成歸一化及生成HOG特征特征 T對一個對一個block中的中的36維特征進(jìn)行歸一化處理的目的是減少由于局部強烈光照變化和陰影帶來維特征進(jìn)行歸一化處理的目的是減少由于局部強烈光照變化和陰影帶來 的影響。常用的歸一化方法有的影響。常用的歸一化方法有L1-norm、L2-norm、L1-sqrt等。等。 (7) (8) (9) T最終，經(jīng)過最終，經(jīng)過105個個block塊的特征計算和歸一化后，在一個塊的特征計算和歸一化后，在一個64

59、128大小的檢測掃描窗口內(nèi)總大小的檢測掃描窗口內(nèi)總 共計算得到（共計算得到（9 4 105=）3780維的維的HOG特征向量。特征向量。 /()vvv /vvv 2 2 /()vvv 基于紋理信息的特征描述符基于紋理信息的特征描述符 T 在目標(biāo)檢測和識別中，在目標(biāo)檢測和識別中，LBP（Local Binary Patterns） 局部二值模式特征是最常見的一種描述圖像局部紋理變化局部二值模式特征是最常見的一種描述圖像局部紋理變化 信息的特征，是由信息的特征，是由T. Ojala等人在等人在1994年提出來的。年提出來的。 基于顏色信息的特征描述符基于顏色信息的特征描述符 T在行人檢測中，利用顏

60、色信息的特征很多，這里我們介紹一種直接將顏色信息用特征表示。在行人檢測中，利用顏色信息的特征很多，這里我們介紹一種直接將顏色信息用特征表示。 Color self-similar 特征是利用行人的著裝一定的顏色模式，比如在一般情況下衣服的顏色特征是利用行人的著裝一定的顏色模式，比如在一般情況下衣服的顏色 有一定的相關(guān)性，褲子的顏色也有著一定的相關(guān)性。有一定的相關(guān)性，褲子的顏色也有著一定的相關(guān)性。 , ,) ,) , 00 60 160 120 2120 180 h Hh h , ,) ,) , 00 85 185 170 2170 255 v Vv v , ,) ,) , 00 85 185