計算機視覺講義-lecture8-9形狀特性分析

計算機視覺——形狀特性分析桑農(nóng)計算機視覺122.5計算機視覺系統(tǒng)框架第8章

形狀特性分析^_^3第8章

形狀特性分析應(yīng)用水果（紐

臍橙、蘋果等）分級非接觸式測量（零件等）人頭計數(shù)其他？45第8章

形狀特性分析8.1

形狀緊湊性描述符8.2

形狀復(fù)雜性描述符8.3

基于多邊形的形狀分析8.4

基于曲率的形狀分析8.1

形狀緊湊性描述符性緊湊性：目標(biāo)的點集在空間分布的緊湊性與形狀的伸長性成反比兩種表示方法：直接計算與典型形狀對比緊湊性描述符形狀因子球狀性外觀比偏心率圓形性68.1

形狀緊湊性描述符1.

外觀比描述目標(biāo)細(xì)長程度圍盒或者外接盒78.1

形狀緊湊性描述符2.

形狀因子周長相等情況下，圓面積最大，因此理論上F最小為1。圓形區(qū)域，F(xiàn)=1;其他形狀，F(xiàn)>1（正方形4/pi）離散化：4‐

邊界，正八邊形F最小8‐

邊界，正菱形F最小區(qū)域周長區(qū)域面積88.1

形狀緊湊性描述符周2.

形狀因子–B=8+12

2面積A

=

37+20/2‐1=46–

F

=1.078798.1

形狀緊湊性描述符2.

形狀因子對尺度變換不敏感，對旋轉(zhuǎn)不敏感不同的形狀可能對應(yīng)相同的形狀因子F=?108.1

形狀緊湊性描述符2.

形狀因子–離散化情況B=32

A=81

F=1.006011128.1

形狀緊湊性描述符3.

偏心率轉(zhuǎn)動慣量：假設(shè)一個2D剛體，共N個質(zhì)點mi，其坐標(biāo)為(xi

,yi

)，繞軸L的轉(zhuǎn)動慣量：A，B為剛體繞x軸y軸的轉(zhuǎn)動慣量2NI

md

i

ii

1di

為質(zhì)點mi

到軸L的距離，如果L過原點，且方向余弦角為，，則：I

A

2

B

2

2H2B

m

x2i

i

i

iA

m

y

i

i

iH

m

x

y138.1

形狀緊湊性描述符3.

偏心率轉(zhuǎn)動慣量二次曲面的一般表達(dá)式為：Ax2

By2

Cz2

2Fyz

2Gzx

2Hxy

Px

Py

1以原點為中心，O‐xy為截面時：Ax2

By2

2Hxy

1r為從原點到曲線上某一點的曲線，則剛體的轉(zhuǎn)動慣量與橢圓方程是一致的r

2

(

A

2

B

2

2H

)

1x

ry

r8.1

形狀緊湊性描述符3.

偏心率–兩個主軸的斜率–兩個半主軸長–偏心率：E

p

/

q148.1

形狀緊湊性描述符3.

偏心率–借助等效橢圓間的匹配可以獲得對兩幅圖像間的幾何失真進行校正所需的幾何變換A

BA

B158.1

形狀緊湊性描述符3.

偏心率–離散化情況下p

/

q162A

m

y B

m

x

2

i

i

i

ii

i

iH

m

x

y178.1

形狀緊湊性描述符3.

偏心率小結(jié)偏心率，也稱為伸長度，在一定程度上也描述了區(qū)域的緊湊性偏心率=主軸/短軸等效橢圓，等效橢圓的作用8.1

形狀緊湊性描述符4.

球狀性球狀性S原本指3‐D目標(biāo)的表面積和體積的比值。為描述2‐D目標(biāo)，它被定義為（1）兩個圓心都取在目標(biāo)重心上188.1

形狀緊湊性描述符4.

球狀性球狀性S原本指3‐D目標(biāo)的表面積和體積的比值。為描述2‐D目標(biāo)，它被定義為（2）兩個圓心不一致198.1

形狀緊湊性描述符4.

球狀性–離散情況208.1

形狀緊湊性描述符外觀比、形狀因子、球狀性比較外觀比容易計算，不適合描述非規(guī)則性區(qū)域形狀因子對非規(guī)則性比較敏感，但是對形狀伸長度不及外觀比敏感。球狀性對目標(biāo)區(qū)域伸長度和非規(guī)則性的變化都比較敏感218.1

形狀緊湊性描述符5.

圓形性–圓形性C

是一個用目標(biāo)區(qū)域R的所有邊界點定義的特征量：–區(qū)域重心到邊界點的平均距離：–區(qū)域重心到邊界點的距離的均方差：

RC

Rk

0Kk

kRK

1

(

x

,

y

)

(

x,

y)1222k

0k

k

1

K2

(

x

,

y

)

(

x,

y)

R

KR

8.1

形狀緊湊性描述符5.

圓形性–當(dāng)區(qū)域R為圓形是，C為無窮R不受區(qū)域平移、旋轉(zhuǎn)、尺度變化的影響離散情況

Kr

R

0238.2

形狀復(fù)雜性描述符復(fù)雜性：248.2

形狀復(fù)雜性描述符1.

形狀復(fù)雜度的簡單描述符–

(1)–

(2)–

(3)–

(4)代表圍盒面積。矩形度反映的是目標(biāo)的凸凹程度。–

(5)–

(6)與邊界的平均距離輪廓溫度：輪廓溫度是根據(jù)熱力學(xué)原理得來的描述符細(xì)度比例：形狀因子的倒數(shù)，即4(A/B2)面積周長比：A/B25(

B

B2

4πA)

(

B

B2

4πA)矩形度：矩形度定義為A/AMER

，其中AMER8.2

形狀復(fù)雜性描述符2.

飽和度–既反映了目標(biāo)的緊湊性（性），也反映了目標(biāo)的復(fù)雜性，它考慮的是目標(biāo)在其圍盒中的充滿程度81/140

=

57.8%

63/140=45%308.3

基于多邊形的形狀分析概念：基于多邊形的形狀分析，也成為多邊形

近思想：用最少的多邊形線段獲取邊界形狀的本質(zhì)特點：較好的

性能，理論上可以

近曲線到任意精度31328.3

基于多邊形的形狀分析8.3.1多邊形的獲取8.3.2多邊形描述8.3.1

多邊形的獲取三種方式：–

(1)–

(2)–

(3)基于收縮的最小周長多邊形法基于聚合的最小均方誤差線段

近法基于

的最小均方誤差線段

近法338.3.1

多邊形的獲取(1)

基于收縮的最小周長多邊形法348.3.1

多邊形的獲取(2)

基于聚合的最小均方誤差線段

近法RR<

T正交距離358.3.1

多邊形的獲取(2)

基于聚合的最小均方誤差線段

近法1）沿著邊界選兩個相鄰的點對，計算首尾連接直線段與原始折線段的誤差R。2）如果誤差R小于預(yù)先設(shè)置的閾值T。去掉中間點，選新點對與下一相鄰點對，重復(fù)1）；否則， 線段的參數(shù)，置誤差為0，選被

線段的終點為起點，重復(fù)1）2）–3）當(dāng)程序的第一個起點被遇到，程序結(jié)束。RR<T368.3.1

多邊形的獲取(2)

基于聚合的最小均方誤差線段

近法聚合算法的問題：頂點一般不對應(yīng)于邊界的拐點（如拐角）。因為新的線段直到超過誤差的閾值才開始。法可用于緩解這個問題378.3.1

多邊形的獲取(3)

基于的最小均方誤差線段

近法388.3.1

多邊形的獲取(3)

基于

的最小均方誤差線段

近法1）連接邊界線段的兩個端點（如果是封閉邊界，連接最遠(yuǎn)點）；2）如果最大正交距離大于閾值，將邊界分為兩段，最大值點定位一個頂點。重復(fù)1）；3）如果沒有超過閾值的正交距離，結(jié)束。39408.3.2

多邊形描述1.

直接特征–可直接從多邊形表達(dá)的輪廓得到(1)

角點或頂點的個數(shù)(2)

角度和邊的統(tǒng)計量，如均值、中值、方差、矩等(3)最長邊和最短邊的長度，它們的長度比和它們間的角度(4)(5)最大內(nèi)角與所有內(nèi)角和的比值各個內(nèi)角的絕對差的均值8.3.2

多邊形描述2.

比較邊界形狀數(shù)對象：多邊形 近結(jié)果：利用形狀數(shù)比較相似性if則相似度為kSk

(

A)

Sk

(B)

k

4,

6,

8,..Sk

2

(

A)

Sk

2

(B)封閉輪廓形狀數(shù)階為偶數(shù)對于所有的形狀：S4

(

A)

S4

(B)S6

(

A)

S6

(B)418.3.2

多邊形描述2.

比較邊界形狀數(shù)兩個形狀間的（相似）距離定義為它們相似度的倒數(shù)這個距離量度滿足以下條件：k

找不到一個形狀，使得它與已有兩個形狀都更相似428.3.2

多邊形描述3.

借助區(qū)域標(biāo)記–區(qū)域標(biāo)記的基本思想與邊界標(biāo)記類似，也是沿不同方向進行投影，把2‐D問題轉(zhuǎn)換為1‐D問題43448.4

基于曲率的形狀分析8.4.1輪廓曲率8.4.2曲面曲率8.4

基于曲率的形狀分析1.

邊界的曲率：曲率的本質(zhì)：曲線局部彎曲程度曲率被描述為斜率的變化率近似：用相鄰邊界線段（描述為直線）的斜率差作為在邊界線交點處的曲率描述子。k2ak1交點a處的曲率為

dk

=

k1

–

k2其中k1、k2

為相鄰線段的斜率曲率是二階導(dǎo)數(shù)458.4.1

輪廓曲率2.

離散曲率在點pi

P處的k-階曲率rk(pi)=|1–cosqki|，其中qk

i

=angle(pik,pi,pi+k)是兩個線段[pik,pi]和[pi,pi+k]之間的夾角，而k

{i,…,n

–i}468.4.1

輪廓曲率47MN點M

處的曲率k

lim

s0sddsA設(shè)曲線x

x(t)

y

y(t)xoy切線的轉(zhuǎn)角

(t

t)

(t)

,弧長s

AM

s(t)弧段MN

的長＝s

s(t

t)

s(t)xy

xyk

(

x2

y2

)32則s

M

處切線的夾角

(t)d

dt

d

sdt8.4.1

輪廓曲率3.

離散曲率的計算(1)

先對x(t)和y(t)進行插值再求導(dǎo)數(shù)498.4.1

輪廓曲率3.

離散曲率的計算根據(jù)矢量間的夾角來定義等價的曲率測度先定義以下的兩個矢量508.4.1

輪廓曲率曲率與幾何特征518.4.1

輪廓曲率4.

基于曲率的描述符曲率的統(tǒng)計值。曲率的直方圖可提供一些有用的全局測度，如平均曲率、中值、方差、熵、矩等曲率的最大點、最小點、拐點。曲率達(dá)到正最大、負(fù)最小的點或拐點帶的信息。這些點的數(shù)量，它們在輪廓中的位置，正最大、負(fù)最小的點曲率數(shù)值都可用作形狀測度。彎曲能。曲線的彎曲能（bendingenergy，BE）是將給定曲線彎曲成所需形狀而需要的能量52?函數(shù)regionprops

（度量區(qū)域?qū)傩裕?shù)'Area'圖像各個區(qū)域中像素總個數(shù)'BoundingBox'包含相應(yīng)區(qū)域的最小矩形'Centroid'每個區(qū)域的質(zhì)心（重心）'MajorAxisLength'與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長軸長度（像素意義下）'MinorAxisLength'與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的短軸長度（像素意義下）'Eccentricity'與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的離心率（可作為特征）'Orientation'與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長軸與x軸的交角（度）'Image'與某區(qū)域具有相同大小的邏輯矩陣'FilledImage'與某區(qū)域具有相同大小的填充邏輯矩陣'FilledArea'

填充區(qū)域圖像中的on像素個數(shù)'ConvexHull'包含某區(qū)域的最小凸多邊形'ConvexImage'

畫出上述區(qū)域最小凸多邊形'ConvexArea'

填充區(qū)域凸多邊形圖像中的on像素個數(shù)'EulerNumber'幾何拓?fù)渲械囊粋€拓?fù)洳蛔兞俊?Extrema'八方向區(qū)域極值點'EquivDiameter'

與區(qū)域具有相同面積的圓的直徑'Solidity'同時在區(qū)域和其最小凸多邊形中的像素比例'Extent'同時在區(qū)域和其最小邊界矩形中的像素比例'PixelIdxList'

區(qū)域像素的索引下標(biāo)'PixelList'

上述索引對應(yīng)的像素坐標(biāo)'Perimeter'

圖像各個區(qū)域邊界地區(qū)的周長53目前形狀分析任務(wù)與應(yīng)用54作業(yè)8.1計算下圖中由離散點構(gòu)成的八邊形的外觀比、形狀因子、偏心率、球狀性和圓形性8.8計算下圖3個區(qū)域輪廓的形狀數(shù)，并比較哪兩個更相似些。55主動輪廓模型56主動輪廓模型（snake）回顧?能量snake模型的彈性和剛性彈性勢能一階導(dǎo)數(shù)

，反映曲線的彈性作用：使輪廓連續(xù)彎曲勢能二階導(dǎo)數(shù)

，反映曲線的剛性作用：使輪廓平滑外部能量在第八章后總結(jié)給出一個可計算模型如何優(yōu)化62擴充

紋理特征統(tǒng)計方法灰度共生矩陣局部二值模式（LBP）自相關(guān)函數(shù)Laws紋理能量測度結(jié)構(gòu)方法頻譜方法擴充

紋理特征灰度紋理圖象63擴充

紋理特征flower64foodwater彩色紋理圖像擴充

紋理特征包含多個紋理區(qū)域的圖象65擴充

紋理特征紋理是一種普遍存在的視覺現(xiàn)象，目前對于紋理的精確定義還未形成認(rèn)識，多根據(jù)應(yīng)用需要做出不同定義．兩種較常采用的定義：

定義1按一定規(guī)則對元素或基元進行排列所形成的重復(fù)模式.定義2

如果圖像函數(shù)的一組局部屬性是恒定的，或者是緩變的，或者是近似周期性的，則圖象中的對應(yīng)區(qū)域具有恒定的紋理66擴充

紋理特征紋理的特征與分類7擴充

紋理特征紋理的特征與分類紋理是區(qū)域?qū)傩裕⑶遗c圖像分辨率（或稱尺度，resolution

or

scale）密切相關(guān)重復(fù)性、規(guī)則性、周期性、方向性68紋理處理的基本問題紋理分析：研究紋理圖像的特性紋理分類：從給定的一組紋理集中識別給定的紋理區(qū)域。紋理分割：把

分成不同的部分，每部分

具有相近的紋理。從紋理恢復(fù)形狀：由圖像紋理恢復(fù)表面的方向和表面形狀。：利用小樣本構(gòu)造大紋理紋理基于點基于塊：每次：每次一個像素點。一個像素塊。69紋理紋理紋理發(fā)展過程：(Texture

Map

)，從而建立紋理空間和表面參數(shù)空間的一對一將任意平面圖形或圖像覆蓋到物體表面上過程紋理

(Procedural

Texture

Synthesis)利用算法或函數(shù)，通過對紋理物理生成過程的仿真直接在曲面上生成紋理，如毛發(fā)、云霧、木紋等基于樣圖的紋理在樣本圖像有限并已知的情況下生成與其近似的紋理圖像，并且新圖像不能是原樣本的

。70基于樣圖的紋理分類二維紋理曲面紋理動態(tài)紋理+71基于樣圖的紋理分類Input

textureB1

B2Neighboring

blocksblockconstrained

by

overlapB1

B2Minimal

errorboundary

cutB1

B2Random

placementof

blocks二維紋理723DPatchResampled

GrCompare基于樣圖的紋理分類ResampleFlatten2D

Patch解決了鄰域的構(gòu)造以及問題73基于紋理的圖像修復(fù)圖像修復(fù)基于紋理的圖像修復(fù)圖像修復(fù)75雙樣本約束基于紋理雙樣本約束紋理就是在兩個樣本紋理和一個目標(biāo)圖的控制下，生成一種新的圖案。76紋理替換圖像紋理替換是指在真實圖像中替換具有某種模式的紋理，替換后的紋理在視覺效果上真實自然，與原紋理的光照效果、暗影效果以及物理結(jié)構(gòu)相同。77灰度共生矩陣對于具有G個灰度級的圖像，受位移矢量d=(a,b),控制的灰度級共生矩陣P

是一個

的矩陣，矩陣行列表示各個灰度級，矩陣元素反映兩種灰度在相距一定距離的位置上同時出現(xiàn)的次數(shù)，具體按下式計算：78灰度共生矩陣0

0

0

1

21

1

0

1

12

2

1

0

01

1

0

2

0位置操作P4212320200

0

1

0

1紋理0

12012[C]聯(lián)合概率(joint

probability)和尺寸79灰度共生矩陣規(guī)范化1010101001010101101010100101010110101010010101011010101001010101ii

jj1492400250

i1560282800

i110

1j0

1jd=(1,1)時的P[i,j] d=(1,0)

時的P[i,j]左邊為棋格圖像，中間為位移矢量為d=(1,1)的灰度級共生矩陣，右邊為位移矢量為d=(1,0)的灰度級共生矩陣。i

j80d

P

[i,

j]Pd[i,

j]dN

[i,

j]

灰度共生矩陣灰度級共生矩陣在一定程度上反映了紋理圖像中各灰度級在空間上的分布特性如果灰度級共生矩陣集中于對角線上，則對應(yīng)位移矢量接近于該紋理中基元的排列規(guī)則在灰度級共生矩陣的基礎(chǔ)上，可定義多種紋理特征紋理分析領(lǐng)域中廣為人知和最經(jīng)常采用的特征之一81灰度共生矩陣紋理特征

公式熵(entropy)能量(energy)對比度(contrast)均勻度(homegeneity)相關(guān)性(correlation)82灰度共生矩陣各特征含義（1）熵：含義：圖像所具有的信息量的度量，紋理信息也屬于圖像的信息，是一個隨機性的度量。性質(zhì)：當(dāng)圖像無紋理時，熵應(yīng)該等于0，滿紋理時，該值應(yīng)該最大，從數(shù)學(xué)角度看，當(dāng)共生矩陣所有元素近似相等時，熵應(yīng)該最大。它表示了圖像中紋理的非均勻程度或復(fù)雜程度。83灰度共生矩陣各特征含義（2）能量：含義：灰度共生矩陣元素值的平方和，所以也稱能量，反映了圖像灰度分布均勻程度和紋理粗細(xì)度。性質(zhì)：如果共生矩陣的所有值均相等，則能量值小；相反，

如果其中一些值大而其它值小，則能量值大。當(dāng)共生矩陣中元素集中分布時，此時能量值大。能量值大表明一種較均一和規(guī)則變化的紋理模式。84灰度共生矩陣各特征含義（3）對比度：含義：反映了圖像的清晰度和紋理溝紋深淺的程度。性質(zhì)：紋理溝紋越深，其對比度越大，視覺效果越清晰；反之，對比度小，則溝紋淺，效果模糊。如果對比度大的象素對越多，這個值越大?；叶裙采仃囍羞h(yuǎn)離對角線的元素值越大，對比度越大。85灰度共生矩陣各特征含義（4）均勻度：含義：反映圖像紋理的同質(zhì)性，度量圖像紋理局部變化的多少。性質(zhì)：其值大則說明圖像紋理的不同區(qū)域間缺少變化，局部非常均勻。86灰度共生矩陣各特征含義（5）相關(guān)：含義：它度量空間灰度共生矩陣元素在行或列方向上的相似程度，因此，相關(guān)值大小反映了圖像中局部灰度相關(guān)性。性質(zhì)：當(dāng)矩陣元素值均勻相等時，相關(guān)值就大；相反，如果矩陣元素值相差很大則相關(guān)值小?？梢杂脕砼袛嗉y理的主方向。87局部二值模式（LBP）基本的LBP算子：3×3的矩形塊，有1

個中心像素和8個鄰域像素對應(yīng)于9個灰度值。特征值：中心像素的灰度值為閾值，將其鄰域的8個灰度值與閾值相比較大于中心灰度值的像素由

1表示，反之由0表示。然后根據(jù)順時針方向讀出8個二進制值。Pattern=1000111LBP=1+

32+64+128=22590局部二值模式（LBP）在某一灰度圖像中，定義一個半徑為R（R>0）的圓環(huán)形鄰域，p（p>0）個鄰域像素均勻分布在圓周上。設(shè)該領(lǐng)域中心像元的紋理為T，則T可以用該鄰域中P+1個像素的函數(shù)來定義，即91局部二值模式（LBP）在不丟失信息的前提下，將鄰域像素的灰度值分別減去鄰域中心的灰度值，局部紋理特征則可表示為假設(shè)各個差值與gc相互獨立，則上式可分解為：t(gc)代表圖像的亮度值，與圖像局部紋理特征無關(guān)，所以可將紋理特征表示為差值的函數(shù)這一P維差值函數(shù)記錄了鄰域中每個像素的紋理模式92局部二值模式（LBP）為了使定義的紋理不受灰度值單調(diào)變換的影響，只考慮差值的符號：唯一表征局部紋理特征的LBP值可以表示為：易于定義具有旋轉(zhuǎn)不變性的紋理描述算子。93局部二值模式（LBP）特點：經(jīng)閾值化后的二值矩陣可看成一個二值紋理模式，用來刻畫鄰域內(nèi)像素點的灰度相對中心點的變化情況。因為人類視覺系統(tǒng)對紋理的感知與平均灰度(亮度)無關(guān)，而局部二值模式方法注重像素灰度的變化，所以它符合人類視覺對圖像紋理的感知特點。用途：工業(yè)視覺檢測、圖像檢索、人臉識別，表情識別、運動目標(biāo)實時

等94局部二值模式（LBP）Gabor+LBP→

LGBPWenchao

Zhang

et

al.

“Local

Gabor

Binary

Pattern

Histogram

Sequence

(LGBPHS):

ANovel

Non-Statistical

Model

for

Face

R