計算機視覺課程-7.目標(biāo)跟蹤

圖像特征檢測特征匹配4.圖像分割5.圖像配準(zhǔn)運動估計目標(biāo)8-11.三維重建識別人腦工程計算機視覺課程結(jié)構(gòu)圖目標(biāo)目標(biāo)：確定圖像序列中感物體的位置和運動機運動、目標(biāo)

的難點：光照、視角、形狀、遮擋、形變、運動模糊等。目標(biāo)的應(yīng)用目標(biāo)

有的廣泛的應(yīng)用領(lǐng)域：運動分析；運動醫(yī)學(xué)；動畫特效；智能

；機器人；人機交互；；行為理解；...目標(biāo)的分類單目標(biāo)多目標(biāo)目標(biāo)的分類單機多機目標(biāo)的分類2D3D目標(biāo)的分類剛體非剛體運動目標(biāo)的表達(dá)方法Yilmaz,

Javed,

and

Shah,

2006運動目標(biāo)的表達(dá)方法基于區(qū)域的

：運動目標(biāo)的表達(dá)方法基于特征的

：運動目標(biāo)的表達(dá)方法基于輪廓的

：運動目標(biāo)的表達(dá)方法基于模型的

：目標(biāo)的基本方法判別式方法（自底向上、數(shù)據(jù)驅(qū)動）：不依賴先驗VS生成式方法（自頂向下、模型驅(qū)動）：依賴于先驗?zāi)繕?biāo)的基本方法遞歸式 （Recursive

tracking）VS單幀檢測（Tracking

by

detection）detectdetectdetect目標(biāo)

實例——基于退火粒子濾波的Jonathan

Deutscher

and

Ian

D.

Reid,

Articulated

Body

MotionCapture

by

Stochastic

Search,

International

Journal

of

ComputerVision,

61(2):

185–205,

2005.目標(biāo)實例——基于退火粒子濾波的算法特征：單目標(biāo)、多遞歸式機、3D、連接剛體、生成式算法、29度3D模型三臺機同步拍攝目標(biāo)實例——基于退火粒子濾波的三維的主要難點：3D到2D投影歧義目標(biāo)實例——基于退火粒子濾波的三維的主要難點：姿態(tài)歧義目標(biāo)實例——基于退火粒子濾波的三維的主要難點：尺度歧義目標(biāo)實例——基于退火粒子濾波的三維的主要難點：運動模糊目標(biāo)

實例——基于退火粒子濾波的背景知識：貝葉斯濾波（Bayesian

Filtering）狀態(tài)：xt觀測：zt過程方程：xt

=

ft(xt-1,vt-1)測量方程：zt

=

ht(x

)過程噪聲：vt-1測量噪聲：nt貝葉斯濾波：已知0到t時刻的觀測z1:t={z1,…,zt}以及0時刻的狀態(tài)先驗p(x0)，求t時刻狀態(tài)的概率分布p(xt|z1:t)目標(biāo)

實例——基于退火粒子濾波的背景知識：貝葉斯濾波（Bayesian

Filtering）根據(jù)貝葉斯準(zhǔn)則（Bayes

Rule）：1）：計算先驗p(xt

|

z1:t

1

)

p(xt

|

xt

1

)p(xt

1

|

z1:t

1)dxt

1其中p(xt|z1:t-1)根據(jù)過程方程xt

=ft(xt-1,vt-1)2）測量：計算似然p(zt|xt)，根據(jù)測量方程zt

=

ht(x

)3）更新：計算后驗p(xt|z1:t)∝p(zt|xt)p(xt|z1:t-1))

p(zt

|

xt

)

p(xt

|

z1:t

1)t1:tp(zt

|

z1:t

1)p(x

|

z目標(biāo)

實例——基于退火粒子濾波的背景知識：貝葉斯濾波（Bayesian

Filtering）上述貝葉斯濾波給出了狀態(tài)

問題的最優(yōu)貝葉斯解，這一過程只 上解的形式，實際中往往無法得到解析表達(dá)。在給定一些假設(shè)（高斯、線性）時，貝葉斯解具有解析解的形式。目標(biāo)

實例——基于退火粒子濾波的背景知識：卡爾曼濾波（Kalman

Filtering）卡爾曼濾波的基本假設(shè)：1）后驗概率p(xt-1|z1:t-1)為高斯分布2）過程方程是線性函數(shù)，xt

=ft(xt-1,vt-1)=Ftxt-1+vt-13）測量方程是線性函數(shù)，zt

=

ht(x

)

=

Htx）過程噪聲vt-1是高斯白噪聲，方差為Qt-15）觀測噪聲nt是高斯白噪聲，方差為Rt4目標(biāo)

實例——基于退火粒子濾波的背景知識：卡爾曼濾波（Kalman

Filtering）過程方程：xt

=Ftxt-1+vt-1測量方程：zt

=Htx過程噪聲vt-1

~

N(0,

Qt-1)測量噪聲nt

~N(0,

Rt)p(xt-1|z1:t-1)~

N(mt-1|t-1,Pt-1|t-1)，t-1時刻狀態(tài)，已知p(xt|z1:t-1)

~

N(mt|t-1,

Pt|t-1)，對t時刻狀態(tài)的進行

，先驗p(xt|z1:t)~

N(mt|t,Pt|t)，根據(jù)t時刻的測量進行更新，后驗：mt|t-1

=

Ftmt-1|t-1更新：mt|t

=

mt|t-1+tt(zt-Htmt|t-1)

Pt|t

=

Pt|t-1-ttHtPt|t-1P

=

Q

+F

PF

Tt|t-1

t-1

t

t-1|t-1

tT(H

P H

T+R

)-1稱為卡爾曼增益tt

=

Pt|t-1Htt

t|t-1

t

t目標(biāo)

實例——基于退火粒子濾波的背景知識：粒子濾波（Particle

Filtering）許多問題是非線性非高斯的，因此無法使用卡爾曼濾波有效求解。針對非線性非高斯?fàn)顟B(tài)的一種有效方法是粒子濾波。粒子濾波是對貝葉斯最優(yōu)解的近似，其基本思想是基于蒙特卡洛法（Monte

CarloMethod）。蒙特卡羅方法于20世紀(jì)40年代

在第二次

中研制原的“曼哈頓計劃”計劃的成員烏拉姆和馮·諾伊曼首先提出，并用馳名世界的賭城—摩納哥的Monte

Carlo—來命名了這種方法。在這之前，蒙特卡羅方法就已經(jīng)存在。1777年，法國數(shù)學(xué)家布豐提出用投針實驗的方法求圓周率π，這被認(rèn)為是蒙特卡羅方法的

。目標(biāo)

實例——基于退火粒子濾波的背景知識：粒子濾波（Particle

Filtering）布豐投針實驗（計算π的最稀奇方法之一）：取一張白紙，在上面畫上許多條間距為d的平行線；取一根長度為l

(l<d)的針，隨機地向畫有平行直線的紙上擲n次，觀察針與直線相交的次數(shù)m；則針與直線相交的概率與圓周率成正比：m/n=(π-1)/4目標(biāo)

實例——基于退火粒子濾波的背景知識：粒子濾波（Particle

Filtering）非高斯非線性的貝葉斯濾波沒有解析解，因此粒子濾波使用一組隨機樣本對貝葉斯濾波器進行蒙特卡洛模擬。粒子濾波的 思想是使用一組帶 重的隨機樣本來近似狀態(tài)的后驗概率。t

i=1,…,Ns

t

t令{xti,w

i}

為t時刻的一組隨機樣本，x

i為樣本采樣，w

i為權(quán)重，則t時刻狀態(tài)xt的后驗概率可以近似為：p(xt

|

z1:t

)Nsi

t

t

ti1w(x

xi

)目標(biāo)

實例——基于退火粒子濾波的背景知識：粒子濾波（Particle

Filtering）標(biāo)準(zhǔn)粒子濾波算法流程：輸入：t-1時刻樣本及權(quán)值{x

i,wi}t-1

t-1

i=1,…,Ns，wt-

i=1/N1

s：根據(jù)過程方程xt

=ft(xt-1,vt-1)生成t樣本{x-i}t

t-1

t

t測量：根據(jù)觀測似然更新權(quán)重w-

i=w

ip(z

|x-

i)t

t重采樣：對Ns個樣本{x-i}以其權(quán)值{w-i}為概率進行采樣，從而抑制權(quán)值較小的樣本，增值較大的樣本，生成i

i

i新樣本{xt

,wt

}i=1,…,Ns,其中新權(quán)值wt

均設(shè)為1/Ns輸出：t時刻樣本及權(quán)值{x

i,w

i}，w

i=1/Nt

t

i=1,…,Nsts1Nsi1itt時刻狀態(tài)估計：xtNsx目標(biāo)

實例——基于退火粒子濾波的背景知識：粒子濾波（Particle

Filtering）當(dāng)觀測似然函數(shù)p(zt|x-ti)多峰時，標(biāo)準(zhǔn)粒子濾波算法可能無法準(zhǔn)確找到最大后驗概率值。目標(biāo)

實例——基于退火粒子濾波的許背景知識：退火粒子濾波（Annealed

Particle

Filtering）使用一組似然函數(shù)：p0,…,pM，相鄰兩個函數(shù)pm和pm-1不同，定義為：pm

(z

|

x)

p(z

|

x)m其中β0>β1>,…,>βM，pM的形狀比較平坦，能反映出整個狀態(tài)空間的趨勢，p0對應(yīng)真實似然函數(shù)，具有較高的峰值（β0=1），能夠反映局部特征。退火粒子濾波從比較平坦的pM開始，逐漸收斂到真實觀測似然函數(shù)p0。目標(biāo)

實例——基于退火粒子濾波的背景知識：退火粒子濾波（Annealed

Particle

Filtering）退火粒子濾波流程：1.

：根據(jù)過程方程xt

=ft(xt-1,vt-1)生成樣本{x-t

}it,m

t2.

m=M，{x-

i}

←

{x-

i}3.

測量：根據(jù)觀測似然更新權(quán)重w-

i=w

ip

(z

|x-t,m

t-1

m

t

t,mi)t,m

t,m4.

重采樣：對Ns個樣本{x-

i}以其權(quán)值{w-

i}為概率進行重采樣，生成新樣本{x

i,wi},其中x

i=x

i+B

、

wt,m-1

t,m-1

t,m-1

t,m

m

t,m-1i=1/Ns

、Bm為高斯隨

量5.m

←m-1，如果m<0則迭代結(jié)束，否則轉(zhuǎn)步驟3輸出：t時刻樣本及權(quán)值{x

i,w

i}

，w

i=1/Nt

t

i=1,…,Ns

ts目標(biāo)

實例——基于退火粒子濾波的背景知識：退火粒子濾波（Annealed

Particle

Filtering）目標(biāo)

實例——基于退火粒子濾波的結(jié)構(gòu)模型：29度3D模型目標(biāo)

實例——基于退火粒子濾波的觀測似然函數(shù)：圖像特征：邊緣+剪影目標(biāo)

實例——基于退火粒子濾波的觀測似然函數(shù)：

1CCii1

r

(x,

I

)

i

ii1

C

i1p(z

|

x)

exp

1C1

e

(x,

I

)C：機數(shù)量Ii：第i個

機對應(yīng)的圖像

ri(x,Ii)：模型投影邊界采樣點處的圖像邊緣點比例ei(x,Ii)：模型投影區(qū)域采樣點處的圖像剪影點比例目標(biāo)

實例——基于退火粒子濾波的觀測似然函數(shù)：

1CCii1

r

(x,

I

)

i

ii1

C

i1p(z

|

x)

exp

1C1

e

(x,

I

)ri(x,Ii)ei(x,Ii)IiIi

and

x目標(biāo)

實例——基于退火粒子濾波的結(jié)果：目標(biāo)

實例——基于退火粒子濾波的結(jié)果：目標(biāo)

實例——基于退火粒子濾波的結(jié)果：Results

on

HumanEva

Dataset目標(biāo)

實例——基于退火粒子濾波的結(jié)果：Results

on

HumanEva

Dataset目標(biāo)

實例——基于退火粒子濾波的APF是一種遞歸式 （Recursive

tracking）方法，需要前一幀結(jié)果作為當(dāng)前幀的初值，因此在長序列漂移，這是任何遞歸式 算法都中有可能會發(fā)生的問題。APF發(fā)生漂移另一種遞歸式目標(biāo) 實例——KinectJamie

Shotton,

et

al.,

Real-Time

Human

Pose

Recognition

in

Partsfrom

Single

Depth

Images,

CVPR,

2011.

(Best

P r

Award)Research

Cambridge

&

Xbox

Incubation目標(biāo) 實例——Kinect通過單幅深度圖像計算

關(guān)節(jié)點3D空間位置Kinect深度圖像關(guān)節(jié)點3D位置算法特征：多目標(biāo)、單（深度）別式算法、單幀檢測機、3D、連接剛體、判目標(biāo)實例——Kinect算Kinect

算法是迄今為止最魯棒的室內(nèi)3D法，其主要特性為：使用單幅深度圖像（深度對于視覺感知的重要性）單幀檢測

（魯棒性）在Xbox

360的GPU上運算速度200幀/秒（高效性）可用各種身材各種姿態(tài)（通用性）上市60天售出800萬臺，成為有史以來銷售速度最快的電子設(shè)備（真實可用）目標(biāo) 實例——KinectKinect基本原理：Kinect上紅外光源投射出激光散斑（laser

speckle），這些散斑具有高度的隨機性，而且會隨著距離的不同變換圖案。不同距離的散斑圖案是預(yù)先標(biāo)定好的：每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記錄下來。需要進

量的時候，拍攝一副待測場景的散斑圖像，將這幅圖像和事先保存下來的參考散斑圖像依次做互相關(guān)運算獲得場景深度。目標(biāo) 實例——Kinect算法的基本假設(shè)：室內(nèi)環(huán)境；人與Kinect距離在1-5米；動作包括走、跳、踢、跑等常用動作。目標(biāo) 實例——Kinect算法的基本流程：輸入深度圖像推斷身體各部分關(guān)節(jié)點3D位置計算目標(biāo) 實例——Kinect算法的基本流程：輸入深度圖像推斷身體各部分訓(xùn)練一個分類器，輸入為深度圖中每個像素點（特征），輸出為這一像素點所對應(yīng)的身體部分

。目標(biāo) 實例——Kinect身體上同一部分在不同姿態(tài)的深度圖中有很大的差別，因此在分類器的訓(xùn)練過程中需要大量帶

的樣本。同一個人的左手在不同姿態(tài)時的深度圖目標(biāo) 實例——Kinect如何產(chǎn)生訓(xùn)練樣本？樣本：深度圖、圖（31個身體）目標(biāo) 實例——Kinect如何產(chǎn)生訓(xùn)練樣本？使用運動捕捉（Motion

Capture）裝置獲取 運動的關(guān)節(jié)點3D位置。了約50萬幀運動數(shù)據(jù)（跳、走、跑、劃等），從中選出約10萬幀作為訓(xùn)練樣本（任意兩幀關(guān)節(jié)點間距離均大于

5cm）。目標(biāo)實例——Kinect將

的10萬幀 運動數(shù)據(jù)用于虛擬MotionBuilder）運動（Autodesk不同高矮胖瘦添加衣物發(fā)型目標(biāo) 實例——Kinect將虛擬運動

投影到虛擬深度相機，獲得訓(xùn)練樣本。目標(biāo) 實例——Kinect使用隨機決策森林作為分類器：Y.

Amit

and

D.

Geman.Sh

zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997V.

Lepetit

and

P.

Fua.

Keypoint

Recognition

Using

Randomized

Trees,

IEEE

T-PAMI,28(9):1465-1479,

2006.目標(biāo) 實例——Kinect隨機決策森林節(jié)點使用的特征：I為深度圖像，x為一個像素點，θ=(u,v)為兩個偏移向量深度圖中不同位置像素點使用同樣的偏移向量所產(chǎn)生的fθ(I,x)不同目標(biāo) 實例——Kinect隨機決策森林節(jié)點使用的特征：I為深度圖像，x為一個像素點，θ=(u,v)為兩個偏移向量fθ(I,x)中偏移量除以深度值的目的：使特征對深度具有不變性目標(biāo) 實例——Kinect隨機決策森林訓(xùn)練方法：V.

Lepetit

and

P.

Fua.

Keypoint

Recognition

Using

Randomized

Trees,

IEEE

T-PAMI,28(9):1465-1479,

2006.隨機選擇法：在每個節(jié)點完全隨機選擇參數(shù)θ和τ目標(biāo) 實例——Kinect隨機決策森林訓(xùn)練方法：Y.

Amit

and

D.

Geman.

Sh zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997.貪心選擇法：在每個節(jié)點選擇能最大化區(qū)分樣本的參數(shù)θ和τ目標(biāo) 實例——Kinect隨機決策森林訓(xùn)練方法：Y.

Amit

and

D.

Geman.

Sh zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997.目標(biāo) 實例——Kinect隨機決策森林訓(xùn)練方法：決策森林包含3棵決策樹，樹的最大深度為20，每棵樹使用30萬幅深度圖像、每幅上2000個像素點進行訓(xùn)練，每個節(jié)點有2000個候選θ值和50個候選τ值。在一個1000核的集群上訓(xùn)練1天。Y.

Amit

and

D.

Geman.

Sh zation

and

recognition

with

randomized

trees.

NeuralComputation,

9(7):1545–1588,

1997.目標(biāo) 實例——Kinect關(guān)節(jié)點3D位置計算：推斷身體各部分關(guān)節(jié)點3D位置計算最簡單的方法：將深度圖中身體每一部分所對應(yīng)像素點的空間均值作為關(guān)節(jié)點3D位置，但這一方法易受外點影響。目標(biāo) 實例——Kinect關(guān)節(jié)點3D位置計算：推斷身體各部分關(guān)節(jié)點3D位置計算改進方法：使用 高斯核函數(shù)進行meanshift聚類。目標(biāo) 實例——Kinect關(guān)節(jié)點3D位置計算：使用

高斯核函數(shù)進行mean

shift聚類，即尋找密度分布函數(shù)的極值：，為深度圖中像素點xi對應(yīng)的空為待估計的關(guān)節(jié)點3