混高斯背景建模PPT學(xué)習(xí)教案

1、會計學(xué)1 混高斯背景建?；旄咚贡尘敖?2015/1/25 混合高斯模型背景建模 2 第1頁/共26頁 2015/1/25 混合高斯模型背景建模 3 n算法引入 算法距離： （三硬幣模型三硬幣模型）假設(shè)有3枚硬幣，分別記作A，B，C。這些硬 幣正面出現(xiàn)的概率分別是，p和q。進(jìn)行如下拋硬幣實(shí)驗(yàn)：先拋硬 幣A，根據(jù)其結(jié)果選出硬幣B或硬幣C,正面選硬幣B，反面選硬幣C； 拋選出的硬幣，出現(xiàn)正面記作1，出現(xiàn)反面記作0；獨(dú)立地重復(fù)n次實(shí) 驗(yàn)（這里，n=10）,觀測結(jié)果如下： 1,1,0,1,0,0,1,0,1,1 假設(shè)只能觀測到拋硬幣的結(jié)果，不能觀測拋硬幣的過程。問如何估 計三枚硬幣正面出現(xiàn)的概率，即三

2、硬幣模型參數(shù)。 第2頁/共26頁 2015/1/254 EM算法 混合高斯模型背景建模 解解：三硬幣模型可以寫作 (1) 這里，隨機(jī)變量y是觀測變量，表示一次試驗(yàn)觀測的結(jié)果 是 1或0；隨機(jī)變量z是隱變量，表示未觀測到的拋硬幣A的結(jié)果； =(,p,q)是模型參數(shù)。其中，y的數(shù)據(jù)可以觀測，z的數(shù)據(jù) 不可觀測。 將觀測數(shù)據(jù)表示為 ，未觀測數(shù)據(jù)表示為 則觀測數(shù)據(jù)的似然函數(shù)為 (2) yy zz qp zyPzPzyPyP 1y1y )1 ()q1 ()1 (p ),|()|()|,()|( T n YYYY),.,( 21 T n ZZZZ),.,( 21 ),|()|()|(ZYPZPYP z 第

3、3頁/共26頁 2015/1/255 EM算法 混合高斯模型背景建模 即 (3) 考慮求模型參數(shù)=(,p,q)的極大似然估計，即 (4) 這個問題沒有解析解，只有通過迭代的方法求解。EM算法 就 是可以用于求解這個問題的一種迭代算法。 n j yy jj qpYP 1 1y1y )1 (q)1 ()1 (p)|( jj )|(logmaxarg YP 第4頁/共26頁 2015/1/256 EM算法 混合高斯模型背景建模 n算法推導(dǎo) 我們面對一個含有隱變量的概率模型，目標(biāo)是極大化 觀測數(shù)據(jù)（不完全數(shù)據(jù)）Y關(guān)于參數(shù)的對數(shù)似然函數(shù)，即 極大 化 (5) (5)中有未觀測變量并有包含和（或積分）的對

4、數(shù)，進(jìn)行（ 求 導(dǎo)）極大化比較困難。 ),|(, )|(log( )|,(log)|(log)( ZYPZP ZYPYPL Z Z 第5頁/共26頁 2015/1/25 混合高斯模型背景建模 7 EM算法 EM算法通過逐步迭代近似極大化L()。假設(shè)在第i次 迭代后的估計值 。我們希望新估計值能使L（） 增加，即 ，并逐步達(dá)到最大值。為此考慮兩 者的差： 利用Jensen不等式得到其下界： )(i 是 )()( (i) LL )|(log)|(),|(log()()( )()(i Z i YPZPZYPLL )|(),|( )|(),|( log),|( )|(log ),|( )|(),|(

5、log),|( )|(log) ),|( )|(),|( ),|(log()()( )()( )( )( )( )( )( )( )()( ii Z i i i Z i i i Z ii YPYZP ZPZYP YZP YP YZP ZPZYP YZP YP YZP ZPZYP YZPLL 第6頁/共26頁 2014/12/118 EM算法 混合高斯模型背景建模 其中 Jensen不等式： 若f是凸函數(shù)，X是隨機(jī)變量，那么 ，當(dāng)且僅當(dāng) ，即X為常量時去等號。Jensen不等式應(yīng)用于凹函 數(shù)時，不等號取反。 log函數(shù)為凹函數(shù)，Y為X的函數(shù)：Y=g(X),X為離散隨機(jī)變量時 ， ,k=1,2,3

6、.，若 絕對收斂，則 。 這里Y對應(yīng) ，X對應(yīng)Z，Pk對 ，g是Z到 的映射。那么 為EY，Elog(Y)為 。 1),|( )( Z i YZP )()(EXfXfE 1)(XEXP kk pxXP)( k k k pxg )()()( k k k xgpYE ),|( )|(),|( )(i YZP ZPZYP ),|( )(i YZP ),|( )|(),|( )(i YZP ZPZYP ),|( )|(),|( ),|( )( )( i Z i YZP ZPZYP YZP ),|( )|(),|( log),|( )( )( i Z i YZP ZPZYP YZP 第7頁/共26頁 2

7、015/1/25 混合高斯模型背景建模 9 )|(),|( )|(),|( log),|()(),( )()( )()()( ii Z iii YPYZP ZPZYP YZPLB ),()( )(i BL ),( )(i B )(L ),()( )()()(iii BL ),( )(i B )1( i ),( )(i B ),(maxarg )()1(ii B 第8頁/共26頁 10 混合高斯模型背景建模 2015/1/25 )1( i ),(maxarg )|,(log),|(maxarg )|(),|(log(),|(maxarg ) )|(),|( )|(),|( log),|()(ma

8、xarg )( )( )( )()( )()()1( i Z i Z i ii Z iii Q ZYPYZP ZPZYPYZP YPYZP ZPZYP YZPL ),( )(i Q )|,(logZYP )(i ),|( )(i YZP ,| )|,(log),( )()(i Z i YZYPEQ 第9頁/共26頁 2015/1/2511 EM算法 混合高斯模型背景建模 EM算法描述： 輸入：觀測變量數(shù)據(jù)Y，隱變量數(shù)據(jù)Z，聯(lián)合分布 ， 條件分布 ； 輸出：模型參數(shù)。 (1)選擇參數(shù)的初值 ，開始迭代； (2)E步：記 為第i次迭代參數(shù)的估計值，在第i+1次迭代 的E步，計算 (11) )|,(

9、ZYP ),|(YZP )0( )(i ),|()|,(log ,| )|,(log),( )( )()( i Z i Z i YZPZYP YZYPEQ 第10頁/共26頁 2015/1/2512 EM算法 混合高斯模型背景建模 M步：求使 極大化的，確定第i+1次迭代的參 數(shù)估計值 （12） (4)重復(fù)第(2)步和第(3)步，直到收斂，迭代停止條件為： 對較小的正數(shù)，若滿足 或 則停止迭代。 ),( )(i Q )1( i ),(maxarg )()1(ii Q | )()1(ii |),(),(| )()()() 1(iiii QQ 第11頁/共26頁 2015/1/2513 混合高斯模

10、型 混合高斯模型背景建模 （定義）高斯混合模型是指具有如下形式的概率分布模型： (13) 其中， 是系數(shù)， 是高斯分布密度， (14) 稱為第k個分模型。 )|()|( 1 k K k k yyP k )|(; 1, 0 1 k K k kk y ),( 2 kkk ) 2 )( exp( 2 1 )|( 2 2 k k k k y y 第12頁/共26頁 2015/1/2514 混合高斯模型 混合高斯模型背景建模 高斯混合模型參數(shù)估計的EM算法 假設(shè)觀測數(shù)據(jù) 由高斯混合模型生成， 其中， 。我們用EM算法估計高斯混合模型 的 參數(shù)。 1.明確隱變量，寫出完全數(shù)據(jù)的對數(shù)似然函數(shù) 可以設(shè)想觀測數(shù)

11、據(jù) ，是這樣產(chǎn)生的：首先依概 率 選擇第k個高斯分布分模型 ；然后依第k個分模型的概 率模型生成觀測數(shù)據(jù) 。這時觀測數(shù)據(jù) ，是已知的； 反應(yīng)觀測數(shù)據(jù) 來自第k個分模型的數(shù)據(jù)是未知的，以隱變量 表示，其中k=1,2,.,K,其定義如下： N yyy,., 21 )|()|( 1 k K k k yyP ),.,;,.,( 2121kk j y Njyj,.,2 , 1, k )|( k y j yNjyj,.,2 , 1, j y jk jk 第13頁/共26頁 2015/1/2515 混合高斯模型 混合高斯模型背景建模 （15） 是0-1隨機(jī)變量。 有了觀測數(shù)據(jù) 以及未觀測數(shù)據(jù) ，那么完全數(shù)據(jù)

12、 是 那么完全數(shù)據(jù)的的似然函數(shù)為： KkNj k jk ,.,2 , 1;,.,2 , 1 j, 1 0 個分模型個觀測來自第第 ，否則 jk j y jk Njy jkjjj ,.,2 , 1),.,( 21 第14頁/共26頁 2015/1/2516 混合高斯模型背景建模 混合高斯模型 K k N j k kj k n k K k N j kj n k K k N j kjk N j jKjjj jkk jkk jk y y y yPyP 11 2 2 11 11 1 21 ) 2 )( exp( 2 1 )|( )|( )|,.,()|,( N j K k kjkk Nnn 11 , 第

13、15頁/共26頁 2015/1/2517混合高斯模型背景建模 混合高斯模型 那么，完全數(shù)據(jù)的對數(shù)似然函數(shù)為： 2.EM算法的E步：確定Q函數(shù) (17) K k N j k kj kjkkk y nyP 11 2 2 2 )( log) 2 1 log(log)|,(log K k k kj k N j jk N j kjk K k N j k kj kjkkk ii y EE y nE yyPEQ 1 2 2 11 11 2 2 )()( 2 )( log) 2 1 log()(log)( 2 )( log) 2 1 log(log ,| )|,(log),( 第16頁/共26頁 2015/1

14、/2518 混合高斯模型背景建模 混合高斯模型 這里需要計算 ，記作 。 是在當(dāng)前模型參數(shù)下第j個觀測數(shù)據(jù)來自第k個分模型的 概率，稱為分模型k對觀測數(shù)據(jù) 的響應(yīng)度。 ),|(yE jk jk KkNj y y PyP PyP yP yP yPyE K k kjk kjk K k jkjkj jkjkj K k jjk jjk jkjkjk ,.,2 , 1;,.,2 , 1, )|( )|( )| 1(), 1|( )| 1(), 1|( )|, 1( )|, 1( ),| 1(),|( 1 1 1 jk j y 第17頁/共26頁 2015/1/2519 混合高斯模型 混合高斯模型背景建模

15、 3.確定EM算法的M步 迭代的M步是求函數(shù) 對的極大值，即求新一輪的模 型迭代參數(shù)： 用 表示 的各參數(shù)。求 只需對 求偏導(dǎo)，并使倒數(shù)為0即可；求 是在 條件下求偏導(dǎo)， 并使導(dǎo)數(shù)為0得到。結(jié)果如下： (18) ),( )(i Q ),(maxarg )()1(ii Q Kk kkk ,.,2 , 1, 2 )1( i 2 , kk ),( )(i Q k 1 1 K k k Kk NN n Kk y Kk y N j jk k k N j jk N j kjjk k N j jk N j jjk k ,.,2, 1, ,.,2, 1, )( ,.,2, 1, 1 1 1 2 1 1 第18頁

16、/共26頁 2015/1/2520 混合高斯模型背景建模 混合高斯模型背景建模 混合高斯模型背景建模的思想是把每一個像素點(diǎn)所呈 現(xiàn)的顏色用M個狀態(tài)來表示，通常M取3-5之間，將每個 狀態(tài)用一個高斯分布來近似將像素點(diǎn)所呈現(xiàn)的顏色用 隨機(jī)變量X來表示，在每個時刻T得到視頻圖像的像素值 為隨機(jī)變量X的采樣值則對于第個狀態(tài)的像素的分布 可表示為： (19) 其中 和 分別表示期望和協(xié)方差矩陣。 隨機(jī)變量X的分布可用k個狀態(tài)分布的加權(quán)和來表示： (20) )()( 2 1 exp( |)2( 1 ),|( 1 2/1 ktk T kt k n kt xxkxP k 1 k M k tktktkk kxp

17、xp 1 , ),|()|( 第19頁/共26頁 2015/1/2521 混合高斯模型背景建模 混合高斯模型背景建模 其中 是T時刻第k個高斯分布的權(quán)值，它代表了由第k個 分布產(chǎn)生的采樣值占總采樣值的比例或者說表面k出現(xiàn)在該 像素的先驗(yàn)概率，且 是全部參數(shù)的集合，定義為 ，所有參數(shù)需要從X的觀察值估計得 到上述表達(dá)式的直觀意義是：在T時刻觀察到 的概率等于 該值分別屬于M個高斯分布的概率的加權(quán)和 GMM之所以能夠?qū)⑶熬昂捅尘胺珠_是基于如下兩點(diǎn)事實(shí) 的：一，在長期觀測的場景中，背景占大多數(shù)時間，更多的 數(shù)據(jù)是支持背景分布的二，即使是相對顏色一致的運(yùn)動物 體也會比背景產(chǎn)生更多變化，況且一般情況下物

18、體都是帶有 不同顏色的我們之所以將前景也用一個高斯分布來表示是 因?yàn)椋呵熬拔矬w也有機(jī)會變?yōu)楸尘?，?dāng)場景中添加物體時， 通過一段自適應(yīng)過程，可以用新的背景模型來替換舊的背景 模型而當(dāng)物體移走時，由于原來的背景的模型依然存在， 可以快速的恢復(fù)背景模型 tk, M k tk 1 , 1 ,.,;,., 2121MM k x 第20頁/共26頁 2015/1/2522 混合高斯模型背景建模 混合高斯模型背景建模 混合高斯模型的參數(shù)更新: 在時刻t，對圖像幀的每個像素值Xt和它對應(yīng) 的混合高斯模型進(jìn)行匹配檢驗(yàn)匹配檢驗(yàn)： 如果像素值Xt與混合高斯模型中第k個高斯分 布Gk均值的距離小于其標(biāo)準(zhǔn)差的25倍，則定義 該高斯分布Gk與像素值Xt匹配。 (初始化：第一幀中，第一個高斯分布的權(quán)值為1， 期望為第一個像素數(shù)據(jù)其余高斯分布權(quán)值為0， 期望為0每個高斯分布都被賦予適當(dāng)?shù)南嗟鹊某?始方差) 第21頁/共26頁 2015/1/2523 混合高斯模型背景建模 混合高斯模型背景建模 如果檢測出該像素混合高斯模型中至少有一個高斯分量與 像 素Xt匹配，那么混合高斯模型的參數(shù)更新方式如下：1）對于 不匹配的高斯分量，他們的均值和協(xié)方差矩陣保持不變；2） 對于匹配的高斯分量，他們的均值和協(xié)方差矩陣按下式更新