LK光流算法總結(jié)

1、 運(yùn)動(dòng)目標(biāo)檢測(cè)之Lucas-Kanade光流算法讀書筆記視覺是人類感知自身周圍復(fù)雜環(huán)境最直接有效的手段之一， 而在現(xiàn)實(shí)生活中 大量有意義的視覺信息都包含在運(yùn)動(dòng)中，人眼對(duì)運(yùn)動(dòng)的物體和目標(biāo)也更敏感，能夠快速的發(fā)現(xiàn)運(yùn)動(dòng)目標(biāo)。隨著計(jì)算機(jī)技術(shù)、 通信技術(shù)、圖像處理技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺己成為目前的熱點(diǎn)研究問題之一。 而運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺研究的核心課題之一， 融合了圖像處理、 模式識(shí)別、人工智能、自動(dòng)控制、計(jì)算機(jī)等眾多領(lǐng)域的先進(jìn)技術(shù)，在軍事制導(dǎo)、 視覺導(dǎo)航、視頻監(jiān)控、智能交通、醫(yī)療診斷、工業(yè)產(chǎn)品檢測(cè)等方面有著重要的實(shí) 用價(jià)值和廣闊的發(fā)展前景。一目標(biāo)檢測(cè)運(yùn)動(dòng)目標(biāo)檢測(cè) 運(yùn)動(dòng)目標(biāo)檢測(cè)是指從序列圖像中將

2、運(yùn)動(dòng)的前景目標(biāo)從背景圖像中提取出來。目前,已有的運(yùn)動(dòng)目標(biāo)檢測(cè)方法按照算法的基本原理可以分為三類:背景差分法，幀間差分法和光流法。1背景差分法背景差分法又稱背景減除法，背景差分法的原理是將當(dāng)前幀與背景圖像進(jìn)行差分來得到運(yùn)動(dòng)目標(biāo)區(qū)域，但是需要構(gòu)建一幅背景圖像，這幅背景圖像必須不含運(yùn)動(dòng)目標(biāo)，并且應(yīng)該能不斷的更新來適應(yīng)當(dāng)前背景的變化，構(gòu)建背景圖像的方法有很多，比較常用的有基于單個(gè)高斯模型的背景構(gòu)建，基于混合高斯模型的背景構(gòu)建，基于中值濾波器的背景構(gòu)造，基于卡爾曼濾波器的背景構(gòu)造，基于核函數(shù)密度估計(jì)的背景模型構(gòu)造。 缺點(diǎn)：因?yàn)橐蟊尘笆庆o止的，所以背景的變化，場(chǎng)景中有很多干擾，比如場(chǎng)景中有樹枝和葉子在風(fēng)

3、中晃動(dòng)、水面的波動(dòng)等等，還有照明的變化和天氣的變化等都可能影響檢測(cè)的結(jié)果2幀間差分法幀間差分法是一種通過對(duì)視頻圖像序列中相鄰兩幀作差分運(yùn)算來獲得運(yùn)動(dòng)目標(biāo)輪廓的方法，它可以很好地適用于存在多個(gè)運(yùn)動(dòng)目標(biāo)和攝像機(jī)移動(dòng)的情況。當(dāng)監(jiān)控場(chǎng)景中出現(xiàn)異常物體運(yùn)動(dòng)時(shí)，幀與幀之間會(huì)出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像亮度差的絕對(duì)值，判斷它是否大于閾值來分析視頻或圖像序列的運(yùn)動(dòng)特性，確定圖像序列中有無物體運(yùn)動(dòng)。圖像序列逐幀的差分，相當(dāng)于對(duì)圖像序列進(jìn)行了時(shí)域下的高通濾波。 缺點(diǎn)：不能提取出對(duì)象的完整區(qū)域，只能提取出邊界；同時(shí)依賴于選擇的幀間時(shí)間間隔。對(duì)快速運(yùn)動(dòng)的物體，需要選擇較小的時(shí)間間隔，如果選擇不合適，當(dāng)物

4、體在前后兩幀中沒有重疊時(shí)，會(huì)被檢測(cè)為兩個(gè)分開的物體：而對(duì)慢速運(yùn)動(dòng)的物體，應(yīng)該選擇較大的時(shí)間差，如果時(shí)間選擇不適當(dāng)，當(dāng)物體在前后兩幀中幾乎完全重疊時(shí)，則檢測(cè)不到物體。3光流算法光流，它是一種運(yùn)動(dòng)模式，這種運(yùn)動(dòng)模式指的是一個(gè)物體、表面、邊緣在一個(gè)視角下由一個(gè)觀察者（比如眼睛、攝像頭等）和背景之間形成的明顯移動(dòng)。光流技術(shù)，如運(yùn)動(dòng)檢測(cè)和圖像分割，時(shí)間碰撞，運(yùn)動(dòng)補(bǔ)償編碼，三維立體視差，都是利用了這種邊緣或表面運(yùn)動(dòng)的技術(shù)。光流是空間運(yùn)動(dòng)物體在觀測(cè)成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度,光流的研究是利用圖像序列中的像素強(qiáng)度的時(shí)域變化和相關(guān)性來確定各自像素位置的運(yùn)動(dòng),即研究圖像灰度在時(shí)間上的變化與場(chǎng)景中物體結(jié)構(gòu)及其運(yùn)動(dòng)

5、的關(guān)系。圖1 運(yùn)動(dòng)場(chǎng)與光流場(chǎng)對(duì)應(yīng)關(guān)系圖光流算法評(píng)估了兩幅圖像的之間的變形，它的基本假設(shè)是體素和圖像像素守恒。它假設(shè)一個(gè)物體的顏色在前后兩幀沒有巨大而明顯的變化。基于這個(gè)思路，我們可以得到圖像約束方程。不同的光流算法解決了假定了不同附加條件的光流問題。二LucasKanade算法在計(jì)算機(jī)視覺中，LucasKanade光流算法是一種兩幀差分的光流估計(jì)算法。這個(gè)算法是最常見，最流行的。它由Bruce D. Lucas 和 Takeo Kanade提出。它假定在所考慮的像素的局部鄰域內(nèi)，本質(zhì)上光流是恒定的，由此利用最小二乘法原則對(duì)鄰域內(nèi)所有像素求解基本光流方程。LucasKanade光流法是一種基于梯

6、度的局部參數(shù)化光流估計(jì)方法,該算法假定在一個(gè)空間尺寸的鄰域E中光流矢量是恒定的,然后使用加權(quán)最小二乘法(weighted least squares)估計(jì)光流。它計(jì)算兩幀在時(shí)間t 到t + t之間每個(gè)像素點(diǎn)位置的移動(dòng)。 由于它是基于圖像信號(hào)的泰勒級(jí)數(shù)，這種方法稱為差分，這就是對(duì)于空間和時(shí)間坐標(biāo)使用偏導(dǎo)數(shù)。LK算法基于以下三個(gè)假設(shè)：1）亮度恒定。2）時(shí)間連續(xù)或者是運(yùn)動(dòng)是“小運(yùn)動(dòng)”。3）空間一致，臨近點(diǎn)有相似運(yùn)動(dòng)，保持相鄰。假設(shè)1亮度恒定的假設(shè)即為了保證其等號(hào)成立不受亮度的影響，假設(shè)2是為了保證KLT能夠找到點(diǎn)，假設(shè)3則為以下原因假設(shè)，即對(duì)于同一個(gè)窗口中，所有的點(diǎn)的偏移量都相等。圖像約束方程可以寫

7、為： I (x ,y ,t ) = I (x + x ,y + y,t + t ) （1）其中，(x, y, t) 為在（x,y）位置的像素。我們假設(shè)移動(dòng)足夠的小，那么對(duì)圖像約束方程使用泰勒公式，我們可以得到： （2）因?yàn)橐苿?dòng)足夠小所以忽略二階和更高階的項(xiàng)。從這個(gè)方程中我們可以得到： （3）對(duì)t求導(dǎo)，令分別表示水平方向、垂直方向的光流速度，表示某方向的梯度，用一階差分代替一階微分，于是光流基本計(jì)算公式有一般形式： （4）u, v分別是I(x,y,t)的光流向量中x，y的組成。和則是圖像在(x ,y ,t )這一點(diǎn)相應(yīng)方向的差分 。方程有兩個(gè)未知量，尚不能被解決，這也就是所謂光流算法的光圈問題。

8、那么要找到光流向量則需要另一套解決的方案。而Lucas-Kanade算法是一個(gè)非迭代的算法。將上式寫為矩陣相乘形式： （5）LK光流：假設(shè)像素流在一個(gè)大小為m*m(m>1)的小窗中是一致的，那么從像素1.n , n = m2 中可以得到下列一組方程： （6）圖2 LK光流算法示意圖將寫成矩陣的形式，則有： （7）式兩個(gè)個(gè)未知數(shù)但是有多于兩個(gè)的方程，這個(gè)方程組自然是個(gè)超定方程，也就是說方程組內(nèi)有冗余為了解決這個(gè)超定問題，我們采用最小二乘法解的向量u： （8）得到： （9）考慮矩陣的可逆性： （10）其中的求和是從1到n。于是得： （11）加權(quán)窗口：述普通的最小二乘解對(duì)窗口內(nèi)n個(gè)像素qi一視

9、同仁。事實(shí)上，通常對(duì)于靠近中心像素p的像素更多的權(quán)重會(huì)更好。介于此，人們使用最小二乘方程的加權(quán)版本： （12） （13）計(jì)算的： （14）權(quán)重w通常被設(shè)置為qi和p之間距離的高斯函數(shù)。三LK光流法改進(jìn)算法1 LK方法的金字塔改進(jìn)LK方法有一個(gè)缺陷，小速度，亮度不變以及區(qū)域一致性都是較強(qiáng)的假設(shè)，并不很容易得到滿足。如當(dāng)物體運(yùn)動(dòng)速度較快時(shí)，假設(shè)不成立，那么后續(xù)的假設(shè)就會(huì)有較大的偏差，使得最終求出的光流值有較大的誤差。我們?cè)O(shè)鄰域窗口半徑為w,則光流d定義為最小化殘差方程的速度： （15）考慮物體的運(yùn)動(dòng)速度較大時(shí)，算法會(huì)出現(xiàn)較大的誤差。那么就希望能減少圖像中物體的運(yùn)動(dòng)速度。一個(gè)直觀的方法就是，縮小圖像

10、的尺寸。假設(shè)當(dāng)圖像為400×400時(shí)，物體速度為16 16,那么圖像縮小為200×200時(shí)，速度變?yōu)?,8?？s小為100*100時(shí)，速度減少到4,4。所以在源圖像縮放了很多以后，原算法又變得適用了。所以光流可以通過生成原圖像的金字塔圖像，逐層求解，不斷精確來求得。假設(shè)圖像的寬高每次縮放為原來的一般，共縮放了Lm層，則第0層為原圖像。設(shè)已知原圖的速度向量為d，則每一層的速度為 （16）基于金字塔的光流法的大概步驟如下：現(xiàn)在最深層Lm中求解光流。這次計(jì)算的結(jié)果反饋給上一次Lm-1，作為該層初始時(shí)的光流值得估計(jì)g。就這樣一層一層的向上反饋，直到最高層，即原圖。對(duì)于每一層L，上方程

11、變?yōu)椋?（17）每一層的計(jì)算結(jié)果通過如下方程反饋給上一層作為初始的光流估計(jì)： （18）由于金字塔的縮放減小了光流值，最底層的光流估計(jì)值可以設(shè)為0，即 （19）圖3 金字塔光流示意圖2前后光流估計(jì)算法統(tǒng)的光流計(jì)算方法主要是基于灰度守恒和光流場(chǎng)的平滑性假設(shè)，但這些假設(shè)在陰影、邊界和遮擋性的地方不再成立，為此，對(duì)其進(jìn)行改進(jìn)。前向后向光流方程： （20）光流約束方程為： （21）盡管LucasKanade光流法計(jì)算簡(jiǎn)單，光流估計(jì)精度較高，但它有一個(gè)致命缺點(diǎn)，假定鄰域內(nèi)各像素點(diǎn)光流保持恒定，而且光流計(jì)算依賴于窗口權(quán)重函數(shù)，這意味著如果在鄰域內(nèi)存在嚴(yán)重違反光流約束方程的點(diǎn)或鄰域運(yùn)動(dòng)不連續(xù)，將使得估計(jì)的光流

12、可靠性嚴(yán)重降低。為此，引入Hessian矩陣判斷領(lǐng)域內(nèi)每點(diǎn)對(duì)于基本約束方程的“良態(tài)性”。方程分別對(duì)x和y求偏導(dǎo)數(shù),可得： （22）寫成矩陣形式，即： （23）定義Hessian矩陣： （24）Hessian矩陣的條件數(shù)： （25）其中、分別為Hessian矩陣H的最大特征值和最小特征值，可以通過Hessian矩陣的條件數(shù)大小來判斷方程(23)解的穩(wěn)定性，如果Hessian矩陣的條件數(shù)很大則方程(23)為病態(tài)方程，對(duì)應(yīng)的Hessian矩陣秩很小，其解不穩(wěn)定，計(jì)算的光流不可靠；如果Hessian矩陣的條件數(shù)接近1，對(duì)應(yīng)的Hessian矩陣秩很大，方程(23)為良態(tài)，其解魯棒性較好。由此可以通過計(jì)算

13、Hessian矩陣的條件數(shù)來剔除鄰域內(nèi)不可靠點(diǎn)。Hessian矩陣的條件數(shù)很好地刻畫了線性方程(11)解的穩(wěn)定性，而且條件數(shù)越大，對(duì)應(yīng)的Hessian矩陣的秩越小，為此可以先利用Hessian矩陣剔除鄰域內(nèi)不可靠點(diǎn)，并把各點(diǎn)對(duì)應(yīng)條件數(shù)的倒數(shù)作為該點(diǎn)權(quán)重，其算法如下：(1)計(jì)算圖像中每點(diǎn)的一階和二階梯度；(2)分別計(jì)算每點(diǎn)對(duì)應(yīng)Hessian矩陣的秩det(H)和條件數(shù)Cond（H），設(shè)定閾值，并對(duì)每個(gè)鄰域內(nèi)的 ) (X W 進(jìn)行歸一化處理,則：(3)采用加權(quán)最小二乘法求解式(21)光流場(chǎng)(u,v)。四總結(jié)如上所述，光流法基本思想是像素守恒，其思想簡(jiǎn)單，易于理解。LK算法是對(duì)光流法的改進(jìn)，在光流法上假設(shè)了小窗口光流一致原則和小運(yùn)動(dòng)以及亮