機(jī)器視覺—運動場和光流

1、機(jī)器視覺 運動場與光流研發(fā)部培訓(xùn)講義 2016-05-18導(dǎo) 論 序列圖像視頻 當(dāng)攝影機(jī)和被攝影物體之間存在相對運動時，在物體所成的圖像序列中，可以觀測到的亮度模式的明顯變化稱為光流。 主要內(nèi)容 運動場和光流 光流約束方程 變分光流原理 差分化求解 研究現(xiàn)狀分析1. 運動場和光流 運動場的定義：攝影機(jī)和空間環(huán)境存在相對運動；圖像中的每一個點都對應(yīng)于一個空間點；每一個空間點相對于攝影機(jī)的速度向量都可以投影為像平面上一個點上的二維速度向量，圖像上每個像素的二維速度向量就構(gòu)成運動場。iroripoPtvotvi221zrzvrzrrzvvzrvfzrrzrrfrdtrdvanddtrdvToooTo

2、oTooToiTooooiiioofzBACCABCBArvzzrvzvroooooo1. 運動場和光流 物體在圖像上所產(chǎn)生的亮度模式的變化稱為光流。 光流和運動場不總是一致的！運動場不為0，光流為0！運動場為0，光流不為0！1. 運動場和光流 從序列圖像中能夠提取出來的是光流，而不是運動場。 必須假設(shè)：大多數(shù)情況下，光流和運動場的區(qū)別不是很大。只有這樣才能夠根據(jù)光流來估計物體和相機(jī)之間的相對運動。通過圖像的局部信息不能夠唯一確定光流2. 光流約束方程 亮度一致性假設(shè)：假設(shè)3D場景中攝影目標(biāo)上每個點的亮度值在微小時空間隔內(nèi)保持恒定。ttyxtyxIuIIvuIIIvIuIdtdItIdtdyy

3、IdtdxxItyxIettIyyIxxItyxItyxIttyyxxI,000,uvTyxIIn,0tyxIvIuI沿著灰度梯度方向的光流分量可以確定！但是垂直于灰度梯度方向上的光流分量無法確定！孔徑問題孔徑問題3. 變分光流原理 根據(jù)光流約束方程無法唯一確定光流信息！必須引入假設(shè)。 光滑性假設(shè)：運動場在圖像中的大部分區(qū)域是連續(xù)變化的。 衡量光流“不光滑”的程度： 光流約束方程的偏差： 變分問題：dxdyvvuudxdyvueyxyxs222222dxdyIvIuIetyxd2平滑項數(shù)據(jù)項dseemin3. 變分光流原理 ytyxxtyxyvxvyuxuytyxvxtyxutyxyxyxII

4、vIuIvIIvIuIuyvvyFyxvvxFxyuuyFyxuuxFxIIvIuIFIIvIuIFIvIuIvvuuFyxyx2222222222222222222222222偏微分方程的定解條件 第一類邊界條件：給定邊界點的函數(shù)值 第二類邊界條件：給定邊界點的法向?qū)?shù)yxuu,0yxuunn,3. 變分光流原理 對于亮度均勻的區(qū)域：已知邊界上的光流值，或者已知邊界上光流的法向?qū)?shù)，區(qū)域內(nèi)的光流都可以唯一的確定！ 變分的自然邊界條件：讓解在邊界上自由變化 光流場的法向?qū)?shù)在邊界上為零！0,; 0,0, ; 0,;,minnvvnuunFFnFFdsdxdsdyndsdxFdsdyFdsdxF

5、dsdyFdxdyvvuuvuFyxyxvvuuTuuuuyxyxyxyxyxyx4. 差分化求解 平滑項： 數(shù)據(jù)項： 最優(yōu)化：尋找一組ui,j, vi,j，使得21,2,1,2, 1,2, 121,2,1,2, 1,2, 1,41jijijijijijijijijijijijijijijijijivvvvvvvvuuuuuuuus2,jitjijiyjijixjiIvIuIdijjijidse,min1,1, 1, 1,1,1, 1, 1,41;412222jijijijijijijijijijijiyjitjijiyjijixjijijijixjitjijiyjijixjijijivvvv

6、vuuuuuIIvIuIvvveIIvIuIuuue4. 差分化求解 方程組系數(shù)矩陣的行列式值為： 方程組的解：jitjiyjijitjixjijijijiyjiyjixjiyjixjixIIvIIuvuIIIIII,2,2,112,2,2,2,111jiyjixjiyjiyjixjiyjixjixIIIIIIII2,2,2,2,2,2,1111jiyjixjitjiyjijixjijiyjixjijiyjixjitjixjijiyjixjijiyjiIIIIvIuIIvIIIIvIIuIu4. 差分化求解 迭代解形式： 灰度偏導(dǎo)數(shù)：jiyjiyjixjitnjijiynjijixnjinjijixjiyjixjitnjijiynjijixnjinjiIIIIvIuIvvIIIIvIuIuu,2,2,)(,)(,)(,)1(,2,2,)(,)(,)(,)1(,11kjikjikjikjikjikjikjikjitkjikjikjikjikjikjikjikjiykjikjikjikjikjikjikjikjixIIIItIIIItIIIIIyIIIIyIIIIIxIIIIxI, 1, 1, 1, 1,1, 1, 11, 11, 1,1,1, 1, 11,1, 1