機器視覺—運動場和光流

1、機器視覺 運動場與光流研發(fā)部培訓講義 2016-05-18導 論 序列圖像視頻 當攝影機和被攝影物體之間存在相對運動時，在物體所成的圖像序列中，可以觀測到的亮度模式的明顯變化稱為光流。 主要內(nèi)容 運動場和光流 光流約束方程 變分光流原理 差分化求解 研究現(xiàn)狀分析1. 運動場和光流 運動場的定義：攝影機和空間環(huán)境存在相對運動；圖像中的每一個點都對應于一個空間點；每一個空間點相對于攝影機的速度向量都可以投影為像平面上一個點上的二維速度向量，圖像上每個像素的二維速度向量就構成運動場。iroripoPtvotvi221zrzvrzrrzvvzrvfzrrzrrfrdtrdvanddtrdvToooTo

2、oTooToiTooooiiioofzBACCABCBArvzzrvzvroooooo1. 運動場和光流 物體在圖像上所產(chǎn)生的亮度模式的變化稱為光流。 光流和運動場不總是一致的！運動場不為0，光流為0！運動場為0，光流不為0！1. 運動場和光流 從序列圖像中能夠提取出來的是光流，而不是運動場。 必須假設：大多數(shù)情況下，光流和運動場的區(qū)別不是很大。只有這樣才能夠根據(jù)光流來估計物體和相機之間的相對運動。通過圖像的局部信息不能夠唯一確定光流2. 光流約束方程 亮度一致性假設：假設3D場景中攝影目標上每個點的亮度值在微小時空間隔內(nèi)保持恒定。ttyxtyxIuIIvuIIIvIuIdtdItIdtdyy

3、IdtdxxItyxIettIyyIxxItyxItyxIttyyxxI,000,uvTyxIIn,0tyxIvIuI沿著灰度梯度方向的光流分量可以確定！但是垂直于灰度梯度方向上的光流分量無法確定！孔徑問題孔徑問題3. 變分光流原理 根據(jù)光流約束方程無法唯一確定光流信息！必須引入假設。 光滑性假設：運動場在圖像中的大部分區(qū)域是連續(xù)變化的。 衡量光流“不光滑”的程度： 光流約束方程的偏差： 變分問題：dxdyvvuudxdyvueyxyxs222222dxdyIvIuIetyxd2平滑項數(shù)據(jù)項dseemin3. 變分光流原理 ytyxxtyxyvxvyuxuytyxvxtyxutyxyxyxII

4、vIuIvIIvIuIuyvvyFyxvvxFxyuuyFyxuuxFxIIvIuIFIIvIuIFIvIuIvvuuFyxyx2222222222222222222222222偏微分方程的定解條件 第一類邊界條件：給定邊界點的函數(shù)值 第二類邊界條件：給定邊界點的法向?qū)?shù)yxuu,0yxuunn,3. 變分光流原理 對于亮度均勻的區(qū)域：已知邊界上的光流值，或者已知邊界上光流的法向?qū)?shù)，區(qū)域內(nèi)的光流都可以唯一的確定！ 變分的自然邊界條件：讓解在邊界上自由變化 光流場的法向?qū)?shù)在邊界上為零！0,; 0,0, ; 0,;,minnvvnuunFFnFFdsdxdsdyndsdxFdsdyFdsdxF

5、dsdyFdxdyvvuuvuFyxyxvvuuTuuuuyxyxyxyxyxyx4. 差分化求解 平滑項： 數(shù)據(jù)項： 最優(yōu)化：尋找一組ui,j, vi,j，使得21,2,1,2, 1,2, 121,2,1,2, 1,2, 1,41jijijijijijijijijijijijijijijijijivvvvvvvvuuuuuuuus2,jitjijiyjijixjiIvIuIdijjijidse,min1,1, 1, 1,1,1, 1, 1,41;412222jijijijijijijijijijijiyjitjijiyjijixjijijijixjitjijiyjijixjijijivvvv

6、vuuuuuIIvIuIvvveIIvIuIuuue4. 差分化求解 方程組系數(shù)矩陣的行列式值為： 方程組的解：jitjiyjijitjixjijijijiyjiyjixjiyjixjixIIvIIuvuIIIIII,2,2,112,2,2,2,111jiyjixjiyjiyjixjiyjixjixIIIIIIII2,2,2,2,2,2,1111jiyjixjitjiyjijixjijiyjixjijiyjixjitjixjijiyjixjijiyjiIIIIvIuIIvIIIIvIIuIu4. 差分化求解 迭代解形式： 灰度偏導數(shù)：jiyjiyjixjitnjijiynjijixnjinjijixjiyjixjitnjijiynjijixnjinjiIIIIvIuIvvIIIIvIuIuu,2,2,)(,)(,)(,)1(,2,2,)(,)(,)(,)1(,11kjikjikjikjikjikjikjikjitkjikjikjikjikjikjikjikjiykjikjikjikjikjikjikjikjixIIIItIIIItIIIIIyIIIIyIIIIIxIIIIxI, 1, 1, 1, 1,1, 1, 11, 11, 1,1,1, 1, 11,1, 1