第四章_運(yùn)動(dòng)估計(jì).pptx

1、教師：沈秋 Email： TEL航天學(xué)院 航天信息與應(yīng)用系,視頻信息與應(yīng)用,第四章 運(yùn)動(dòng)估計(jì), ,運(yùn)動(dòng)估計(jì)的應(yīng)用,計(jì)算機(jī)視覺(jué) 機(jī)器人導(dǎo)航，無(wú)人駕駛飛機(jī) 目標(biāo)跟蹤 軍事偵察、地面和空中的交通管制 工業(yè)監(jiān)視 工業(yè)自動(dòng)化控制 視頻壓縮,特征對(duì)應(yīng),運(yùn)動(dòng)物體上的特征與其在二維圖像平面上的投影坐標(biāo)的對(duì)應(yīng)關(guān)系,特征點(diǎn) 特征直線 特征曲線,二維運(yùn)動(dòng)估計(jì),估計(jì)運(yùn)動(dòng)前后相鄰時(shí)刻兩幅圖像上對(duì)應(yīng)點(diǎn)的坐標(biāo) 二維運(yùn)動(dòng)矢量 亮度守恒假設(shè) 物體點(diǎn)的亮度（或色度）在其運(yùn)動(dòng)軌跡上保持不變,二維運(yùn)動(dòng)估計(jì),存在的問(wèn)題 遮擋問(wèn)題 由于物體的運(yùn)動(dòng)，被物體遮擋或新露出來(lái)的部分,二維運(yùn)動(dòng)估計(jì),存在的問(wèn)題 孔徑問(wèn)題

2、通常只能確定于圖像梯度方向一致的運(yùn)動(dòng)分量，成為法向流,二維運(yùn)動(dòng)估計(jì),存在的問(wèn)題 噪聲問(wèn)題 噪聲不可避免 運(yùn)動(dòng)估計(jì)對(duì)噪聲非常敏感,二維運(yùn)動(dòng)估計(jì),模型及方法 參數(shù)模型：物體運(yùn)動(dòng)被建模為某種映射形式。 全局 - 攝像機(jī)移動(dòng)、單個(gè)運(yùn)動(dòng)物體 區(qū)域 - 多個(gè)運(yùn)動(dòng)物體 （運(yùn)動(dòng)區(qū)域分割） 非參數(shù)模型：對(duì)運(yùn)動(dòng)場(chǎng)施加平滑約束條件。 光流、像素、隨機(jī)場(chǎng) - 估計(jì)每個(gè)像素運(yùn)動(dòng)矢量 塊匹配 - 分割成小的規(guī)則塊，估計(jì)每個(gè)塊的運(yùn) 動(dòng)矢量 網(wǎng)格 - 分割成不重疊的多邊形單元，可克服塊失真,二維運(yùn)動(dòng)估計(jì),模型及方法 4種運(yùn)動(dòng)模型,基于像素,全局,基于區(qū)域,基于塊,二維運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于像素

3、的運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),多分辨率運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),光流 觀察動(dòng)態(tài)物體時(shí)在視網(wǎng)膜上產(chǎn)生連續(xù)的光強(qiáng)變化，如同光的“流動(dòng)”。 在視頻序列運(yùn)動(dòng)估計(jì)中，觀察到的二維運(yùn)動(dòng)。 視頻序列空間坐標(biāo)關(guān)于時(shí)間的變化率 - 像素的瞬時(shí)速度矢量。,基于光流的運(yùn)動(dòng)估計(jì),光流方程 亮度守恒假設(shè)：運(yùn)動(dòng)物體點(diǎn)的亮度（或色度）在其運(yùn)動(dòng)軌跡上保持不變，變化的是物體的位置,或,其中 為空間梯度向量， 為光流場(chǎng)。,基于光流的運(yùn)動(dòng)估計(jì),光流方程 建立在亮度恒定假設(shè)的基礎(chǔ)上 若存在噪聲，方程不能為零 通常采用最小化光流方程的誤差來(lái)施加光流約束,基于光流的運(yùn)動(dòng)估計(jì),光流v的分解 將光流v分

4、解為兩個(gè)正交的分量：,其中： 為圖像空間梯度方向上的單位矢量 為切線方向上的單位矢量,只能確定圖像空間梯度方向上的分量（法向流）即：孔徑問(wèn)題,基于光流的運(yùn)動(dòng)估計(jì),圖像梯度的計(jì)算 光流方程的要求：亮度函數(shù)可微分 數(shù)字視頻：用有限差分法近似計(jì)算圖像梯度,基于光流的運(yùn)動(dòng)估計(jì),光流方程一個(gè)方程，兩個(gè)未知數(shù) 多點(diǎn)鄰域約束 假設(shè) 的鄰域 內(nèi)所有像素具有相同的光流矢量 運(yùn)動(dòng)平滑約束 對(duì)整個(gè)運(yùn)動(dòng)場(chǎng)或局部窗施加全局平滑約束 有向平滑約束 引入有向平滑，減少圖像空間梯度方向上的平滑約束,二維運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于像素的運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),多

5、分辨率運(yùn)動(dòng)估計(jì),基于像素的運(yùn)動(dòng)估計(jì),位移幀差 像素法原理 與光流法一樣，估計(jì)每個(gè)像素的運(yùn)動(dòng)矢量 光流法：最小化光流方程的誤差函數(shù) 像素法：最小化位移幀差 位移幀差 像素x從t1時(shí)刻到t1+dt時(shí)刻的位移幀差為： 為x處的位移矢量 在亮度守恒假設(shè)下，位移幀差應(yīng)為0 通過(guò)最小化進(jìn)行約束,基于像素的運(yùn)動(dòng)估計(jì),位移幀差 與光流方程的關(guān)系,由亮度守恒假設(shè) ，即：,兩邊同時(shí)除以dt，可得：,（光流方程）,基于像素的運(yùn)動(dòng)估計(jì),多點(diǎn)鄰域約束 假設(shè) 的鄰域 內(nèi)所有像素具有相同的運(yùn)動(dòng)矢量，鄰域 上的誤差函數(shù)為：,其中，w(x)為分配給x的權(quán)重。誤差函數(shù)關(guān)于運(yùn)動(dòng)矢量di的梯度為：,使用基于一階梯度下降的方法求解運(yùn)動(dòng)

6、矢量di 也可以使用窮盡搜索法尋找di,基于像素的運(yùn)動(dòng)估計(jì),像素遞歸法 沿圖像掃描方向逐個(gè)估計(jì)像素的運(yùn)動(dòng)矢量 新像素的運(yùn)動(dòng)矢量由已估計(jì)像素的運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè) 使用基于位移幀差函數(shù)最小化的方法更新運(yùn)動(dòng)矢量 像素的位移矢量無(wú)需編碼 解碼器端使用同樣的預(yù)測(cè)更新機(jī)制 估計(jì)精度較低，預(yù)測(cè)誤差較大,預(yù)測(cè)項(xiàng)： 局部平滑約束,更新項(xiàng)： 光流約束,基于像素的運(yùn)動(dòng)估計(jì),基于貝葉斯準(zhǔn)則的方法 基于運(yùn)動(dòng)估計(jì)問(wèn)題的概率公式 隨機(jī)場(chǎng) 視頻圖像函數(shù) 觀察模型 運(yùn)動(dòng)場(chǎng) 運(yùn)動(dòng)場(chǎng)模型 運(yùn)動(dòng)場(chǎng)估計(jì)-最大后驗(yàn)概率(MAP)問(wèn)題,用概率密度函數(shù)建模,運(yùn)動(dòng)場(chǎng),給定兩幀圖像下運(yùn)動(dòng)場(chǎng)的后驗(yàn)概率密度函數(shù),基于像素的運(yùn)動(dòng)估計(jì),基于貝葉斯準(zhǔn)則的方

7、法 根據(jù)貝葉斯公式,似然性測(cè)度,運(yùn)動(dòng)場(chǎng)的先驗(yàn)概率模型,不包含運(yùn)動(dòng)矢量，視為常數(shù),二維運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于像素的運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),多分辨率運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),概述 將圖像分成一個(gè)個(gè)規(guī)則的圖像塊，對(duì)每個(gè)塊進(jìn)行運(yùn)動(dòng)估計(jì)。 廣泛應(yīng)用于各種視頻壓縮編碼標(biāo)準(zhǔn)中,基于塊的運(yùn)動(dòng)估計(jì),塊運(yùn)動(dòng)模型 塊平移模型 假定每個(gè)塊只做二維的平移運(yùn)動(dòng) 中的一個(gè)塊B可由 中一個(gè)同樣大小的塊重建,非重疊塊,重疊塊,基于塊的運(yùn)動(dòng)估計(jì),塊運(yùn)動(dòng)模型 塊平移模型 缺點(diǎn)： 不能表征旋轉(zhuǎn)、縮放和局部變形 物體邊界和塊邊界通常不一致，導(dǎo)致塊失真 同一塊可能包

8、含多個(gè)運(yùn)動(dòng)物體。,基于塊的運(yùn)動(dòng)估計(jì),塊運(yùn)動(dòng)模型 可變形塊運(yùn)動(dòng)模型 可以對(duì)物體的旋轉(zhuǎn)、縮放、變形建模 投影運(yùn)動(dòng) 仿射運(yùn)動(dòng) 雙線性運(yùn)動(dòng),基于塊的運(yùn)動(dòng)估計(jì),相位相關(guān)法 用于兩幅圖像自發(fā)生全局平移的情況 互相關(guān)函數(shù) 利用傅里葉變換 兩個(gè)純平移關(guān)系的圖像的相位相關(guān)函數(shù)為一個(gè)沖激函數(shù)，沖激所在位置就是兩圖像的全局平移矢量,基于塊的運(yùn)動(dòng)估計(jì),相位相關(guān)法,全局運(yùn)動(dòng),基于塊的運(yùn)動(dòng)估計(jì),相位相關(guān)法,多目標(biāo)運(yùn)動(dòng),基于塊的運(yùn)動(dòng)估計(jì),相位相關(guān)法 N1xN2的塊，可估計(jì)位移范圍為dx-N1/2+1, N1/2, dy-N2/2+1, N2/2 優(yōu)點(diǎn)： 不受照明變化等因素影響 可以為塊內(nèi)多個(gè)物體估計(jì)運(yùn)動(dòng)矢量,基于塊的運(yùn)動(dòng)估

9、計(jì),塊匹配法 在搜索窗內(nèi)尋找最佳匹配位置 塊尺寸的選擇,基于塊的運(yùn)動(dòng)估計(jì),塊匹配法 匹配函數(shù) 歸一化互相關(guān)函數(shù) 均方誤差 絕對(duì)值誤差 匹配像素?cái)?shù),基于塊的運(yùn)動(dòng)估計(jì),塊匹配法 全搜索塊匹配算法 逐一計(jì)算當(dāng)前塊和搜索窗內(nèi)所有候選塊的匹配函數(shù) 復(fù)雜度：一個(gè)塊需計(jì)算減法、絕對(duì)值、加法各N1N2(2s+1)2次,基于塊的運(yùn)動(dòng)估計(jì),快匹配法 降低計(jì)算復(fù)雜度的方法,減少每個(gè)候選塊的運(yùn)算量: 部分失真搜索法 （提前退出法） 三角不等式法,犧牲估計(jì)精度,不降低估計(jì)精度,減少候選塊的數(shù)目: 三步搜索法 新三步搜索法 二維對(duì)數(shù)搜索法 交叉搜索法 菱形搜索法 其他方法：四步搜索法、遺傳搜索法、鉆石搜索法等,基于塊的運(yùn)

10、動(dòng)估計(jì),塊匹配法 分?jǐn)?shù)精度 真實(shí)運(yùn)動(dòng)未必是整數(shù)值 分?jǐn)?shù)精度搜索可提高運(yùn)動(dòng)估計(jì)的精度,基于塊的運(yùn)動(dòng)估計(jì),可變形塊匹配法 可對(duì)物體的旋轉(zhuǎn)、縮放、變形等建模 對(duì)節(jié)點(diǎn)進(jìn)行運(yùn)動(dòng)估計(jì)，塊內(nèi)像素的運(yùn)動(dòng)矢量使用節(jié)點(diǎn)運(yùn)動(dòng)矢量?jī)?nèi)插得到 比多項(xiàng)式表示的可變形運(yùn)動(dòng)模型更加直觀 估計(jì)塊節(jié)點(diǎn)的運(yùn)動(dòng)比估計(jì)多項(xiàng)式參數(shù)容易,基于塊的運(yùn)動(dòng)估計(jì),可變形塊匹配法 內(nèi)插公式 K=1，退化為平移模型 K=3，對(duì)應(yīng)于仿射運(yùn)動(dòng)模型 K=4，對(duì)應(yīng)于雙線性運(yùn)動(dòng)模型,基于塊的運(yùn)動(dòng)估計(jì),可變形塊匹配法 節(jié)點(diǎn)的運(yùn)動(dòng)估計(jì) 匹配函數(shù) 其中， 最小化匹配函數(shù)方法 全搜索法：需較大的計(jì)算量 基于梯度的迭代法（Newton-Raphson）,二維運(yùn)動(dòng)估計(jì),基于

11、區(qū)域的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于像素的運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),多分辨率運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),概述,基于網(wǎng)格的運(yùn)動(dòng)估計(jì),概述 每個(gè)網(wǎng)格節(jié)點(diǎn)只有一個(gè)運(yùn)動(dòng)矢量，與其相鄰的所有多邊形單元共享此運(yùn)動(dòng)矢量,單元內(nèi)像素的運(yùn)動(dòng)由節(jié)點(diǎn)的運(yùn)動(dòng)矢量?jī)?nèi)插得到,基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì)方法 建立網(wǎng)格 規(guī)則網(wǎng)格 自適應(yīng)網(wǎng)格 節(jié)點(diǎn)運(yùn)動(dòng)估計(jì) 最小化位移幀差函數(shù) 先后順序 光柵掃描 根據(jù)節(jié)點(diǎn)處圖像梯度值 分組,基于網(wǎng)格的運(yùn)動(dòng)估計(jì),示例,二維運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于像素的運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),

12、多分辨率運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),基本思想： 將視頻圖像分割為多個(gè)區(qū)域 每個(gè)區(qū)域?qū)?yīng)一個(gè)特定的運(yùn)動(dòng) 為每個(gè)區(qū)域估計(jì)運(yùn)動(dòng)參數(shù) 方法： 區(qū)域優(yōu)先 運(yùn)動(dòng)優(yōu)先 聯(lián)合區(qū)域分割和運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),區(qū)域優(yōu)先法 基于圖像的邊緣信息進(jìn)行區(qū)域分割 局部區(qū)域的直方圖 區(qū)域連接增長(zhǎng) 為每個(gè)區(qū)域估計(jì)運(yùn)動(dòng)參數(shù),基于區(qū)域的運(yùn)動(dòng)估計(jì),運(yùn)動(dòng)優(yōu)先法 首先估計(jì)整個(gè)運(yùn)動(dòng)場(chǎng) 光流、像素、塊、網(wǎng)格等方法 運(yùn)動(dòng)場(chǎng)分割 聚類： 將具有相似運(yùn)動(dòng)矢量的像素進(jìn)行聚合，形成區(qū)域。 分層：分成主導(dǎo)運(yùn)動(dòng)和次主導(dǎo)運(yùn)動(dòng)，從占主導(dǎo)的區(qū)域開始，剔除誤差較大的區(qū)域，等到第一層；然后進(jìn)一步剔除區(qū)域，直到?jīng)]有剔除區(qū)域。,基于區(qū)域的運(yùn)動(dòng)估計(jì),聯(lián)合分割與

13、運(yùn)動(dòng)估計(jì)的方法 區(qū)域分割和運(yùn)動(dòng)估計(jì)相互依賴，相輔相成。 可交替進(jìn)行區(qū)域分割和運(yùn)動(dòng)估計(jì),二維運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于像素的運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),多分辨率運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),概述 整幅圖像的運(yùn)動(dòng)可以用單一的運(yùn)動(dòng)模型表示 攝像機(jī)運(yùn)動(dòng)-全局運(yùn)動(dòng) 物體運(yùn)動(dòng)-局部運(yùn)動(dòng) 方法 直接估計(jì)法 間接估計(jì)法,全局運(yùn)動(dòng)估計(jì),直接估計(jì)法 誤差函數(shù),表示全局運(yùn)動(dòng)參數(shù)矢量 可以是仿射、雙線性、投影運(yùn)動(dòng)模型中的任意一種,為權(quán)值系數(shù)，調(diào)節(jié) 可減小與全局運(yùn)動(dòng)不匹配的像素對(duì)誤差函數(shù)的影響。,全局運(yùn)動(dòng)估計(jì),間接估計(jì)法 假設(shè)已經(jīng)得到一些特征點(diǎn) 的運(yùn)動(dòng)矢量 匹配誤

14、差函數(shù)：,二維運(yùn)動(dòng)估計(jì),基于區(qū)域的運(yùn)動(dòng)估計(jì),基于網(wǎng)格的運(yùn)動(dòng)估計(jì),基于像素的運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于塊的運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)估計(jì),多分辨率運(yùn)動(dòng)估計(jì),多分辨率運(yùn)動(dòng)估計(jì),概述 已介紹方法存在的問(wèn)題 最小化誤差函數(shù)可能收斂到局部最小值 最小化誤差函數(shù)過(guò)程的計(jì)算量很大 解決方法 多分辨率運(yùn)動(dòng)估計(jì),多分辨率運(yùn)動(dòng)估計(jì),基本思想 在最小分辨率層進(jìn)行運(yùn)動(dòng)估計(jì) 由空間低通濾波和欠取樣獲得 每層依次進(jìn)行運(yùn)動(dòng)估計(jì) 對(duì)上一層運(yùn)動(dòng)矢量進(jìn)行內(nèi)插，作為當(dāng)前層的初始解 通過(guò)最小化誤差函數(shù)更新運(yùn)動(dòng)矢量 最后得到最高分辯率層的運(yùn)動(dòng)場(chǎng) 每層的運(yùn)動(dòng)估計(jì)可使用前面介紹的方法 基于光流、像素、塊、網(wǎng)格等運(yùn)動(dòng)估計(jì)方法,多分辨率運(yùn)動(dòng)估

15、計(jì),優(yōu)點(diǎn) 運(yùn)動(dòng)場(chǎng)接近最優(yōu)解的概率更大 較小分辨率層上，誤差函數(shù)可以接近全局最小值，通過(guò)插值，獲得高分辨率上的初始解，最后到達(dá)最大分辨率時(shí)，誤差函數(shù)很可能接近全局最小值 計(jì)算量比直接在最大分辨率上進(jìn)行運(yùn)動(dòng)估計(jì)時(shí)要小 較小分辨率層上，搜索范圍限制在較小的范圍,多分辨率運(yùn)動(dòng)估計(jì),分層塊匹配法,當(dāng)前幀,參考幀,多分辨率運(yùn)動(dòng)估計(jì),分層塊匹配法,目錄,三維運(yùn)動(dòng)估計(jì),基本任務(wù) 分析和估計(jì)三維場(chǎng)景中物體的運(yùn)動(dòng)情況 應(yīng)用 機(jī)器人視覺(jué)，自主導(dǎo)航，目標(biāo)跟蹤，圖象監(jiān)控,智能車輛高速公路系統(tǒng)，基于物體的圖象壓縮等,三維運(yùn)動(dòng)估計(jì),簡(jiǎn)化模型 假設(shè)：剛體運(yùn)動(dòng)、物體表面由分段平面組成 方法分類 間接估計(jì)法 根據(jù)已經(jīng)給出的二維運(yùn)

16、動(dòng)矢量來(lái)估計(jì)三維運(yùn)動(dòng)和結(jié)構(gòu)參數(shù) 直接估計(jì)法 根據(jù)視頻圖像的空時(shí)亮度信息來(lái)估計(jì)三維運(yùn)動(dòng)和結(jié)構(gòu),三維運(yùn)動(dòng)估計(jì),基于光流的運(yùn)動(dòng)估計(jì),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),直接運(yùn)動(dòng)估計(jì),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),概述 物體的特征 反應(yīng)物體物理特性的點(diǎn)、線、面 通常被限制在圖像空間梯度較大的區(qū)域內(nèi),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),最小二乘法 特點(diǎn) 不需要任何估計(jì)參數(shù)的概率統(tǒng)計(jì)特性 僅根據(jù)一組觀測(cè)數(shù)據(jù)直接求解模型的參數(shù) 對(duì)于線性模型 取N次觀察，可得,觀測(cè)數(shù)據(jù),模型參數(shù),觀察噪聲,已知的觀測(cè)系數(shù),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),最小二乘法 當(dāng)NM, ，估計(jì)偏差程度為 求導(dǎo)為0，則,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),正交投影

17、下的運(yùn)動(dòng)估計(jì) 或 其中，Z為深度參數(shù),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),正交投影下的運(yùn)動(dòng)估計(jì) 兩步迭代法 每對(duì)特征點(diǎn)包含5個(gè)運(yùn)動(dòng)參數(shù) 和一個(gè)結(jié)構(gòu)參數(shù)Z 給定N對(duì)特征點(diǎn)對(duì)應(yīng) 交替估計(jì)運(yùn)動(dòng)參數(shù)和結(jié)構(gòu)參數(shù),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),正交投影下的運(yùn)動(dòng)估計(jì) 兩步迭代法 1）根據(jù)給定的結(jié)構(gòu)參數(shù)Z估計(jì)運(yùn)動(dòng)參數(shù) N對(duì)特征點(diǎn)可形成2N個(gè)方程 使用最小二乘法可以求得運(yùn)動(dòng)參數(shù) 2）得到運(yùn)動(dòng)參數(shù)后，將運(yùn)動(dòng)參數(shù)帶入公式，更新結(jié)構(gòu)參數(shù),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),正交投影下的運(yùn)動(dòng)估計(jì) 兩步迭代法 重復(fù)1）2），直到迭代不再改變估計(jì)值 理論上需要3對(duì)特征點(diǎn)，實(shí)際用68對(duì) 需要良好的初始深度參數(shù)估計(jì)，深度估計(jì)的誤差會(huì)反饋到運(yùn)動(dòng)估計(jì)，反之亦然

18、,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),透視投影下的運(yùn)動(dòng)估計(jì) 令F=1，,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),透視投影下的運(yùn)動(dòng)估計(jì) 消去Z得， E為一個(gè)斜對(duì)稱矩陣和一個(gè)旋轉(zhuǎn)矩陣相乘,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),透視投影下的運(yùn)動(dòng)估計(jì) 若三維向量 共平面，則矢量積 和該平面垂直，則有,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),透視投影下的運(yùn)動(dòng)估計(jì) 極線約束,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),透視投影下的運(yùn)動(dòng)估計(jì) 矩陣E的估計(jì) 另 ，作為比例因子，需要8對(duì)或以上的特征點(diǎn)使用最小二乘法求解矩陣E,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),透視投影下的運(yùn)動(dòng)估計(jì) 旋轉(zhuǎn)和平移估計(jì) 特征點(diǎn)對(duì)應(yīng)沒(méi)有噪聲影響 解得,基于特征對(duì)應(yīng)的運(yùn)動(dòng)估計(jì),透視投影下的運(yùn)動(dòng)估計(jì) 旋轉(zhuǎn)和平移估計(jì) 特征點(diǎn)對(duì)應(yīng)有噪聲影響 由最小化問(wèn)題求解,