客流統(tǒng)計(jì)項(xiàng)目技術(shù)報(bào)告課件

基于雙目視覺(jué)的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過(guò)嗣聰報(bào)告時(shí)間：2016年9月xx日基于雙目視覺(jué)的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過(guò)嗣聰1概述雙目立體視覺(jué)介紹立體匹配算法目標(biāo)檢測(cè)與跟蹤總結(jié)概述雙目立體視覺(jué)介紹2雙目立體視覺(jué)介紹雙目立體視覺(jué)介紹3什么是立體視覺(jué)立體視覺(jué)是利用兩個(gè)及以上的相機(jī)來(lái)測(cè)量物體深度的技術(shù)屬于計(jì)算機(jī)視覺(jué)的一種實(shí)時(shí)性和硬件平臺(tái)實(shí)現(xiàn)是其研究重點(diǎn)之一什么是立體視覺(jué)立體視覺(jué)是利用兩個(gè)及以上的相機(jī)來(lái)測(cè)量物體深度的4普通相機(jī)（單目）左圖是相機(jī)成像的簡(jiǎn)化模型P、Q是視場(chǎng)中不同的兩點(diǎn)，但他們?cè)趫D像上的投影確相同

普通相機(jī)（單目）左圖是相機(jī)成像的簡(jiǎn)化模型

5雙目相機(jī)如果能找到兩幅圖像上的對(duì)應(yīng)點(diǎn)（對(duì)應(yīng)空間中同一點(diǎn)），那么根據(jù)三角幾何關(guān)系，就能計(jì)算出該點(diǎn)的深度左目圖像右目圖像雙目相機(jī)如果能找到兩幅圖像上的對(duì)應(yīng)點(diǎn)（對(duì)應(yīng)空間6如何找出對(duì)應(yīng)點(diǎn)二維搜索計(jì)算量十分巨大，而且很難找到全局最優(yōu)解事實(shí)上，對(duì)應(yīng)點(diǎn)必定出現(xiàn)在對(duì)應(yīng)的極線。如何找出對(duì)應(yīng)點(diǎn)二維搜索計(jì)算量十分巨大，而且很難7極線約束條件右目圖像左目圖像綠色實(shí)線表示右目圖像的一條極線，即紅色虛線上的點(diǎn)在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出現(xiàn)在右圖對(duì)應(yīng)的極線上。極線約束條件右目左目綠色實(shí)線表示右目圖像的一條8標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會(huì)把兩幅圖像矯正成標(biāo)準(zhǔn)形式——圖像的掃描行就是極線，并且焦距保持一致。也就是說(shuō)，我們只需在圖像的掃描行上搜索對(duì)應(yīng)點(diǎn)即可。左目圖像右目圖像標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會(huì)把兩幅圖9矯正前矯正后矯正前矯正后10

視差和深度計(jì)算

視差和深度計(jì)算11左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越大，對(duì)應(yīng)視差圖中越亮的部分左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越12代表距離的平面分布并不均勻，隨著距離的增加，精度會(huì)急劇下降。但在公交客流統(tǒng)計(jì)中，檢測(cè)深度一般不會(huì)超過(guò)3米，可以達(dá)到精度要求?？臻g被分解成一個(gè)個(gè)離散的平面，代表不同距離，對(duì)應(yīng)不同的視差。代表距離的平面分布并不均勻，隨著距離的增加，精13雙目視覺(jué)系統(tǒng)一般流程雙目視覺(jué)系統(tǒng)一般流程14目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點(diǎn)位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機(jī)標(biāo)定（離線）目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)相機(jī)標(biāo)定（離線）15矯正前矯正后圖像矯正目的是有二：去除鏡頭的桶形失真使得圖像對(duì)變成標(biāo)準(zhǔn)形式，即行對(duì)準(zhǔn)矯正前矯正后圖像矯正目的是有二：16立體匹配的目的就是找到圖像對(duì)之間的匹配點(diǎn)，進(jìn)而得到視差立體匹配立體匹配的目的就是找到圖像對(duì)之間的匹配點(diǎn)，進(jìn)而得到視差立體匹17到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合三角幾何公式，就能計(jì)算所有圖像點(diǎn)在三維空間中的位置（X,Y,Z）深度圖計(jì)算到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合18立體匹配算法立體匹配算法19立體匹配算法局部匹配：速度較快，精度不高全局匹配：速度較慢，精度較高立體匹配算法局部匹配：速度較快，精度不高20立體匹配算法ScharsteinandSzeliski指出立體匹配算法通常包含以下4個(gè)步驟（或其中的幾個(gè)）：匹配代價(jià)計(jì)算代價(jià)積累視差計(jì)算/優(yōu)化視差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局優(yōu)化后再用WTA求解）立體匹配算法ScharsteinandSzeliski21匹配代價(jià)計(jì)算

這里介紹2種像素級(jí)的相似性度量：基于灰度差分的匹配代價(jià)（BirchfieldandTomasi）基于Census變換的匹配代價(jià)匹配代價(jià)計(jì)算

這里介紹2種像素級(jí)的相似性度量：22BT匹配代價(jià)

改進(jìn)形式：BT匹配代價(jià)

改進(jìn)形式：23基于Census變換的匹配代價(jià)首先，對(duì)圖像進(jìn)行統(tǒng)計(jì)變換（CensusTransform），該變換定義為：以3x3窗口為例，比較此窗口中每個(gè)像素值與中心像素值的大小，如果比中心像素值小，則比較結(jié)果為1，否則為0。然后把這些結(jié)果組成一個(gè)二進(jìn)制的數(shù)，并代替當(dāng)前像素值11010100(212)基于Census變換的匹配代價(jià)首先，對(duì)圖像進(jìn)行統(tǒng)計(jì)變換（Ce24漢明距離對(duì)于兩個(gè)等長(zhǎng)字符串s1與s2，他們之間的漢明距離就是相應(yīng)位置上存在不同字符的數(shù)量。例如字符串“1111”與“1001”之間的漢明距離為2。計(jì)算方法：Cost=POPCNT（s1XORs2）注：POPCNT計(jì)算一個(gè)二進(jìn)制數(shù)中“1”的位數(shù)漢明距離對(duì)于兩個(gè)等長(zhǎng)字符串s1與s2，他們之間的漢明距離就是25視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算，對(duì)于基準(zhǔn)圖像上一點(diǎn)p及視差d，總有：

視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算26視差計(jì)算COST那么，計(jì)算圖像視差的過(guò)程就變成：遍歷每個(gè)像素點(diǎn)，計(jì)算使得當(dāng)前代價(jià)C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代價(jià)是定義在像素等級(jí)上的，像素與像素之間缺少聯(lián)系，那么，相應(yīng)的視差圖會(huì)存在大量的視差不連續(xù)的點(diǎn)視差計(jì)算COST那么，計(jì)算圖像視差的過(guò)程就變成：遍歷每個(gè)像素27視差優(yōu)化Hirschmuller提出了Semi-GlobalMatching，用于平滑視差圖：

視差優(yōu)化Hirschmuller提出了Semi-Global28如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連續(xù)性上已經(jīng)有了明顯的提高，但存在明顯的拖尾效應(yīng)，這是因?yàn)閳D像在水平方向上約束太強(qiáng)，而豎直方向上約束太弱造成的因此，我們可以在多個(gè)方向上分別進(jìn)行代價(jià)積累，再把多個(gè)方向的視差空間進(jìn)行疊加，由此計(jì)算視差圖可大大減少拖尾效應(yīng)視差優(yōu)化如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連29一致性檢查類似地，我們可以計(jì)算出右圖對(duì)應(yīng)的視差圖，并按照下式一致性檢查，其中p、q表示一組對(duì)應(yīng)點(diǎn)左視差圖右視差圖一致性檢查類似地，我們可以計(jì)算出右圖對(duì)應(yīng)的視差圖30視差精化—異常值濾波一致性檢查并不能去除所有異常值，視差圖仍會(huì)殘留一些小面積的異常值。我們使用基于連通域標(biāo)記的異常值濾波器刪除了這些異常塊視差精化—異常值濾波一致性檢查并不能去除所有異31視差精化—無(wú)效區(qū)域插值視差圖經(jīng)過(guò)一致性檢測(cè)后留下的視差無(wú)效區(qū)域，應(yīng)該分為遮擋區(qū)域和誤匹配區(qū)域，這是因?yàn)閷?duì)于遮擋區(qū)域和誤匹配區(qū)域的插值策略是截然不同，必須區(qū)別對(duì)待。

視差精化—無(wú)效區(qū)域插值視差圖經(jīng)過(guò)一致性檢測(cè)后留下的視差無(wú)效區(qū)32與代價(jià)積累中從8個(gè)方向搜索類似，對(duì)于每一個(gè)無(wú)效點(diǎn)，周圍的8個(gè)視差值都會(huì)保存下來(lái)，然后按照下面的式子插值：第一項(xiàng)取第二小的視差值，保證了遮擋點(diǎn)的視差來(lái)自較低一級(jí)的背景，而第二項(xiàng)取中值，強(qiáng)調(diào)利用所有周圍的信息視差精化—無(wú)效區(qū)域插值與代價(jià)積累中從8個(gè)方向搜索類似，對(duì)于每一個(gè)無(wú)效點(diǎn)，周圍的8個(gè)33目標(biāo)檢測(cè)與跟蹤目標(biāo)檢測(cè)與跟蹤34三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維信息，使目標(biāo)檢測(cè)更加準(zhǔn)確。右側(cè)是經(jīng)過(guò)顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之則越遠(yuǎn)，容易看出圖中兩個(gè)偏暖的區(qū)域分別對(duì)應(yīng)左側(cè)圖像中的兩個(gè)人。三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維35目標(biāo)檢測(cè)乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢圓參數(shù)包括：長(zhǎng)短軸、離心率、面積、中心坐標(biāo)、高度等等。目標(biāo)檢測(cè)乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢36目標(biāo)跟蹤假設(shè)前一幀圖像中有m個(gè)目標(biāo)，對(duì)應(yīng)m個(gè)特征向量，而當(dāng)前圖像幀中有n個(gè)目標(biāo)，對(duì)應(yīng)n個(gè)特征向量，相似函數(shù)S(i,j)表示前一幀第i個(gè)目標(biāo)和當(dāng)前幀第j目標(biāo)的相似度。

12jn1S(1,1)S(1,2)S(1,j)S(1,n)2S(2,1)S(2,2)S(2,j)S(2,n)iS(i,1)S(i,2)S(i,j)S(i,j)mS(m,1)S(m,2)S(m,j)S(m,n)第k-1幀第k幀目標(biāo)跟蹤假設(shè)前一幀圖像中有m個(gè)目標(biāo)，對(duì)應(yīng)m個(gè)特征向量，而當(dāng)前37總結(jié)總結(jié)38系統(tǒng)框架設(shè)計(jì)該項(xiàng)目開發(fā)了一種能夠?qū)崟r(shí)監(jiān)測(cè)公交車內(nèi)客流量的系統(tǒng)，其中雙目攝像頭安裝在靠近車門的車頂處，并垂直向下拍攝，同時(shí)采集兩路視頻。

雙目視覺(jué)技術(shù)可以感知物體的深度，能夠很好地克服單目視覺(jué)技術(shù)對(duì)光線陰影敏感，無(wú)法檢測(cè)擁擠客流及無(wú)法排除類人物體等問(wèn)題。算法框架設(shè)計(jì)原始圖像對(duì)圖像矯正立體匹配背景差分注：較小的橢圓對(duì)應(yīng)較高的位置，多個(gè)橢圓疊加形成類金字塔目標(biāo)檢測(cè)目標(biāo)跟蹤系統(tǒng)框架設(shè)計(jì)該項(xiàng)目開發(fā)了一種能夠?qū)崟r(shí)監(jiān)測(cè)公交車39存在的問(wèn)題視差圖中的目標(biāo)形狀、高度各異，特別是在擁擠時(shí)，多個(gè)目標(biāo)會(huì)連接在一起?；谔卣鞯膯l(fā)式目標(biāo)檢測(cè)方法并不能100%地檢測(cè)出目標(biāo)。在視差圖中，特征向量會(huì)隨目標(biāo)運(yùn)動(dòng)而變化，因此目標(biāo)的坐標(biāo)在相似性測(cè)度當(dāng)中占了較高的權(quán)重。現(xiàn)有的跟蹤邏輯比較單一，當(dāng)目標(biāo)的特征向量極為相似時(shí)，會(huì)出現(xiàn)誤跟蹤的情況。存在的問(wèn)題視差圖中的目標(biāo)形狀、高度各異，特別是在擁擠時(shí)，多個(gè)40參考文獻(xiàn)參考文獻(xiàn)41增強(qiáng)品質(zhì)意識(shí)，強(qiáng)化安全觀念。11月-2211月-22Sunday,November6,2022是建立潔凈亮麗，整齊舒適，安全高效的法寶。01:01:1401:01:1401:0111/6/20221:01:14AM清潔-擁有清爽明亮的工作環(huán)境。11月-2201:01:1401:01Nov-2206-Nov-22太太平平萬(wàn)家康樂(lè)，安安順順事業(yè)騰飛。01:01:1401:01:1401:01Sunday,November6,2022質(zhì)量是交通建設(shè)的靈魂和生命。11月-2211月-2201:01:1401:01:14November6,2022麻痹是最大的隱患失職是最大的禍根。2022年11月6日1:01上午11月-2211月-22一心一意保安全，同心同德謀發(fā)展。06十一月20221:01:14上午01:01:1411月-22隱患不除，危機(jī)四伏。十一月221:01上午11月-2201:01November6,2022市場(chǎng)調(diào)查勤分析，掌握顧客之所需。2022/11/61:01:1401:01:1406November2022以廠為校，以廠為家，互相學(xué)習(xí)，互相關(guān)懷。1:01:14上午1:01上午01:01:1411月-22學(xué)一分消防知識(shí)，多十分平安保障。11月-2211月-2201:0101:01:1401:01:14Nov-22相信自己，相信伙伴。2022/11/61:01:14Sunday,November6,2022麻痹是最大的隱患，失職是最大的禍根。11月-222022/11/61:01:1411月-22謝謝大家！增強(qiáng)品質(zhì)意識(shí)，強(qiáng)化安全觀念。11月-2211月-22Wedn42基于雙目視覺(jué)的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過(guò)嗣聰報(bào)告時(shí)間：2016年9月xx日基于雙目視覺(jué)的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過(guò)嗣聰43概述雙目立體視覺(jué)介紹立體匹配算法目標(biāo)檢測(cè)與跟蹤總結(jié)概述雙目立體視覺(jué)介紹44雙目立體視覺(jué)介紹雙目立體視覺(jué)介紹45什么是立體視覺(jué)立體視覺(jué)是利用兩個(gè)及以上的相機(jī)來(lái)測(cè)量物體深度的技術(shù)屬于計(jì)算機(jī)視覺(jué)的一種實(shí)時(shí)性和硬件平臺(tái)實(shí)現(xiàn)是其研究重點(diǎn)之一什么是立體視覺(jué)立體視覺(jué)是利用兩個(gè)及以上的相機(jī)來(lái)測(cè)量物體深度的46普通相機(jī)（單目）左圖是相機(jī)成像的簡(jiǎn)化模型P、Q是視場(chǎng)中不同的兩點(diǎn)，但他們?cè)趫D像上的投影確相同

普通相機(jī)（單目）左圖是相機(jī)成像的簡(jiǎn)化模型

47雙目相機(jī)如果能找到兩幅圖像上的對(duì)應(yīng)點(diǎn)（對(duì)應(yīng)空間中同一點(diǎn)），那么根據(jù)三角幾何關(guān)系，就能計(jì)算出該點(diǎn)的深度左目圖像右目圖像雙目相機(jī)如果能找到兩幅圖像上的對(duì)應(yīng)點(diǎn)（對(duì)應(yīng)空間48如何找出對(duì)應(yīng)點(diǎn)二維搜索計(jì)算量十分巨大，而且很難找到全局最優(yōu)解事實(shí)上，對(duì)應(yīng)點(diǎn)必定出現(xiàn)在對(duì)應(yīng)的極線。如何找出對(duì)應(yīng)點(diǎn)二維搜索計(jì)算量十分巨大，而且很難49極線約束條件右目圖像左目圖像綠色實(shí)線表示右目圖像的一條極線，即紅色虛線上的點(diǎn)在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出現(xiàn)在右圖對(duì)應(yīng)的極線上。極線約束條件右目左目綠色實(shí)線表示右目圖像的一條50標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會(huì)把兩幅圖像矯正成標(biāo)準(zhǔn)形式——圖像的掃描行就是極線，并且焦距保持一致。也就是說(shuō)，我們只需在圖像的掃描行上搜索對(duì)應(yīng)點(diǎn)即可。左目圖像右目圖像標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會(huì)把兩幅圖51矯正前矯正后矯正前矯正后52

視差和深度計(jì)算

視差和深度計(jì)算53左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越大，對(duì)應(yīng)視差圖中越亮的部分左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越54代表距離的平面分布并不均勻，隨著距離的增加，精度會(huì)急劇下降。但在公交客流統(tǒng)計(jì)中，檢測(cè)深度一般不會(huì)超過(guò)3米，可以達(dá)到精度要求?？臻g被分解成一個(gè)個(gè)離散的平面，代表不同距離，對(duì)應(yīng)不同的視差。代表距離的平面分布并不均勻，隨著距離的增加，精55雙目視覺(jué)系統(tǒng)一般流程雙目視覺(jué)系統(tǒng)一般流程56目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點(diǎn)位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機(jī)標(biāo)定（離線）目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)相機(jī)標(biāo)定（離線）57矯正前矯正后圖像矯正目的是有二：去除鏡頭的桶形失真使得圖像對(duì)變成標(biāo)準(zhǔn)形式，即行對(duì)準(zhǔn)矯正前矯正后圖像矯正目的是有二：58立體匹配的目的就是找到圖像對(duì)之間的匹配點(diǎn)，進(jìn)而得到視差立體匹配立體匹配的目的就是找到圖像對(duì)之間的匹配點(diǎn)，進(jìn)而得到視差立體匹59到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合三角幾何公式，就能計(jì)算所有圖像點(diǎn)在三維空間中的位置（X,Y,Z）深度圖計(jì)算到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合60立體匹配算法立體匹配算法61立體匹配算法局部匹配：速度較快，精度不高全局匹配：速度較慢，精度較高立體匹配算法局部匹配：速度較快，精度不高62立體匹配算法ScharsteinandSzeliski指出立體匹配算法通常包含以下4個(gè)步驟（或其中的幾個(gè)）：匹配代價(jià)計(jì)算代價(jià)積累視差計(jì)算/優(yōu)化視差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局優(yōu)化后再用WTA求解）立體匹配算法ScharsteinandSzeliski63匹配代價(jià)計(jì)算

這里介紹2種像素級(jí)的相似性度量：基于灰度差分的匹配代價(jià)（BirchfieldandTomasi）基于Census變換的匹配代價(jià)匹配代價(jià)計(jì)算

這里介紹2種像素級(jí)的相似性度量：64BT匹配代價(jià)

改進(jìn)形式：BT匹配代價(jià)

改進(jìn)形式：65基于Census變換的匹配代價(jià)首先，對(duì)圖像進(jìn)行統(tǒng)計(jì)變換（CensusTransform），該變換定義為：以3x3窗口為例，比較此窗口中每個(gè)像素值與中心像素值的大小，如果比中心像素值小，則比較結(jié)果為1，否則為0。然后把這些結(jié)果組成一個(gè)二進(jìn)制的數(shù)，并代替當(dāng)前像素值11010100(212)基于Census變換的匹配代價(jià)首先，對(duì)圖像進(jìn)行統(tǒng)計(jì)變換（Ce66漢明距離對(duì)于兩個(gè)等長(zhǎng)字符串s1與s2，他們之間的漢明距離就是相應(yīng)位置上存在不同字符的數(shù)量。例如字符串“1111”與“1001”之間的漢明距離為2。計(jì)算方法：Cost=POPCNT（s1XORs2）注：POPCNT計(jì)算一個(gè)二進(jìn)制數(shù)中“1”的位數(shù)漢明距離對(duì)于兩個(gè)等長(zhǎng)字符串s1與s2，他們之間的漢明距離就是67視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算，對(duì)于基準(zhǔn)圖像上一點(diǎn)p及視差d，總有：

視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算68視差計(jì)算COST那么，計(jì)算圖像視差的過(guò)程就變成：遍歷每個(gè)像素點(diǎn)，計(jì)算使得當(dāng)前代價(jià)C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代價(jià)是定義在像素等級(jí)上的，像素與像素之間缺少聯(lián)系，那么，相應(yīng)的視差圖會(huì)存在大量的視差不連續(xù)的點(diǎn)視差計(jì)算COST那么，計(jì)算圖像視差的過(guò)程就變成：遍歷每個(gè)像素69視差優(yōu)化Hirschmuller提出了Semi-GlobalMatching，用于平滑視差圖：

視差優(yōu)化Hirschmuller提出了Semi-Global70如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連續(xù)性上已經(jīng)有了明顯的提高，但存在明顯的拖尾效應(yīng)，這是因?yàn)閳D像在水平方向上約束太強(qiáng)，而豎直方向上約束太弱造成的因此，我們可以在多個(gè)方向上分別進(jìn)行代價(jià)積累，再把多個(gè)方向的視差空間進(jìn)行疊加，由此計(jì)算視差圖可大大減少拖尾效應(yīng)視差優(yōu)化如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連71一致性檢查類似地，我們可以計(jì)算出右圖對(duì)應(yīng)的視差圖，并按照下式一致性檢查，其中p、q表示一組對(duì)應(yīng)點(diǎn)左視差圖右視差圖一致性檢查類似地，我們可以計(jì)算出右圖對(duì)應(yīng)的視差圖72視差精化—異常值濾波一致性檢查并不能去除所有異常值，視差圖仍會(huì)殘留一些小面積的異常值。我們使用基于連通域標(biāo)記的異常值濾波器刪除了這些異常塊視差精化—異常值濾波一致性檢查并不能去除所有異73視差精化—無(wú)效區(qū)域插值視差圖經(jīng)過(guò)一致性檢測(cè)后留下的視差無(wú)效區(qū)域，應(yīng)該分為遮擋區(qū)域和誤匹配區(qū)域，這是因?yàn)閷?duì)于遮擋區(qū)域和誤匹配區(qū)域的插值策略是截然不同，必須區(qū)別對(duì)待。

視差精化—無(wú)效區(qū)域插值視差圖經(jīng)過(guò)一致性檢測(cè)后留下的視差無(wú)效區(qū)74與代價(jià)積累中從8個(gè)方向搜索類似，對(duì)于每一個(gè)無(wú)效點(diǎn)，周圍的8個(gè)視差值都會(huì)保存下來(lái)，然后按照下面的式子插值：第一項(xiàng)取第二小的視差值，保證了遮擋點(diǎn)的視差來(lái)自較低一級(jí)的背景，而第二項(xiàng)取中值，強(qiáng)調(diào)利用所有周圍的信息視差精化—無(wú)效區(qū)域插值與代價(jià)積累中從8個(gè)方向搜索類似，對(duì)于每一個(gè)無(wú)效點(diǎn)，周圍的8個(gè)75目標(biāo)檢測(cè)與跟蹤目標(biāo)檢測(cè)與跟蹤76三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維信息，使目標(biāo)檢測(cè)更加準(zhǔn)確。右側(cè)是經(jīng)過(guò)顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之則越遠(yuǎn)，容易看出圖中兩個(gè)偏暖的區(qū)域分別對(duì)應(yīng)左側(cè)圖像中的兩個(gè)人。三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維77目標(biāo)檢測(cè)乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢圓參數(shù)包括：長(zhǎng)短軸、離心率、面積、中心坐標(biāo)、高度等等。目標(biāo)檢測(cè)乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢78目標(biāo)跟蹤假設(shè)前一幀圖像中有m個(gè)目標(biāo)，對(duì)應(yīng)m個(gè)特征向量，而當(dāng)前圖像幀中有n個(gè)目標(biāo)，對(duì)應(yīng)n個(gè)特征向量，相似函數(shù)S(i,j)表示前一幀第i個(gè)目標(biāo)和當(dāng)前幀第j目標(biāo)的相似度。

12jn1S(1,1)S(1,2)S(1,j)S(1,n)2S(2,1)S(2,2)S(2,j)S(2,n)iS(i,1)S(i,2)S(i,j)S(i,j)mS(m,1)S(m,2)S(m,j)S(m,n)第k-1幀第k幀目標(biāo)跟蹤假設(shè)前一幀圖像中有m個(gè)目標(biāo)，對(duì)應(yīng)m個(gè)特征向量，而當(dāng)前79總結(jié)總結(jié)80系統(tǒng)框架設(shè)計(jì)該項(xiàng)目開發(fā)了一種能夠?qū)崟r(shí)監(jiān)測(cè)公交車內(nèi)客流量的系統(tǒng)，其中雙目攝像頭安裝在靠近車門的車頂處，并垂直向下拍攝，同時(shí)采集兩路視頻。

雙目視覺(jué)技術(shù)可以感知物體的深度，能夠很好地克服單目視覺(jué)技術(shù)對(duì)光線陰影敏感，無(wú)法檢測(cè)擁擠客流及無(wú)法排除類人物體等問(wèn)題。算法框架設(shè)計(jì)原始圖像對(duì)圖像矯正立體匹配背景差分注：較小的橢圓對(duì)應(yīng)較高的位置，多個(gè)橢圓疊加形成類金字塔目標(biāo)檢測(cè)目標(biāo)跟蹤系統(tǒng)框架設(shè)計(jì)該項(xiàng)目開發(fā)了一種能夠?qū)崟r(shí)監(jiān)