客流統(tǒng)計(jì)項(xiàng)目技術(shù)報(bào)告課件

基于雙目視覺的客流統(tǒng)計(jì)系統(tǒng)1報(bào)告人：過嗣聰報(bào)告時(shí)間：2016年9月xx日概述雙目立體視覺介紹立體匹配算法目標(biāo)檢測(cè)與跟蹤總結(jié)2雙目立體視覺介紹3什么是立體視覺立體視覺是利用兩個(gè)及以上的相機(jī)來測(cè)量物體深度的技術(shù)屬于計(jì)算機(jī)視覺的一種實(shí)時(shí)性和硬件平臺(tái)實(shí)現(xiàn)是其研究重點(diǎn)之一4普通相機(jī)（單目）左圖是相機(jī)成像的簡(jiǎn)化模型P、Q是視場(chǎng)中不同的兩點(diǎn)，但 他們?cè)趫D像上的投影確相同5雙目相機(jī)如果能找到兩幅圖像上的對(duì)應(yīng)點(diǎn)（對(duì)應(yīng)空間中同一點(diǎn)），那么根據(jù)三角幾何關(guān)系，就能計(jì)算出該點(diǎn)的深度左目圖像6右目圖像如何找出對(duì)應(yīng)點(diǎn)二維搜索計(jì)算量十分巨大，而且很難找到全局最優(yōu)解事實(shí)上，對(duì)應(yīng)點(diǎn)必定出現(xiàn)在對(duì)應(yīng)的極線。7極線約束條件右目圖像左目圖像綠色實(shí)線表示右目圖像的一條極線，即紅色虛線上的點(diǎn)在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出現(xiàn)在右圖對(duì)應(yīng)的極線上。8標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會(huì)把兩幅圖像矯正成標(biāo)準(zhǔn)形式——圖像的掃描行就是極線，并且焦距保持一致。也就是說，我們只需在圖像的掃描行上搜索對(duì)應(yīng)點(diǎn)即可。左目圖像9右目圖像矯正前矯正后10視差和深度計(jì)算11左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越大，對(duì)應(yīng)視差圖中越亮的部分12代表距離的平面分布并不均勻，隨著距離的增加，精度會(huì)急劇下降。但在公交客流統(tǒng)計(jì)中，檢測(cè)深度一般不會(huì)超過3米，可以達(dá)到精度要求。13空間被分解成一

個(gè)個(gè)離散的平面，代表不同距離，

對(duì)應(yīng)不同的視差。雙目視覺系統(tǒng)一般流程14目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點(diǎn)位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機(jī)標(biāo)定（離線）15矯正前圖像矯正矯正后16目的是有二：去除鏡頭的桶形失真使得圖像對(duì)變成標(biāo)準(zhǔn)形式，即行對(duì)準(zhǔn)立體匹配的目的就是找到圖像對(duì)之間的匹配點(diǎn)，進(jìn)而得到視差立體匹配17到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合三角幾何公式，就能計(jì)算所有圖像點(diǎn)在三維空間中的位置（X,Y,Z）18深度圖計(jì)算立體匹配算法19立體匹配算法局部匹配：速度較快，精度不高全局匹配：速度較慢，精度較高20立體匹配算法21Scharstein

and

Szeliski指出立體匹配算法通常包含以下4個(gè)步驟（或其中的幾個(gè)）：匹配代價(jià)計(jì)算代價(jià)積累視差計(jì)算/優(yōu)化視差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局優(yōu)化后再用WTA求解）匹配代價(jià)計(jì)算這里介紹2種像素級(jí)的相似性度量：基于灰度差分的匹配代價(jià)（Birchfield

and

Tomasi）基于Census變換的匹配代價(jià)22BT匹配代價(jià)改進(jìn)形式：23基于Census變換的匹配代價(jià)首先，對(duì)圖像進(jìn)行統(tǒng)計(jì)變換（Census

Transform），該變換定義為：以3x3窗口為例，比較此窗口中每個(gè)像素值與中心像素值的大小，如果比中心像素值小，則比較結(jié)果為1，否則為0。然后把這些結(jié)果組成一個(gè)二進(jìn)制的數(shù)，并代替當(dāng)

前像素值1101

0100(212)24漢明距離25對(duì)于兩個(gè)等長(zhǎng)字符串s1與s2，他們之間的漢明距離就是相應(yīng)位置上存在不同字符的數(shù)量。例如字符串“1111”與“1001”之間的漢明距離為2。計(jì)算方法：Cost=POPCNT（s1

XOR

s2）注：POPCNT計(jì)算一個(gè)二進(jìn)制數(shù)中“1”的位數(shù)視差空間(Disparity

Space)根據(jù)前面的代價(jià)計(jì)算，對(duì)于基準(zhǔn)圖像上一點(diǎn)p及視差d，總有：26視差計(jì)算COST那么，計(jì)算圖像視差的過程就變成：遍歷每個(gè)像素點(diǎn)，計(jì)算使得當(dāng)前代價(jià)

C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代價(jià)是定義在像素等級(jí)上的，像素與像素之間缺少聯(lián)系，那么，相應(yīng)的視差圖會(huì)存在大量的視差不連續(xù)的點(diǎn)27視差優(yōu)化Hirschmuller提出了Semi-Global

Matching，用于平滑視差圖：28如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連續(xù)性上已經(jīng)有了明顯的提高，但存在明顯的拖尾效應(yīng)，這是因?yàn)閳D像在水平方向上約束太強(qiáng)，而豎直方向上約束太弱造成的因此，我們可以在多個(gè)方向上分別進(jìn)行代價(jià)積累，再把多個(gè)方向的視差空間進(jìn)行疊加，由此計(jì)算視差圖可大大減少拖尾效應(yīng)視差優(yōu)化29一致性檢查類似地，我們可以計(jì)算出右圖對(duì)應(yīng)的視差圖，并按照下式一致性檢查，其中p、q表示一組對(duì)應(yīng)點(diǎn)左視差圖右視差圖30視差精化—異常值濾波31一致性檢查并不能去除所有異常值，視差圖仍會(huì)殘留一些小面積的異常值。我們使用基于連通域標(biāo)記的異常值濾波器刪除了這些異常塊視差精化—無效區(qū)域插值視差圖經(jīng)過一致性檢測(cè)后留下的視差無效區(qū)域，應(yīng)該分為遮擋區(qū)域和誤匹配區(qū)域，這是因?yàn)閷?duì)于遮擋區(qū)域和誤匹配區(qū)域的插值策略是截然不同，必須區(qū)別對(duì)待。32與代價(jià)積累中從8個(gè)方向搜索類似，對(duì)于每一個(gè)無效點(diǎn)，周圍的8個(gè)視差值都會(huì)保存下來，然后按照下面的式子插值：第一項(xiàng)取第二小的視差值，保證了遮擋點(diǎn)的視差來自較低一級(jí)的背景，而第二項(xiàng)取中值，強(qiáng)調(diào)利用所有周圍的信息33視差精化—無效區(qū)域插值目標(biāo)檢測(cè)與跟蹤34三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維信息，使目標(biāo)檢測(cè)更加準(zhǔn)確。右側(cè)是經(jīng)過顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之則越遠(yuǎn)，容易看出圖中兩個(gè)偏暖的區(qū)域分別對(duì)應(yīng)左側(cè)圖像中的兩個(gè)人。35目標(biāo)檢測(cè)乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢圓參數(shù)包括：長(zhǎng)短軸、離心率、面積、中心坐標(biāo)、高度等等。36目標(biāo)跟蹤假設(shè)前一幀圖像中有m個(gè)目標(biāo)，對(duì)應(yīng)m個(gè)特征向量，而當(dāng)前圖像幀中有

n 個(gè)目標(biāo)，對(duì)應(yīng)

n 個(gè)特征向量，相似函數(shù)

S(i,

j) 表示前一幀第

i

個(gè)和當(dāng)前幀第j目標(biāo)的相似度。12jn1S(1,

1)S(1,

2)S(1,

j)S(1,

n)2S(2,

1)S(2,

2)S(2,

j)S(2,n)iS(i,

1)S(i,

2)S(i,

j)S(i,

j)mS(m,

1)S(m,

2)S(m,

j)S(m,

n)第k-1幀37第k幀總結(jié)38該項(xiàng)目開發(fā)了一種能夠?qū)崟r(shí)監(jiān)測(cè)公交車內(nèi)客流量的系統(tǒng)，其車頂處，并垂直向下拍攝，同時(shí)的深度，能夠很好地克服單目視測(cè)擁擠客流及無法排除類人物體的體檢中雙目攝像頭安裝在靠近車門采集兩路視頻。雙目視覺技術(shù)可以感知物覺技術(shù)對(duì)光線陰影敏感，無法等問題。原算系圖始法統(tǒng)像圖框矯像架正對(duì)設(shè)計(jì)注：較小的橢圓對(duì)應(yīng)較高的位置，多個(gè)橢圓疊加形成類金字塔立背目體景標(biāo)匹差跟檢配分蹤測(cè)39存在的問題視差圖中的目標(biāo)形狀、高度各異，特別是在擁擠時(shí)，多個(gè)目標(biāo)會(huì)連接在一起。基于特征的啟發(fā)式目標(biāo)檢測(cè)方法并不能100%地檢測(cè)出目標(biāo)。在視差圖中，特征向量會(huì)隨目標(biāo)運(yùn)動(dòng)而變化，因此目標(biāo)的坐標(biāo)在相似性測(cè)度當(dāng)中占了較高的權(quán)重。現(xiàn)有的跟蹤邏輯比較單一，當(dāng)目標(biāo)的特征向量極為相似時(shí)，會(huì)出現(xiàn)誤跟蹤的情況。40參考文獻(xiàn)41?

增強(qiáng)品質(zhì)意識(shí)，強(qiáng)化安全觀念。10月-2310月-23Saturday,

October

21,2023?

是建立潔凈亮麗，整齊舒適，安全高效的法寶。08:45:50

08:45:50

08:45

10/21/2023

8:45:50

AM?

清潔-擁有清爽明亮的工作環(huán)境。10月-2308:45:50

08:45

Oct-2321-Oct-23?

太太平平萬家康樂，安安順順事業(yè)騰飛。08:45:50

08:45:50

08:45

Saturday,

October

21,2023?

質(zhì)量是交通建設(shè)的靈魂和生命。10月-2310月-2308:45:50

08:45:50

October

21,2023?

麻痹是最大的隱患失職是最大的禍根。2023年10月21日8:45上午10月-2310月-23?

一心一意保安全，同心同德謀發(fā)展。21十月2023

8:45:50上午08:45:50

10月-23?

隱患不除，危機(jī)四伏。十月238:45上午10月-2308:45

October

21,2023?

市場(chǎng)調(diào)查勤分析，掌握顧客之所需。2023/10/21

8:45:50

08:45:50

21

October

2023?

以廠為校，以廠為家，互相學(xué)習(xí)，互相關(guān)懷。8:45:50上午8:45上午08:45:50

10月-23?

學(xué)一分消防知識(shí)