客流統(tǒng)計項目技術報告ppt課件

1、基于雙目視覺的客流統(tǒng)計系統(tǒng)報告人：過嗣聰報告時間：2021年9月xx日概述雙目立體視覺引見立體匹配算法目的檢測與跟蹤總結(jié)雙目立體視覺引見什么是立體視覺立體視覺是利用兩個及以上的相機來丈量物體深度的技術屬于計算機視覺的一種實時性和硬件平臺實現(xiàn)是其研討重點之一普通相機單目左圖是相機成像的簡化模型P、Q是視場中不同的兩點，但 他們在圖像上的投影確一樣: 圖像平面O: 光心透鏡中心 f: 焦距雙目相機 假設能找到兩幅圖像上的對應點對應空間中同一點，那么根據(jù)三角幾何關系，就能計算出該點的深度左目圖像右目圖像如何找出對應點 二維搜索計算量非常宏大，而且很難找到全局最優(yōu)解 現(xiàn)實上，對應點必定出如今對應的極線

2、。極線約束條件右目圖像左目圖像 綠色實線表示右目圖像的一條極線，即紅色虛線上的點在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出如今右圖對應的極線上。規(guī)范方式的雙目相機 為了方便計算，我們會把兩幅圖像矯正成規(guī)范方式圖像的掃描行就是極線，并且焦距堅持一致。也就是說，我們只需在圖像的掃描行上搜索對應點即可。左目圖像右目圖像矯正前矯正后視差： - 視差和深度計算左圖參考圖右圖目的圖視差圖容易看出，物體越近，視差越大，對應視差圖中越亮的部分 代表間隔的平面分布并不均勻，隨著間隔的添加，精度會急劇下降。但在公交客流統(tǒng)計中，檢測深度普通不會超越3米，可以到達精度要求?？臻g被分解成一個個離散的平面

3、，代表不同間隔，對應不同的視差。雙目視覺系統(tǒng)普通流程目的是計算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機標定離線矯正前矯正后圖像矯正目的是有二：去除鏡頭的桶形失真使得圖像對變成規(guī)范方式，即行對準立體匹配的目的就是找到圖像對之間的匹配點，進而得到視差立體匹配到此，我們獲得了視差圖，基線b，焦距f，深度計算公式。在結(jié)合三角幾何公式，就能計算一切圖像點在三維空間中的位置X,Y,Z深度圖計算立體匹配算法立體匹配算法部分匹配：速度較快，精度不高全局匹配：速度較慢，精度較高立體匹配算法Scharstein and Szeliski 指出立體匹

4、配算法通常包含以下4個步驟或其中的幾個：匹配代價計算代價積累視差計算/優(yōu)化視差提精部分匹配算法：1-2-3(直接用WTA求解)全局匹配算法：1-3全局或半全局優(yōu)化后再用WTA求解匹配代價計算匹配代價是指基準圖像左圖上一點p與目的圖像右圖上能夠的匹配點q的類似性度量:這里引見2種像素級的類似性度量：基于灰度差分的匹配代價Birchfield and Tomasi基于Census變換的匹配代價BT匹配代價Birchfield and Tomasi把p和q的灰度差的絕對值定義為匹配：改良方式：基于Census變換的匹配代價首先，對圖像進展統(tǒng)計變換Census Transform，該變換定義為：以3x

5、3窗口為例，比較此窗口中每個像素值與中心像素值的大小，假設比中心像素值小，那么比較結(jié)果為1，否那么為0。然后把這些結(jié)果組成一個二進制的數(shù)，并替代當前像素值1101 0100 (212)漢明間隔對于兩個等長字符串s1與s2，他們之間的漢明間隔就是相應位置上存在不同字符的數(shù)量。例如字符串“1111與“1001之間的漢明間隔為2。計算方法：Cost = POPCNTs1 XOR s2注：POPCNT計算一個二進制數(shù)中“1的位數(shù)視差空間(Disparity Space)根據(jù)前面的代價計算，對于基準圖像上一點p及視差d，總有：如圖，x-y平面表示圖像平面，d軸表示視差從0變化，那么對于一個三維坐標(x,

6、 y, d),就有C(x, y, d) = Cost。所以視差空間是一個三維數(shù)組，里面存放的是匹配代價視差計算COST那么，計算圖像視差的過程就變成：遍歷每個像素點，計算使得當前代價C(x, y, d) 最小的d，即winner-take-allWTA。匹配代價是定義在像素等級上的，像素與像素之間短少聯(lián)絡，那么，相應的視差圖會存在大量的視差不延續(xù)的點視差優(yōu)化Hirschmuller提出了Semi-Global Matching，用于平滑視差圖：在x-y平面上按照某一方向r，遍歷每一個p(x, y)，第一項表示點p視差為d時的匹配代價；第二項表示視差平滑約束，p-r表示r方向上前一個像素點，表示

7、當前像素與前一個像素相比視差改動較小時給予的懲罰，用于平滑物體外表的紋理，而表示視差改動較大時的懲罰，用于平滑物體邊緣的視差不延續(xù)，并且必需保證；第三項用于限制匹配代價的增長，所以匹配代價的上限是如圖是沿著從右到左方向代價積累后得到視差圖，可以看出視差圖延續(xù)性上曾經(jīng)有了明顯的提高，但存在明顯的拖尾效應，這是由于圖像在程度方向上約束太強，而豎直方向上約束太弱呵斥的因此，我們可以在多個方向上分別進展代價積累，再把多個方向的視差空間進展疊加，由此計算視差圖可大大減少拖尾效應視差優(yōu)化一致性檢查 類似地，我們可以計算出右圖對應的視差圖，并按照下式一致性檢查，其中p、q表示一組對應點左視差圖右視差圖視差精

8、化異常值濾波 一致性檢查并不能去除一切異常值，視差圖仍會殘留一些小面積的異常值。我們運用基于連通域標志的異常值濾波器刪除了這些異常塊視差精化無效區(qū)域插值視差圖經(jīng)過一致性檢測后留下的視差無效區(qū)域，應該分為遮擋區(qū)域和誤匹配區(qū)域，這是由于對于遮擋區(qū)域和誤匹配區(qū)域的插值戰(zhàn)略是截然不同，必需區(qū)別對待。圖中遮擋點p1的極線穿過中視差不延續(xù)處，而誤匹配點p2與相交。與代價積累中從8個方向搜索類似，對于每一個無效點，周圍的8個視差值都會保管下來，然后按照下面的式子插值：第一項取第二小的視差值，保證了遮擋點的視差來自較低一級的背景，而第二項取中值，強調(diào)利用一切周圍的信息視差精化無效區(qū)域插值目的檢測與跟蹤三維重建

9、三維重建是指依托一些技術手段從視差圖恢復出目的的三維信息，使目的檢測更加準確。右側(cè)是經(jīng)過顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之那么越遠，容易看出圖中兩個偏暖的區(qū)域分別對應左側(cè)圖像中的兩個人。目的檢測乘客被建模成一個橢圓型的金字塔，其特征向量表示為：橢圓參數(shù)包括：長短軸、離心率、面積、中心坐標、高度等等。目的跟蹤假設前一幀圖像中有m個目的，對應m個特征向量，而當前圖像幀中有n個目的，對應n個特征向量，類似函數(shù)S(i, j)表示前一幀第i個目的和當前幀第j目的的類似度。12jn1S(1, 1)S(1, 2)S(1, j)S(1, n)2S(2, 1)S(2, 2)S(2, j)S(2,

10、n)iS(i, 1)S(i, 2)S(i, j)S(i, j)mS(m, 1)S(m, 2)S(m, j)S(m, n)第k-1幀第k幀總結(jié)系統(tǒng)框架設計 該工程開發(fā)了一種可以實時監(jiān)測公交車內(nèi)客流量的系統(tǒng)，其中雙目攝像頭安裝在接近車門的車頂處，并垂直向下拍攝，同時采集兩路視頻。 雙目視覺技術可以感知物體的深度，可以很好地抑制單目視覺技術對光線陰影敏感，無法檢測擁堵客流及無法排除類人物體等問題。算法框架設計原始圖像對圖像矯正立體匹配背景差分注：較小的橢圓對應較高的位置，多個橢圓疊加構(gòu)成類金字塔目的檢測目的跟蹤存在的問題視差圖中的目的外形、高度各異，特別是在擁堵時，多個目的會銜接在一同?；谔卣鞯膯?/p>

11、發(fā)式目的檢測方法并不能100%地檢測出目的。在視差圖中，特征向量會隨目的運動而變化，因此目的的坐標在類似性測度當中占了較高的權(quán)重。現(xiàn)有的跟蹤邏輯比較單一，當目的的特征向量極為類似時，會出現(xiàn)誤跟蹤的情況。參考文獻/stereo/data/Depth discontinuities by pixel to pixel stereoA Census-Based Stereo Vision Algorithm Using Modied Semi-Global Matching and Plane Fitting to Improve Matching QualityStereo Processing by Semi-global Matching and Mutual InformationUsing real-time stereo vision for mobile robot navigationvision.calte