人工環(huán)境中的中遠敘事

人工環(huán)境中的中遠敘事

大多數(shù)真實場景圖像都存在透視變形。在透視變形的作用下，真實空間中的一組線性直線聚集在圖像平面上，該點被稱為消失點或消失點。消失點檢測是三維場景解釋中的重要一步,可以提供大量三維空間的信息(如場景深度、物體尺寸等)。因此消失點檢測被應(yīng)用于機器人的自動導(dǎo)航、三維結(jié)構(gòu)恢復(fù)以及相機標(biāo)定等方面。因為場景的不規(guī)則,消失點檢測通常是很困難的,而人工環(huán)境下的消失點檢測則相對容易很多。因為人工環(huán)境中存在大量的直線之間的平行和正交關(guān)系,如戶內(nèi)的門窗、書桌、走廊,戶外的建筑、街道、路面等,這些平行和正交關(guān)系為消失點檢測提供了強有力的約束條件。1累積調(diào)整后的消失點映射消失點檢測并不是一個新的課題,已經(jīng)有很多文章涉及到這一方面。Barnard在1983年提出以相機光學(xué)中心為中心的高斯球(Gaussiansphere)作為累積空間。圖像中的邊緣直線在高斯球中被表示成為一個大圓(greatcircle),而消失點對應(yīng)于高斯球中的一個點。由于無限的圖像平面被映射到了一個有限空間,因此無限遠處的消失點同樣被映射成一個點。在累積投票階段,高斯球被分割成數(shù)個累積單元,每個大圓都對它經(jīng)過的累積單元投票,投票數(shù)多的累積單元對應(yīng)于消失點。之后有一些工作對上述方法進行了改進。T.Tuytelaars提出了旨在減少累積步驟中的計算復(fù)雜度的方法,使用Hough變換將直線的參數(shù)映射到一個有界的Hough空間。C.Rother將所有圖像平面中檢測到的直線的兩兩交點作為消失點的候選點,并給出了一些判斷標(biāo)準(zhǔn)。這種方法可以得到更準(zhǔn)確的結(jié)果,但比較耗時(時間復(fù)雜度是檢測到的線段數(shù)的4次方),在實時情況下不適用。舒遠提出了根據(jù)空間中平行的直線在圖像中的傾角比較接近這一特性求取消失點,但聚類時將候選直線限制于一定角度范圍內(nèi),有可能會丟棄了一些應(yīng)該考慮在內(nèi)的直線。本文方法根據(jù)舒遠指出的空間中平行直線在圖像中傾角接近的事實,并借鑒了C.Rother關(guān)于消失點候選點的思想以及對候選點的評判標(biāo)準(zhǔn),嘗試了一種基于聚類的消失點檢測方法。2本文件的方法2.1角域和接觸條件的變化透視投影中不同方向的平行線在投影平面上形成了不同的消失點,其中坐標(biāo)軸方向的平行線在圖像平面上的消失點又稱為主消失點。如圖1所示,其中主點u0理論上應(yīng)位于△v1v2v3的垂心,但現(xiàn)實中由于相機制造的工藝原因會有一定誤差。由圖1知,c-v1v2v3坐標(biāo)系與圖像平面相交,因此△v1v2v3必為銳角三角形?？臻g中兩條平行線在投影圖像平面中的夾角與平行線之間的距離以及它們到相機的距離有關(guān)。平行線之間的間距越大則它們的夾角越大,而它們到相機的距離越遠則夾角越小。由于在人工環(huán)境中建筑物大小有限,同時在中遠距離的場景中相機與被攝建筑物存在一定距離,因此這些平行線在圖像平面中之間夾角實際上集中在一個較小的范圍內(nèi)。在實驗中對30幅包括校園、城市街道等各種中遠距離場景圖像進行統(tǒng)計,發(fā)現(xiàn)圖像中單個消失點對應(yīng)平行線傾角接近,絕大多數(shù)集中在30°范圍之內(nèi)。實驗中30幅圖像里各個主消失點方向30°范圍內(nèi)包含的平行線占所有對應(yīng)于主消失點的平行線的90.56%(1689/1856)。論文中給出的數(shù)據(jù)也說明實際圖像中平行直線簇的傾角接近,大量地集中在較小的角度范圍內(nèi)。因此只需在圖像中直線傾角密集的區(qū)域中對消失點方向進行搜索。這種性質(zhì)簡化了消失點檢測,加速了檢測。本方法據(jù)此對聚類進行了初始分組。同大多數(shù)消失點檢測方法一樣,圖像邊緣直線檢測是算法的第一步。本方法使用了Canny算子來獲取圖像的邊緣信息,然后使用Hough變換獲取邊緣信息中的直線信息。之后對按傾角的大小對這些直線排序,按循環(huán)的方式排列(考慮到傾角0°和180°在空間中的連續(xù)性),并以給定角度(tα)的角域掃描這些直線(定義“角域”為包含一組傾角相近直線的容器),如圖2所示。圖中Li指直線i,θi為對應(yīng)傾角。角域內(nèi)直線包含Li～Li+4。并有:θi+4-θi<=tα;θi+5-θi>tα?？梢灶A(yù)計如果某個角域包含較多直線數(shù)目,那么它很可能包含較多相交于該方向消失點的直線。因此首先假設(shè)包含最多直線數(shù)的三個相互不重疊角域所包含的直線分別是交于三個主消失點的直線,并稱這三個角域為主角域。但由于實際場景的不規(guī)則,可能存在某個主角域?qū)?yīng)的直線只是一些不相干但傾角接近的直線,因此本方法采用更多的角域,即候選角域來消除這種情況的影響。當(dāng)某個主角域不滿足條件時,使用候選角域?qū)ζ涮鎿Q。角域的尺寸(tα)則應(yīng)該滿足實際情況的需要。較大的角域可能包含兩個消失點對應(yīng)的平行線以及更多的干擾直線,因此角域不宜過大。較小的角域可能使一個消失點對應(yīng)的平行線包含在兩個角域中并成為兩個角域中直線的主要部分,這時候選角域?qū)⒂兄诮鉀Q這個問題(見實驗結(jié)果中第二個例子)。較小的角域可以使用更多的候選角域,但過小的角域?qū)⑹菇怯蛑懈蓴_直線的比例變大,效果并不好。通常tα取20°～30°是合適的,它能夠包含大部分平行線,又不會包含太多“噪聲”。2.2增加了單一獲取直線的定義當(dāng)?shù)玫搅酥鹘怯蚝秃蜻x角域之后,它們所包含的直線并不能直接使用,因為每一個角域都可能含有少量干擾的直線,這些“噪聲”將使聚類速度減慢,帶來偏差,甚至導(dǎo)致檢測出虛假消失點。為此引入C.Rother提出的一種投票方法來消除“噪聲”:將角域中每兩條直線的交點作為該方向的候選消失點。對于該角域中的每條直線l,如果它與候選消失點Vp的距離d(Vp,l)小于閾值Dt,那么它將對該候選點投票。Dt的取值應(yīng)適當(dāng)大一些,以保證不丟失任何有用直線。按照消失點的定義,可以認(rèn)為直線與候選消失點越近,它越可能成為該消失點對應(yīng)平行直線,相應(yīng)投票值也應(yīng)該越高。因此候選消失點的總投票值定義為:vote(Vp)=∑所有投票直線l(1?d(Vp,l)/Dt),(1)vote(Vp)=∑所有投票直線l(1-d(Vp,l)/Dt),(1)取那些對總投票值最大的候選消失點進行投票的直線作為該方向消失點的聚類初始直線簇。不僅主角域,候選角域同樣經(jīng)過這樣處理得到候選簇。之所以不取該候選消失點直接作為目標(biāo)消失點是因為:(1)該消失點只考慮了該角域中的直線,而實際上該角域之外的直線也可能是交于該消失點的平行線;(2)該消失點位置一定在某兩條直線的交點,而多條直線方程的最小二乘算法可以使消失點到各直線的距離方差最小,結(jié)果更加準(zhǔn)確。2.3聚類消除干擾的能力理論上,真實空間中的一組平行線在成像平面中應(yīng)該只交于一點。但是由于相機的鏡頭存在一定畸變,直線檢測也存在誤差,在圖像中檢測到的對應(yīng)直線并不一定精確交于一點。為此在聚類中設(shè)置閾值Dthreshold來控制這種偏差的允許范圍。聚類后的每簇直線到該消失點的距離不得大于Dthreshold。存在由于角域大小限制或各種誤差導(dǎo)致少量平行線進入其他箱或遺漏在外體的情況,聚類中這些直線將會返回到正確的簇中。因此,雖然聚類的初始化實際上限制聚類中每簇直線在圖像中之間夾角的范圍不會超過tα,但聚類可以消除這一限制的影響,從而提高了消失點的精度。另需要指出的是,聚類不能保證去除所有干擾直線。聚類具體步驟如下:(1)對當(dāng)前每簇中的直線用最小二乘算法求取它們的交點,也即三個消失點v1,v2,v3;(2)對圖像中的每一條直線,求出v1,v2,v3到它的距離d1,d2,d3,并設(shè)其中的最小值為di。如果di≤Dthreshold,那么直線將移動到簇i。如果di>Dthreshold,則將它移出三個簇。(3)如果某直線所屬簇發(fā)生變化則跳轉(zhuǎn)至(1),若均無變化則結(jié)束。聚類所得到的三個方向的消失點還需要進一步檢查以確認(rèn)是否是虛假消失點。如果檢測滿足下面兩個條件,則認(rèn)為得到的三個消失點是正確的。否則,將候選簇分別替換原先三個簇中的一個,并重新進行聚類,直到三個消失點滿足條件。若任意三個簇的組合均不滿足條件,那么檢測失敗。檢測虛假消失點的標(biāo)準(zhǔn)如下:(1)三個消失點的三角形標(biāo)準(zhǔn)三個消失點組成的三角形一定是銳角三角形(如3.1中所述)。(2)相機焦距標(biāo)準(zhǔn)設(shè)三個消失點在圖像坐標(biāo)系中坐標(biāo)分別為v1(x1,y1),v2(x2,y2),v3(x3,y3),u0點坐標(biāo)(x0,y0),則相機焦距f為:f=?((x1?x0)?(x2?x0)+(y1?y0)?(y2?y0))???????????????????????????????????√,(2)f=-((x1-x0)*(x2-x0)+(y1-y0)*(y2-y0)),(2)將聚類后得到的消失點坐標(biāo)代入該式所得到的相機的焦距應(yīng)該符合實際情況,至少公式中根號內(nèi)不能為負(fù)。如果相機焦距準(zhǔn)確范圍已知,那么該標(biāo)準(zhǔn)將具有更強的判別能力。3聚類去除噪聲后的部分圖像實驗采用佳能powershotA70數(shù)碼相機對人工環(huán)境進行拍攝。圖3-a是暨南大學(xué)計算機系實驗室窗外的真實場景。實驗中圖片大小為320×240,256灰度級,程序中各參數(shù)設(shè)定如下:tα=30°,Dt=30,Dthreshold=10,景深設(shè)為無窮遠。對圖3(a)使用Canny算子提取邊緣并二值化后得到圖3(b)。圖3(c)顯示了對圖3(b)進行Hough變換后提取到的直線。圖3(d)顯示了聚類初始化中接近水平方向30°角域中的所有直線。圖3(e)顯示了該方向采用2.2中的投票方法去掉噪聲后的結(jié)果。圖3(f)顯示了該方向聚類之后得到的消失點所對應(yīng)線段,對其使用最小二乘算法將得到最終消失點坐標(biāo)?？梢钥闯鐾镀狈椒ㄓ行У娜コ嗽肼?而聚類則進一步去除了偏差相對比較大的直線。圖3(g)和圖3(h)分別顯示了另一簇中去噪聲和聚類后的圖像。對比兩幅圖可以明顯發(fā)現(xiàn)圖3(h)中下方的線段在聚類之前并不在該簇。再對比實際圖像圖3(a),可以看出圖3(h)下方線段除最左下為干擾線段外,其他與圖中其他線段均為圖3(a)中房屋右側(cè)水平方向輪廓,實際空間中這些直線平行。因此聚類結(jié)果與實際相符合,而簇中增加的直線提高了消失點坐標(biāo)的準(zhǔn)確度。圖3(i)和圖3(j)分別顯示了第三個消失點方向的初始直線和最終直線。根據(jù)這些直線求得三個方向消失點坐標(biāo)為(988,230)、(179,-1096)、(-25,212),相機焦距為347。該坐標(biāo)以圖像左上角為原點,x軸水平方向向右為正,y軸垂直方向向下為正。為了驗證結(jié)果的正確性,將這些數(shù)據(jù)代入圖1,并以圖像幾何中心近似代表圖像主點u0,可知三個消失點方向近似地相互正交。同時對圖3-a作水平翻轉(zhuǎn)后,再進行三個消失點檢測,結(jié)果為(-706,231)、(165,-1286)、(349,210),它們之間的相對位置與原圖接近,垂直方向上的偏差則稍大一點。圖3-i是另一幅建筑物圖像,圖3-j顯示了對圖3-i進行Hough變換后提取的直線。由于建筑物正面的直線信息非常豐富,而且之間夾角較大,導(dǎo)致這些直線進入了兩個主角域。但程序檢測到它們不滿足三角形標(biāo)準(zhǔn),