基于圖像處理的機(jī)器人視覺(jué)相關(guān)技術(shù)研究

1、基于圖像處理的機(jī)器人視覺(jué)相關(guān)技術(shù)研究一、引言 視覺(jué)是人類獲取信息最豐富的手段，通常人類75%以上的信息來(lái)自眼睛，而對(duì)于駕駛員來(lái)說(shuō)，超過(guò)90%的信息來(lái)自于視覺(jué)。同樣，視覺(jué)系統(tǒng)是機(jī)器人系統(tǒng)的重要組成部分之一，視覺(jué)傳感器也是機(jī)器人獲得周圍信息的感知器件。當(dāng)機(jī)器人在特定環(huán)境下作業(yè)，且區(qū)域面積較大時(shí)，單目視覺(jué)不能滿足機(jī)器人導(dǎo)航需求，需要將多幅圖像拼接起來(lái)形成一幅大視場(chǎng)圖像，以便機(jī)器人能夠在相應(yīng)環(huán)境下進(jìn)行快速和準(zhǔn)確作業(yè)。隨著圖像拼接技術(shù)的發(fā)展，圖像拼接技術(shù)開(kāi)始逐漸在機(jī)器人行業(yè)得到廣泛應(yīng)用。在移動(dòng)機(jī)器人領(lǐng)域，利用視覺(jué)系統(tǒng)采集的具有重疊區(qū)域圖像進(jìn)行拼接形成大視角的圖像，可以更加準(zhǔn)確的分析現(xiàn)場(chǎng)情況，為機(jī)器人作業(yè)

2、提供幫助。本文將對(duì)機(jī)器視覺(jué)中應(yīng)用到的圖像格式轉(zhuǎn)換與圖像拼接技術(shù)進(jìn)行闡述。二 圖像格式轉(zhuǎn)換 機(jī)器人的視覺(jué)系統(tǒng)是由攝像頭或者CMOS/CCD等圖像感應(yīng)器組成，圖像傳感器能將捕捉到的光源信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，存儲(chǔ)為RAW格式文件， RAW文件是一種記錄了數(shù)碼相機(jī)傳感器的原始信息，同時(shí)記錄了由相機(jī)拍攝所產(chǎn)生的一些原數(shù)據(jù)（Metadata，如ISO的設(shè)置、快門速度、光圈值、白平衡等）的文件。RAW是未經(jīng)處理、也未經(jīng)壓縮的格式，可以把RAW概念化為“原始圖像編碼數(shù)據(jù)”。對(duì)RAW文件的處理不方便看到相應(yīng)具體效果，本文處理方式是將原始數(shù)據(jù)文件格式轉(zhuǎn)換成方便處理的圖像格式再處理。目前比較流行的有多種圖像文件格式，

3、典型的有BMP、GIF、TIFF、JPEG等，圖像的文件格式在圖像處理中有著重要的作用，其中BMP圖像格式應(yīng)用最廣泛，本節(jié)將簡(jiǎn)要介紹BMP圖像文件格式。BMP（Bitmap File）是一種Windows采用的點(diǎn)陣式圖像文件格式，主要由位圖文件頭、位圖信息頭、位圖調(diào)色板以及位圖數(shù)據(jù)四個(gè)部組成。結(jié)構(gòu)如表1所示：表1 BMP位圖文件組成位圖文件組成標(biāo)示名稱作用與用途頭文件BITMAPFILEHEADER文件類型與數(shù)據(jù)啟示位置等信息頭BITMAPINFORMATION位圖大小與長(zhǎng)、寬、高等信息調(diào)色板RGBQUAD由顏色格式確定調(diào)色板數(shù)組位圖數(shù)據(jù)BYTE位圖數(shù)據(jù)，確定壓縮格式等BMP位圖文件的第四部分

4、是實(shí)際的圖像數(shù)據(jù)。對(duì)于具有調(diào)色板的位圖，圖像數(shù)據(jù)就是該像素在調(diào)色板中的索引值。對(duì)于2色黑白圖像，每個(gè)字節(jié)可以表示8個(gè)像素，對(duì)于16色像素，每個(gè)字節(jié)可以表示兩個(gè)像素，對(duì)于256色像素，每個(gè)字節(jié)可以表示一個(gè)像素。其中，圖像的位圖數(shù)據(jù)是按行存儲(chǔ)的，每一行的字節(jié)數(shù)按照4B邊界對(duì)其，也即每一行的字節(jié)數(shù)是4的倍數(shù)，不足的字節(jié)用0來(lái)補(bǔ)齊。圖像的位圖數(shù)據(jù)是按行從下到上、從左到右來(lái)排列的。也就是說(shuō)，從圖像的位圖數(shù)據(jù)中最先讀到的是圖像最下面一行最左邊的像素，然后讀到該行左邊的第二個(gè)像素，接著讀到倒數(shù)第二行最左邊的像素，緊接著倒數(shù)第二行第二個(gè)像素，以此類推，最后讀到圖像上第一行最右邊的像素。這也是圖像在顯示器中顯示

5、的順序。將原始RAW格式文件按照一定規(guī)則添加相應(yīng)的頭文件以及相應(yīng)的信息頭等，能將原始RAW文件轉(zhuǎn)換成BMP格式位圖文件。轉(zhuǎn)換前后文件如圖1所示。 圖1 圖像數(shù)據(jù)采集與轉(zhuǎn)化結(jié)果三、圖像拼接 通過(guò)圖像拼接技術(shù)，可以擴(kuò)展圖像的分辨率，得到寬視角的圖像。在平時(shí)的日常生活中，使用普通相機(jī)來(lái)獲取寬視野的場(chǎng)景時(shí)，必須通過(guò)調(diào)節(jié)相機(jī)的焦距，才能拍攝到完整的場(chǎng)景，但是獲得的全景照片分辨率相對(duì)降低。另外，由于距離原因是限制，一些大尺寸物體是無(wú)法用一張照片拍攝下來(lái)的。為了確保圖像分辨率的條件下獲取大視野范圍的場(chǎng)景圖片，人們提出圖像拼接技術(shù)，將圖像進(jìn)行無(wú)縫拼接。例如，在微小型履帶式移動(dòng)機(jī)器人導(dǎo)航系統(tǒng)中，單目視覺(jué)不能滿足

6、機(jī)器人是視覺(jué)導(dǎo)航需要，利用圖像處理技術(shù)，將機(jī)器人雙目采集的圖像進(jìn)行拼接，可以增大機(jī)器人的視野，給機(jī)器人的視覺(jué)導(dǎo)航提供方便。其中，圖像拼接是一個(gè)多步驟的過(guò)程，大體上看，可以分為圖像獲取、圖像預(yù)處理、圖像配準(zhǔn)、圖像融合等步驟。由于采取的方法各不相同，不同方法間步驟也有較大的不同，但總體過(guò)程相差無(wú)幾。圖像拼接的流程圖如圖2所示。圖2 圖像拼接基本流程 3.1 圖像預(yù)處理 由于圖像采集過(guò)程中環(huán)境光線和攝像機(jī)本身成像質(zhì)量以及格式轉(zhuǎn)換等因素的影響，有外界的噪聲加入到圖像中，使圖像會(huì)發(fā)生不同程度的失真。因此對(duì)所采集到的圖像進(jìn)行處理前，需要先對(duì)圖像噪聲進(jìn)行平滑除噪操作。由于我們只要求選擇有突出感興趣的特征，衰

7、減不需要的特征，故預(yù)處理后的圖像并不需要去逼近原圖像，預(yù)處理后的圖像并不考慮圖像的降質(zhì)，目前預(yù)處理方法主要是去噪，高斯去噪算法比較常用。高斯濾波器是根據(jù)高斯函數(shù)的形狀來(lái)選擇權(quán)值的線性平滑濾波器。高斯平滑濾波器對(duì)去除服從正態(tài)分布的噪聲有很好的效果。一維高斯函數(shù)為 其中的決定了高斯濾波器的寬度。對(duì)圖像來(lái)說(shuō)，常用二維零均值離散高斯函數(shù)做平滑濾波器，函數(shù)表達(dá)式如下：使用高斯濾波的理由有如下幾條:1、高斯函數(shù)具有高斯函數(shù)是單值函數(shù)。因?yàn)楦咚购瘮?shù)對(duì)誰(shuí)都不偏袒圖像的邊緣在哪里，高斯函數(shù)在各個(gè)方向的平滑程度是相同的。2、高斯函數(shù)具有旋轉(zhuǎn)不變的特性，主要是因?yàn)樗诠ぷ鞯臅r(shí)候是用用像素鄰域的加權(quán)均值來(lái)代替該點(diǎn)的像

8、素值。3、高斯函數(shù)的付立葉變換頻譜是單瓣的，它能夠去除高頻信號(hào)同時(shí)又保留有用的信號(hào)！4、高斯函數(shù)說(shuō)了它的參數(shù)決定了你要的平滑程度越大，平滑的就越厲害5、最后一點(diǎn)就是二維高斯函數(shù)卷積可以分兩步來(lái)進(jìn)行，首先將圖像與一維高斯函數(shù)進(jìn)行卷積，然后將卷積結(jié)果與方向垂直的相同一維高斯函數(shù)卷積。因此，二維高斯濾波的計(jì)算量隨濾波模板寬度成線性增長(zhǎng)而不是成平方增長(zhǎng)。3.2 圖像配準(zhǔn) 對(duì)圖像進(jìn)行harris角點(diǎn)算法的進(jìn)行圖像角點(diǎn)的提取，利用harris算法找出一幅圖像中像素?cái)?shù)據(jù)比較突出的點(diǎn)，即為特征點(diǎn)，或角點(diǎn)。它的具體算法是通過(guò)分析像素周圍區(qū)域自相關(guān)函數(shù)的自相關(guān)矩陣特征值來(lái)判斷某一點(diǎn)是否為角點(diǎn)。Harris角點(diǎn)檢測(cè)

9、算子定義了任意方向上的自相關(guān)值E（u，v）為一組方形區(qū)域中圖像灰度誤差的總和，即：u，v為x，y方向上的微小偏移量。I（x，y）為（x，y）像素點(diǎn)的灰度值，I（x+u，y+v）為（x，y）有微小偏移后的灰度值：（x，y）為高斯濾波器，用來(lái)過(guò)濾噪聲。它的泰勒展開(kāi)式為 M為2x2的對(duì)稱矩陣 式中I I為像素點(diǎn)沿著x,y方向的一階導(dǎo)數(shù)。 M是局部自相關(guān)函數(shù)，其特征值可以表示局部自相關(guān)函數(shù)的曲率。由于Harris具有各向同性，故M也可以保持其旋轉(zhuǎn)的不變性。實(shí)際應(yīng)用中用來(lái)計(jì)算角點(diǎn)的響應(yīng)函數(shù)如下：其中1，2為M矩陣的兩個(gè)特征值，可以表示局部自相關(guān)函數(shù)的曲率，Det（M）代表求矩陣行列式，Trace（M）代

10、表求矩陣的跡，k取經(jīng)驗(yàn)值0.04-0.06。通過(guò)對(duì)兩個(gè)特征值進(jìn)行分析，可得到以下三個(gè)情況：（1） 如果兩個(gè)特征值都比較小，說(shuō)明窗口所處區(qū)域灰度值變化比較平坦，即沿著任意方向移動(dòng)，函數(shù)E（u，v）的變化不明顯。（2） 如果兩個(gè)特征值一大一小，說(shuō)明這是一條邊緣線。當(dāng)沿著邊緣方向移動(dòng)時(shí)，函數(shù)E（u，v）出現(xiàn)輕微變化，而當(dāng)垂直于邊緣移動(dòng)時(shí)，函數(shù)值（u，v）則變化劇烈。（3） 若兩個(gè)特征值都比較大，則表明該區(qū)域呈現(xiàn)尖峰狀。當(dāng)沿著任意方向移動(dòng)時(shí)，函數(shù)E（u，v）變化劇烈，這意味著該像素點(diǎn)是一個(gè)焦點(diǎn)。提取的角點(diǎn)流程如圖3 所示 圖3 角點(diǎn)提取流程圖 判斷角點(diǎn)時(shí)，先對(duì)R進(jìn)行非極大窗口抑制，并設(shè)定一個(gè)閥值T，本

11、例中T值為0.01倍最大R值，當(dāng)計(jì)算出來(lái)的R值大于閥值T，即可以表示找到一個(gè)角點(diǎn)，否則就不是。特征點(diǎn)一般來(lái)說(shuō)是局域范圍內(nèi)的極大興趣值對(duì)應(yīng)像素點(diǎn)。圖4所示為經(jīng)過(guò)高斯去噪后所提取的特征點(diǎn)，圖中點(diǎn)狀標(biāo)記符號(hào)即為特征點(diǎn)，為了增加圖像中的特征點(diǎn)，添加了兩個(gè)標(biāo)注性符號(hào)，為了方便圖像在之后的拼接中配準(zhǔn)。 圖4 高斯去噪提取的特征點(diǎn)Harris算法性能分析：（1） 該算法中只用到灰度的一階方差以及高斯濾波，計(jì)算量相對(duì)較小。（2） Harris算法具有縮放不變性，圖像經(jīng)過(guò)縮放前后角點(diǎn)檢測(cè)基本一致，這是因?yàn)樵撍惴ɡ昧藞D像的一階導(dǎo)數(shù)，可見(jiàn)Harris算法能較好的適應(yīng)縮放變換。（3） Harris算法在紋理信息較為

12、豐富的區(qū)域可以提取出大量的角點(diǎn)，而在紋理吸塑的區(qū)域圖區(qū)的角點(diǎn)數(shù)較少，比較真實(shí)的反映了圖像角點(diǎn)的位置。但是Harris角點(diǎn)也存在著不足之處，主要是對(duì)噪聲比較敏感，這就要求在選取高斯平滑函數(shù)的窗口大小難以設(shè)定，而且對(duì)旋轉(zhuǎn)也比較敏感，因?yàn)閷?duì)自相關(guān)矩陣M利用的是水平和垂直梯度來(lái)計(jì)算的，也即角點(diǎn)量是由水平和垂直方向的梯度決定。并且角點(diǎn)提取的效果依賴于閥值的設(shè)定，而閥值的選取又依賴于經(jīng)驗(yàn)值，所有也有一定的不確定性。確定角點(diǎn)之后，要對(duì)兩幅圖像行進(jìn)角點(diǎn)匹配，角點(diǎn)匹配常用的方法為相似測(cè)度NNC（normalized cross correlation 歸一化互相關(guān)）方法。NNC的計(jì)算公式如下：式中，W1和W2是

13、分別以I1的角點(diǎn)P1和I2的角點(diǎn)P2為中心點(diǎn)兩個(gè)大小相同窗口，u1，u2為灰度均值，（xi，yi）為取值范圍的窗口大小。NCC算法通過(guò)計(jì)算模版圖像和搜索圖像互相關(guān)值來(lái)確定匹配程度，互相關(guān)值最大時(shí)位置決定模版圖像在搜索圖像中的位置，進(jìn)行角點(diǎn)匹配時(shí)，先對(duì)圖像I1中的任一角點(diǎn)，尋找到圖像I2當(dāng)中和它的相關(guān)性最大的角點(diǎn)，當(dāng)雙向搜索到最大相關(guān)性角點(diǎn)彼此都對(duì)應(yīng)并且相關(guān)性最大時(shí)候，我們就認(rèn)為找到了一對(duì)候選匹配點(diǎn)。具體實(shí)施中，將兩幅圖像進(jìn)行Harris角點(diǎn)檢測(cè)后，分別得到角點(diǎn)對(duì)應(yīng)與該圖像的坐標(biāo)位置，以該坐標(biāo)位置為中心，分別取其附近的8個(gè)像素值，然后進(jìn)行與另一幅圖像進(jìn)行匹配，找出距離最小的點(diǎn)作為匹配點(diǎn)。接著，將

14、圖像一中的角點(diǎn)1與圖像二中的所有角點(diǎn)進(jìn)行相減，得到一個(gè)最小誤差值，并記錄下該位置，這樣依次將圖像一中的角點(diǎn)2，角點(diǎn)3一直到最后的角點(diǎn)都進(jìn)行相減，即可得到兩幅圖像之間的最佳匹配點(diǎn)。3.3 圖像融合確定了待配準(zhǔn)兩幅圖像的對(duì)應(yīng)點(diǎn)后，利用這些對(duì)應(yīng)的點(diǎn)對(duì)，以一幅圖像為參考，將另外一幅圖像歸一化到以參考圖像為標(biāo)準(zhǔn)的坐標(biāo)系中，將所得的圖像最后需要對(duì)圖像進(jìn)行融合，即對(duì)圖像的縫合，以對(duì)縫合的邊界進(jìn)行平滑處理，以使得圖像看起來(lái)自然。常用的圖像融合方法為加權(quán)平均法。加權(quán)平均法對(duì)圖像的融合的原理為對(duì)重合區(qū)域的像素值先進(jìn)行加權(quán)，之后再疊加平均。如下式所示：這里w1和w2分別是第一幅圖像和第二幅圖像中重合區(qū)域所對(duì)應(yīng)的像素

15、的權(quán)值，并且滿足w1+w2=1，而且0<w1<1,0<w2<1，選擇適當(dāng)?shù)臋?quán)值，可以使重疊的區(qū)域?qū)崿F(xiàn)平滑的過(guò)渡，并且能夠消除拼接的痕跡。其中，權(quán)值的選擇使用的是Szeliski提出的漸入漸出的方法：其中，w1和w2與重疊區(qū)域的寬度有關(guān)，一般取其中，width表示重疊區(qū)域?qū)挾?，并且w1+w2=1，0<w1<1,0<w2<1，。在重疊區(qū)域中，w1由1逐漸變到0，w2由0逐漸變到1，由此即可以實(shí)現(xiàn)重疊區(qū)域的f1慢慢平滑過(guò)渡到f2。如圖5所示：圖5 加權(quán)平均融合過(guò)程3.4 圖像拼接實(shí)驗(yàn)在實(shí)驗(yàn)過(guò)程中，首先為了驗(yàn)證拼接的可靠性以及算法的準(zhǔn)確度，先將一幅BMP圖像分割成兩幅具有交叉部分的子圖，利用這兩幅圖像進(jìn)行拼接，將拼接后的圖像與原圖進(jìn)行比較，結(jié)果如下：圖6分割前原圖像 圖7 分割后圖像 圖8 角點(diǎn)提取圖9 拼接后圖像從以上拼接過(guò)程中以及拼接后的圖像與原圖像進(jìn)行比較后可以看出，圖像經(jīng)過(guò)角點(diǎn)提取然后拼接融合等過(guò)程，可以很好的拼接兩幅具有交叉部分的圖像。四、總結(jié)本文主