機(jī)器視覺算法與應(yīng)用筆記

機(jī)器視覺算法與應(yīng)用筆記1、相機(jī)的信噪比、SNR=1時(shí)（光強(qiáng)可探測到的最小光強(qiáng)，絕對靈敏度），動(dòng)態(tài)增益為光強(qiáng).sat/光強(qiáng).min（dB/位），量子效率是波長的函數(shù)：η=η（λ）--CCD比CMOS靈敏，動(dòng)態(tài)范圍大。2、數(shù)據(jù)結(jié)構(gòu)：圖像、區(qū)域和亞像素輪廓圖像：彩色攝像機(jī)采集的是每個(gè)像素對應(yīng)的三個(gè)采樣結(jié)果（RGB三通道圖像）、圖像通道可被看作一個(gè)二維數(shù)組，設(shè)計(jì)語言中的表示圖像的數(shù)據(jù)結(jié)構(gòu)；兩種約定：離散函數(shù)（點(diǎn)對點(diǎn)）RRn、連續(xù)函數(shù)：R2Rn。區(qū)域：可以表示一幅圖像中一個(gè)任意的像素子集，區(qū)域定義為離散平面的一個(gè)任意子集：R∈Z2，將圖像處理閑置在某一特定的感興趣區(qū)域（一幅圖像可被看作圖像所有像素點(diǎn)的矩形感興趣區(qū)域）。二值圖像特征區(qū)域：用1表示在區(qū)域內(nèi)的點(diǎn)，用0表示不在區(qū)域內(nèi)的點(diǎn)；行程表示法：每次行程的最小量的數(shù)據(jù)表示行程的縱坐標(biāo)、行程開始和行程結(jié)束對應(yīng)橫坐標(biāo)值。行程編碼較二值圖像節(jié)省存儲(chǔ)空間（行程編碼保存在16位整數(shù)，須要24個(gè)字節(jié)，而采用二值圖像描述區(qū)域，每個(gè)像素點(diǎn)占1個(gè)字節(jié)，則有35個(gè)字節(jié)）。行程編碼保存的只是區(qū)域的邊界。為描述多個(gè)區(qū)域，采用鏈表或數(shù)組來保存采用形成編碼描述的多個(gè)區(qū)域，每個(gè)區(qū)域的信息是被獨(dú)立保存和處理的。亞像素輪廓：比像素分辨率更高的精度（亞像素閾值分割或亞像素邊緣提取）。輪廓基本上可被描述成多表型，然后用排序來說明哪些控制點(diǎn)是彼此相連的，在計(jì)算機(jī)里，輪廓只是用浮點(diǎn)數(shù)表示的橫和縱坐標(biāo)所構(gòu)成的數(shù)組來表示。3、圖像增強(qiáng)：硬件采集的圖像質(zhì)量不好，可應(yīng)用軟件進(jìn)行增強(qiáng)?；叶戎底儞Q：由于光源照明的影響，局部的圖像會(huì)產(chǎn)生對比度與設(shè)定值不一致，需要局部的去增強(qiáng)對比度。為提高變換速度，灰度值變換通常通過查找表（LUT）來進(jìn)行（將灰度輸入值變換后輸出保存到查找表中），最重要的灰度值變換是線性灰度值比例縮放：f(g)=ag+b（ag表示對比度，b表示亮度）。為了自動(dòng)獲取圖像灰度值變換參數(shù)a、b的值，通過圖像感興趣區(qū)域的最大與最小灰度值設(shè)置出a、b的值（灰度值歸一化處理）。灰度直方圖表示某一灰度值i出現(xiàn)的概上的所有點(diǎn)都在點(diǎn)集中，這個(gè)點(diǎn)集就是凸集），所以可以利用凸包來確定某區(qū)域（面積與該區(qū)域凸包比值為凸性）；然后再跟蹤區(qū)域邊界獲取一個(gè)輪廓，獲取到輪廓線段的歐幾里得距離，進(jìn)行求和就得到輪廓長度L,加上面積a引出緊性概念?；叶戎堤卣鳎合纫鰠^(qū)域內(nèi)最大最小灰度值，在兩個(gè)不同參考區(qū)域內(nèi)計(jì)算平均灰度值可測量出線性亮度變化，從而計(jì)算一個(gè)線性灰度值變換（平均灰度值是一個(gè)統(tǒng)計(jì)特征，另一個(gè)統(tǒng)計(jì)特征是灰度值的方差和標(biāo)準(zhǔn)偏差。（基于矩的灰度值特征與相應(yīng)的局域矩的區(qū)域特性非常相似）使用區(qū)域的特征函數(shù)作為灰度值時(shí)，灰度值矩就被簡化為區(qū)域矩（特征函數(shù)被用來解釋1為像素在區(qū)域內(nèi)，0為像素在區(qū)域外，在處理小物體上，灰度值矩能得到準(zhǔn)確度更好地處理結(jié)果）；定義一個(gè)模糊隸屬關(guān)系：灰度值低于北京灰度值最小值的每個(gè)像素，其隸屬關(guān)系值為0，高于前景灰度值最大值的每個(gè)像素，關(guān)系為1，灰度值落在此范圍內(nèi)，其隸屬關(guān)系通過線性插值得到，而這一計(jì)算過程需要使用浮點(diǎn)圖像，所以將隸屬關(guān)系值按比例放大到一個(gè)b位整數(shù)圖像上（一般8位），再通過計(jì)算灰度值矩和中心灰度矩判斷區(qū)域特征。輪廓特征：亞像素精度輪廓長度的計(jì)算容易些，因?yàn)檩喞呀?jīng)用于控制點(diǎn)，假設(shè)一個(gè)閉合輪廓通過來表示，R表示輪廓圍繞的亞像素精度區(qū)域，則（p,q）階矩被定義為：，與區(qū)域矩類似，可定義歸一化的矩和中心距。輪廓的面積和重心計(jì)算公式為：重心：6、攝像機(jī)標(biāo)定：是準(zhǔn)確測量目標(biāo)物體的必要過程，由于每個(gè)鏡頭的畸變都不一樣，通過標(biāo)定校正鏡頭畸變，同時(shí)可以得到在世界坐標(biāo)系中目標(biāo)物體米制單位的坐標(biāo)。建立攝像機(jī)模型（線陣攝像機(jī)）：標(biāo)定就是確定攝像機(jī)參數(shù)的過程。線陣攝像機(jī)的攝像機(jī)模型：運(yùn)動(dòng)向量世界坐標(biāo)系——>攝像機(jī)坐標(biāo)系——>圖像坐標(biāo)系（變換關(guān)系）。線陣相機(jī)中，由于目標(biāo)與相機(jī)的相對運(yùn)動(dòng)以及鏡頭的畸變，會(huì)使得目標(biāo)（世界坐標(biāo)系）的點(diǎn)投影到圖像坐標(biāo)系時(shí)產(chǎn)生錯(cuò)位。九個(gè)參數(shù)為攝像機(jī)的內(nèi)參，它們確定了攝像機(jī)從三維空間到二維圖像的投影關(guān)系。主要的影響因素有：鏡頭畸變以及運(yùn)動(dòng)與相機(jī)不匹配或者方向不符。標(biāo)定過程：為了進(jìn)行攝像機(jī)標(biāo)定，必須已知世界坐標(biāo)系中足夠多三維空間點(diǎn)的坐標(biāo)，找到這些空間點(diǎn)在圖像中的投影點(diǎn)的二維坐標(biāo)，然后再通過它們確定其它參數(shù)。利用平面標(biāo)定板進(jìn)行標(biāo)定精確：易于操作、精度高并且可應(yīng)用在背光照明中；步驟；將標(biāo)定板利用閾值分割與背景分割出來，找到含m*n個(gè)孔洞區(qū)域——>利用亞像素邊緣提取標(biāo)定板各個(gè)圓點(diǎn)的邊緣，將提取邊緣擬合成橢圓——>基于橢圓的最小外界四邊形可以很容易的確定標(biāo)定標(biāo)記與它們在圖像中投影之間的對應(yīng)關(guān)系，再根據(jù)四邊形邊角來確定方向從而確定了標(biāo)定標(biāo)記及其投影關(guān)系——>確定標(biāo)記中心點(diǎn)mi與通過投影計(jì)算得到的坐標(biāo)之間的距離最小化來確定參數(shù)：（k=mn是標(biāo)定板上標(biāo)記的數(shù)量。內(nèi)參可以通過攝像機(jī)及鏡頭的參數(shù)說明得到，而外參則需要通過之前橢圓尺寸的到一個(gè)初始值（最優(yōu)化過程）。在標(biāo)定時(shí)，需要采集多幅圖像多個(gè)不同標(biāo)記進(jìn)行標(biāo)定，因?yàn)閿z像機(jī)模型參數(shù)不是唯一解，可以成倍放大或者縮?。ê啿⑿裕?，為使精度更高，所有圖像中標(biāo)定板的位置應(yīng)該覆蓋圖像的四個(gè)角（畸變性最高）。攝像機(jī)參數(shù)的準(zhǔn)確度：（避免簡并性）主距、焦距、徑向畸變等參數(shù)的不唯一性，需要通過對多幅圖像的標(biāo)定確定各自參數(shù)（相關(guān)性：每幅圖像都對相機(jī)參數(shù)有著制約性），最終確定出一最準(zhǔn)確參數(shù)。7、模板匹配：為經(jīng)常發(fā)生變化的物體提供此類被測物體原型即可對系統(tǒng)進(jìn)行簡單配置，從而可以尋找所有類型的目標(biāo)物的方法。計(jì)算模板的所有相關(guān)位姿與圖像各個(gè)位置之間的相似度（該項(xiàng)目總體是目標(biāo)位姿的平移），該模式也可以確定圖像中含有多少個(gè)目標(biāo)物。三個(gè)關(guān)鍵詞：一幅圖像、感興趣區(qū)域、相似度基于灰度值的模板匹配：（s為相似度，t為模板各點(diǎn)的灰度值，f為圖像感興趣區(qū)域的灰度值），最簡單的方法是計(jì)算模板與圖像之間差值的絕對值的總和或所有差值的平方和（當(dāng)然必須選擇一個(gè)閾值提取基準(zhǔn)位置）。相似則相似度量為0，不相似則相似度量大于0，該方法受光照影響較大；不受光照線性變化影響的相似度量是歸一化相關(guān)系數(shù)（通過模板與圖像的平均灰度值及所有像素灰度值的方差）度量值ncc(r,c)=±1時(shí)，模板與圖像之間才完全匹配，設(shè)定閾值判斷是否能達(dá)到完全匹配。使用停止標(biāo)準(zhǔn)（）可以提速比例為一個(gè)常數(shù)，但不改變算法復(fù)雜度。使用圖形金字塔進(jìn)行匹配：復(fù)雜度（基于灰度，不適用停止標(biāo)準(zhǔn)）wh為圖像的長寬，n為模板中點(diǎn)的數(shù)量——>搜索策略1；將圖像多次縮小2倍建立起來的數(shù)據(jù)結(jié)構(gòu)被稱為圖像金字塔，均值濾波器是創(chuàng)建圖像金字塔的首選濾波器（高斯濾波器耗時(shí)大，且有頻率響應(yīng)問題），搜索時(shí)區(qū)域越來越大（圖像持續(xù)平滑和二次采樣），到高層是回使得圖像不清晰失真（馬賽克效果）。搜索策略：計(jì)算出搜索圖像和模板的適當(dāng)層數(shù)的圖像金字塔（必須保證最高層上目標(biāo)能夠清晰辨別，然后進(jìn)行一次完美的匹配）——>在最高層搜索的模板實(shí)例都將追蹤到圖像金字塔的最底層（將找到的匹配點(diǎn)的坐標(biāo)乘2，直到找不到匹配對象或者到金字塔最底層結(jié)束）——>在高層，圖像灰度值會(huì)發(fā)生變化，需要將閾值放松，保證找到所有可能的匹配位置（SAD/SSD相似度量需要提高閾值，NCC相似度量使用稍微低一點(diǎn)的閾值）從高到低去搜索，先搜索再匹配，并且最終追蹤到最底層。基于灰度值的亞像素精度匹配：為了使模板位姿的準(zhǔn)確度更高，可以提取亞像素精度的局部最小值或最大值，然后將局部最小值或最大值附件3*3的鄰域內(nèi)相似度量擬合成一個(gè)多項(xiàng)式，然后求該多項(xiàng)式的局部最大值或最小值。也可以利用最小二乘法擬合匹配，但是該方法受光照影響較大，需要建立明確的光照變化模型（復(fù)雜）?？煽康哪０迤ヅ渌惴ǎ簽榱四軌蛟诖嬖谡趽酢⒒靵y和非線性光照變化的情況下找到目標(biāo)物體，基于灰度的匹配算法不能夠?qū)崿F(xiàn)，需要更好更準(zhǔn)確的方法。A、方法一、將圖像邊緣分割為多個(gè)幾何基元（分割為線段和圓?。?；方法二、基于邊緣的分割找到邊緣上的突變點(diǎn)然后在圖像匹配這些突變點(diǎn)（點(diǎn)可以直接從圖像中提取，不需要首先提取邊緣）。圖像匹配算法中的一大類是基于模板邊緣與圖像邊緣之間的距離，計(jì)算分割后搜索圖像背景的距離變換，如果模板邊緣點(diǎn)與圖像邊緣點(diǎn)之間的平均距離小于一個(gè)閾值，則被認(rèn)為是模板的實(shí)例?；谶吘壍木讲钇ヅ渌惴ú皇芄庹蘸突靵y影響，但是精確度不高；基于邊緣的Hausdorff距離（圖像邊緣點(diǎn)和模板邊緣點(diǎn)）算法（運(yùn)算量比較大），選取距離的r大距離需要較準(zhǔn)確，并且難以基于相似度量的內(nèi)插值算法得到亞像素精度的位姿；基于邊緣像素點(diǎn)（組點(diǎn)）顯示梯度向量表示相應(yīng)方向，通過霍夫變換得到累計(jì)數(shù)組，再對圖像進(jìn)行閾值分割計(jì)算局部最大值從而得到目標(biāo)區(qū)域的位置。B、基于幾何基元的匹配算法：模板中包含m個(gè)幾何基元，而圖像中基元數(shù)量大于n，此時(shí)在模板與圖像之間存在的指數(shù)關(guān)系：方法一、幾何哈希法（基于三個(gè)點(diǎn)可以定義二維平面的方法）：減少模板與圖像點(diǎn)之間對應(yīng)關(guān)系的工作量，利用最小二乘法或者選中的三個(gè)基準(zhǔn)點(diǎn)進(jìn)行仿射變換將圖像變換然后與模板匹配，但是該方法不適合在線狀態(tài)（選中的三個(gè)基準(zhǔn)點(diǎn)可能存在誤差，則導(dǎo)致計(jì)算結(jié)果均有誤差）——>以上算法基于圖像基元；最后一類算法基于幾何基元（線段或者圓?。簩D像的輪廓線分割為線段，選擇最長的十條線段作為特殊線段（利用線段臨近情況排序），為了產(chǎn)生一個(gè)假設(shè)，先用一條線段匹配，然后再通過其它線段匹配驗(yàn)證這個(gè)假設(shè)；也可以通過拐角（模板邊界中相鄰的兩條有一定拐角的線段組合），利用兩個(gè)拐角之間的幾何約束排除錯(cuò)誤匹配位置，如果兩者之間的差異不超過一個(gè)閾值，那么這個(gè)匹配位置被接受。模板或搜索圖像中包含少數(shù)幾個(gè)明顯的幾何基元，利用幾何基元匹配算法適當(dāng)；基于像素算法優(yōu)勢在于它們可以表示任意形狀的模板，而另一方面，幾何匹配算法受限于一些可以使用少量幾何基元組成的形狀相對簡單的模板。以上方法都需要提取目標(biāo)邊緣，受光照灰度影響較大。利用相似度量（基于圖像金字塔的分層識(shí)別策略，不受遮蔽、混亂和非線性光照變化影響）：首先將一個(gè)目標(biāo)對象的模板定義為點(diǎn)集：和每個(gè)點(diǎn)關(guān)聯(lián)的方向向量(方向向量可以通過許多