基于攝像頭的圖像采集與處理應(yīng)用

1、基于攝像頭的圖像采集與處理應(yīng)用1、攝像頭工作原理圖像傳感器，是組成數(shù)字?jǐn)z像頭的重要組成部分。根據(jù)元件的材料不同，可分為CCD（Charge Coupled Device，電荷耦合元件）和CMOS（Complementary Metal-Oxide Semiconductor，金屬氧化物半導(dǎo)體元件）兩大類。電荷藕合器件圖像傳感器CCD（Charge Coupled Device），它使用一種高感光度的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成數(shù)字信號(hào)，數(shù)字信號(hào)經(jīng)過壓縮以后由相機(jī)內(nèi)部的閃速存儲(chǔ)器或內(nèi)置硬盤卡保存，因而可以輕而易舉地把數(shù)據(jù)傳輸給計(jì)算機(jī)，并借助于計(jì)算機(jī)的處理手段，根據(jù)

2、需要和想像來修改圖像。CCD由許多感光單位組成，通常以百萬(wàn)像素為單位。當(dāng)CCD表面受到光線照射時(shí)，每個(gè)感光單位會(huì)將電荷反映在組件上，所有的感光單位所產(chǎn)生的信號(hào)加在一起，就構(gòu)成了一幅完整的畫面?；パa(bǔ)性氧化金屬半導(dǎo)體CMOS（Complementary Metal-Oxide Semiconductor）和CCD一樣同為在圖像傳感器中可記錄光線變化的半導(dǎo)體。CMOS主要是利用硅和鍺這兩種元素所做成的半導(dǎo)體，使其在CMOS上共存著帶N（帶電）和 P（帶+電）級(jí)的半導(dǎo)體，這兩個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流即可被處理芯片紀(jì)錄和解讀成影像。然而，CMOS的缺點(diǎn)就是太容易出現(xiàn)雜點(diǎn), 這主要是因?yàn)樵缙诘脑O(shè)計(jì)使CMOS

3、在處理快速變化的影像時(shí)，由于電流變化過于頻繁而會(huì)產(chǎn)生過熱的現(xiàn)象。CCD和CMOS在制造上的主要區(qū)別是CCD是集成在半導(dǎo)體單晶材料上，而CMOS是集成在被稱做金屬氧化物的半導(dǎo)體材料上，工作原理沒有本質(zhì)的區(qū)別。CCD制造工藝較復(fù)雜，采用CCD的攝像頭價(jià)格都會(huì)相對(duì)比較貴。事實(shí)上經(jīng)過技術(shù)改造，目前CCD和CMOS的實(shí)際效果的差距已經(jīng)減小了不少。而且CMOS的制造成本和功耗都要低于CCD不少，所以很多攝像頭生產(chǎn)廠商采用的CMOS感光元件。成像方面：在相同像素下CCD的成像通透性、明銳度都很好，色彩還原、曝光可以保證基本準(zhǔn)確。而CMOS的產(chǎn)品往往通透性一般，對(duì)實(shí)物的色彩還原能力偏弱，曝光也都不太好，由于自

4、身物理特性的原因，CMOS的成像質(zhì)量和CCD還是有一定距離的。但由于低廉的價(jià)格以及高度的整合性，因此在攝像頭領(lǐng)域還是得到了廣泛的應(yīng)用工作原理：為了方便大家理解，我們拿人的眼睛來打個(gè)比方。當(dāng)光線照射景物，景物上的光線反射通過人的晶狀體聚焦，在視網(wǎng)膜上就可以形成圖像，然后視網(wǎng)膜的神經(jīng)感知到圖像將信息傳到大腦，我們就能看見東西了。攝像頭成像的原理和這個(gè)過程非常相似，光線照射景物，景物上的光線反射通過鏡頭聚焦，圖像傳感器就會(huì)感知到圖像。具體部分是這樣的，攝像頭按一定的分辨率，以隔行掃描的方式采集圖像上的點(diǎn)，當(dāng)掃描到某點(diǎn)時(shí)，就通過圖像傳感芯片將該點(diǎn)處圖像的灰度轉(zhuǎn)換成與灰度一一對(duì)應(yīng)的電壓值，然后將此電壓值

5、通過視頻信號(hào)端輸出。如圖1所示，攝像頭連續(xù)地掃描圖像上的一行，則輸出就是一段連續(xù)的電壓信號(hào)，該電壓信號(hào)的高低起伏反映了該行圖像的灰度變化。當(dāng)掃描完一行，視頻信號(hào)端就輸出一個(gè)低于最低視頻信號(hào)電壓的電平（如 0.3V），并保持一段時(shí)間。這樣相當(dāng)于，緊接著每行圖像信號(hào)之后會(huì)有一個(gè)電壓“凹槽”，此“凹槽”叫做行同步脈沖，它是掃描換行的標(biāo)志。然后，跳過一行后（因?yàn)閿z像頭是隔行掃描的），開始掃描新的一行，如此下去，直到掃描完該場(chǎng)的視頻信號(hào)，接著會(huì)出現(xiàn)一段場(chǎng)消隱區(qū)。該區(qū)中有若干個(gè)復(fù)合消隱脈沖，其中有個(gè)持續(xù)時(shí)間遠(yuǎn)長(zhǎng)于其它的消隱脈沖，稱為場(chǎng)同步脈沖，它是掃描換場(chǎng)的標(biāo)志。場(chǎng)同步脈沖標(biāo)志著新的一場(chǎng)的到來，不過，場(chǎng)消

6、隱區(qū)恰好跨在上一場(chǎng)的結(jié)尾和下一場(chǎng)的開始部分，得等場(chǎng)消隱區(qū)過去，下一場(chǎng)的視頻信號(hào)才真正到來。攝像頭每秒掃描25幅圖像，每幅又分奇、偶兩場(chǎng)，先奇場(chǎng)后偶場(chǎng)，故每秒掃描50 場(chǎng)圖像。奇場(chǎng)時(shí)只掃描圖像中的奇數(shù)行，偶場(chǎng)時(shí)則只掃描偶數(shù)行。攝像頭有兩個(gè)重要的指標(biāo)：分辨率和有效像素。分辨率實(shí)際上就是每場(chǎng)行同步脈沖數(shù)，這是因?yàn)樾型矫}沖數(shù)越多，則對(duì)每場(chǎng)圖像掃描的行數(shù)也越多。事實(shí)上，分辨率反映的是攝像頭的縱向分辨能力。有效像素常寫成兩數(shù)相乘的形式，如“320x240”，其中前一個(gè)數(shù)值表示單行視頻信號(hào)的精細(xì)程度，即行分辨能力；后一個(gè)數(shù)值為分辨率，因而有效像素=行分辨能力×分辨率。圖 1 攝像頭視頻信號(hào)2、圖

7、像采集CCD攝像要能有效地對(duì)視頻信號(hào)進(jìn)行采樣，首先要處理好的問題是如何提取出攝像頭信號(hào)中的行同步脈沖、消隱脈沖和場(chǎng)同步脈沖，否則，單片機(jī)將無法識(shí)別所接收到的視頻信號(hào)處在哪一場(chǎng)，也無法識(shí)別是在該場(chǎng)中的場(chǎng)消隱區(qū)還是視頻信號(hào)區(qū)，更無法識(shí)別是在視頻信號(hào)區(qū)的第幾行。這里有兩種可行的方法。第一，直接采用A/D轉(zhuǎn)換進(jìn)行提取。當(dāng)攝像頭信號(hào)為行同步脈沖、消隱脈沖或場(chǎng)同步脈沖時(shí)，攝像頭信號(hào)電平就會(huì)低于這些脈沖模式之外時(shí)的攝像頭信號(hào)電平。據(jù)此，可設(shè)一個(gè)信號(hào)電平閾值來判斷A/D轉(zhuǎn)換采樣到的攝像頭信號(hào)是否為行同步脈沖、消隱脈沖或場(chǎng)同步脈沖。第二，就是給單片機(jī)配以合適的外圍芯片，此芯片要能夠提取出攝像頭信號(hào)的行同步脈沖、

8、消隱脈沖和場(chǎng)同步脈沖以供單片機(jī)作控制之用。由于單片機(jī)的處理速度有限，而一些脈沖的間隔時(shí)間又較短，我們就采用了第二種方法進(jìn)行信號(hào)提取。LM1881 視頻同步信號(hào)分離芯片可從攝像頭信號(hào)中提取信號(hào)的時(shí)序信息，如行同步脈沖、場(chǎng)同步脈沖和奇、偶場(chǎng)信息等，并將它們轉(zhuǎn)換成TTL 電平直接輸給單片機(jī)的I/O 口作控制信號(hào)之用。LM1881的端口接線方式如圖2所示。 圖2 LM1881其中，引腳2 為視頻信號(hào)輸入端，引腳1 為行同步信號(hào)輸出端（如圖3中的b）。引腳3 為場(chǎng)同步信號(hào)輸出端，當(dāng)攝像頭信號(hào)的場(chǎng)同步脈沖到來時(shí)，該端將變?yōu)榈碗娖剑话憔S持230us，然后重新變回高電平（如圖3中的c）。引腳7 為奇-偶場(chǎng)同

9、步信號(hào)輸出端，當(dāng)攝像頭信號(hào)處于奇場(chǎng)時(shí)，該端為高電平，當(dāng)處于偶場(chǎng)時(shí)，為低電平。事實(shí)上，不僅可以用場(chǎng)同步信號(hào)作為換場(chǎng)的標(biāo)志，也可以用奇-偶場(chǎng)間的交替作為換場(chǎng)的標(biāo)志。圖3 LM1881 信號(hào)時(shí)序圖CMOS攝像頭的灰度值、以及場(chǎng)、行中斷直接給出數(shù)字量，無需A/D轉(zhuǎn)換以及幀、場(chǎng)分離。圖像采集的關(guān)鍵是時(shí)序的把握。此外，中斷的優(yōu)先級(jí)一定要保證，要不然無法采集到完整的圖像。攝像頭每秒掃描25幅圖像（即25幀數(shù)據(jù)），每幅又分奇、偶兩場(chǎng)，先奇場(chǎng)后偶場(chǎng)，故每秒掃描50場(chǎng)圖像。奇場(chǎng)時(shí)只掃描圖像中的奇數(shù)行，偶場(chǎng)時(shí)則只掃描偶數(shù)行。我們使了ECT的通道1捕捉場(chǎng)中斷，通道0捕捉行中斷。如下面攝像頭信號(hào)采集時(shí)序圖所示：（1）在

10、采集時(shí)乎略TCLK，首先是因?yàn)樗炝耍蹲讲坏?，另外也沒有必要捕捉到它。圖4 攝像頭信號(hào)采集時(shí)序圖采集圖像時(shí)盡快地一個(gè)點(diǎn)一個(gè)點(diǎn)的取就行了，和模擬攝像頭一樣。（2）VYNSC是判斷是否一幅圖像開始，周期是20mS， 其中高電平持續(xù)時(shí)間很短，忽略； HREF是判斷是否一行圖像的開始，周期是63us左右，其中高電平持續(xù)時(shí)間為40us，低電平持續(xù)時(shí)間23us ，那么可以算一下一場(chǎng)有多少行：20ms/63us=317，當(dāng)然實(shí)際上沒有這么多，消隱和無效信號(hào)去掉之后只有292行。（3）必須明確：場(chǎng)中斷要通過下降沿捕捉，行中斷要通過上升沿捕捉。若用IRQ捕捉行中斷必須加反相器。（4）有效的灰度數(shù)據(jù)是在行中斷

11、之后的上升沿內(nèi)，所以不要在行中斷后的23US后采集，那是廢數(shù)據(jù)。計(jì)算一下一行OV6620有多少個(gè)點(diǎn)： 40us/110ns=363消隱和無效信號(hào)去掉之后只有356個(gè)點(diǎn)。3、圖像處理本設(shè)計(jì)針對(duì)的是基于攝像頭簡(jiǎn)單黑白道路采集。攝像頭采集到賽道圖像后，必須對(duì)圖像數(shù)據(jù)進(jìn)行正確的處理，才能提取出賽道位置，保證后續(xù)工作的順利進(jìn)行。圖像處理簡(jiǎn)單的來說就是根據(jù)攝像頭傳回來的視頻信號(hào)中提取出黑線的位置。常用的黑線提取算法劃分為二值化算法、直接邊緣檢測(cè)算法和跟蹤邊緣檢測(cè)算法。二值化算法的思路是：設(shè)定一個(gè)閾值valve，對(duì)于視頻信號(hào)矩陣中的每一行，從左至右比較各像素值和閾值的大小，若像素值大于或等于閾值，則判定該像

12、素對(duì)應(yīng)的是白色賽道；反之，則判定對(duì)應(yīng)的是黑色的目標(biāo)引導(dǎo)線。記下第一次和最后一次出現(xiàn)像素值小于閾值時(shí)的像素點(diǎn)的列號(hào)，算出兩者的平均值，以此作為該行上目標(biāo)引導(dǎo)線的位置。直接邊緣檢測(cè)算法：采用逐行搜索的算法，首先找到從白色像素到黑色像素的下降沿和從黑色像素到白色像素的上升沿，然后計(jì)算上升沿和下降沿的位置差，如果大于一定的標(biāo)準(zhǔn)值，即認(rèn)為找到了黑線，并可求平均值算出黑線的中心點(diǎn)。至于上升沿、下降沿的檢測(cè)，可以通過上上次采樣數(shù)與這次采樣數(shù)的差值的絕對(duì)值是否大于一個(gè)閾值來判斷，如果“是”且差值為負(fù)，則為上升沿；如果“是”且差值為正，則為下降沿。跟蹤邊緣檢測(cè)算法：由于黑色的目標(biāo)引導(dǎo)線是連續(xù)曲線，所以相鄰兩行的

13、左邊緣點(diǎn)比較靠近。跟蹤邊緣檢測(cè)正是利用了這一特性，對(duì)直接邊緣檢測(cè)進(jìn)行了簡(jiǎn)化。其思路是若已尋找到某行的左邊緣，則下一次就在上一個(gè)左邊緣附近進(jìn)行搜尋。這種方法的特點(diǎn)是始終跟蹤每行左邊緣的附近，去尋找下一列的左邊緣，所以稱為“跟蹤”邊緣檢測(cè)算法。4、圖像應(yīng)用我們采用的是直接邊緣檢測(cè)算法，因?yàn)樵摲椒弓h(huán)境光強(qiáng)變化干擾的能力更強(qiáng)，同時(shí)還能消除垂直交叉黑色引導(dǎo)線的干擾。由于智能車上安裝的攝像頭相對(duì)于賽道存在一定的傾斜角度，因此會(huì)造成采集到的賽道圖像具有一定的梯形失真，即圖像中的賽道遠(yuǎn)端窄、近端寬，遠(yuǎn)端圖像不清晰而近端圖像清晰可靠，如圖5所示圖5 圖像采集的還原圖所以就將一場(chǎng)圖像分為兩部分，近端部分和遠(yuǎn)端部

14、分。為了給單片機(jī)處理節(jié)約時(shí)間我們采用了全場(chǎng)動(dòng)態(tài)范圍來提取黑線即首先取得第一幅圖像得到近處基準(zhǔn)行黑線位置，在此基礎(chǔ)上確定下一幅圖像搜索范圍由于黑先是連續(xù)變化的，遠(yuǎn)端部分黑線就根據(jù)前兩行黑線位置的偏差量再加上一個(gè)固定范圍來尋找。在圖像濾波算法中，還應(yīng)考慮以下幾個(gè)方面：首先，根據(jù)圖像模型去噪，例如，由于賽道的黑色引導(dǎo)線是絕對(duì)連續(xù)的，故兩個(gè)中間有黑線的行之間不能有全白行（注意中間二字：如果黑線在邊緣，則可能是由于攝像頭的視野太窄或智能車身不正導(dǎo)致在過彎道時(shí)只能看到部分黑色引導(dǎo)線），這主要是解決光線對(duì)攝像頭的反光問題；其次，在理想的情況下，根據(jù)賽道的黑色引導(dǎo)線的連續(xù)性，如果某一行求取的中心線位置與相鄰的

15、兩行都相差很大，則可以認(rèn)為該行數(shù)值錯(cuò)誤，拋棄該行的數(shù)據(jù)或使用其前后兩行數(shù)據(jù)的平均值來替代該錯(cuò)誤數(shù)值用以校正。這樣一來提取出的黑線就比較可靠了，不過在實(shí)際調(diào)試中遠(yuǎn)處圖像畸變比較大而且行距也大，偶爾還是可能會(huì)出現(xiàn)錯(cuò)誤提取黑線，但是這對(duì)車體的控制影響不是很大。攝像頭車相對(duì)于電磁車與光電車最大的優(yōu)勢(shì)在于有較遠(yuǎn)的前瞻，所以圖像精度就非常重要了即行分辨率和分辨率越高圖取出來的黑線位置就越穩(wěn)定可靠，這也是所有控制算法的基礎(chǔ)。由于單片機(jī)內(nèi)存只有8K，存儲(chǔ)圖像數(shù)據(jù)的數(shù)組就不能開的太大，否則再加上一些全局變量，靜態(tài)變量，臨時(shí)變量，明顯內(nèi)存就不夠用了。我們想到的第一個(gè)解決辦法是買到更大內(nèi)存的單片機(jī)可是這個(gè)沒實(shí)現(xiàn)，經(jīng)過嘗試與多方設(shè)想我們采用動(dòng)態(tài)內(nèi)存刷新來提高圖像精度然后再加上鎖相環(huán)超頻到64M提高了圖像的縱向與橫向精度，從而使前瞻達(dá)到了原來的兩倍多。為了使智能車適應(yīng)能力更強(qiáng)抗啊繞能力越好，我們將原來靜態(tài)閾