基于攝像頭的圖像采集與處理應(yīng)用

1、基于攝像頭的圖像采集與處理 應(yīng)用作者:日期:基于攝像頭的圖像采集與處理應(yīng)用1、攝像頭工作原理圖像傳感器，是組成數(shù)字?jǐn)z像頭的重要組成部分。根據(jù)元件的材料不同，可分為ccd（charge coupled de v ice,電荷耦合元件 dcmos（co m plementary me t a l-ox ide se miconducto r,金屬氧化物半導(dǎo)體元件）兩大類。電荷藕合器件圖像傳感器 ccd （charge coupl e d devic e ）,它使用一種高感光度 的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過(guò)模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成數(shù)字信號(hào)，數(shù)字信號(hào)經(jīng)過(guò)壓縮以后由相機(jī)內(nèi)部的閃速存儲(chǔ)器或內(nèi)置硬

2、盤卡保存，因而可以輕而易舉地把數(shù)據(jù)傳輸給計(jì)算機(jī)，并借助于計(jì)算機(jī)的處理手段，根據(jù)需要和想像來(lái)修改圖像。ccd由許多感光單位組成，通常以百萬(wàn)像素為單位。當(dāng)ccd表面受到光線照射時(shí)，每個(gè)感光單位會(huì)將電荷反映在組彳上，所有的感光單位所產(chǎn)生的信號(hào)加在一起，就構(gòu)成了一幅完整的畫面?；パa(bǔ)性氧化金屬半導(dǎo)體 cm o s （c o m p 1 emen t a r y metal-o x i de sem i c ond u ctor）和cc d一樣同為在圖像傳感器中可記錄光線變化的半導(dǎo)體。cmo s主要是利用硅和錯(cuò)這兩種元素所做成的半導(dǎo)體，使其在cm os上共存著帶n （帶-電）和p（帶+電）級(jí)的半導(dǎo)體，這兩

3、個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流即可被處理芯片紀(jì)錄和解讀成影像。然而，cmos的缺點(diǎn)就是太容易出現(xiàn)雜點(diǎn)，這主要是因?yàn)樵缙诘脑O(shè)計(jì)使 cmo s在處理快速變化的影像 時(shí)，由于電流變化過(guò)于頻繁而會(huì)產(chǎn)生過(guò)熱的現(xiàn)象。ccd和cmo s在制造上的主要區(qū)別是c cd是集成在半導(dǎo)體單晶材料上，而cmos是集成在被稱做金屬氧化物的半導(dǎo)體材料上，工作原理沒(méi)有本質(zhì)的區(qū)別。ccd制造工藝較復(fù)雜，采用c cd的攝像頭價(jià)格都會(huì)相對(duì)比較貴。事實(shí)上經(jīng)過(guò)技術(shù)改造，目前 ccd和cmos的實(shí)際 效果的差距已經(jīng)減小了不少。而且cmos的制造成本和功耗都要低于 ccd不少，所以很多攝像頭生產(chǎn)廠商采用的 cmos感光元件。成像方面：在相同彳t素

4、下ccd的成像通透性、 明銳度 都很好，色彩還原、曝光可以保證基本準(zhǔn)確。而cmos的產(chǎn)品往往通透性一般，對(duì)實(shí)物的色彩還原能力偏弱，曝光也都不太好，由于自身物理特性的原因，cmos的成像質(zhì)量和ccd還是有一定距離的。但由于低廉的價(jià)格以及高度的整合性，因此在攝像頭領(lǐng)域還是得到了廣泛的應(yīng)用工作原理：為了方便大家理解，我們拿人的眼睛來(lái)打個(gè)比方。當(dāng)光線照射景物，景物 上的光線反射通過(guò)人的晶狀體聚焦，在視網(wǎng)膜上就可以形成圖像，然后視網(wǎng)膜的神經(jīng)感知到圖像將信息傳到大腦， 我們就能看見東西了。 攝像頭成像的原理和這個(gè)過(guò)程非常相似，光線照射景物，景物上的光線反射通過(guò)鏡頭聚焦，圖像傳感器就會(huì)感知到圖像。具體部分是

5、這樣的，攝像頭按一定的分辨率，以隔行掃描的方式采集圖像上的點(diǎn)，當(dāng)掃描到某點(diǎn)時(shí)，就通過(guò)圖像傳感芯片將該點(diǎn)處圖像的灰度轉(zhuǎn)換成與灰度一一對(duì)應(yīng)的電壓值，然 后將此電壓值通過(guò)視頻信號(hào)端輸出。如圖1所示，攝像頭連續(xù)地掃描圖像上的一行 ，則輸出就是一段連續(xù)的電壓信號(hào)，該電壓信號(hào)的高低起伏反映了該行圖像的灰度變化。當(dāng)掃描完一行 視頻信號(hào)端就輸出一個(gè)低于最低視頻信號(hào)電壓的電平（如0. 3v）,并保持一段時(shí)間。這樣相當(dāng)于，緊接著每行圖像信號(hào)之后會(huì)有一個(gè)電壓凹槽”，此 凹槽”叫做行同步脈沖，它是掃描換行的標(biāo)志。然后，跳過(guò)一行后 （因?yàn)閿z像頭是隔行掃描的，開始掃描新的一行，如此下去， 直到掃描完該場(chǎng)的視頻信號(hào)，接著會(huì)

6、出現(xiàn)一段場(chǎng)消隱區(qū)。該區(qū)中有若干個(gè)復(fù)合消隱脈沖，其 中有個(gè)持續(xù)時(shí)間遠(yuǎn)長(zhǎng)于其它的消隱脈沖，稱為場(chǎng)同步脈沖，它是掃描換場(chǎng)的標(biāo)志。場(chǎng)同步脈沖標(biāo)志著新的一場(chǎng)的到來(lái)，不過(guò)，場(chǎng)消隱區(qū)恰好跨在上一場(chǎng)的結(jié)尾和下一場(chǎng)的開始部分得等場(chǎng)消隱區(qū)過(guò)去，下一場(chǎng)的視頻信號(hào)才真正到來(lái)。攝像頭每秒掃描2 5幅圖像，每幅又分奇、偶兩場(chǎng)，先奇場(chǎng)后偶場(chǎng)，故每秒掃描 50場(chǎng)圖像。奇場(chǎng)時(shí)只掃描圖像中的奇數(shù)行，偶場(chǎng)時(shí)則只掃描偶數(shù)行。攝像頭有兩個(gè)重要的指標(biāo)：分辨率和有效像素。分辨率實(shí)際上就是每場(chǎng)行同 步脈沖數(shù)，這是因?yàn)樾型矫}沖數(shù)越多 ，則對(duì)每場(chǎng)圖像掃描的行數(shù)也越多。事實(shí)上，分辨率反映的是攝像頭的縱向分辨能力。有效像素常寫成兩數(shù)相乘的形式，如

7、“320 2 4 0，其中前，因而有效像素=行分辨能力一個(gè)數(shù)值表示單行視頻信號(hào)的精細(xì)程度，即行分辨能力；后一個(gè)數(shù)值為分辨率圖1攝像頭視頻信號(hào)2、圖像采集ccd攝像要能有效地對(duì)視頻信號(hào)進(jìn)行采樣，首先要處理好的問(wèn)題是如何提取出攝像頭信號(hào)中的行同步脈沖、 消隱脈沖和場(chǎng)同步脈沖， 否則，單片機(jī)將無(wú)法識(shí)別所接收到的視頻信 號(hào)處在哪一場(chǎng)，也無(wú)法識(shí)別是在該場(chǎng)中的場(chǎng)消隱區(qū)還是視頻信號(hào)區(qū)，更無(wú)法識(shí)別是在視頻信號(hào)區(qū)的第幾行。這里有兩種可行的方法。第一，直接采用a/d轉(zhuǎn)換進(jìn)行提取。當(dāng)攝像頭信號(hào)為行同步脈沖、消隱脈沖或場(chǎng)同步脈沖時(shí)，攝像頭信號(hào)電平就會(huì)低于這些脈沖模式之外時(shí)的 攝像頭信號(hào)電平。據(jù)此，可設(shè)一個(gè)信號(hào)電平閾值

8、來(lái)判斷 a/d轉(zhuǎn)換采樣到的攝像頭信號(hào)是否為 行同步脈沖、消隱脈沖或場(chǎng)同步脈沖。 第二，就是給單片機(jī)配以合適的外圍芯片 ，此芯片要能 夠提取出攝像頭信號(hào)的行同步脈沖、消隱脈沖和場(chǎng)同步脈沖以供單片機(jī)作控制之用。由于單片機(jī)的處理速度有限，而一些脈沖的間隔時(shí)間又較短，我們就采用了第二種方法進(jìn)行信號(hào)提取。lm1881視頻同步信號(hào)分離芯片可從攝像頭信號(hào)中提取信號(hào)的時(shí)序信息如行同步脈沖、場(chǎng)同步脈沖和奇、偶場(chǎng)信息等，并將它們轉(zhuǎn)換成tt l電平直接輸給單片機(jī)的i/o 口作控制信號(hào)之用。lm1 881的端口接線方式如圖2所示。lmittu-in圖2 lm1 8 81其中，引腳2為視頻信號(hào)輸入端，引腳1為行同步信號(hào)

9、輸出端（如圖3中的b）。引腳3 為場(chǎng)同步信號(hào)輸出端，當(dāng)攝像頭信號(hào)的場(chǎng)同步脈沖到來(lái)時(shí)，該端將變?yōu)榈碗娖?，一般維持230us,然后重新變回高電平（如圖3中的c）。引腳7為奇一偶場(chǎng)同步信號(hào)輸出端,當(dāng)攝像頭 信號(hào)處于奇場(chǎng)時(shí)，該端為高電平，當(dāng)處于偶場(chǎng)時(shí)，為低電平。事實(shí)上，不僅可以用場(chǎng)同步信號(hào)作為換場(chǎng)的標(biāo)志，也可以用奇-偶場(chǎng)間的交替作為換場(chǎng)的標(biāo)志。視頻場(chǎng)同步脈沖. wwvinnnnauuuuuinnnnnrihw 卜|川j-twnnnnnnnumnnnnnnnnnr黑頻電位偶場(chǎng)奇場(chǎng)圖磬疆看營(yíng)行同步信號(hào),co場(chǎng)同步信號(hào);圖3 lm1881信號(hào)時(shí)序圖cmos攝像頭的灰度值、以及場(chǎng)、行中斷直接給出數(shù)字量，無(wú)需a

10、/d轉(zhuǎn)換以及幀、場(chǎng)分離。圖像采集的關(guān)鍵是時(shí)序的把握。此外，中斷的優(yōu)先級(jí)一定要保證，要不然無(wú)法采集到完整的圖像。攝像頭每秒掃描 25幅圖像（即2 5幀數(shù)據(jù)，每幅又分奇、偶兩場(chǎng)，先奇場(chǎng)后偶場(chǎng)故每秒掃描50場(chǎng)圖像。奇場(chǎng)時(shí)只掃描圖像中的奇數(shù)行，偶場(chǎng)時(shí)則只掃描偶數(shù)行。我們使了ect的通道1捕捉場(chǎng)中斷，通道0捕捉行中斷。如下面攝像頭信號(hào)采集時(shí)序圖所示：(1 )在采集日乎略tclk，首先是因?yàn)樗炝?，捕捉不到，另外也沒(méi)有必要捕捉到它。nnn皿叫皿iire尸石 汨門qus,子氐為a 七u i k 為 i 1 oitis圖4攝像頭信號(hào)采集時(shí)序圖采集圖像時(shí)盡快地一個(gè)點(diǎn)一個(gè)點(diǎn)的取就行了，和模擬攝像頭一樣。(2

11、)vyns c是判斷是否一幅圖像開始， 周期是20ms,其中高電平持續(xù)時(shí)間很短，忽略; href是判斷是否一行圖像的開始 ，周期是6 3us左右 淇中高電平持續(xù)時(shí)間為 40u s低電平 持續(xù)時(shí)間23us ，那么可以算一下一場(chǎng)有多少行：20ms/63u s=31 7 ,當(dāng)然實(shí)際上沒(méi)有這么多，消隱和無(wú)效信號(hào)去掉之后只有29 2行。(3 )必須明確：場(chǎng)中斷要通過(guò)下降沿捕捉，行中斷要通過(guò)上升沿捕捉。若用 irq捕捉行 中斷必須加反相器。(4)有效的灰度數(shù)據(jù)是在行中斷之后的上升沿內(nèi)，所以不要在行中斷后的23us后采集那是廢數(shù)據(jù)。計(jì)算一下一行 ov6 6 2 0有多少個(gè)點(diǎn)： 40 u s /11 0 n

12、s =363消隱和無(wú)效信 號(hào)去掉之后只有3 56個(gè)點(diǎn)。3、圖像處理本設(shè)計(jì)針對(duì)的是基于攝像頭簡(jiǎn)單黑白道路采集。攝像頭采集到賽道圖像后，必須對(duì)圖像數(shù)據(jù)進(jìn)行正確的處理，才能提取出賽道位置，保證后續(xù)工作的順利進(jìn)行。圖像處理簡(jiǎn)單的來(lái)說(shuō)就是根據(jù)攝像頭傳回來(lái)的視頻信號(hào)中提取出黑線的位置。常用的黑線提取算法劃分為二值化算法、直接邊緣檢測(cè)算法和跟蹤邊緣檢測(cè)算法。二值化算法的思路是:設(shè)定一個(gè)閾值valve,對(duì)于視頻信號(hào)矩b$中的每一行 ，從左至右比較各像素值和閾值的大 小，若像素值大于或等于閾值則判定該像素對(duì)應(yīng)的是白色賽道；反之，則判定對(duì)應(yīng)的是黑色的目標(biāo)引導(dǎo)線。記下第一次和最后一次出現(xiàn)像素值小于閾值時(shí)的像素點(diǎn)的列

13、號(hào)，算出兩者的平均值，以此作為該行上目標(biāo)引導(dǎo)線的位置。直接邊緣檢測(cè)算法：采用逐行搜索的算法， 首先找到從白色像素到黑色像素的下降沿和從黑色像素到白色像素的上升沿，然后計(jì)算上升沿和下降沿的位置差，如果大于一定的標(biāo)準(zhǔn)值，即認(rèn)為找到了黑線，并可求平均值算出黑線的中心點(diǎn)。至于上升沿、下降沿的檢測(cè)，可以通過(guò)上上次采樣數(shù)與這次采樣數(shù)的差值的絕對(duì)值是否大于一個(gè)閾值來(lái)判斷，如果是且差值為負(fù)，則為上升沿；如果是”且差值為正，則為下降沿。跟蹤邊緣檢測(cè)算法： 由于黑色的目標(biāo)引導(dǎo)線是連續(xù)曲線，所以相鄰兩行的左邊緣點(diǎn)比較靠近。跟蹤邊緣檢測(cè)正是利用了這一特性，對(duì)直接邊緣檢測(cè)進(jìn)行了簡(jiǎn)化。其思路是若已尋找到某行的左邊緣，則下

14、一次就在上一個(gè)左邊緣附近進(jìn)行搜尋。這種方法的特點(diǎn)是始終跟 蹤每行左邊緣的附近，去尋找下一列的左邊緣，所以稱為 跟蹤”邊緣檢測(cè)算法。4、圖像應(yīng)用我們采用的是直接邊緣檢測(cè)算法，因?yàn)樵摲椒弓h(huán)境光強(qiáng)變化干擾的能力更強(qiáng)，同時(shí)還能消除垂直交叉黑色引導(dǎo)線的干擾。由于智能車上安裝的攝像頭相對(duì)于賽道存在一定的傾斜角度，因此會(huì)造成采集到的賽道圖像具有一定的梯形失真，即圖像中的賽道遠(yuǎn)端窄、近端寬,遠(yuǎn)端圖像不清晰而近端圖像清晰可靠，如圖5所示圖5圖像采集的還原圖所以就將一場(chǎng)圖像分為兩部分，近端部分和遠(yuǎn)端部分。為了給單片機(jī)處理節(jié)約時(shí)間我 們采用了全場(chǎng)動(dòng)態(tài)范圍來(lái)提取黑線即首先取得第一幅圖像得到近處基準(zhǔn)行黑線位置，在此基

15、礎(chǔ)上確定下一幅圖像搜索范圍由于黑先是連續(xù)變化的，遠(yuǎn)端部分黑線就根據(jù)前兩行黑線位置的偏差量再加上一個(gè)固定范圍來(lái)尋找。在圖像濾波算法中，還應(yīng)考慮以下幾個(gè)方面：首先，根據(jù)圖像模型去噪，例如，由于賽道的黑色引導(dǎo)線是絕對(duì)連續(xù)的，故兩個(gè)中間有黑線的行之 間不能有全白行（注意中間二字：如果黑線在邊緣，則可能是由于攝像頭的視野太窄或智能 車身不正導(dǎo)致在過(guò)彎道時(shí)只能看到部分黑色引導(dǎo)線，這主要是解決光線對(duì)攝像頭的反光問(wèn)題；其次，在理想的情況下，根據(jù)賽道的黑色引導(dǎo)線的連續(xù)性，如果某一行求取的中心線位 置與相鄰的兩行都相差很大，則可以認(rèn)為該行數(shù)值錯(cuò)誤，拋棄該行的數(shù)據(jù)或使用其前后兩行數(shù)據(jù)的平均值來(lái)替代該錯(cuò)誤數(shù)值用以校正

16、。 這樣一來(lái)提取出的黑線就比較可靠了， 不過(guò)在實(shí) 際調(diào)試中遠(yuǎn)處圖像畸變比較大而且行距也大 ，偶爾還是可能會(huì)出現(xiàn)錯(cuò)誤提取黑線，但是這對(duì)車 體的控制影響不是很大。攝像頭車相對(duì)于電磁車與光電車最大的優(yōu)勢(shì)在于有較遠(yuǎn)的前瞻，所以圖像精度就非常重要了即行分辨率和分辨率越高圖取出來(lái)的黑線位置就越穩(wěn)定可靠，這也是所有控制算法的基礎(chǔ)。由于單片機(jī)內(nèi)存只有 8k,存儲(chǔ)圖像數(shù)據(jù)的數(shù)組就不能開的太大，否則再加上一些全局變量，靜態(tài)變量，臨時(shí)變量，明顯內(nèi)存就不夠用了。我們想到的第一個(gè)解決辦法是買到更 大內(nèi)存的單片機(jī)可是這個(gè)沒(méi)實(shí)現(xiàn) ，經(jīng)過(guò)嘗試與多方設(shè)想我們采用動(dòng)態(tài)內(nèi)存刷新來(lái)提高圖像精 度然后再加上鎖相環(huán)超頻到 64m提高了圖像的縱向與橫向精度，從而使前瞻達(dá)到了原來(lái)的兩 倍多。為了使智能車適應(yīng)能力更強(qiáng)抗啊繞能力越