智能型動(dòng)態(tài)圖像追蹤自控車：謝謝的圖片動(dòng)態(tài)圖像

1、去年十月份 Toyota Lexus 的 2007年最新車款 Lexus LS 460 和 Lexus LS 460L 在美國(guó)市 場(chǎng)上市。兩部車子都裝置了 Toyota 最新發(fā)展的“高級(jí)停車導(dǎo)引系統(tǒng) (Advanced Parking Guidance System) ”，這個(gè)系統(tǒng)是使用一個(gè)向后的攝像頭和停車聲納傳感器偵測(cè)周邊狀況， 駕 駛?cè)丝吭谝粋€(gè)停車位旁邊，按個(gè)按鈕，踩煞車以控制速度，系統(tǒng)便會(huì)自動(dòng)接手控制電動(dòng)動(dòng)力 方向盤，完成路邊停車的動(dòng)作。除此之外，在目前最常應(yīng)用于工廠自動(dòng)化系統(tǒng)之中的自動(dòng)導(dǎo) 引車輛(Automatic Guided Vehicle , AGV)系統(tǒng)，可按照程序所下的命令

2、及導(dǎo)引路線進(jìn)行、停 止、轉(zhuǎn)彎，并能和搬運(yùn)系統(tǒng)作連結(jié)，AGV是一種物料搬運(yùn)設(shè)備，能在固定位置自動(dòng)進(jìn)行貨物 的裝載，并自動(dòng)行走到另一位置，以完成貨物的卸載的全自動(dòng)運(yùn)輸設(shè)備。AGV基本功能為能 自動(dòng)依循固定的軌道行走，雖然說(shuō)這個(gè)技術(shù)早已引用在工廠中，但是由于路線必須是規(guī)劃好 并在地上畫上行走路徑，并無(wú)法應(yīng)用于較復(fù)雜的環(huán)境之中，而我們所提出來(lái)的設(shè)計(jì)，是利用 圖像來(lái)辨別標(biāo)志，而標(biāo)志擺放位置也可以根據(jù)實(shí)際的應(yīng)用環(huán)境來(lái)做改變，所以應(yīng)用范圍較傳 統(tǒng)AGV更為廣泛。 不僅如此，本設(shè)計(jì)也具有特定標(biāo)志搜尋功能，能夠自動(dòng)的分析現(xiàn)有的圖像信息，自動(dòng)鎖 定目標(biāo)物并進(jìn)行自動(dòng)化車控的控制，故我們?cè)O(shè)計(jì)這套系統(tǒng)來(lái)協(xié)助民眾自動(dòng)停車

3、、自動(dòng)倒車入 庫(kù)，也可應(yīng)用于機(jī)場(chǎng)對(duì)飛機(jī)的管控或是任何具有動(dòng)力的交通運(yùn)輸工具。本文將機(jī)械視覺算法 以硬件加速的模塊實(shí)現(xiàn)，結(jié)合多核的高效能的嵌入式處理器Nios，完成一個(gè)自動(dòng)化汽車導(dǎo)引 的平臺(tái)， 未來(lái)可實(shí)現(xiàn)很多汽車駕駛安全方面的應(yīng)用， 包括防撞、 車道偏離警報(bào)和車道維持 (可 導(dǎo)引駕駛?cè)嘶氐皆嚨?)、背面障礙物警報(bào)、行人監(jiān)測(cè)、車距監(jiān)測(cè) (讓駕駛?cè)撕颓败嚤３诌m當(dāng) 的距離 ) 、夜視、自動(dòng)頭燈調(diào)節(jié)、交通 / 限速標(biāo)志識(shí)別和盲點(diǎn)監(jiān)測(cè)等等。 設(shè)計(jì)介紹 我們使用 “軟硬件共同設(shè)計(jì) (Co-design) 方法” 集成圖像輸入端、 車控平臺(tái)及動(dòng)力控制模 塊，完成自動(dòng)化目標(biāo)追蹤的實(shí)驗(yàn)平臺(tái)，通過效能佳的軟核 C

4、PU來(lái)控制外圍的模塊，并利用VHDL 自制圖像處理核心電路，建立智能型圖像追蹤的嵌入式系統(tǒng)平臺(tái)，如圖1 所示。 系統(tǒng)核心組成器件可分成以下三類 1 CMOS專感器硬件模塊CMO傳感控制器、數(shù)據(jù)簡(jiǎn)化、SDRAM控制器 (1) CMOS傳感器控制器驅(qū)動(dòng) CMO專感器并進(jìn)行連續(xù)圖像擷取，將動(dòng)態(tài)圖像數(shù)據(jù)流傳入。 (2) 數(shù)據(jù)簡(jiǎn)化將CMO傳感器擷取的圖像數(shù)據(jù)(GB&GR進(jìn)行壓縮，以便大幅減少計(jì)算量及分 析時(shí)間。 SDRAM控制器通過六組 FIFO控制器，將SDRAMS源規(guī)劃給兩組CMOS傳感器控制器及 VGA控制器來(lái)使用(三寫三讀)。 2 VGA硬件模塊 (1)VGA控制器通過其器件，可以實(shí)時(shí)將圖像直接

5、顯示在VGA上。 (2)XY Histogram ，并通過XY坐標(biāo)標(biāo)示出目標(biāo)位置，并在實(shí)時(shí)圖像上進(jìn)行X軸及Y軸的 圖像數(shù)據(jù)統(tǒng)計(jì) (Histogram) 。 3 動(dòng)力控制 通過第二顆軟核 CPU來(lái)依序執(zhí)行外部給入的命令，CPU通過四組PIO來(lái)驅(qū)動(dòng)車體前后輪 的控制電路，達(dá)到車體前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)的控制。 主要硬件器件 以SOPCBuilder完成雙CPU核心的設(shè)定，并利用Verilog 設(shè)計(jì)硬件電路器件，以waveform 進(jìn)行時(shí)序仿真并驗(yàn)證，再通過PIO方式和CPU連結(jié)，除了 SOPCBuilder所提供的外圍電路以 外尚有雙CMO傳感器圖像擷取電路、六端口SDRAM控制器、VGA控制器(

6、含圖像處理電路)， 說(shuō)明如下， 如圖 3 所示，自行開發(fā)的硬件電路已集成為一個(gè)較大的模塊(在圖 2 左方的方塊 )， 而圖3右方的方塊則是利用 SOPC Builder所建立的雙CPU模塊。 1 雙核處理器 在圖3中的cpu_0是用來(lái)控制CMO傳感器及圖像處理所用，而cpu_1是用來(lái)控制車控動(dòng) 力的。 2 2個(gè)CMO傳感器擷取 撰寫鏡頭圖像擷取的控制硬件電路，并利用DE2發(fā)展板上的雙IDE接口 (ExpansionHeaderl ， 2) 可同時(shí)擷取到雙重鏡頭的圖像。 3 多端口 SDRAM控制器 利用 Mega Wizard Plug-In Manager來(lái)生成三寫三讀的六接口FIFO(以內(nèi)

7、置 RAM實(shí)現(xiàn))， 讓二組CMO傳感器擷取及一組 VGA控制器能讀寫SDRAMS備。 4 VGA控制器和圖像處理 撰寫VGA輸出的硬件控制電路，并在圖像輸出的同時(shí)，進(jìn)行X軸及Y軸的圖像數(shù)據(jù)統(tǒng)計(jì)， 并將結(jié)果存于片上內(nèi)存 (On-ChipMemory) 之中，以便 Nios 處理器來(lái)讀取。 SOPC系統(tǒng)端接口設(shè)定 由DE2發(fā)展板所提供的范例新增用戶自定腳位來(lái)控制自制的外圍電路，并通過PLL生成 100MHz頻率的時(shí)鐘源供 SDRAM來(lái)使用，如圖5所示。 系統(tǒng)軟件執(zhí)行時(shí)內(nèi)存的配置 由于開發(fā)板上的 SDRAI已被CMOS專感器擷取及 VGA控制器所使用，所以cpu_0及cpu_1 的程序內(nèi)存是放于 F

8、lash上，而cpu_0執(zhí)行程序時(shí)的例外向量是放于SRAMk,而cpu_1是放 于片上內(nèi)存之中，當(dāng)然在NIOS IDE開發(fā)該CPU的軟件時(shí)，也必須分別要把變量堆疊區(qū)指定到 相關(guān)的內(nèi)存之中，如圖 5、圖 6 所示。 效能參數(shù) 本設(shè)計(jì)主要是針對(duì)每秒 10張frame，而每個(gè)frame為640 x 480全彩24bit的實(shí)時(shí)圖像 進(jìn)行圖像辨視，每秒必須處理78MByte的數(shù)據(jù)量，并進(jìn)行二值化及X軸、Y軸Histogram的 圖像處理，由于必須快速處理大量圖像信息，所以采用硬件加速，軟件控制的架構(gòu)來(lái)實(shí)現(xiàn)， 此外，由于本設(shè)計(jì)的 SDRAM資源可以切換給 Nios來(lái)使用，所以亦可使用Nios來(lái)讀取SDRA

9、M 的圖像信息并進(jìn)行圖像處理，此外，在測(cè)試圖像處理算法時(shí)，也利用BCB開發(fā)出PC端的仿真 程序，而配備如下(Intel 6GHz Core Duo , 1GRAM 3 Mega CMOS傳感器)，以下就三者實(shí)驗(yàn) 數(shù)據(jù)進(jìn)行比較，如表 1 所示。 設(shè)計(jì)架構(gòu) 系統(tǒng)流程 系統(tǒng)流程如圖 7 所示。 系統(tǒng)架構(gòu)圈 由系統(tǒng)方框圖8可知，本設(shè)計(jì)使用雙核的系統(tǒng)，其中一個(gè)CPU是用來(lái)控制CMO控制器模 塊，而另一個(gè)CPU可以控制大部份的外圍器件，而兩個(gè)CPU之間是利用輸出及輸入 PIO腳位, 來(lái)達(dá)到傳遞數(shù)據(jù)的目的，這樣設(shè)計(jì)的好處是，可利用一個(gè)CPU全速處理大量圖像信息，而另 一個(gè)CPU可以負(fù)責(zé)車控系統(tǒng)，若從圖像中偵

10、測(cè)到偏離或碰撞危險(xiǎn)時(shí)，將能通過PIO來(lái)觸發(fā)另 一個(gè)CPU的中斷，進(jìn)而實(shí)時(shí)告知車控系統(tǒng)下達(dá)較正方向或閃避的控制命令，本 設(shè)計(jì)使用到許多的外圍器件包含F(xiàn)lashMemory、 SDRAM、 SRAM、 M4K RAM、 LCM、 JTAG-UART、 RS232 GPIO Button、Switch、Timer、LED Segment、VGA CMO傳感器等。 圖像處理方框圖 由圖9可發(fā)現(xiàn)，本設(shè)計(jì)之所以能達(dá)到實(shí)時(shí)圖像及實(shí)時(shí)動(dòng)態(tài)追蹤，是因?yàn)楫?dāng)CMO傳感器下 圖像擷取時(shí)，便能通過硬件器件，將數(shù)據(jù)從RAW Data轉(zhuǎn)成RGB再進(jìn)行二值化或灰階的處理， 以利進(jìn)行圖像處理，而且同時(shí)亦在VGA上立即顯示出該圖

11、像，整個(gè)過程均是由硬件來(lái)做；在 圖像追蹤時(shí)，Nios可以通過X軸或Y軸的直方圖統(tǒng)計(jì)方式來(lái)進(jìn)行標(biāo)示目標(biāo)物，所以一張新的 圖像進(jìn)來(lái)時(shí)， Nios 并不用做任何處理，即可讀出所需要的數(shù)值，這樣一來(lái)才能達(dá)到所期待的 硬件加速效能。 軟件流程 1 為了加速運(yùn)算，由硬件分別做了二值化和數(shù)據(jù)統(tǒng)計(jì)。 2 一開始先搜尋目標(biāo)標(biāo)線位置。 3 找到標(biāo)線后進(jìn)行動(dòng)態(tài)鎖定。 4 開始判斷標(biāo)線長(zhǎng)度， 自控車是否在標(biāo)線最近距離， 若否， 則判斷標(biāo)線長(zhǎng)是否大于標(biāo)框 長(zhǎng)的 70，如果大于 70則放大標(biāo)框。 5 由 PIO 送出前進(jìn)的控制信號(hào)給自控車。 6 若自控車在標(biāo)線最近距離則判斷是否為左右轉(zhuǎn)標(biāo)線， 若是則依標(biāo)線左 ( 右) 轉(zhuǎn)

12、，否則停 止動(dòng)作。 硬件電路 (1) 雙CMO傳感器圖像擷取器件通過 Switch開關(guān)來(lái)達(dá)到切換主畫面/子母畫面的功能， Frame的速度由其中一個(gè) CMO傳感器來(lái)主導(dǎo)，每一次CMO傳感器所輸出的數(shù)值為 10bit,并 同時(shí)輸出該 pixel 的 x,y 坐標(biāo)，以利讀取。 (2) 多端口 SDRAMS制器通過六個(gè) FIFO來(lái)提供三讀三寫的 SDRAMS制器，每一個(gè) FIFO 的大小為2KB,全利用M4K RAM來(lái)生成。 VGA控制器&圖像處理將SDRAM讀來(lái)的數(shù)值，配合適當(dāng)?shù)腍-sync及V_sync信號(hào)一個(gè)一個(gè) 把Pixel打出去，在這同時(shí)亦順便進(jìn)行 X軸或Y軸的直方圖統(tǒng)計(jì)，并將結(jié)果存儲(chǔ)于另一個(gè) M4K RAM中，待NIOS需要時(shí)即可以馬上從此M4K RAMH賣到數(shù)值。 直流電機(jī)驅(qū)動(dòng)電路 我們使用全橋電路來(lái)控制輪子的正轉(zhuǎn)及反轉(zhuǎn)、Nios通過CAR_CMD.O這個(gè)PIO來(lái)控制車 體的運(yùn)動(dòng)，CAR _CMD.0為后輪的開關(guān)，而 CAR_CMD.2為前輪的開關(guān)，在圖十五中為一可 控制電流正流或逆流的全橋電路開關(guān)，而前輪也相同，其中詳細(xì)的控制命令，如表2所示。 實(shí)境測(cè)試 在圖 15 中，智能型圖像追蹤車已鎖定特定的目標(biāo)物了， 并朝著目標(biāo)物前進(jìn)， 圖中可以清 楚地看出除了自色箭頭標(biāo)志外，尚有許多其它的白色干擾物，如白色墻壁、面紙等，而在圖 16中是智能型圖像追蹤車的VGA輸出，可以