智能型動態(tài)圖像追蹤自控車：謝謝的圖片動態(tài)圖像

1、去年十月份 Toyota Lexus 的 2007年最新車款 Lexus LS 460 和 Lexus LS 460L 在美國市 場上市。兩部車子都裝置了 Toyota 最新發(fā)展的“高級停車導(dǎo)引系統(tǒng) (Advanced Parking Guidance System) ”，這個系統(tǒng)是使用一個向后的攝像頭和停車聲納傳感器偵測周邊狀況， 駕 駛?cè)丝吭谝粋€停車位旁邊，按個按鈕，踩煞車以控制速度，系統(tǒng)便會自動接手控制電動動力 方向盤，完成路邊停車的動作。除此之外，在目前最常應(yīng)用于工廠自動化系統(tǒng)之中的自動導(dǎo) 引車輛(Automatic Guided Vehicle , AGV)系統(tǒng)，可按照程序所下的命令

2、及導(dǎo)引路線進行、停 止、轉(zhuǎn)彎，并能和搬運系統(tǒng)作連結(jié)，AGV是一種物料搬運設(shè)備，能在固定位置自動進行貨物 的裝載，并自動行走到另一位置，以完成貨物的卸載的全自動運輸設(shè)備。AGV基本功能為能 自動依循固定的軌道行走，雖然說這個技術(shù)早已引用在工廠中，但是由于路線必須是規(guī)劃好 并在地上畫上行走路徑，并無法應(yīng)用于較復(fù)雜的環(huán)境之中，而我們所提出來的設(shè)計，是利用 圖像來辨別標志，而標志擺放位置也可以根據(jù)實際的應(yīng)用環(huán)境來做改變，所以應(yīng)用范圍較傳 統(tǒng)AGV更為廣泛。 不僅如此，本設(shè)計也具有特定標志搜尋功能，能夠自動的分析現(xiàn)有的圖像信息，自動鎖 定目標物并進行自動化車控的控制，故我們設(shè)計這套系統(tǒng)來協(xié)助民眾自動停車

3、、自動倒車入 庫，也可應(yīng)用于機場對飛機的管控或是任何具有動力的交通運輸工具。本文將機械視覺算法 以硬件加速的模塊實現(xiàn)，結(jié)合多核的高效能的嵌入式處理器Nios，完成一個自動化汽車導(dǎo)引 的平臺， 未來可實現(xiàn)很多汽車駕駛安全方面的應(yīng)用， 包括防撞、 車道偏離警報和車道維持 (可 導(dǎo)引駕駛?cè)嘶氐皆嚨?)、背面障礙物警報、行人監(jiān)測、車距監(jiān)測 (讓駕駛?cè)撕颓败嚤３诌m當 的距離 ) 、夜視、自動頭燈調(diào)節(jié)、交通 / 限速標志識別和盲點監(jiān)測等等。 設(shè)計介紹 我們使用 “軟硬件共同設(shè)計 (Co-design) 方法” 集成圖像輸入端、 車控平臺及動力控制模 塊，完成自動化目標追蹤的實驗平臺，通過效能佳的軟核 C

4、PU來控制外圍的模塊，并利用VHDL 自制圖像處理核心電路，建立智能型圖像追蹤的嵌入式系統(tǒng)平臺，如圖1 所示。 系統(tǒng)核心組成器件可分成以下三類 1 CMOS專感器硬件模塊CMO傳感控制器、數(shù)據(jù)簡化、SDRAM控制器 (1) CMOS傳感器控制器驅(qū)動 CMO專感器并進行連續(xù)圖像擷取，將動態(tài)圖像數(shù)據(jù)流傳入。 (2) 數(shù)據(jù)簡化將CMO傳感器擷取的圖像數(shù)據(jù)(GB&GR進行壓縮，以便大幅減少計算量及分 析時間。 SDRAM控制器通過六組 FIFO控制器，將SDRAMS源規(guī)劃給兩組CMOS傳感器控制器及 VGA控制器來使用(三寫三讀)。 2 VGA硬件模塊 (1)VGA控制器通過其器件，可以實時將圖像直接

5、顯示在VGA上。 (2)XY Histogram ，并通過XY坐標標示出目標位置，并在實時圖像上進行X軸及Y軸的 圖像數(shù)據(jù)統(tǒng)計 (Histogram) 。 3 動力控制 通過第二顆軟核 CPU來依序執(zhí)行外部給入的命令，CPU通過四組PIO來驅(qū)動車體前后輪 的控制電路，達到車體前進、后退、左轉(zhuǎn)、右轉(zhuǎn)的控制。 主要硬件器件 以SOPCBuilder完成雙CPU核心的設(shè)定，并利用Verilog 設(shè)計硬件電路器件，以waveform 進行時序仿真并驗證，再通過PIO方式和CPU連結(jié)，除了 SOPCBuilder所提供的外圍電路以 外尚有雙CMO傳感器圖像擷取電路、六端口SDRAM控制器、VGA控制器(

6、含圖像處理電路)， 說明如下， 如圖 3 所示，自行開發(fā)的硬件電路已集成為一個較大的模塊(在圖 2 左方的方塊 )， 而圖3右方的方塊則是利用 SOPC Builder所建立的雙CPU模塊。 1 雙核處理器 在圖3中的cpu_0是用來控制CMO傳感器及圖像處理所用，而cpu_1是用來控制車控動 力的。 2 2個CMO傳感器擷取 撰寫鏡頭圖像擷取的控制硬件電路，并利用DE2發(fā)展板上的雙IDE接口 (ExpansionHeaderl ， 2) 可同時擷取到雙重鏡頭的圖像。 3 多端口 SDRAM控制器 利用 Mega Wizard Plug-In Manager來生成三寫三讀的六接口FIFO(以內(nèi)

7、置 RAM實現(xiàn))， 讓二組CMO傳感器擷取及一組 VGA控制器能讀寫SDRAMS備。 4 VGA控制器和圖像處理 撰寫VGA輸出的硬件控制電路，并在圖像輸出的同時，進行X軸及Y軸的圖像數(shù)據(jù)統(tǒng)計， 并將結(jié)果存于片上內(nèi)存 (On-ChipMemory) 之中，以便 Nios 處理器來讀取。 SOPC系統(tǒng)端接口設(shè)定 由DE2發(fā)展板所提供的范例新增用戶自定腳位來控制自制的外圍電路，并通過PLL生成 100MHz頻率的時鐘源供 SDRAM來使用，如圖5所示。 系統(tǒng)軟件執(zhí)行時內(nèi)存的配置 由于開發(fā)板上的 SDRAI已被CMOS專感器擷取及 VGA控制器所使用，所以cpu_0及cpu_1 的程序內(nèi)存是放于 F

8、lash上，而cpu_0執(zhí)行程序時的例外向量是放于SRAMk,而cpu_1是放 于片上內(nèi)存之中，當然在NIOS IDE開發(fā)該CPU的軟件時，也必須分別要把變量堆疊區(qū)指定到 相關(guān)的內(nèi)存之中，如圖 5、圖 6 所示。 效能參數(shù) 本設(shè)計主要是針對每秒 10張frame，而每個frame為640 x 480全彩24bit的實時圖像 進行圖像辨視，每秒必須處理78MByte的數(shù)據(jù)量，并進行二值化及X軸、Y軸Histogram的 圖像處理，由于必須快速處理大量圖像信息，所以采用硬件加速，軟件控制的架構(gòu)來實現(xiàn)， 此外，由于本設(shè)計的 SDRAM資源可以切換給 Nios來使用，所以亦可使用Nios來讀取SDRA

9、M 的圖像信息并進行圖像處理，此外，在測試圖像處理算法時，也利用BCB開發(fā)出PC端的仿真 程序，而配備如下(Intel 6GHz Core Duo , 1GRAM 3 Mega CMOS傳感器)，以下就三者實驗 數(shù)據(jù)進行比較，如表 1 所示。 設(shè)計架構(gòu) 系統(tǒng)流程 系統(tǒng)流程如圖 7 所示。 系統(tǒng)架構(gòu)圈 由系統(tǒng)方框圖8可知，本設(shè)計使用雙核的系統(tǒng)，其中一個CPU是用來控制CMO控制器模 塊，而另一個CPU可以控制大部份的外圍器件，而兩個CPU之間是利用輸出及輸入 PIO腳位, 來達到傳遞數(shù)據(jù)的目的，這樣設(shè)計的好處是，可利用一個CPU全速處理大量圖像信息，而另 一個CPU可以負責車控系統(tǒng)，若從圖像中偵

10、測到偏離或碰撞危險時，將能通過PIO來觸發(fā)另 一個CPU的中斷，進而實時告知車控系統(tǒng)下達較正方向或閃避的控制命令，本 設(shè)計使用到許多的外圍器件包含F(xiàn)lashMemory、 SDRAM、 SRAM、 M4K RAM、 LCM、 JTAG-UART、 RS232 GPIO Button、Switch、Timer、LED Segment、VGA CMO傳感器等。 圖像處理方框圖 由圖9可發(fā)現(xiàn)，本設(shè)計之所以能達到實時圖像及實時動態(tài)追蹤，是因為當CMO傳感器下 圖像擷取時，便能通過硬件器件，將數(shù)據(jù)從RAW Data轉(zhuǎn)成RGB再進行二值化或灰階的處理， 以利進行圖像處理，而且同時亦在VGA上立即顯示出該圖

11、像，整個過程均是由硬件來做；在 圖像追蹤時，Nios可以通過X軸或Y軸的直方圖統(tǒng)計方式來進行標示目標物，所以一張新的 圖像進來時， Nios 并不用做任何處理，即可讀出所需要的數(shù)值，這樣一來才能達到所期待的 硬件加速效能。 軟件流程 1 為了加速運算，由硬件分別做了二值化和數(shù)據(jù)統(tǒng)計。 2 一開始先搜尋目標標線位置。 3 找到標線后進行動態(tài)鎖定。 4 開始判斷標線長度， 自控車是否在標線最近距離， 若否， 則判斷標線長是否大于標框 長的 70，如果大于 70則放大標框。 5 由 PIO 送出前進的控制信號給自控車。 6 若自控車在標線最近距離則判斷是否為左右轉(zhuǎn)標線， 若是則依標線左 ( 右) 轉(zhuǎn)

12、，否則停 止動作。 硬件電路 (1) 雙CMO傳感器圖像擷取器件通過 Switch開關(guān)來達到切換主畫面/子母畫面的功能， Frame的速度由其中一個 CMO傳感器來主導(dǎo)，每一次CMO傳感器所輸出的數(shù)值為 10bit,并 同時輸出該 pixel 的 x,y 坐標，以利讀取。 (2) 多端口 SDRAMS制器通過六個 FIFO來提供三讀三寫的 SDRAMS制器，每一個 FIFO 的大小為2KB,全利用M4K RAM來生成。 VGA控制器&圖像處理將SDRAM讀來的數(shù)值，配合適當?shù)腍-sync及V_sync信號一個一個 把Pixel打出去，在這同時亦順便進行 X軸或Y軸的直方圖統(tǒng)計，并將結(jié)果存儲于另一個 M4K RAM中，待NIOS需要時即可以馬上從此M4K RAMH賣到數(shù)值。 直流電機驅(qū)動電路 我們使用全橋電路來控制輪子的正轉(zhuǎn)及反轉(zhuǎn)、Nios通過CAR_CMD.O這個PIO來控制車 體的運動，CAR _CMD.0為后輪的開關(guān)，而 CAR_CMD.2為前輪的開關(guān)，在圖十五中為一可 控制電流正流或逆流的全橋電路開關(guān)，而前輪也相同，其中詳細的控制命令，如表2所示。 實境測試 在圖 15 中，智能型圖像追蹤車已鎖定特定的目標物了， 并朝著目標物前進， 圖中可以清 楚地看出除了自色箭頭標志外，尚有許多其它的白色干擾物，如白色墻壁、面紙等，而在圖 16中是智能型圖像追蹤車的VGA輸出，可以