（精密儀器及機械專業(yè)論文）基于SOPC的無線視頻系統(tǒng).pdf

摘要 摘要 近年來，隨著無線通信技術、嵌入式技術、傳感器技術和半導體技術的飛 速發(fā)展，設計低成本、小體積、可重配置的無線視頻采集傳輸系統(tǒng)成為可能。 本課題設計了一款基于f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ，現(xiàn)場可編程門陣 列) 的微型無線視頻采集傳輸系統(tǒng)。該系統(tǒng)可以采集、壓縮現(xiàn)場的視頻圖像信息， 并通過無線通信網絡將信息傳輸?shù)斤@示終端顯示。 本文首先討論了基于a v a l o n 總線的圖像采集i p 核的設計與實現(xiàn)，將i p 核 進行層次功能劃分設計，并進行h a l 下的設備驅動及封裝，最后加入到n i o si i 系統(tǒng)中，測試效果良好。i p 核是可配置的，具有很好的移植性，可以方便的應 用于圖像采集的嵌入式系統(tǒng)中。 在j p e g 圖像壓縮硬件加速電路設計部分，本文研究了j p e g 圖像壓縮標準， 利用f p g a 的高速并行運算能力，采用v e r i l o g h d l 硬件描述語言設計了j p e g 圖像壓縮硬件加速電路，并對電路的功能和時序進行了仿真驗證。實驗結果證 明j p e g 圖像壓縮硬件加速電路各模塊設計正確。 在j p e g 圖像壓縮硬件加速電路a v a l o n 接口設計部分，本文研究了a v a l o n 總線接口規(guī)范，并為j p e g 圖像壓縮硬件加速電路設計了a v a l o n 總線接口和相 應的硬件驅動程序，使之在s o p c ( s y s t e mo np r o g r a m m a b l ec h i p ，可編程片上 系統(tǒng)) 中可以作為j p e g 圖像壓縮i p 核來使用。仿真實驗證明：j p e g 圖像壓縮 i p 核設計正確，并能成功掛載到s o p c 系統(tǒng)中，作為一個i p 核來使用。 在碼流無線傳輸部分，本文研究了幾種短距無線通信協(xié)議標準，并在f p g a 中的n i o si i 處理器上采用c 語言實現(xiàn)了一種非標準的短距無線通信協(xié)議。協(xié)議 中采用自動調頻、自動應答和自動重發(fā)的機制提高通信的穩(wěn)定性。實驗結果表 明：在正常條件下，無線通信模塊可完整、準確地實現(xiàn)無線數(shù)據收發(fā)功能。 最后對本課題設計的視頻圖像采集i p 核、j p e g 圖像壓縮i p 核和無線通信 模塊進行了聯(lián)合驗證。實驗證明：在發(fā)送端，系統(tǒng)能夠成功的利用j p e g 圖像壓 縮i p 核對圖像進行壓縮，并通過n r f 2 4 l 0 1 非標準無線通信協(xié)議穩(wěn)定、準確地 傳輸碼流數(shù)據。在接收端，系統(tǒng)能夠完整、準確地接收碼流數(shù)據。 最后文章對所做的工作進行了總結，并為未來可開展的工作進行了展望。 關鍵詞：f p g a ，s o p c ，無線視頻，j p e g ，a v a l o n ，n r f 2 4 l 0 1 ； a b s t r a c t w i t ht h ed e v e l o p m e n to fw i r e l e s s c o m m u n i c a t i o nt e c h n o l o g y , e m b e d d e d t e c h n o l o g y , s e n s o rt e c h n o l o g ya n ds e m i c o n d u c t o rt e c h n o l o g y , d e s i g no fal o w - c o s t ， m i n i s i z ea n dr e c o n f i g u r a b l ew i r e l e s sv i d e oa c q u i s i t i o na n dt r a n s m i s s i o ns y s t e mi s p o s s i b l e t h ef o c u so f t h i sp a p e ri st od e s i g nam i n i s i z ew i r e l e s sv i d e oa c q u i s i t i o na n d t r a n s m i s s i o ns y s t e mu s e df o ri n f o r m a t i o ne x c h a n g ei nm e d i c a le m e r g e n c y i tc a p t u r e s a n dc o m p r e s s e sp i c t u r e s ，a n dt h e ns e n d st h e mt h r o u g hw i r e l e s s c o m m u n i c a t i o n n e t w o r k f i r s t l y , t h ed e s i g na n di m p l e m e n t a t i o no fc u s t o m i z e di m a g ec a p t u r ei p c o r e b a s e do i la v a l o nb u sw a sp r e s e n t e di nt h i sp a p e r w eh i e r a r c h i c a l l ys p i t e dt h ed e s i g n i n t ob l o c k sc a l l e dd e s i g np a r t i t i o n sa n di n t e g r a t e dd e v i c ed r i v e ri n t ot h eh a l a p i t h ec u s t o m i z e dp e r i p h e r a lw a sa d d e di n t on i o si is y s t e ma n dt h et e s ti ss m o o t ha n d e f r e c t i v e t h ei pc o r ew a sc o n f i g u r a b l ea n dc a nb ee a s i l yp o r t e di n t oo t h e re m b e d d e d i m a g ec a p t u r es y s t e m i i lt l l ej p e gi m a g ec o m p r e s s i o nh a r d w a r ea c c e l e r a t ec i r c u i td e s i g np a r t ，aj p e g i m a g ec o m p r e s s i o nh a r d w a r ea c c e l e r a t ec i r c u i ti sd e s i g n e dw i t hv e r i l o gh d l o na l l f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) s i m u l a t i o n sp r o v et h a tt h ec i r c u i tm e e t st h e d e s i g nr e q u i r e m e n t s i i lt h ea v a l o nb u si n t e r f a c ed e s i g np a r t ，a na v a l o nb u si n t e r f a c ea n dd r i v e sf o r t h ej p e gi m a g ec o m p r e s s i o nh a r d w a r ea c c e l e r a t ec i r c u i ta r ed e s i g n e d a sar e s u l t ，t h e j p e gi m a g ec o m p r e s s i o nh a r d w a r ea c c e l e r a t ec i r c u i tc a l lb eu s e da s a l li p c o r e ( i n t e l l e c t u a lp r o p e r t yc o r e ) i nt h ew h o l es y s t e m t e s t sp r o v e t h a tt h ed e s i g ni sc o r r e c t a n dt h ej p e gi m a g ec o m p r e s s i o nh a r d w a r ea c c e l e r a t ec i r c u i tc a l lb ei n t e g r a t e di nt h e s o p c ( s y s t e mo np r o g r a m m a b l ec h i p ) s y s t e ms u c c e s s f u l l ya s 趾i pc o r e 1 1 1n l ec o d es t r e a mw i r e l e s st r a n s m i s s i o np a r t ，s o m ew i r e l e s sc o m m u n i c a t i o n s t a n d a r dp r o t o c o l sa r ei n t r o d u c e d a n db yr e f e r e n c et ot h e s es t a n d a r dp r o t o c o l s ，a n o n s t a n d a r dw i r e l e s sc o m m u n i c a t i o np r o t o c o l i s i m p l e m e n t e db yu s i n g t h e n r f 2 4 l 01w i r e l e s sr fc h i p t e s t sp r o v et h a tt h em o d u l ec a l lt r a n s m i td a t ac o r r e c t l y i i lt l l ee x p e r i m e n tp a r t ，a ne x p e r i m e n ti si m p l e m e n t e dt ot e s tt h ef u n c t i o no ft h e i i a b s t r a c t d e s i g n e dj p e gi m a g ec o m p r e s s i o ni pc o r ea n dt h ew i r e l e s sc o m m u n i c a t i o nm o d u l e a i m a g ei sc o m p r e s s e da n ds e n tt ot h er e c e i v e rw i r l e s s l yb yt h ew i r e l e s sc o m m u n i c a t i o n m o d u l e t h er e c e i v e d d a t aa r es t o r e d w i t ht h ec o r r e s p o n d i n gj p e gh e a df i l e ，t h e e n c o d e di m a g ec a l lb ed e c o d e da n d d i s p l a y e d t h ee n do ft h i sp a p e rs u m m a r i z e st h ep o i n t so fw r i t e r sr e s e a r c hw o r ka n d p r e d i c t st h ef u t u r ed i r e c t i o no fm i n i s i z ew i r e l e s si m a g ec a p t u r i n ga n dt r a n s m i s s i o n s y s t e mf o rm e d i c a le m e r g e n c y k e yw o r d s ：f p g a ，s o p c ，w i r e l e s sv i d e o ，j p e g , a v a l o n ，n r f 2 4 l 0 1 ； i i i 學位論文獨創(chuàng)性聲明 學位論文獨創(chuàng)性聲明 本人聲明所呈交的學位論文是本人在導師指導下進行的研究工 作及取得的研究成果。據我所知，除了文中特別加以標注和致謝的地 方外，論文中不包含其他人已經發(fā)表或撰寫過的研究成果，也不包含 為獲得直昌盔堂或其他教育機構的學位或證書而使用過的材料。與 我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確 的說明并表示謝意。 學位論文作者簽名( 手寫) 壺鼢勇簽字日期： 年月日 學位論文版權使用授權書 本學位論文作者完全了解直昌去堂有關保留、使用學位論文 的規(guī)定，有權保留并向國家有關部門或機構送交論文的復印件和磁 盤，允許論文被查閱和借閱。本人授權南昌塞堂可以將學位論文的全 部或部分內容編入有關數(shù)據庫進行檢索，可以采用影印、縮印或掃描 等復制手段保存、匯編本學位論文。同時授權中國科學技術信息研究 所將本學位論文收錄到中國學位論文全文數(shù)據庫，并通過網絡向 社會公眾提供信息服務。 ( 保密的學位論文在解密后適用本授權書) 學位論文作者簽名：蝴導師簽名多耄輯 簽字日期：2d 口，年6 月- 日 簽字日期：卅年6 月f 一自 f 第1 章緒論 第1 章緒論 1 1 背景及意義 隨著社會的不斷發(fā)展和人民生活水平的不斷提高。日常生產生活中的安全 問題越來越受到重視。視頻監(jiān)控成為解決安全問題的手段之一，它以直觀形象 和信息內容豐富而被廣泛應用于許多場合。 視覺是人類最重要的感覺器官，視頻圖像信息也是人們從客觀世界獲取信 息的主要來源，約占人們依靠五官從外界獲得的信息總量的8 0 。但在很多場 合，由于受客觀條件的限制，人不可能經常親臨現(xiàn)場進行直接觀察，采用嵌入 式視頻監(jiān)控系統(tǒng)可以從根本上解決以上問題。 在信息化時代的今天，隨著計算機網絡技術、嵌入式技術、視頻編碼技術、 微電子技術和通信技術的迅速發(fā)展，極大地推動了嵌入式視頻監(jiān)控技術的不斷 發(fā)展。已經由原來的模擬視頻監(jiān)控系統(tǒng)發(fā)展到現(xiàn)在的數(shù)字視頻監(jiān)控、數(shù)字網絡 視頻監(jiān)控和無線網絡視頻監(jiān)控等更高級的視頻監(jiān)控系統(tǒng)。 利用嵌入式視頻監(jiān)控技術對重要對象進行監(jiān)控，逐漸成為現(xiàn)代生活中必不 可少的一部分。 目前的無線視頻采集傳輸系統(tǒng)從傳輸方式上分為模擬信號傳輸和數(shù)字信號 傳輸二大類。模擬信號傳輸就是用圖像信號直接調制載波。模擬傳輸設備簡單， 因此造價相對便宜，但模擬傳輸距離近，容易被干擾，一般需要比較大的發(fā)射 功率，接收靈敏度也低；同時一般一路信號必須獨自占據一個頻道。如果需對 上面任一個問題進行改進，則需要大量復雜電路，成本體積都會迅速上升。數(shù) 字信號傳輸就是先將視頻信號采樣成ol 組成的數(shù)據，然后調制載波。由于只 有o1 兩種調制狀態(tài)，因此很容易做成高性能的電路，因此傳輸距離遠，所需 發(fā)射功率小，容易實現(xiàn)頻道復用【l 】。 由于視頻信號采樣成數(shù)字信號后，數(shù)據量很大，需要占用很大帶寬，因此 一個頻道能傳輸?shù)男盘枖?shù)量很少。為解決這個問題，就需要在發(fā)射端先將數(shù)字 信號壓縮?，F(xiàn)有技術能將視頻信號壓縮到幾十甚至幾百分之一。因此傳輸甚至 存儲壓縮后的視頻信號，只在播放時才還原成為原始的信號，能大大提高傳輸 利用率，降低成本。 第l 章緒論 目前我國無線視頻采集傳輸采用兩類方式實現(xiàn)壓縮后的數(shù)字視頻信號傳輸 2 1 ：其一是利用現(xiàn)有的公共無線傳輸系統(tǒng)，即g p r s 、c d m a 、衛(wèi)星等；其二是 用戶自己建立無線網絡。利用現(xiàn)有的公共無線傳輸系統(tǒng)的優(yōu)勢有很多：其一是 公共網絡覆蓋到哪里，哪里就可以使用；其二是自己建立網絡。但是，利用現(xiàn) 有的公共網絡，也有許多問題：( 1 ) 運營費用高，每個月都需要向公共網絡運 營商交錢( 幾百到幾千月不等，衛(wèi)星、海事衛(wèi)星等更高達二十幾萬天每個攝像 機) ；( 2 ) 帶寬小，只有1 0 0 - - 2 0 0 k b p s ，傳輸?shù)囊曨l質量不高；( 3 ) 當一個小的 區(qū)域范圍內有許多臺攝像機時，公共網絡系統(tǒng)在該區(qū)域的帶寬可能不足以支持 這么多視頻信號同時傳輸；( 4 ) 現(xiàn)有的公共網絡的主要收入來自語音服務，而 公共網絡的帶寬有限，線路繁忙時會優(yōu)先保證語音服務，因而可能使無線視頻 采集傳輸系統(tǒng)在關鍵時無法使用；( 5 ) 有些偏遠地區(qū)公共網絡沒有覆蓋或不提 供數(shù)據服務，而這些地方可能恰恰是最需要無線視頻采集傳輸系統(tǒng)的地方。由 于以上問題，只有在需要在很大的不固定范圍，不固定線路移動的監(jiān)控點，如 井下，采用公共系統(tǒng)傳輸視頻數(shù)據，只在處理事故時開啟傳輸系統(tǒng)，以節(jié)約運 行成本。多數(shù)采用自己建立無線覆蓋系統(tǒng)傳輸視頻信號【3 】。 1 2 研究現(xiàn)狀 傳統(tǒng)的視頻采集傳輸系統(tǒng)以有線連接方式為主。近年來，隨著無線通信技 術和網絡技術的快速發(fā)展，市場上出現(xiàn)了大量的無線視頻采集傳輸設備。與以 往的有線視頻采集傳輸系統(tǒng)需要鋪設大量的地上地下設備線路、可移動性差的 情況相比，無線視頻采集傳輸系統(tǒng)，不僅具有安裝時問短、靈活、易于擴展、 便利等特點，就成本上它也可省下一筆可觀的布線費用。基于以上優(yōu)點，無線 視頻采集傳輸系統(tǒng)已開始應用到軍事、醫(yī)療、農業(yè)、安防等各個領域的各個方 面，并引起了國內外學術界和工業(yè)界的廣泛關注【4 刮。 一般而言，無線視頻采集傳輸系統(tǒng)包括視頻采集模塊，視頻處理模塊和無 線通信模塊。早期的一些無線視頻采集傳輸系統(tǒng)僅僅關注于系統(tǒng)功耗，忽略了 視頻處理的功能，使得系統(tǒng)在視頻質量和傳輸效率上欠佳，如系統(tǒng)【7 1 。該系統(tǒng)采 用低功耗的m s p 4 3 0 單片機作為主控芯片，采集現(xiàn)場的視頻數(shù)據，并通過無線 通信網絡直接把數(shù)據傳輸?shù)浇K端服務器顯示。由于單片機的數(shù)據處理能力有限， 系統(tǒng)無法進行實時的視頻壓縮處理。另一方面，無線通信帶寬非常有限，在不 2 第1 章緒論 進行任何壓縮處理的情況下直接對視頻進行無線傳輸，必然導致很低的幀率。 一個較早的具有本地視頻處理功能的無線視頻采集傳輸系統(tǒng)是p a n o p t e s 引。它主 要由i n t e ls t r o n g a r m 處理器，u s b 攝像頭，l i n u x 操作系統(tǒng)和w i f i 8 0 2 1 1 無 線網絡接口組成。該系統(tǒng)可以有針對性地對待傳輸視頻數(shù)據進行選擇，很好的 解決了無線傳輸帶寬有限的問題。p a n o p t e s 采用了一些商業(yè)化的設備，結構不夠 緊湊，并且功耗和成本都較高。c y c l o p s 、w i s n 、w i c a 等系統(tǒng)除了有視頻采集 和本地處理的功能，還具有結構緊湊的特點【9 。1 。c y c l o p s 系統(tǒng)是一種低功耗的 設計，它把一塊c p l d 直接與攝像頭相連，用于做簡單的視頻處理工作。然而， 8 b i t ，7 3 m h z 的c p u 和6 4 k b 的r a m 限制了它提供更高級的視頻處理算法的 計算能力。w i s n 采用一個更強大的3 2 b i t ，4 8 m h z 的c p u 和6 4 k br a m 。但其 處理器要同時承擔視頻處理和無線通信的功能，嚴重影響了系統(tǒng)的處理和傳輸 速度。第二代的w i c a 系統(tǒng)把視頻處理和系統(tǒng)控制單元分開，采用8 4 m h z 的 x e t a l t is i m d 處理器來提高視頻處理速度，利用8 0 5l 和z i g b e e 模塊來完成無 線網絡功能。x e t a l i is i m d 處理器具有一個專為高級視頻處理而設計的含有3 2 0 個并行處理單元的線性處理器陣列和一個6 4 b i t 的全局控制器，可為系統(tǒng)提供實 時的高級視頻處理功能。參考文獻【1 2 】中設計了一種無線視頻采集傳輸系統(tǒng)。該 系統(tǒng)包括攝像頭，f p g a ，s u m s u n ga r m 7 微處理器和無線通信模塊。與 w i c a 相似，系統(tǒng)把視頻處理和系統(tǒng)控制單元分開，利用f p g a 進行視頻采集和 視頻壓縮加速，利用a r m 處理器對視頻采集、視頻壓縮、無線通信模塊進行控 制。該系統(tǒng)能夠對視頻進行實時處理，但f p g a + a r m 的結構無疑增加了系統(tǒng)的 成本、功耗和體積。 本課題采用s o p c ( s y s t e mo np r o g r a m m a b l ec h i p ) 的設計方案。在f p g a 上配置一個n i o si i 軟核微處理器對系統(tǒng)進行控制，利用f p g a 在高速復雜邏輯 和高速并行運算能力上的優(yōu)勢，設計視頻采集、視頻壓縮硬件加速電路i p 核， 并設計i p 核與n i o si i 的接口電路及驅動程序，通過n i o si i 上的程序調用自行 開發(fā)的i p 核，完成視頻采集和視頻壓縮的功能。在無線通信方面，配置s p ii p 核和p i oi p 核控制n r f 2 4 l 0 1 無線收發(fā)芯片，通過n i o si i 上軟件程序完成無線 通信協(xié)議。與上文所述的系統(tǒng)相比，本設計具有以下優(yōu)點：第一，由于設計中 把視頻采集電路，視頻圖像壓縮硬件加速電路以及無線通信控制單元集成在一 塊f p g a 的不同功能區(qū)域上，系統(tǒng)可以在較低的功耗下工作，同時單片的設計 也減小了系統(tǒng)的體積和成本。第二，在系統(tǒng)中設計了一個專用的視頻圖像壓縮 3 第1 章緒論 硬件加速電路，減輕了c p u 的負擔，提高了系統(tǒng)的工作效率。第三，s o p c 的 解決方案可非常方便的對系統(tǒng)進行重新配置，使系統(tǒng)更具靈活性。最后，本系 統(tǒng)采用的r f 模塊，最高傳輸速率達2 m b i t s ，可使系統(tǒng)達到更高的幀率。 1 3 本課題方案的提出 嵌入式無線視頻系統(tǒng)主要由兩個子系統(tǒng)構成：視頻采集壓縮及傳輸系統(tǒng)、 數(shù)據接收解壓及顯示系統(tǒng)。其中底層的視頻采集接口要求實時預處理數(shù)據量大， 速度快，但運算結構相對簡單，常采用f p g a 硬件實現(xiàn)；高層基于j p e g 視頻壓 縮算法和系統(tǒng)總體控制結構復雜，由嵌入式n i o si i 軟核處理器來串行順序處 理；無線傳輸由n r f 2 4 l 0 1 無線射頻芯片完成，數(shù)據搬移采用d m a 方式。 無線視頻系統(tǒng)主要由三個方面性能要求。第一，視頻輸入端口為高分辨率 q v g a ( 3 2 0 2 4 0 ) 格式，2 5 幀秒；第二，圖像壓縮比例大于3 0 1 ，視頻圖 像從采集端到顯示端( 經過編解碼和無線收發(fā)) 的時間延遲小于l s ；第三，視 頻圖像采集端到顯示端的傳輸距離應大于1 0 0 m ( 空曠) 。 我們設計采用a l t e r a 公司c y c l o n ei i 系列的f p g a 實現(xiàn)，主要有三個方面的 原因。首先，可在系統(tǒng)中定制n i o si i 軟核處理器【l3 1 ，同時可以在n i o si i 處理 器指令集中增加定制指令【1 4 】，加速實現(xiàn)基于j p e g 的視頻圖像壓縮。其次，視頻 采集接口模塊和數(shù)據發(fā)送端口模塊均由硬件邏輯實現(xiàn)，數(shù)據的搬移采用d m a 的 方式，這樣可提高系統(tǒng)性能。第三，避免了外接視頻緩存f i f o 等器件和外圍電 路，采用s o p c 的設計方法裁減軟硬件，可降低功耗和增強可靠性。最后，通 過n i o s1 1 支持的m i c r o c o s i i 、u c l i n u x 等多種實時操作系統(tǒng)【1 5 l ，以及幸z i p 的 文件系統(tǒng)，可無縫移植自定義外設和接口邏輯，使設計過程十分方便。 1 4 本文內容安排 本文主要研究內容包括基于a v a l o n 總線的圖像采集i p 核的設計與實現(xiàn)， 基于a v a l o n 總線的圖像壓縮i p 核的設計與實現(xiàn)，基于f p g a 和n r f 2 4 l 0 1 的無 線數(shù)據傳輸，無線視頻系統(tǒng)s o p c 架構設計與實現(xiàn)。 本文具體內容安排如下： 第一章緒論，介紹了本文課題研究的背景和意義，綜述國內外研究現(xiàn)狀， 提出了本課題的設計方案，最后介紹本文的主要工作和內容安排。 4 第1 章緒論 第二章討論了基于a v a l o n 總線的圖像采集i p 核的設計與實現(xiàn)，將i p 核進 行層次功能劃分設計，并進行h a l 下的設備驅動及封裝。 第三章討論定制基于a v a l o n 總線的圖像壓縮i p 核，軟硬件協(xié)同設計，實現(xiàn) 可配置、可移植的實時視頻圖像壓縮i p 核，提供了一個s o p c 系統(tǒng)中的視頻圖 像壓縮方案。 第四章討論了n r f 2 4 l 0 1 模塊的硬件設計，基于f p g a 與n r f 2 4 l 0 1 的無線 數(shù)據通訊。 第五章構建s o p c 系統(tǒng)，對課題設計的視頻圖像采集i p 核、j p e g 視頻圖像 壓縮口核和無線通信模塊進行聯(lián)合驗證。 第六章為總結和展望。 5 第2 章基于a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) 第2 章基于a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) 2 1 引言 本章提出了基于a v a l o n 總線的圖像采集m 核的設計，實現(xiàn)了一個可配置、 可移植的s o p c 系統(tǒng)中的圖像采集方法。圖像采集i p 核要求能采集單幀、連續(xù) 幀圖像數(shù)據，用戶可設定采集窗口大小。由于后續(xù)圖像壓縮處理需要，圖像采 集i p 核同時包含了色彩模式的轉換模塊。 從定制用戶邏輯外設的角度，基于a v a l o n 總線的圖像采集核包含下列三 個部分組成：硬件邏輯文件：描述圖像采集存儲的硬件描述文件( h d l 文件) ； 軟件文件：定義采集i p 寄存器的頭文件及軟件驅動( c 語言文件) ；元件描述文 件：定義元件架構，包含s o p cb u i l d e r 配置和生成部件所需的詳細信息( t c l 文件) 【1 6 1 。 2 2 硬件邏輯設計 2 2 1 設計思想 圖像采集i p + 核的硬件組成邏輯包含圖像時序判斷模塊( c m o ss e n s o rd a t a c a p t u r e ) 、b a y e r 轉r g b 模塊( b a y e rp a t t e r nt or g b ) 、r g b 轉模塊( r g b t oy u v ) 、a v a l o nm m 從端口模塊( a v a l o ns l a v ei n t e r f a c e ) 、a v a l o nm m 主端口 模塊( a v a l o nm a s t e ri n t e r f a c e ) 。根據需要，可對系統(tǒng)結構進行剪裁。 2 2 2 系統(tǒng)框圖 圖2 1 系統(tǒng)原理框圖 6 第2 章基于a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) 系統(tǒng)框圖如圖2 1 所示，時序判斷模塊( c m o ss e n s o rd a t ac a p t u r e ) 判斷圖 像傳感器發(fā)出的時序信號，將有效數(shù)據、有效數(shù)據標志信號、行列信號引入下 一模塊。b a y e r 轉r g b 模塊( b a y e rp a t t e r n t or g b ) 判斷行列信號進行下抽 樣，并緩沖單行數(shù)據轉換b a y e r 格式數(shù)據為r g b 數(shù)據，將r 、g 、b 信號引入 下一模塊。r g b 轉y u v 模塊( r g bt 0 v ) 將r g b 數(shù)據轉換為數(shù)據， 將y 、u 、v 信號引入下一模塊。a v a l o n m m 主端口模塊( a v a l o n m a s t e r i n t e r f a c e ) 將y 、u 、v 數(shù)據寫入d o u b l ec l o c kf i f o 的緩存，從d o u b l ec l o c kf i f o 讀出后， 通過a v a l o n 總線和s d r a mc o n t r o l l e r 保存到s d 洲。a v a l o nm m 從端口模塊 ( a v a l o ns l a v ei n t e r f a c e ) 向a v a l o nm m 主端口模塊和其他功能模塊發(fā)送控制信 號和寄存器參數(shù)信號。根據需要，可對上述系統(tǒng)結構進行剪裁。 2 2 3 模塊設計 2 2 3 1 時序判斷模塊( c m o ss e n s o rd a t ac a p t u r e ) ： 圖像傳感器m t 9 m 0 1 1 的時序如圖2 2 和圖2 3 所示 e 州。一l u n ev a l i d ；廠廠 一叫l(wèi) 一 li 婦耐。婦。：7 ：一 n u m l b e ro f 仃謂翻量r d o d i p 。a 。q 。 廠 r ； ： i i 圖2 2 行同步與幀同步信號 f l j n ev a l i o - - - - - - - - 一 幾幾nn 幾廠 f i x c l k d o u m - d c x 腫 圖2 3 行l(wèi) 司步與像素數(shù)據 f 洲ev a l i d 和l i n ev a l i d 信號同時為高電平時，標志有效像素數(shù)據。 時序判斷模塊( c m o ss e n s o rd a t ac a p t u r e ) 判斷圖像傳感器發(fā)出的時序信號，將 有效圖像數(shù)據、數(shù)據有效標志信號、行列計數(shù)信號引入下一模塊。幀有效信號 取反作為一幀結束信號，該信號上升沿會置位a v a l o nm m 從端口的 s t a t u sr e g i s t e r 的第一個比特。時序判斷模塊原理圖如圖2 4 所示。 7 一一一一 第2 章基于a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) e l k c o n t r o 0 r e s e t u s e ri f v a i u s e ri i v a i u s e r _ i p i x c l k u s e r _ i d a t a 7 0 l c o n t r o l r r a m s _ d o n e u s e r _ o d v a l u s e r _ o d a t a 7 0 】 u s e ro xc o n t 1 0 0 1 u s e r _ o y _ c o n t 1 0 0 l u s e r o f r a m e _ c o n t 3 1 0 】 圖2 4 時序判斷模塊原理圖 設定接口信號類型如表2 1 所示。 表2 1 時序判斷模塊信號類型列表 方向信號類型寬度功能描述 時鐘信號( 對應來自a v a l o n 總線的像素同步時鐘， e l kl 2 5 m h z ) c o n t r o l _ g o l 啟動采集新的一幀數(shù)據 r e s e tl 復位信號( 對應來自a v a l o n 總線的r e s e t 信號，高有 效) 輸入 u s e r _ i p i x c l k l 像素時鐘( 對應p i x c l k2 5 m h z ) u s e r i f v a l l 幀有效信號( 對應f r a m e v a l i d ) u s e ri l v a ll 行有效信r - ( 對應l i n e - - v a l i d ) u s e r i d a t a 8 像素數(shù)據( 對應d o u t ，取高8 位) c o n t r o l f r a m e d o n l 一幀結束信號 e u s e r o d v a l l 有效數(shù)據標志信號 u s e r o d a t a 8 有效像素數(shù)據 輸出 u s e r _ o x o n t l l 有效列計數(shù) u s e r o y o n t 1 1 有效行計數(shù) u s e r o f r a m e c o n t 3 2 采集幀數(shù)計數(shù) 2 2 3 2b a y e r 轉r g b 模塊( b a y e rp a t t e r nt or g b ) ： m t 9 m 0 1 1 采用b a y e r 格式，偶數(shù)行間隔包含綠色和紅色像素，奇數(shù)行間隔 包含藍色和綠色像素；偶數(shù)列間隔包含綠色和藍色像素，奇數(shù)列間隔包含紅色 和綠色像素，如圖2 5 所示。 8 第2 章基于a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) ； b l a c kp i x e l s j grg r grg bg8gb68 grg r g r 6 bg8g8gb grg r 6 r 6 bgbgbg8 p i x e l ( 2 6 8 ) 圖2 5b a y e r 格式 根據時序判斷模塊輸入的行列計數(shù)信號值，進行下抽樣，輸出新的有效數(shù) 據標志信號。對g 分量進行插值，并與緩存的r 、b 分量拼成r g b 格式數(shù)據。 b a y e r 轉r g b 模塊原理圖如圖2 6 所示。 圖2 6b a y e r 轉r g b 模塊原理圖 設定b a y e r 轉r g b 模塊信號接e l 信號類型如表2 2 所示。 表2 2b a y e r 轉r g b 模塊信號類型列表 方向信號類型寬度功能描述 時鐘信號( 對應來自a v a l o n 總線的像素同步時鐘， e l kl 2 5 m h z ) 復位信號( 對應來自a v a l o n 總線的r e s e t 信號，高有 r e s e tl 效) 輸入 u s e r i d v a l l 像素數(shù)據有效標志信號( 對應u s e r o d v a l ) u s e r i d a t a 8 像素數(shù)據( 對應d o u t ，取高8 位) u s e r i x e o n t 1 1 有效列計數(shù)( 對應u s e ro xc o n t ) u s e r i y _ c o n t l l 有效行計數(shù)( 對應u s e r o y c o n t ) u s e r o d v a l l 下抽樣后像素數(shù)據有效標志信號 u s e r o r e d 8 下抽樣后有效像素紅色分量 輸出 8 下抽樣后有效像素綠色分量 u s e r _ o g r e e n u s e r o b l u e 8 下抽樣后有效像素藍色分量 9 第2 章基于a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) 在這一模塊中，采用s h i f tr e g i s t e r ( r a mb a s e d ) 來做行緩沖，參數(shù)設置為2 抽頭，間距為1 2 8 0 ，每個抽頭位數(shù)為8 ( n u m b e ro ft a p s = 2 ，t a p _ d i s t a n c e = 1 2 8 0 ， w i d t h = 8 ) 。s h i f tr e g i s t e r ( r a mb a s e d ) 模塊原理圖如圖2 7 所示。 圖2 7s h i f tr e g i s t e r ( r a mb a s e d ) 模塊原理圖 設定行緩沖模塊接口信號類型如表2 3 所示。 表2 3 行緩沖模塊信號類型列表 方向信號類型寬度功能描述 c l k e nl 行緩沖輸入使能( 對應u s e r _ i d v a l ) 輸入c l o c k1a v a i o n 主端口的同步時鐘信號( 2 5 m ) s h i f t i n8 行緩沖輸入數(shù)據( u s e r i d a t a ) t a p s o x 8抽頭1 ( 奇數(shù)行數(shù)據) 輸出 t a p s l x 8 抽頭2 ( 偶數(shù)行數(shù)據) 2 2 3 3r g b 轉模塊( r g bt o y u v ) ： r g b 是基于紅綠藍三基色的顏色空間，而亮度和色差的顏色空間。它們之 間的轉換公式如式2 1 所示 y = 0 2 9 9 * r + 0 5 8 7 * g + 0 11 4 b u = 0 1 6 9 r 0 3 3 2 * g + 0 5 0 0 * b v = 0 5 0 0 * r 0 4 1 9 g 0 0 8 1 3 木b ( 2 1 ) 各顏色分量值與小數(shù)系數(shù)相乘轉換稱為各顏色分量與8 位二進制數(shù)( 小數(shù) 系數(shù)乘以1 2 8 對應的二進制數(shù)) 相乘，乘加之后的結果再舍掉低七位。小于0 的數(shù)置為o ，大于2 5 5 的數(shù)置為2 5 5 。 r g b 轉y u v 模塊原理圖如圖2 8 所示。 r 1 7 0 】 g 7 0 】 b 7 0 】 y 7 0 1 u 7 0 】 v 【7 0 】 圖2 8r g b 轉y u v 模塊原理圖 1 0 第2 章基于a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) 設定r g b 轉模塊信號類型如表2 4 所示。 表2 4r g b 轉y 1 模塊信號類型列表 方向信號類型寬度功能描述 r8 有效像素紅色分量( 對應u s e ro r e d ) 輸入 8 有效像素綠色分量( 對應u s e r - o g r e e n ) g b8 有效像素藍色分量( 對應u s e ro b l u e ) y 8 有效像素亮度分量 輸出 u8 有效像素色差分量 v8 有效像素色差分量 2 2 3 4a v a l o nm m 從端口( a v a l o ns l a v ei n t e r f a c e ) a v a l o n 從端口模塊將內部節(jié)點映射為可尋址的偏移地址，n i o si i 處理器通 過它進行讀寫操作。a v a l o nm m 從端口向a v a l o nm m 主端口發(fā)送控制信號和寄 存器參數(shù)信號，同時包含符合a v a l o n 總線規(guī)范的各種接口信號【1 7 1 。 a v a l o nm m 從端口模塊原理圖如圖2 9 所示。 圖2 9a v a l o nm m 從端口模塊原理圖 定義a v a l o nm m 從端口信號類型如表2 5 所示。 表2 5a v a l o nm m 從端口信號類型列表 方向信號類型 寬度 功能描述 c i kl 時鐘信號( 對應來自a v a l o n 總線的c p u 時鐘，i o o m h z ) c o n t r o l f r a m e d o n e l一幀結束信號 c o n t r o l w r i t e d o n e 1一幀寫完成信號 r e s e tl 復位信號( 對應來自a v a l o n 總線的r e s e t 信號，高有效) s l a v e r e a d 讀請求信號( 對應來自a v a l o n 總線的r e a d 信號) 輸入 s l a v e w r i t e l 寫請求信號( 對應來自a v a l o n 總線的w r i t e 信號) s l a v e _ a d d r e s s 3地址線( 對應來自a v a l o n 總線的a d d r e s s 信號) s l a v e w r i t e d a t a 3 2 數(shù)據線( 對應來自a v a l o n 總線的w r i t e d a t a 信號) s l a v e _ b y t e e n a b l e 4 字節(jié)使能信號( 對應來自a v a l o n 總線的b y t e e n a b l e ) c o n t r o l _ r e t u r n _ a d d r e s s 8 當前地址值 第2 章基t - - a v a l o n 總線視頻圖像采集i p 核的設計與實現(xiàn) 方向信號類型寬度功能描述 c o n t r o l f i x e d _ w r i t e _ a d d r e s s l 固定基地址控制信號 c o n t r o l i r q 1中斷信號 c o n t r o l _ r e a d _ g o 8啟動采集信號 輸出 d e b u g _ s l a v e _ d o n e _ s t r o b e l l調試信號 s l a v e r e a d d a t a l l數(shù)據線 c o n t r o l _ w r i t e _ a d d r e s s 數(shù)據保存首地址 c o n t r o l _ w r i t e _ l e n g t h 4 數(shù)據保存長度 2 2 3 5a v a l o nm m 主端口模塊( a v a l o nm a s t e ri n t e r f a c e ) a v a l o n 主端口發(fā)起基本主端口寫傳輸，每次向a v a l o n 總線模塊傳輸一個數(shù) 據單元。a v a l o nm m 主端口模塊接收來自a v a l o nm m 從端口的控制信號和寄存 器參數(shù)信號，同時包含符合a v a l o n 總線規(guī)范的各種接口信號【1 8 】。 a v a l o nm m 主端口模塊原理圖如圖2 1 0 所示。 圖2 1 0a v a l o nm m 主端e l 模塊原理圖 設定a v a l o nm m 主端口模塊信號類型如表2 6 所示。 表2 6a v a l o nm m 主端口模塊信號類型列表 方向信號類型寬度 功能描述 輸入 c l kl時鐘信號( 對應來自a v a l o n 總線的c p u 時鐘，1 0 0 m h z l c o n t r o l f i x e dl o c a t i o n l 固定基地址控制信號( 對應c o n t r o l _ f i x e d _ w r i t e _