IEEE1394視頻視覺系統(tǒng)中DSP控制處理器的軟硬件設(shè)計

1、IEEE1394網(wǎng)絡(luò)視頻視覺系統(tǒng)中DSP控制處理器的硬件和軟件設(shè)計摘要：介紹了用數(shù)字信號處理器實現(xiàn)網(wǎng)絡(luò)視頻流控制處理功能的硬件和軟件設(shè)置修訂方案。 著重闡述了如何配置和修改DSP軟件和外圍硬件，以完成IEEE1394解老虎鉗自我識別和數(shù)據(jù)傳輸?shù)脑敿?xì)過程。 另外，還提出了一種用于運動檢測的運動檢測的加權(quán)背景恢復(fù)算法及其DSP實現(xiàn)方案。 這種DSP成功實現(xiàn)數(shù)碼視覺感知算法的嘗試對于其他視覺感知功能的實現(xiàn)具有一定的參考意義。 關(guān)鍵詞： DSP IEEE1394a網(wǎng)絡(luò)視頻收集運動目標(biāo)檢測介紹了基于以DSP為中心的IEEE1394男低音的圖像實時采集處理系統(tǒng)的硬件設(shè)定修訂。 另外，還提出了通過DSP容易

2、實現(xiàn)、存儲器資源占有率小的運動目標(biāo)檢測算法。 目前國內(nèi)外許多修訂版視覺感知研究都是通過修訂版軟件處理實現(xiàn)的，因此在實時性和成本方面受到修訂版平臺的制約。 探討了計算機視覺系統(tǒng)的硬件平臺設(shè)置修訂方案，在該平臺上實現(xiàn)了運動目標(biāo)檢測。 這是用DSP實現(xiàn)修正機視覺感知算法的成功嘗試，對其他算法的硬件實現(xiàn)具有一定的參考意義。 采用IEEE1394男低音作為傳輸接口是實現(xiàn)實時成像的根本保證。 IEEE1394是國際電氣電子工程師協(xié)會(IEEE )制定的高速串行總線協(xié)議。 1394男低音具有熱插拔和即插即用優(yōu)勢1。 提供統(tǒng)一的通用接口，具有男低音供電能力(每個通訊端口的最高輸出功率電流為1.5A，輸出電壓為

3、833Vdc )傳輸率傳輸率高出100400Mbps。 獨立于計算機，支持1394 dec之間的點對點傳輸。 其中第四個優(yōu)點是目前常用的USB2.0男低音不能實現(xiàn)，這一優(yōu)點是1394不僅是計算機外圍連接男低音，也是多種家電產(chǎn)品的連接方案。 另外，為了實現(xiàn)數(shù)字注音字視頻圖像的實時采集和處理，向一盞茶發(fā)揮1394男低音的高速傳輸率，筆者選擇了TI公司的TMS320VC33數(shù)字信號處理器作為主控制支重輪。 這是一個高性能浮點DSP，具有17ns的指令周期和60MIPS的處理能力2。 分別介紹該DSP系統(tǒng)的工作原理、軟件、硬件設(shè)定修訂、運動目標(biāo)檢測算法的改良和實現(xiàn)。 1系統(tǒng)構(gòu)成和工作原理本系統(tǒng)是一個驗

4、證和實現(xiàn)各種訂正機視覺感知算法而建構(gòu)的硬件平臺，將5枚512K8bit的SRAM分別作為信息幀高速緩存區(qū)和DSP的擴展RAM。 另一張20萬男同性戀的FPGA用于系統(tǒng)的邏輯控制和隨后的機器視覺算法的硬件實現(xiàn)。 系統(tǒng)的構(gòu)成分塊圖。系統(tǒng)的結(jié)構(gòu)如下所示。 打開或重新定徑套系統(tǒng)后，DSP將首先從FlashROM自動加載查詢密碼并開始執(zhí)行，等待1394纜線插入。 當(dāng)插入線纜時，DSP解析來自根結(jié)點的請求報文分組，并且發(fā)出對應(yīng)的內(nèi)容作為響應(yīng)，直到根結(jié)點找到該解老虎鉗為止。 之后，當(dāng)根結(jié)點發(fā)出讀取數(shù)據(jù)的請求時，DSP根據(jù)請求報文分組的內(nèi)容從信息幀緩存器RAM提取數(shù)據(jù)，并通過1394網(wǎng)絡(luò)鏈接層和物理層芯片發(fā)送

5、給1394男低音。 圖像數(shù)據(jù)的收集、處理和傳送的3個步驟是以輸油管道方式，在每個云同步時刻把握信息幀緩沖器RAM的網(wǎng)站數(shù)據(jù)庫權(quán)，并行動作。 當(dāng)每個步驟完成時，在FPGA的控制下，該片的信息幀緩沖器的控制權(quán)切換到云同步，并且開始下一個輸油管道周期。 各步驟中3張信息幀高速緩存區(qū)RAM的控制步驟。這種流水線式的電路構(gòu)成實現(xiàn)了圖像取入、圖片處理、圖片傳輸3個步驟的并行工作，大大提高了處理的連續(xù)性和實時性。 2 DSP硬件設(shè)定修訂DSP在本系統(tǒng)中的塔斯克有3個。 首先，通過網(wǎng)絡(luò)鏈接層和物理層芯片與根結(jié)點通訊，完成自識別過程，第二，處理收集到的1信息幀的圖像，將其返回信息幀高速緩存區(qū)，第三，完成自識別后

6、，響應(yīng)來自根結(jié)點的數(shù)據(jù)讀出請求，從信息幀緩沖RAM讀出處理后的圖像數(shù)據(jù)整個系統(tǒng)是一張TMS320VC33、一張20萬男同性戀的FPGA(EP20k200EBC356 )、五張512KB高速SRAM(IS61LV5128AL )、一張閃存(am 29lv 400 b )、一張其中TMS320VC33作為主控制支重輪FPGA在DSP的控制下，向1394網(wǎng)絡(luò)鏈接層碼片的數(shù)據(jù)移動器通訊端口發(fā)送數(shù)據(jù)。 此外，F(xiàn)PGA還具有地址解查詢密碼、時間節(jié)點調(diào)整、信息幀緩存切換等功能。 3張SRAM作為信息幀緩沖區(qū)，另2張作為DSP的擴展RAM，在1張RAM內(nèi)存在1信息幀圖像(300K字節(jié))，由于其網(wǎng)站數(shù)據(jù)庫時間為

7、12ns，所以完全適合TMS320VC33等待零進(jìn)行網(wǎng)站數(shù)據(jù)庫。 物理層芯片TSB12LV04a僅通訊至網(wǎng)絡(luò)鏈接層芯片，并且負(fù)責(zé)與男低音上的差分天線計程儀信號與系統(tǒng)的數(shù)字信號之間的轉(zhuǎn)換，而與DSP無關(guān)。 Flash用于存儲DSP查詢密碼，通過地址解析查詢密碼直接連接到DSP。 DSP重新定徑套后，Boot-Loader將查詢密碼從Flash加載到DSP片內(nèi)的RAM中并開始執(zhí)行。 可通過DSP的JTAG接口方便地寫入閃存的系統(tǒng)。 AM12LV400B的網(wǎng)站數(shù)據(jù)庫時間為70ns，因此，當(dāng)DSP網(wǎng)站數(shù)據(jù)庫到閃存時，至少需要增加5個等待時間。 在由TI公司提供的代碼合成器(cc )環(huán)境下，3 DSP軟

8、件設(shè)置修改DSP的軟件研發(fā)與DSP硬件游戲模擬器協(xié)作進(jìn)行。 查詢密碼的開發(fā)根據(jù)情況使用習(xí)語言和匯編語言的混合計程儀編程。 在實現(xiàn)去老虎鉗的自識別過程中使用習(xí)語言，這一過程的邏輯關(guān)系雖然復(fù)雜，但在男低音重新定徑套初始化時只執(zhí)行一次，不僅可以提高習(xí)語言的可讀性，降低開發(fā)難度，還不會對系統(tǒng)的性能產(chǎn)生太大影響。 另一方面，匯編語言用于報文分組讀取圖片處理或響應(yīng)數(shù)據(jù)的請求。 這是因為這些個查詢密碼頻繁，直接影響系統(tǒng)的速度。 響應(yīng)1394男低音的自識別過程是系統(tǒng)設(shè)置校正的難點，也是1394接口設(shè)置校正的最重要的部分。 DSP響應(yīng)必須與IEEE1394a連接協(xié)議中規(guī)定的自識別步驟兼容，圖3示出了DSP的操作

9、流程。實際上，自識別過程是根結(jié)點(男公關(guān))請求讀取葉節(jié)點(解老虎鉗)配置ROM的過程。 可以執(zhí)行事務(wù)的1394串行男低音節(jié)點必須實現(xiàn)配置ROM，以提供配置和診斷與解老虎鉗相關(guān)的問題所需的信息。 例如，對于1394解老虎鉗的計算機，一旦打開數(shù)據(jù)老虎鉗，計算機將首先讀取配置ROM的內(nèi)容，以確定它是什么樣的數(shù)據(jù)老虎鉗。 包含在配置ROM中的信息包括指定模塊、節(jié)點和配置零配件的特征和殘奧表所需的信息，這些模塊、節(jié)點和配置用于設(shè)置指定數(shù)據(jù)老虎鉗的男低音的各種性能，以識別老虎鉗驅(qū)動程序所需的信息和診斷軟件所需的信息。 正常格式的配置ROM形成包括通過指針連接的多個分支和葉的樹結(jié)構(gòu)，其中也有不限的選擇34。

10、 DSP將配置了ROM的內(nèi)容作為異步讀取應(yīng)答報文分組分配給計算機，配置了ROM的內(nèi)容由開發(fā)者開發(fā)的系統(tǒng)獨自定義。 計算機正確讀取配置ROM的內(nèi)容后，將顯示檢測到新硬件或自動加載了相應(yīng)的1394解老虎鉗驅(qū)動程序。 所有1394數(shù)據(jù)傳輸以報文分組為單位。 報文分組標(biāo)頭包含傳輸速率(Spd )、事務(wù)標(biāo)簽條(tLable )、事務(wù)查詢密碼(tCode )、源節(jié)點ID和目標(biāo)節(jié)點ID等信息。 關(guān)于這些個的信息，例如，在讀取伊斯特塊搖滾樂響應(yīng)報文分組的傳輸速率為400Mbps的情況下，Spd=10、tCode=7、源節(jié)點ID與目的地節(jié)點ID分別等于鏈接伊斯特報文分組的目的地節(jié)點ID與源節(jié)點ID、tLable

11、與鏈接伊斯特報文分組。 在自標(biāo)識牌完成后，DSP開始處理收集到的圖像數(shù)據(jù)，并開始數(shù)據(jù)傳輸以中斷子例程。 由于該系統(tǒng)采用1394男低音的異步傳輸方案，并且每一次數(shù)據(jù)傳輸由男公關(guān)(PC )開始，因此該DSP用中斷方式對來自男公關(guān)的讀取請求進(jìn)行答復(fù)，針對每個中斷服務(wù)發(fā)送一個報文分組。 在捕獲、處理、傳輸三個步驟中，顯然處理最費時間，為了在這些個的三個步驟全部完成之后切換到輸油管道的下一個周期，在中斷子例程中也判斷是否出現(xiàn)了1信息幀的圖像，如果出現(xiàn)了另一個信息幀則關(guān)閉中斷，圖片處理步驟完成整個軟件部分后，燒制Flash，實現(xiàn)普通堆計程儀的引導(dǎo)也是重要的步驟。 TMS320VC33的引導(dǎo)功能通過在DSP

12、重新定徑套后自動執(zhí)行位于芯片上ROM的地址0x45中的查詢密碼來實現(xiàn)。 該查詢密碼根據(jù)重新定徑套時的INT0INT3端子上的狀態(tài)，決定要加載的源地址(0x1000、0x400000、0xFFF000或者僅串行0 )，將源地址的查詢密碼轉(zhuǎn)發(fā)到指定的片上RAM，指定的plum入口點四信息幀間平均運動檢測算法的改進(jìn)和運動目標(biāo)檢測跟蹤的實現(xiàn)是計算機視覺感知中非常重要的關(guān)注研究領(lǐng)域，近年來出現(xiàn)了許多新的算法。 但是，可以歸納為基于光流法解析的算法、基于活動配置文件的化學(xué)基的算法、基于統(tǒng)一補正模型的算法、基于圖像差分的方法這4種。 前三個算法與第四個方法相比具有的優(yōu)點是精度更高，定位準(zhǔn)確，可以獲得運動殘奧

13、儀表。 但是，算法復(fù)雜度高，目前在通用硬件平臺上實現(xiàn)實時處理較為困難。 因此，圖像差分方法廣泛用于實時運動檢測系統(tǒng)。 為了取得實用上的差分圖像，具有利用相鄰的2個信息幀間的差分取得差分圖像的方法和利用相鄰的2個信息幀間的差分取得差分圖像的方法之二是，通過減去當(dāng)前信息幀和固定的背景信息幀得到差分圖像。 第一種方法在應(yīng)用中容易出現(xiàn)“空洞”現(xiàn)象，檢測結(jié)果的大小與目標(biāo)運動的速度有關(guān)，影響動目標(biāo)檢測的精度的第二種方法是背景固定，因此，外界的條件明顯變化，例如照明等條件變化時，當(dāng)前的實際背景圖片變化，得到的差分圖像不正確因此，該方法僅能夠應(yīng)用于背景條件不變的情況，以及變化被限制在一定范圍內(nèi)的情況。 對于背

14、景和通用相機都靜止的特定應(yīng)用程序，選擇了根據(jù)背景削減的運動檢測和跟蹤算法。 該算法的關(guān)鍵是背景再建構(gòu)，在此應(yīng)用基于信息幀間平均的背景再建構(gòu)方法6，在此基礎(chǔ)上對硬件的可行性和處理實時性提出了改進(jìn)。 最后，為了克服背景削減算法的噪音大的先天性不足，采用形態(tài)學(xué)濾波的方法除去噪音。 信息幀間平均算法是使用當(dāng)前信息幀之前的每一個信息幀的像素平均值作為當(dāng)前背景估計的等式由式可知，只要該算法在圖像收集系統(tǒng)中追加信息幀存儲器來存儲估計背景即可，因此對硬件資源的要求較低。 另外，由于背景隨著n的增加而逐漸恢復(fù)，因此背景恢復(fù)處理不影響圖片處理結(jié)果的實時傳輸和顯示。 顯然，n越大，背景恢復(fù)越真實，可以控制n的大小來

15、平衡處理時間和處理效果。 但是，由于上述公式有除法，所以不管是FPGA還是DSP都難以實現(xiàn)。 以DSP為例，對于本系統(tǒng)中使用的TMS320C3x系列DSP，1次整數(shù)除法大約需要100條指令，這顯然對處理的實時性產(chǎn)生很大影響。 為克服該算法缺陷，提出了如下的加權(quán)分?jǐn)?shù)變算法在上述式中，在各信息幀取平均值時不取相同的權(quán)重，而將2的應(yīng)整數(shù)的2m作為步長，對每個步長對估計出的背景賦予在其步長內(nèi)最大的權(quán)重值(2m-1)/2m，這是因為在比原始算法中的背景的權(quán)重值(n-1)/n大的整個背景估計過程中另外，除數(shù)都是2的整數(shù)次方，可以通過移位實現(xiàn)，與原來的算法相比，運算效率提高近100倍。 但是，由于在不破壞處

16、理效果的情況下，加權(quán)值的變更隨著信息幀數(shù)的增加而推測的背景的信任度變高，當(dāng)前信息幀對背景的影響變小，因此推測的背景在公式中所占的比例也應(yīng)變大。 在：m=6的情況下，實驗證明一盞茶可以估計更真實的背景。 DSP的擴展RAM存儲已推定的背景，從背景減去絕對值，進(jìn)一步二值化而得到運動目標(biāo)的二值化圖像。 為了去除噪聲的影響，最后使用77個菱形結(jié)構(gòu)元件對圖像進(jìn)行形態(tài)學(xué)計算。 最終結(jié)果將重新存儲在信息幀高速緩存區(qū)中。 圖4是在處理結(jié)果返回給男公關(guān)之后由VC實現(xiàn)的應(yīng)用接口中，左上犄角旮旯附加到原圖像的運動對象檢測結(jié)果、右上犄角旮旯二值化后的運動對象、左下犄角旮旯是背景恢復(fù)圖、右下犄角旮旯是運動跟蹤軌跡。 圖6是使用經(jīng)過改進(jìn)