多源圖像融合技術及其遙感應用：02-圖像融合技術(彩色-實時)

——圖像融合技術多源圖像融合技術及其遙感應用圖像融合技術概述灰度圖像融合技術彩色圖像融合技術實時圖像融合系統(tǒng)遙感圖像融合技術圖像融合前沿應用123456課程內容CONTENTS03彩色圖像融合技術（偽）彩色圖像融合的意義人眼對顏色的分辨力遠遠超過對灰度等級的分辨力，而且顏色會直接使人產生心理和生理的反映。彩色融合可以充分利用人眼彩色視覺的高分辨力和高靈敏度的特性，提高目視系統(tǒng)探測和目標識別能力。戰(zhàn)場上受傳感器的限制，攝取的圖像（特別是微光圖像和熱圖像）都是低信噪比的單色圖像，缺乏體視感（深度感），不利于目標的探測，可以利用偽彩色融合技術將蘊藏在各原始圖像灰度等級中的信息用彩色的方式表征出來。多光譜、高光譜成像系統(tǒng)波段愈分愈細，可達200個以上。拍攝的源圖像帶有豐富的光譜信息，充分利用目標的光譜或波譜信息進行融合可以使融合圖像的彩色表現(xiàn)更有針對性。雙通道偽彩色融合算法——T&W算法彩色融合不但要用色彩表征圖像信息，而且要盡量保證彩色顯示符合人眼的視覺習慣，利用生物視覺模型指導圖像彩色融合，在生理物理學的基礎上提高融合的視覺效果。T&W假彩色融合算法（Toet，Walraven，1996）是一種根據(jù)人眼的視覺開發(fā)的一種融合紅外和可見光圖像的假彩色融合算法，該算法將紅外圖像和可見光圖像經過一定的交互處理后，分別送到R、G、B三通道，使融合圖像呈現(xiàn)一定自然性的顏色。T&W算法具體步驟如下：首先取兩路圖像對應像素的較小值作為圖像的公共部分再提取各自圖像的特征部分，表示可見光的特征部分，表示紅外圖像的特征部分，則有：最后采用交叉相減的處理來實現(xiàn)，并將處理結果直接送至R、G、B三通道進行顯示，即：T&W算法驗證紅外圖像可見光圖像T&W偽彩色融合效果在以可見光圖像與熱紅外圖像之間的差異形成的藍色背景上，以不同的顏色差異突出表征可見光圖像與熱紅外圖像間的細節(jié)差異?；谏镆曈X模型的融合算法圖像彩色融合算法不但要利用色彩突顯目標，還要保證顏色符合人眼的觀察習慣。而對生理視覺神經系統(tǒng)性質的研究，可以從生理物理學和心理物理學研究的基礎上指導圖像彩色融合算法的研究1981年，T.Wiesel給出了受域中心-環(huán)繞結構的電生理學描述神經節(jié)細胞從功能上的受域可以分為兩個系統(tǒng)：ON-center/OFF-surround通道OFF-center/ON-surround通道，受域是中心-環(huán)繞結構基于生物視覺模型的融合算法ON-center/OFF-surround系統(tǒng)中心細胞的興奮刺激導致的細胞響應將被周圍環(huán)繞細胞所產生響應所抑制。OFF-center/ON-surround系統(tǒng)，細胞響應相反。研究表明，ON、OFF系統(tǒng)分別由視網膜內的各個部分的ON細胞和OFF細胞構成，兩個系統(tǒng)的生理作用是視網膜受域內細胞之間通過水平細胞的側向并聯(lián)所產生的綜合效應基于生物視覺模型的融合算法對于抑制細胞受到刺激的瞬態(tài)響應，可以使用中心-環(huán)繞的對抗被動膜方程進行模擬：x(i,j)：抑制細胞的響應；A：衰減常數(shù)；H：可選參數(shù)；C(i,j)：受域的興奮中心；S(i,j)：側向抑制環(huán)繞區(qū)域?；谏镆曈X模型的融合算法對于增強細胞，設可引起興奮的觸點總數(shù)為b，細胞激活觸點總數(shù)在時間t時為z(t)，模型由三方面因素決定：1)細胞自發(fā)衰減細胞活性觸點以固定速率衰減，并且與觸點數(shù)目成正比，即Az(t)，A

是常數(shù)2)活性觸點并聯(lián)增強激活觸點被外界隨機分布的刺激信號增強，強度正比于z(t)

S(t)

3)非活性觸點并聯(lián)激活細胞非活性觸點被刺激信號C(t)激活，強度正比于[b-z(t)]C(t)基于生物視覺模型的融合算法對于增強細胞受到刺激的瞬態(tài)響應，可以使用中心-環(huán)繞的對抗被動膜方程進行模擬：x(t)：增強細胞的響應；A：衰減常數(shù)；D：細胞基底活性；E、F：極化常數(shù)，或者稱作Nernst電勢。側向并聯(lián)中心-環(huán)繞受域的神經網絡動力學方程ON對抗系統(tǒng)細胞響應OFF對抗系統(tǒng)細胞響應S.Grossberg建立了類似形式的受域側向并聯(lián)中心-環(huán)繞神經網絡。該網絡在抑制噪聲和計算出圖像的對比度的同時補償了光照變化，消除光照的影響。在ON通道，中心是興奮、環(huán)繞是抑制；而在OFF通道，中心抑制、環(huán)繞興奮細胞自發(fā)衰減非活性觸點并聯(lián)激活活性觸點并聯(lián)激活側向并聯(lián)中心-環(huán)繞受域的神經網絡動力學方程當系統(tǒng)平衡時，ON、OFF細胞的輸出為：ON對抗細胞輸出

簡化形式OFF對抗細胞輸出簡化形式其中，整流函數(shù)受域興奮中心響應側向抑制環(huán)繞區(qū)域響應神經網絡動力學方程簡化形式穩(wěn)態(tài)響應ON對抗細胞：OFF對抗細胞：空間常數(shù)σc、

σs

影響著細胞對細節(jié)的探測能力空間常數(shù)大，對細節(jié)的探測性能低，但全局顏色表現(xiàn)能力提高空間常數(shù)小，可以提供更好的細節(jié)探測能力神經網絡動力學方程的理解當中心和環(huán)繞區(qū)域輸入信號相同時，上式的分子包含DoG形式而分母包含SoG形式，因此在適當參數(shù)下視覺模型對輸入信號有增強反差、突出邊緣和壓縮動態(tài)范圍的能力，稱此過程為信號的增強當中心和環(huán)繞區(qū)域輸入信號不同時，根據(jù)在ON、OFF區(qū)域的位置相互作用。在適當參數(shù)下，視覺模型能保留并增強兩信號中的相同信息，并且一定程度上增強兩信號間不同信息，從而改善兩信號間的對比度，稱此過程為信號的組合基于神經動力學的圖像融合算法響尾蛇一般視覺都不發(fā)達，只能感覺光亮黑暗，但它卻在頭部兩側長著一套特殊的紅外線探測結構的眼睛，對波長為10~15μm的紅外線特別敏感。響尾蛇的特點是在夜間也能準確地攻擊那些即使偽裝得很好的獵物。研究表明，這種攻擊能力的“視覺”引導是熱制導的，它能察覺熱血動物所發(fā)出的紅外輻射?；谏窠泟恿W的圖像融合算法響尾蛇的頰窩器官，是一對位于頭部的空腔。腔體很深，在頭部兩側眼睛的前下方。有許多與腦相聯(lián)的熱敏感神經纖維。腦部有一群神經細胞集合而成的特化核。其作用是接收、處理來自頰窩器官的感覺信息，并將它傳送到中腦的視頂蓋。視頂蓋則把來自頰窩器官的紅外線信號和來自眼睛的視覺信號加以綜合，確定攻擊對象的精確位置。即使有0.003℃的變化也能使響尾蛇神經纖維的生物電發(fā)放速率產生顯著變化?；谏窠泟恿W的圖像融合算法1981年E.A.Newman和P.H.Hartline通過特征交叉（Cross-modalityInteractions）方法揭示了響尾蛇視頂蓋雙模式細胞的生理作用能夠同時接收來自可見光和紅外的信息輸入，紅外圖像并且能夠自動同可見光圖像配準由于雙模式細胞的協(xié)同作用，可見光和紅外圖像共同構成了響尾蛇對外界環(huán)境的感知，包括兩者之間的“與”、“或”、紅外抑制、可見光抑制、紅外增強、可見光增強六種協(xié)同關系?；谏窠泟恿W的圖像融合算法“或”神經元——分別對兩種刺激響應,并對兩種信號的聯(lián)合刺激響應紅外增強型可見神經元——單獨給予刺激時僅對可見光刺激響應,兩種刺激同時呈現(xiàn)時放電反應加強可見增強型紅外神經元——單獨給予刺激時僅對紅外刺激響應,兩種刺激同時呈現(xiàn)時放電反應加強“和”神經元——對單獨的紅外或可見刺激響應都較弱,僅對聯(lián)合刺激有明顯響應紅外抑制型可見神經元——只對單獨的可見光刺激響應,同時伴有紅外刺激時放電顯著減弱可見抑制型紅外神經元——只對單獨的紅外刺激響應,同時伴有紅外刺激時放電顯著減弱基于神經動力學的圖像融合算法六種雙模式細胞發(fā)揮著不同的作用，例如“或”細胞和增強細胞，可以有助于響尾蛇感知在可見光波段清晰可見同時具有較高熱輻射的目標，比如溫血動物抑制細胞，則是對熱中性或者冷視覺物體產生最佳響應，例如池塘邊的蛙類等冷血生物?；谏窠泟恿W的圖像融合算法為了討論增強細胞和抑制細胞，限于生理學研究現(xiàn)狀，需要進行一些假設和簡化：響尾蛇視頂蓋受域具有中心-環(huán)繞結構受域細胞連接是側向并聯(lián)的這兩條假設與靈長類視覺受域動力學方程的建立假設一致?；谏窠泟恿W的圖像融合算法模擬響尾蛇增強與抑制細胞對紅外和可見光圖像同時感知的功能，并考慮到空間常數(shù)對探測能力和顏色顯現(xiàn)的影響，可以實現(xiàn)基于生物視覺模型的多尺度（不同空間常數(shù)）圖像融合，重點考慮雙通道交互作用的增強細胞和抑制模式的細胞融合的基本架構包含兩個階段第一階段：用ON系統(tǒng)進行兩個通道圖像的動態(tài)范圍壓縮匹配、對比度增強第二階段的融合：需要實現(xiàn)雙通道之間的非線性組合基于神經動力學的圖像融合算法第一階段分子為高斯差分（DoG:DifferentialofGaussian）用于探測景物亮度差異分母為高斯和（SoG:SumofGaussian），隨亮度增加而增加ON對抗系統(tǒng)，提供了對輸入圖像動態(tài)范圍一種非線性壓縮變換，可以補償亮度的絕對數(shù)量級，從而將輸入圖像的動態(tài)范圍控制在需要的區(qū)間內。ON對抗細胞：基于神經動力學的圖像融合算法ON對抗細胞：OFF對抗細胞：Waxman融合神經網絡結構（林肯實驗室，MIT，1997）BIT提出的融合系統(tǒng)基本結構基于神經動力學的圖像融合算法基于神經動力學的圖像融合算法融合階段表達式基于神經動力學融合算法結果(a)紅外圖像(b)可見光圖像(c)BIT的結構(d)Waxman結構BIT提出的多尺度融合系統(tǒng)結構基于神經動力學的圖像融合算法多尺度與生物視覺模型的結合對于可見光圖像，第一階段使用了不同尺度的抑制細胞模型（細胞模型大小代表尺度不同）保證后期融合全局和細節(jié)表現(xiàn)的均衡HIS變換融合法低分辨率彩色圖像與高分辨率灰度圖像的融合PCA（PrincipalComponentAnalysis）融合法低分辨率光譜圖像與高分辨率灰度圖像的融合融合結果展示——原圖R

G

BRGB融合結果展示——HIS融合融合結果展示——PCA融合雙波段紅外偽彩色融合雙波段紅外偽彩色融合雙波段紅外偽彩色融合雙波段紅外偽彩色融合（a）Waxman算法

（b）Toet算法（c）神經視覺算法

（自研）

（d）神經視覺算法

（改進）

03實時圖像融合系統(tǒng)設計流程算法評估：運算量、緩存量、可并行性處理架構（平臺）選擇核心處理芯片選型硬件電路設計算法移植測試（仿真、硬件在環(huán)、系統(tǒng)測試）技術指標雙波段輸入圖像：可見光、中波紅外（3~5

m）或長波紅外（8~12

m）；圖像尺寸：輸出灰度圖像時，輸入、輸出圖像≥512×512；輸出彩色圖像時，輸入圖像≥256×256，輸出圖像≥256×256；輸入圖像信號頻帶寬度≤6MHz，灰度等級256；輸入圖像；輸入、輸出為標準CVBS信號，使用標準RCA接口；單幀圖像處理及融合、顯示時間≤40ms；在一定范圍內具有圖像水平與垂直平移（10線以內）配準功能；可響應外界輸入，縮放單路圖像，在雙通道圖像共軸情況下提供視場配準功能。融合系統(tǒng)設計——算法選擇融合算法選擇基于神經動力學的融合算法實時化方面還有困難。假彩色圖像融合效果的自然性仍然是有待解決的問題。這類算法的融合結果對觀察員的經驗是較大考驗。圖像調制融合算法比較簡單，是實現(xiàn)可見光和紅外圖像融合的一種實用技術?；诮鹱炙Y構的多分辨圖像融合處理算法具有較好的處理視覺效果，算法改進空間大。 在綜合考慮到研究應用的普適性、實現(xiàn)的難易程度和可擴展升級性等因素基礎上，這里選擇Laplacian金字塔算法作為雙通道圖像融合處理的核心算法。圖像處理的性能需求分析MAC運算量估算 待融合圖像的大小為M

M

像素，低通濾波器模板大小為n

n，則完成一幀圖像的融合總共消耗的MAC運算總量約為：5/3

M2

n2 設數(shù)字圖像大小為512512，選用5

5的Gaussian模板進行運算，實時處理要求為每秒25幀，可推知該處理過程每秒將消耗高達2.8億次的MAC運算DSP器件的MACDSP的所有功能都與乘法和累加/加法(MAC)有關。隨著本課程的逐步深入，我們將會發(fā)現(xiàn)大部分應用算法都使用數(shù)字濾波器，自適應濾波器，傅立葉變換等。這些算法都需要乘法和加法(注意除法或者平方根在DSP中應用很少)。因此DSP算法或問題經常根據(jù)它的MAC需求來確定。特別是當比較兩種算法時,如果它們都能完成相同的工作但其中一個使用了較少的MAC,顯然這種“便宜的”算法就是最佳選擇。然而這必須是在一定的假設前提下，其中之一為所需的MAC是相同的。這種條件在我們常用的傳統(tǒng)DSP處理器中是滿足的，比方說，一個16位的器件能處理16位的輸入并使用16位的數(shù)字濾波器系數(shù)等等。使用FPGA可消除這種限制-我們可根據(jù)要求使用各種位數(shù)的系數(shù)。因此我們能用完全不同的方法選擇一個優(yōu)化和確定的DSP算法。實時圖像融合系統(tǒng)硬件平臺分類（1）單DSP或多DSP并行處理通過單個或多個高性能的DSP器件來實現(xiàn)預處理與融合算法。設計簡單，易于實現(xiàn)。在實現(xiàn)復雜算法時較為困難，特別是在多DSP處理中，如何合理地分配各DSP的處理任務，更好地實現(xiàn)處理的并行性，對算法的最終實現(xiàn)起關鍵作用。比較成熟，是目前應用較多的方案。（2）DSP+FPGA處理通過FPGA來完成預處理部分和相應的邏輯控制，而DSP主要來完成核心算法部分。該方式有較好的靈活性，充分發(fā)揮了FPGA和DSP各自的優(yōu)勢。需要解決的問題是：如何協(xié)調DSP和FPGA之間的通信和數(shù)據(jù)傳輸，以保證整個處理流程可以快速有效地進行。（3）大規(guī)模FPGA處理通過FPGA器件內部所帶的豐富的邏輯、加法器和乘法器等資源，來實現(xiàn)預處理與融合算法。易于實現(xiàn)并行處理，提高系統(tǒng)的處理速度，同時為將來SoPC設計提供了技術支持。難點在于如何合理的利用FPGA內部資源實現(xiàn)相應的算法。專用集成電路——ASIC隨著微電子技術的發(fā)展，系統(tǒng)設計師們更愿意自己設計專用集成電路(ASIC)芯片，而且希望ASIC的設計周期盡可能短可編程處理器件概覽嵌入式系統(tǒng)的Roadmap51單片機模擬電路AVR單片機數(shù)字電路PIC單片機PC原理MSP430C編程ARMCortexA8/A9MPCoreLinux,WP,IOS.AndroidARM7+OS、ARMCortexMNXP、三星DSPTIC6000、ADITigerSharkDSPTIC2000、ADIBlackFinSoPCCPLD、FPGADSP器件的發(fā)展歷程DSP器件的發(fā)展歷程DSP器件適合的算法類型線性濾波例如，基于頻率/相位鑒別，移除噪聲和不希望的干擾信號分量信號變換例如，頻率域/變換域信號分析。非線性信號增強/濾波例如，通過中值/階型濾波移除沖激噪聲信號分析/解釋/分類例如，信號特性的自動特征分類壓縮/編碼例如，減少信號的帶寬和存儲需求記錄/復原例如，CD、CD-R、硬盤記錄等DSP器件的結構特點（vsCPU）1）內核基于改進的Harvard結構，內部存在一條或多條分離的數(shù)據(jù)總線和程序總線；程序空間和數(shù)據(jù)空間分開，各自有獨立的地址總線和數(shù)據(jù)總線，取數(shù)和讀數(shù)可以同時進行。2)獨立的硬件乘法器，使得乘法指令可以在單周期內完成。3)一個處理器內含有多個乘加處理單元，使得指令并行執(zhí)行成為可能。事實上，如果程序優(yōu)化得當，其性能幾乎接近理論加速比。4)低功耗。相比于通用CPU家族的動輒幾十W而言，其功耗一般在數(shù)W甚至mW量級，這在各種功耗敏感場合顯示出獨特的優(yōu)勢，同時省去了繁雜的散熱系統(tǒng)。TMS320C6416DSP的性能C6416芯片600MHz的主頻，4800MIPS（InstructionsPerSecond）的運算能力，完全滿足金字塔融合算法所需的運算量。豐富的外設接口，以及其為影像應用所作的結構和指令集的優(yōu)化C6416DSP主要特點可概括如下：高速定點DSP1.67ns指令周期（600MHz時鐘）每指令周期可并行執(zhí)行8條32bit指令VelociTI.2TM擴展甚長指令字結構6個32/40-bitALU2個硬件乘法器，每時鐘周期可進行4個16×16bit或8個8×8bit乘法運算TMS320C6416DSP的核心結構融合系統(tǒng)設計——系統(tǒng)結構及硬件實現(xiàn)圖像融合子系統(tǒng)融合系統(tǒng)分為圖像融合處理DSP子系統(tǒng)和圖像輸入輸出子系統(tǒng)系統(tǒng)結構及硬件實現(xiàn)采集輸出子系統(tǒng)數(shù)字視頻采集系統(tǒng)用于實現(xiàn)雙通道輸入圖像的數(shù)字化采集、圖像間配準、融合處理系統(tǒng)工作流程控制等工作同步控制信號提取與輸出雙路專用視頻ADC具有X-Y方向像素平移配準功能的幀存讀寫控制器使用大規(guī)?？删幊踢壿嬈骷﨏PLD實現(xiàn)系統(tǒng)復雜的時序與邏輯控制。視頻信號采集系統(tǒng)數(shù)據(jù)拼接（1路）幀存控制器設計視頻信號采集系統(tǒng)PCB電路設計地線設計融合系統(tǒng)的融合處理電路板采用了10層板層結構，采集/輸出電路板采用了8層板層結構，其中都設計了獨立的電源層和地線層，視頻端還設計了專門的模擬地，通過磁珠與系統(tǒng)數(shù)字地連接。設計原則電路中的電流回路應保持最??；信號線和回線應盡可能接近；使用較大的地平面以減小導線阻抗；電源線和地線應相互接近；在多層電路板中，應把電源層和地線層分開。PCB電路設計可測試性設計為主要信號設置測試點，以便于調試時使用示波器和邏輯分析儀捕捉波形，測試電路的工作狀態(tài)和信號特征。設置撥碼開關，以根據(jù)調試的需要靈活地改變電路的工作狀態(tài)。對于一些難以預先決定的連接，設置0電阻，當需要斷開連接或需要導通時，只需要取下或焊上0電阻即可，避免了飛線。圖像融合系統(tǒng)軟件設計中斷處理程序流程DSP軟件優(yōu)化策略（1）優(yōu)化高速緩存Cache結構，合理地劃分兩級Cache的大小，以及代碼段、數(shù)據(jù)段在內存中的布局；（2）合理安排流水操作和程序分支，提高指令的并行度；（3）使用const關鍵字、restrict關鍵字，通過限定的指針指向該指針指向的對象，避免存儲器相關；（4）內聯(lián)函數(shù)（intrinsic）是匯編指令直接映射的在線函數(shù)，使用內聯(lián)函數(shù)使程序中函數(shù)更加緊湊，增加函數(shù)之間調用數(shù)據(jù)的相關性等；（5）利用數(shù)據(jù)打包處理技術，用字、雙字訪問短型數(shù)據(jù)進行數(shù)據(jù)存取；DSP軟件優(yōu)化策略（6）用邏輯運算、加/減/乘運算代替除運算；（7）合理設置CCS編譯器參數(shù)和各種優(yōu)化選項，如使用優(yōu)化選項-o1、-o2、-o3、-pm、-mt等；（8）代碼中關鍵部分是循環(huán)。利用軟件流水優(yōu)化循環(huán)，解開多重循環(huán)嵌套，變函數(shù)操作為指令操作，把循環(huán)內復雜的條件判斷盡量移到循環(huán)體的外部，循環(huán)內代碼尺寸不要太大；（9）使用Profiler工具查找效率低的部分，分析相關圖，用線性匯編改寫耗時長的部分。DSP6416的內存1MByte，不能完成一場圖像的融合。DSP訪問片外存儲器的時間比訪問片內存儲器慢得多，為了達到實時效果便不能將數(shù)據(jù)放在片外存儲器處理。充分利用DSPEMIF口的EDMA在無需CPU參與的情況下便能完成DSP存儲空間之間的數(shù)據(jù)搬移的功能。SDRAM配置圖內存管理與DMA同步雙緩沖策略同步雙緩沖是指在SDRAM中使用乒乓結構，用以存放相鄰兩場的數(shù)據(jù)。在DSP片內存儲器中也開辟乒乓結構用以存放一場中每個半場的數(shù)據(jù)。處理上半場時，EDMA搬運下半場的數(shù)據(jù)，處理下半場時，EDMA搬運上半場的數(shù)據(jù)。實時處理過程的時-空圖多分辨圖像融合算法的實現(xiàn)流程金字塔結構的多分辨融合算法基本思想來自于人眼視覺系統(tǒng)對于局部對比度變化的敏感性，因此可直接將融合圖像作為一種融合多尺度邊緣的描述。多分辨融合能較好地保留圖像的細節(jié)部分，并具有較好的目視效果。Laplacian金字塔結構圖像融合算法融合系統(tǒng)實驗效果（長波紅外圖像）（3層Laplacian金字塔融合效果）（可見光圖像）（處理板）（實驗現(xiàn)場照片）融合系統(tǒng)實驗效果（長波紅外圖像）（3層Laplacian金字塔融合效果）（可見光圖像）（處理板）（實驗現(xiàn)場照片）基于4×DSP實時融合系統(tǒng)DSP主頻720MHzDSP數(shù)量4DSP峰值性能5760MIPS系統(tǒng)峰值性能23040MIPSDSP本地帶寬1064MB/s系統(tǒng)IO帶寬266MB/sDSP本地內存32MB系統(tǒng)總內存128MB+128kB基于4×DSP實時融合系統(tǒng)同步四口SRAM通道劃分圖像基于DM642的微小型化實時融合系統(tǒng)基于DM642的微小型化實時融合系統(tǒng)DM642是TI公司多媒體處理器TMS320DM64x系列外設最完備的一款，它建立在高性能C64xDSP核的基礎上，芯片總體性能比C62x約提高了10倍。DM642最大的特色是具有三個可靈活配置的視頻口（VideoPort），使它很適合用于視頻采集和處理。主要特點：（1）最高720MHz主頻的高性能定點處理器（2）VelociTI.2第二代先進的超長指令字結構（3）具有配置靈活的256KB二級緩存以及64通道EMDA（4）豐富的片上外設，主要包括64bit擴展內存接口（EMIF）、多通道緩沖串口（McBSP）、多通道音頻串行端口（McASP）、66MHz32bitPCI接口、10/100Mbps以太網口（EMAC）等。圖像融合系統(tǒng)硬件系列平臺C62DSP融合板C64DSP融合板DM642DSP融合板FPGA器件早期的門陣列FPGA器件FPGA屬于可編程ASIC，由邏輯功能塊排列成陣列組成，并由可編程的內部連線連接這些邏輯功能塊來實現(xiàn)不同的設計，并通過可編程互連接到所要求的輸入、輸出FPGA適合應用在低級的DSP算法的數(shù)據(jù)流場合，而不適合應用在if-then-else判斷型編程需求的場合。FPGA器件Altera公司FPGAFPGA器件Xilinx公司FPGA為什么用FPGA開發(fā)DSPAlgorithmsbeatsMoorebeatsChemists為什么用FPGA開發(fā)DSPXilinxDSPPerformanceLeadershipFPGA與DSP對比FPGA的優(yōu)勢以超高并行性實現(xiàn)更高性能靈活的I/O，可支持多種高速模擬接口低固定成本設計周期短，硬件更改快FPGA的不足冗余邏輯功耗較高量產成本高DSP的優(yōu)勢編程較簡單——有許多庫和第三方支持公司直通處理速度更快DSP的不足硬件結構固定并行處理量程有限DSP器件的優(yōu)勢（V.S.FPGA）前面所述的DSP是可編程的通用DSP，主要依靠編制的軟件來完成算法的實現(xiàn)。DSP適合于順序算法FPGA的優(yōu)勢是較低系統(tǒng)時鐘的并行運算（當然也可以實現(xiàn)順序的算法）DSP在浮點運算方面有優(yōu)勢目前FPGA對浮點運算的支持效率不高DSP編程開發(fā)過程比較簡單DSP只需要編譯，F(xiàn)PGA需要編譯、綜合、布局布線DSP開發(fā)板和驅動程序較豐富，外圍電路完善DSP有豐富的應用范例和庫（FPGA各種IP核也越來越多）DSP器件的不足（V.S.FPGA）DSP處理器并行性有限只有幾個乘加單元；TI最好的DSP：8個處理核心處理可變寬度數(shù)據(jù)的效率較低處理多采樣速率的系統(tǒng)效率較低主要靠提高系統(tǒng)時鐘頻率來提高運算速度>1GHz高頻電路設計困難功耗和散熱問題嚴重通用DSP——單引擎乘法累加順序處理限制數(shù)據(jù)的流量分時共享的乘法累加器單元高的時鐘頻率產生難以滿足的系統(tǒng)要求256抽頭FIR濾波器每個數(shù)據(jù)采樣運行256次乘法和累加（MAC）每256個時鐘周期產生一個輸出RegDataInLoopAlgorithm256timesDataOutMACunit順序處理限制系統(tǒng)性能ChannelDensityorSampleRateAlgorithmicComplexitySampleRate

(MSamples/s)24681624324048566472808896104510152025303540Single300MHzProcessor

Two300MHzProcessorNo.of

coefficientsFixedProcessorClockRate

=NumberofoperationspersampleMaxSampleRateFPGA-多引擎乘法累加并行處理使數(shù)據(jù)流量最大化支持任意程度的并行性最佳的性能/成本取舍256FIR濾波器每個數(shù)據(jù)采樣運行256次乘法和累加（MAC）每個時鐘周期一個輸出靈活的結構分布的DSP資源（LUT，寄存器，乘法器，存儲器）DataOut....C0C1C2C255Reg0Reg1Reg2Reg255DataInAll256MACoperationsinoneclockcycleFPGA適合于DSP應用傳統(tǒng)的DSP器件

(VonNeumann架構)DataOutRegDataInMACunit....C0DataOutC1C2C255FPGAReg0Reg1Reg2Reg255DataIn在1個時鐘周期內同時處理256次MAC需要256次循環(huán)來處理采樣點數(shù)據(jù)256TapFIRFilterExampleReason1:FPGAs可以處理運算密集型任務FPGA適合于DSP應用FPGAsarealsoideallysuitedformulti-channelDSPdesignsManylowsampleratechannelscanbemultiplexed(e.g.TDM)andprocessedintheFPGA,atahighrateInterpolation(usingzeros)canalsodrivesamplerateshigherLPFMultiChannelFilter80MHzSamplesch1ch2ch3ch4LPFLPFLPFLPF20MHzSamplesFPGA適合于DSP應用Q=(AxB)+(CxD)+(ExF)+(GxH)canbeimplementedinparallel××××++++++ABCDEFGHQReason2:巨大的靈活性ButisthistheonlywayintheFPGA?FPGA適合于DSP應用CustomizeArchitecturestoSuitYourIdealAlgorithms××××++++++×++DQ

××++++

DQ

ParallelSemi-ParallelSerialFPGAsallowArea(cost)/PerformancetradeoffsOptimizedfor?SpeedCostFPGA適合于DSP應用DDCA/DA/DD/AD/AMACsControlDDCDUCDUCMACsControlDSPProcs.DUCDUCDDCDDCSDRAMAFEFPGADSP

CardHundredsof

TerminationResistorsPowerPCSDRAMSSTL3TranslatorsQuadTRxQuadTRxASSPFPGANetwork

CardSDRAMA/DA/DD/AD/AControlControlPL4CORBAPowerPCMACs,DUCs,DDCs,LogicPowerPCPowerPCPowerPC3.125GbpsASSPSDRAMReason3:可以通過集成降低系統(tǒng)整體成本性能比較：Alteravs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TIXilinxFPGA產品介紹XC4000：5/3.3/2.5V，容量從64～8464個CLBSPARTAN：XC4000的簡化版VirtexII：1.5V，擁有256～46592個邏輯片（Slice）、18×18乘法器、嵌入式RAM塊SPARTANIII：90nm工藝的新一代低成本FPGA，VirtexII的簡化版VirtexIIPro：VirtexII的升級版，內部集成了PowerPC405核、高速接口RocketI/O和數(shù)字時鐘管理模塊（DCM）XilinxFPGA產品介紹VirtexIV：新一代基于組合模塊架構(ASMBL)的FPGA平臺，擁有LX（側重于邏輯應用）SX（DSP處理）FX（嵌入式系統(tǒng)和高速收發(fā)模塊）3個系列（1）設計定義（2）HDLCode（3）功能仿真（4）邏輯綜合（5）前仿真（6）布局布線（7）后仿真（9）在系統(tǒng)測試邏輯仿真器邏輯綜合器FPGA廠家工具邏輯仿真器邏輯仿真器（8）靜態(tài)時序分析FPGA

開發(fā)流程FPGA

開發(fā)流程電路圖設計文件HDL設計文件電路功能仿真HDL功能仿真HDL綜合確定實現(xiàn)電路的具體庫名

布線后門級仿真與實現(xiàn)邏輯的物理器件有關的工藝技術文件優(yōu)化、布局布線

電路制造工藝文件或FPGA碼流文件

有問題有問題有問題沒問題沒問題沒問題沒問題增量的設計方法常規(guī)的設計方法（如果塊E發(fā)生改變）增量設計的好處：減少了開發(fā)時間基于Virtex4的雙通道融合系統(tǒng)架構使用FPGA算法總體實現(xiàn)聯(lián)合調試實物圖圖像融合結果

可見光源圖像紅外源圖像融合圖像基于Virtex-5的圖像融合硬件平臺設計Virtex-5FPGA的優(yōu)勢65nm銅工藝第二代高級硅片組合模塊（ASMBL）列式架構強大的36KbitBlockRAM/FIFO第二代25x18DSPSlice帶有內置數(shù)控阻抗的SelectIO技術ChipSync源同步接口模塊系統(tǒng)監(jiān)視器功能增強型時鐘管理模塊基于Virtex-5的圖像融合硬件平臺設計資源類型數(shù)量LogicResourcesSlices5,440LogicCells34,816CLBFlip-Flops21,760MemoryResourcesDistributedRAM（Kbits）520BlockRAM（36Kbitseach）84TotalBlockRAM（Kbits）3,024ClockResourcesDCM4PLL2I/OResourcesMaximumSingle-EndedPins360MaximumDifferentialI/OPairs180EmbeddedHardIPResourcesDSP48ESlices192PCIExpressEndpointBlocks110/100/1000EthernetMACBlocks4RocketIOGTPLow-PowerTransceivers8ConfigurationConfigurationMemory（Mbits）13.4PackageFootprintFF665Area27

27mm基于Virtex-5的圖像融合硬件平臺設計基于Virtex-5的圖像融合硬件平臺設計器件類型器件名稱所在位置電平標準音視頻CodecTLVAIC23Bank17LVTTLADV7188（1）Bank17LVTTLADV7188（2）Bank13LVTTLADV7393Bank11、Bank13LVTTLADV7123Bank11LVTTL大容量存儲器CY7C1372Bank2、Bank12LVTTLMT47H64M16HRBank3、Bank15、Bank16SSTL18通信接口物理層器件RS-232Bank17LVTTLRS-485Bank17LVTTLCANBank17LVTTLEthernetBank18LVTTL其它KEY&LEDBank1LVTTL配置PROMBank0LVTTL系統(tǒng)時鐘Bank4LVTTL基于Virtex-5的圖像融合硬件平臺設計大容量存儲器模塊設計NoBLSRAM：CY7C1372D（1M

18bit）DDR2SDRAM：MT47H64M16HR-3（8M

16bit

8banks）利用MIG工具生成存儲器控制器單元基于Virtex-5的圖像融合硬件平臺設計電源模塊設計XPE（XPowerEstimator）估算FPGA大致的功耗基于Virtex-5的圖像融合硬件平臺設計電源模塊設計電壓用途電流功耗供電方案0.9VDDR2SDRAMVref<100mA<100mWLP3906SQSW11VFPGAVCCINT<2A<2WTPS54310PWP1.8VFPGAVCCIODDR2SDRAMVCCVideoDecoderVCCINT<1A<2WLP3906SQSW22.5VFPGAVCCAUX<300mA<1WTPS54315PWPAnalog3.3VVideoDecoderAVCCVieoEncoderAVCCVGAEncoderAVCCAudioCodecAVCC<200mA<600mWLP3906SQLDO1Digital3.3VFPGAVCCIONoBLSRAMVCCVideoCodecDVCCVGAEncoderDVCCRS232TransceiverVCCRS422TransceiverVCCCANTransceiverVCCEthernetPHYVCC<1A<3WTPS54316PWP基于Virtex-5的圖像融合硬件平臺設計融合系統(tǒng)PCB頂層原件布局圖基于Virtex-5的圖像融合硬件平臺設計基于Virtex-5FPGA的SoPC實時圖像融合系統(tǒng)實物圖XilinxSoPC架構MBBUSIP基于XtremeDSP的高層次設計方法XtremeDSP設計套件包括SystemGenerator和AccelDSP兩個工具。SoPC設計流程基于FPGA的SoPC設計流程基于SoPC的偽彩色融合處理架構基于SoPC的偽彩色融合處理實現(xiàn)架構圖像采集與輸出模塊設計圖像采集模塊圖像采集與輸出模塊設計圖像輸出模塊偽彩色融合算法模塊設計將融合算法模塊作為MicroBlaze的協(xié)處理器，其間用高速FSL總線連接。偽彩色融合算法模塊設計首先將融合算法算法在AccelDSP中實現(xiàn)。查看RTL報告，獲取數(shù)據(jù)運算時間協(xié)處理器每次計算1個像素融合結果：單次運算耗時340ns，總耗時141ms；利用面積換速度原則，使協(xié)處理器每次計算25個像素融合結果，單次運算耗時1.42ms，總耗時23.47ms。算法協(xié)處理器IP核的生成及使用偽彩色融合算法模塊設計偽彩色融合算法模塊設計融合算法協(xié)處理器與MicroBlaze接口其他接口模塊的設計本系統(tǒng)存儲器由三部分組成，F(xiàn)PGA內部BlockRAM（BRAM）、18MbitNoBLSRAM以及1GbitDDR2SDRAM，分別使用不同的總線和接口；I2C接口、UART接口、GPIO接口模塊，以及DMA控制器、存儲器控制器模塊；系統(tǒng)中斷控制器的使用：SoPC融合系統(tǒng)綜合結果系統(tǒng)所用IP核連接圖SoPC融合系統(tǒng)綜合結果在XPS默認設置和約束下，XST綜合得到的系統(tǒng)時鐘周期為4.663ns，即最高為214.452MHz，因此系統(tǒng)工作在200MHz時鐘下是安全的。根據(jù)綜合報告系統(tǒng)資源占用情況資源占用數(shù)量比例Slice251846%Flip-Flops1153253%LUT1357839%BRAM6778%I/O24769%SoPC系統(tǒng)軟件流程系統(tǒng)軟件流程SoPC實時融合系統(tǒng)調試基于ChipScope的數(shù)據(jù)流調試