多源圖像融合技術(shù)及其遙感應(yīng)用：02-圖像融合技術(shù)(彩色-實(shí)時(shí))

——圖像融合技術(shù)多源圖像融合技術(shù)及其遙感應(yīng)用圖像融合技術(shù)概述灰度圖像融合技術(shù)彩色圖像融合技術(shù)實(shí)時(shí)圖像融合系統(tǒng)遙感圖像融合技術(shù)圖像融合前沿應(yīng)用123456課程內(nèi)容CONTENTS03彩色圖像融合技術(shù)（偽）彩色圖像融合的意義人眼對(duì)顏色的分辨力遠(yuǎn)遠(yuǎn)超過對(duì)灰度等級(jí)的分辨力，而且顏色會(huì)直接使人產(chǎn)生心理和生理的反映。彩色融合可以充分利用人眼彩色視覺的高分辨力和高靈敏度的特性，提高目視系統(tǒng)探測(cè)和目標(biāo)識(shí)別能力。戰(zhàn)場(chǎng)上受傳感器的限制，攝取的圖像（特別是微光圖像和熱圖像）都是低信噪比的單色圖像，缺乏體視感（深度感），不利于目標(biāo)的探測(cè)，可以利用偽彩色融合技術(shù)將蘊(yùn)藏在各原始圖像灰度等級(jí)中的信息用彩色的方式表征出來。多光譜、高光譜成像系統(tǒng)波段愈分愈細(xì)，可達(dá)200個(gè)以上。拍攝的源圖像帶有豐富的光譜信息，充分利用目標(biāo)的光譜或波譜信息進(jìn)行融合可以使融合圖像的彩色表現(xiàn)更有針對(duì)性。雙通道偽彩色融合算法——T&W算法彩色融合不但要用色彩表征圖像信息，而且要盡量保證彩色顯示符合人眼的視覺習(xí)慣，利用生物視覺模型指導(dǎo)圖像彩色融合，在生理物理學(xué)的基礎(chǔ)上提高融合的視覺效果。T&W假彩色融合算法（Toet，Walraven，1996）是一種根據(jù)人眼的視覺開發(fā)的一種融合紅外和可見光圖像的假彩色融合算法，該算法將紅外圖像和可見光圖像經(jīng)過一定的交互處理后，分別送到R、G、B三通道，使融合圖像呈現(xiàn)一定自然性的顏色。T&W算法具體步驟如下：首先取兩路圖像對(duì)應(yīng)像素的較小值作為圖像的公共部分再提取各自圖像的特征部分，表示可見光的特征部分，表示紅外圖像的特征部分，則有：最后采用交叉相減的處理來實(shí)現(xiàn)，并將處理結(jié)果直接送至R、G、B三通道進(jìn)行顯示，即：T&W算法驗(yàn)證紅外圖像可見光圖像T&W偽彩色融合效果在以可見光圖像與熱紅外圖像之間的差異形成的藍(lán)色背景上，以不同的顏色差異突出表征可見光圖像與熱紅外圖像間的細(xì)節(jié)差異?；谏镆曈X模型的融合算法圖像彩色融合算法不但要利用色彩突顯目標(biāo)，還要保證顏色符合人眼的觀察習(xí)慣。而對(duì)生理視覺神經(jīng)系統(tǒng)性質(zhì)的研究，可以從生理物理學(xué)和心理物理學(xué)研究的基礎(chǔ)上指導(dǎo)圖像彩色融合算法的研究1981年，T.Wiesel給出了受域中心-環(huán)繞結(jié)構(gòu)的電生理學(xué)描述神經(jīng)節(jié)細(xì)胞從功能上的受域可以分為兩個(gè)系統(tǒng)：ON-center/OFF-surround通道OFF-center/ON-surround通道，受域是中心-環(huán)繞結(jié)構(gòu)基于生物視覺模型的融合算法ON-center/OFF-surround系統(tǒng)中心細(xì)胞的興奮刺激導(dǎo)致的細(xì)胞響應(yīng)將被周圍環(huán)繞細(xì)胞所產(chǎn)生響應(yīng)所抑制。OFF-center/ON-surround系統(tǒng)，細(xì)胞響應(yīng)相反。研究表明，ON、OFF系統(tǒng)分別由視網(wǎng)膜內(nèi)的各個(gè)部分的ON細(xì)胞和OFF細(xì)胞構(gòu)成，兩個(gè)系統(tǒng)的生理作用是視網(wǎng)膜受域內(nèi)細(xì)胞之間通過水平細(xì)胞的側(cè)向并聯(lián)所產(chǎn)生的綜合效應(yīng)基于生物視覺模型的融合算法對(duì)于抑制細(xì)胞受到刺激的瞬態(tài)響應(yīng)，可以使用中心-環(huán)繞的對(duì)抗被動(dòng)膜方程進(jìn)行模擬：x(i,j)：抑制細(xì)胞的響應(yīng)；A：衰減常數(shù)；H：可選參數(shù)；C(i,j)：受域的興奮中心；S(i,j)：側(cè)向抑制環(huán)繞區(qū)域?；谏镆曈X模型的融合算法對(duì)于增強(qiáng)細(xì)胞，設(shè)可引起興奮的觸點(diǎn)總數(shù)為b，細(xì)胞激活觸點(diǎn)總數(shù)在時(shí)間t時(shí)為z(t)，模型由三方面因素決定：1)細(xì)胞自發(fā)衰減細(xì)胞活性觸點(diǎn)以固定速率衰減，并且與觸點(diǎn)數(shù)目成正比，即Az(t)，A

是常數(shù)2)活性觸點(diǎn)并聯(lián)增強(qiáng)激活觸點(diǎn)被外界隨機(jī)分布的刺激信號(hào)增強(qiáng)，強(qiáng)度正比于z(t)

S(t)

3)非活性觸點(diǎn)并聯(lián)激活細(xì)胞非活性觸點(diǎn)被刺激信號(hào)C(t)激活，強(qiáng)度正比于[b-z(t)]C(t)基于生物視覺模型的融合算法對(duì)于增強(qiáng)細(xì)胞受到刺激的瞬態(tài)響應(yīng)，可以使用中心-環(huán)繞的對(duì)抗被動(dòng)膜方程進(jìn)行模擬：x(t)：增強(qiáng)細(xì)胞的響應(yīng)；A：衰減常數(shù)；D：細(xì)胞基底活性；E、F：極化常數(shù)，或者稱作Nernst電勢(shì)。側(cè)向并聯(lián)中心-環(huán)繞受域的神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)方程ON對(duì)抗系統(tǒng)細(xì)胞響應(yīng)OFF對(duì)抗系統(tǒng)細(xì)胞響應(yīng)S.Grossberg建立了類似形式的受域側(cè)向并聯(lián)中心-環(huán)繞神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)在抑制噪聲和計(jì)算出圖像的對(duì)比度的同時(shí)補(bǔ)償了光照變化，消除光照的影響。在ON通道，中心是興奮、環(huán)繞是抑制；而在OFF通道，中心抑制、環(huán)繞興奮細(xì)胞自發(fā)衰減非活性觸點(diǎn)并聯(lián)激活活性觸點(diǎn)并聯(lián)激活側(cè)向并聯(lián)中心-環(huán)繞受域的神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)方程當(dāng)系統(tǒng)平衡時(shí)，ON、OFF細(xì)胞的輸出為：ON對(duì)抗細(xì)胞輸出

簡(jiǎn)化形式OFF對(duì)抗細(xì)胞輸出簡(jiǎn)化形式其中，整流函數(shù)受域興奮中心響應(yīng)側(cè)向抑制環(huán)繞區(qū)域響應(yīng)神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)方程簡(jiǎn)化形式穩(wěn)態(tài)響應(yīng)ON對(duì)抗細(xì)胞：OFF對(duì)抗細(xì)胞：空間常數(shù)σc、

σs

影響著細(xì)胞對(duì)細(xì)節(jié)的探測(cè)能力空間常數(shù)大，對(duì)細(xì)節(jié)的探測(cè)性能低，但全局顏色表現(xiàn)能力提高空間常數(shù)小，可以提供更好的細(xì)節(jié)探測(cè)能力神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)方程的理解當(dāng)中心和環(huán)繞區(qū)域輸入信號(hào)相同時(shí)，上式的分子包含DoG形式而分母包含SoG形式，因此在適當(dāng)參數(shù)下視覺模型對(duì)輸入信號(hào)有增強(qiáng)反差、突出邊緣和壓縮動(dòng)態(tài)范圍的能力，稱此過程為信號(hào)的增強(qiáng)當(dāng)中心和環(huán)繞區(qū)域輸入信號(hào)不同時(shí)，根據(jù)在ON、OFF區(qū)域的位置相互作用。在適當(dāng)參數(shù)下，視覺模型能保留并增強(qiáng)兩信號(hào)中的相同信息，并且一定程度上增強(qiáng)兩信號(hào)間不同信息，從而改善兩信號(hào)間的對(duì)比度，稱此過程為信號(hào)的組合基于神經(jīng)動(dòng)力學(xué)的圖像融合算法響尾蛇一般視覺都不發(fā)達(dá)，只能感覺光亮黑暗，但它卻在頭部?jī)蓚?cè)長(zhǎng)著一套特殊的紅外線探測(cè)結(jié)構(gòu)的眼睛，對(duì)波長(zhǎng)為10~15μm的紅外線特別敏感。響尾蛇的特點(diǎn)是在夜間也能準(zhǔn)確地攻擊那些即使偽裝得很好的獵物。研究表明，這種攻擊能力的“視覺”引導(dǎo)是熱制導(dǎo)的，它能察覺熱血?jiǎng)游锼l(fā)出的紅外輻射。基于神經(jīng)動(dòng)力學(xué)的圖像融合算法響尾蛇的頰窩器官，是一對(duì)位于頭部的空腔。腔體很深，在頭部?jī)蓚?cè)眼睛的前下方。有許多與腦相聯(lián)的熱敏感神經(jīng)纖維。腦部有一群神經(jīng)細(xì)胞集合而成的特化核。其作用是接收、處理來自頰窩器官的感覺信息，并將它傳送到中腦的視頂蓋。視頂蓋則把來自頰窩器官的紅外線信號(hào)和來自眼睛的視覺信號(hào)加以綜合，確定攻擊對(duì)象的精確位置。即使有0.003℃的變化也能使響尾蛇神經(jīng)纖維的生物電發(fā)放速率產(chǎn)生顯著變化?；谏窠?jīng)動(dòng)力學(xué)的圖像融合算法1981年E.A.Newman和P.H.Hartline通過特征交叉（Cross-modalityInteractions）方法揭示了響尾蛇視頂蓋雙模式細(xì)胞的生理作用能夠同時(shí)接收來自可見光和紅外的信息輸入，紅外圖像并且能夠自動(dòng)同可見光圖像配準(zhǔn)由于雙模式細(xì)胞的協(xié)同作用，可見光和紅外圖像共同構(gòu)成了響尾蛇對(duì)外界環(huán)境的感知，包括兩者之間的“與”、“或”、紅外抑制、可見光抑制、紅外增強(qiáng)、可見光增強(qiáng)六種協(xié)同關(guān)系?；谏窠?jīng)動(dòng)力學(xué)的圖像融合算法“或”神經(jīng)元——分別對(duì)兩種刺激響應(yīng),并對(duì)兩種信號(hào)的聯(lián)合刺激響應(yīng)紅外增強(qiáng)型可見神經(jīng)元——單獨(dú)給予刺激時(shí)僅對(duì)可見光刺激響應(yīng),兩種刺激同時(shí)呈現(xiàn)時(shí)放電反應(yīng)加強(qiáng)可見增強(qiáng)型紅外神經(jīng)元——單獨(dú)給予刺激時(shí)僅對(duì)紅外刺激響應(yīng),兩種刺激同時(shí)呈現(xiàn)時(shí)放電反應(yīng)加強(qiáng)“和”神經(jīng)元——對(duì)單獨(dú)的紅外或可見刺激響應(yīng)都較弱,僅對(duì)聯(lián)合刺激有明顯響應(yīng)紅外抑制型可見神經(jīng)元——只對(duì)單獨(dú)的可見光刺激響應(yīng),同時(shí)伴有紅外刺激時(shí)放電顯著減弱可見抑制型紅外神經(jīng)元——只對(duì)單獨(dú)的紅外刺激響應(yīng),同時(shí)伴有紅外刺激時(shí)放電顯著減弱基于神經(jīng)動(dòng)力學(xué)的圖像融合算法六種雙模式細(xì)胞發(fā)揮著不同的作用，例如“或”細(xì)胞和增強(qiáng)細(xì)胞，可以有助于響尾蛇感知在可見光波段清晰可見同時(shí)具有較高熱輻射的目標(biāo)，比如溫血?jiǎng)游镆种萍?xì)胞，則是對(duì)熱中性或者冷視覺物體產(chǎn)生最佳響應(yīng)，例如池塘邊的蛙類等冷血生物?；谏窠?jīng)動(dòng)力學(xué)的圖像融合算法為了討論增強(qiáng)細(xì)胞和抑制細(xì)胞，限于生理學(xué)研究現(xiàn)狀，需要進(jìn)行一些假設(shè)和簡(jiǎn)化：響尾蛇視頂蓋受域具有中心-環(huán)繞結(jié)構(gòu)受域細(xì)胞連接是側(cè)向并聯(lián)的這兩條假設(shè)與靈長(zhǎng)類視覺受域動(dòng)力學(xué)方程的建立假設(shè)一致?；谏窠?jīng)動(dòng)力學(xué)的圖像融合算法模擬響尾蛇增強(qiáng)與抑制細(xì)胞對(duì)紅外和可見光圖像同時(shí)感知的功能，并考慮到空間常數(shù)對(duì)探測(cè)能力和顏色顯現(xiàn)的影響，可以實(shí)現(xiàn)基于生物視覺模型的多尺度（不同空間常數(shù)）圖像融合，重點(diǎn)考慮雙通道交互作用的增強(qiáng)細(xì)胞和抑制模式的細(xì)胞融合的基本架構(gòu)包含兩個(gè)階段第一階段：用ON系統(tǒng)進(jìn)行兩個(gè)通道圖像的動(dòng)態(tài)范圍壓縮匹配、對(duì)比度增強(qiáng)第二階段的融合：需要實(shí)現(xiàn)雙通道之間的非線性組合基于神經(jīng)動(dòng)力學(xué)的圖像融合算法第一階段分子為高斯差分（DoG:DifferentialofGaussian）用于探測(cè)景物亮度差異分母為高斯和（SoG:SumofGaussian），隨亮度增加而增加ON對(duì)抗系統(tǒng)，提供了對(duì)輸入圖像動(dòng)態(tài)范圍一種非線性壓縮變換，可以補(bǔ)償亮度的絕對(duì)數(shù)量級(jí)，從而將輸入圖像的動(dòng)態(tài)范圍控制在需要的區(qū)間內(nèi)。ON對(duì)抗細(xì)胞：基于神經(jīng)動(dòng)力學(xué)的圖像融合算法ON對(duì)抗細(xì)胞：OFF對(duì)抗細(xì)胞：Waxman融合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（林肯實(shí)驗(yàn)室，MIT，1997）BIT提出的融合系統(tǒng)基本結(jié)構(gòu)基于神經(jīng)動(dòng)力學(xué)的圖像融合算法基于神經(jīng)動(dòng)力學(xué)的圖像融合算法融合階段表達(dá)式基于神經(jīng)動(dòng)力學(xué)融合算法結(jié)果(a)紅外圖像(b)可見光圖像(c)BIT的結(jié)構(gòu)(d)Waxman結(jié)構(gòu)BIT提出的多尺度融合系統(tǒng)結(jié)構(gòu)基于神經(jīng)動(dòng)力學(xué)的圖像融合算法多尺度與生物視覺模型的結(jié)合對(duì)于可見光圖像，第一階段使用了不同尺度的抑制細(xì)胞模型（細(xì)胞模型大小代表尺度不同）保證后期融合全局和細(xì)節(jié)表現(xiàn)的均衡HIS變換融合法低分辨率彩色圖像與高分辨率灰度圖像的融合PCA（PrincipalComponentAnalysis）融合法低分辨率光譜圖像與高分辨率灰度圖像的融合融合結(jié)果展示——原圖R

G

BRGB融合結(jié)果展示——HIS融合融合結(jié)果展示——PCA融合雙波段紅外偽彩色融合雙波段紅外偽彩色融合雙波段紅外偽彩色融合雙波段紅外偽彩色融合（a）Waxman算法

（b）Toet算法（c）神經(jīng)視覺算法

（自研）

（d）神經(jīng)視覺算法

（改進(jìn)）

03實(shí)時(shí)圖像融合系統(tǒng)設(shè)計(jì)流程算法評(píng)估：運(yùn)算量、緩存量、可并行性處理架構(gòu)（平臺(tái)）選擇核心處理芯片選型硬件電路設(shè)計(jì)算法移植測(cè)試（仿真、硬件在環(huán)、系統(tǒng)測(cè)試）技術(shù)指標(biāo)雙波段輸入圖像：可見光、中波紅外（3~5

m）或長(zhǎng)波紅外（8~12

m）；圖像尺寸：輸出灰度圖像時(shí)，輸入、輸出圖像≥512×512；輸出彩色圖像時(shí)，輸入圖像≥256×256，輸出圖像≥256×256；輸入圖像信號(hào)頻帶寬度≤6MHz，灰度等級(jí)256；輸入圖像；輸入、輸出為標(biāo)準(zhǔn)CVBS信號(hào)，使用標(biāo)準(zhǔn)RCA接口；單幀圖像處理及融合、顯示時(shí)間≤40ms；在一定范圍內(nèi)具有圖像水平與垂直平移（10線以內(nèi)）配準(zhǔn)功能；可響應(yīng)外界輸入，縮放單路圖像，在雙通道圖像共軸情況下提供視場(chǎng)配準(zhǔn)功能。融合系統(tǒng)設(shè)計(jì)——算法選擇融合算法選擇基于神經(jīng)動(dòng)力學(xué)的融合算法實(shí)時(shí)化方面還有困難。假彩色圖像融合效果的自然性仍然是有待解決的問題。這類算法的融合結(jié)果對(duì)觀察員的經(jīng)驗(yàn)是較大考驗(yàn)。圖像調(diào)制融合算法比較簡(jiǎn)單，是實(shí)現(xiàn)可見光和紅外圖像融合的一種實(shí)用技術(shù)。基于金字塔結(jié)構(gòu)的多分辨圖像融合處理算法具有較好的處理視覺效果，算法改進(jìn)空間大。 在綜合考慮到研究應(yīng)用的普適性、實(shí)現(xiàn)的難易程度和可擴(kuò)展升級(jí)性等因素基礎(chǔ)上，這里選擇Laplacian金字塔算法作為雙通道圖像融合處理的核心算法。圖像處理的性能需求分析MAC運(yùn)算量估算 待融合圖像的大小為M

M

像素，低通濾波器模板大小為n

n，則完成一幀圖像的融合總共消耗的MAC運(yùn)算總量約為：5/3

M2

n2 設(shè)數(shù)字圖像大小為512512，選用5

5的Gaussian模板進(jìn)行運(yùn)算，實(shí)時(shí)處理要求為每秒25幀，可推知該處理過程每秒將消耗高達(dá)2.8億次的MAC運(yùn)算DSP器件的MACDSP的所有功能都與乘法和累加/加法(MAC)有關(guān)。隨著本課程的逐步深入，我們將會(huì)發(fā)現(xiàn)大部分應(yīng)用算法都使用數(shù)字濾波器，自適應(yīng)濾波器，傅立葉變換等。這些算法都需要乘法和加法(注意除法或者平方根在DSP中應(yīng)用很少)。因此DSP算法或問題經(jīng)常根據(jù)它的MAC需求來確定。特別是當(dāng)比較兩種算法時(shí),如果它們都能完成相同的工作但其中一個(gè)使用了較少的MAC,顯然這種“便宜的”算法就是最佳選擇。然而這必須是在一定的假設(shè)前提下，其中之一為所需的MAC是相同的。這種條件在我們常用的傳統(tǒng)DSP處理器中是滿足的，比方說，一個(gè)16位的器件能處理16位的輸入并使用16位的數(shù)字濾波器系數(shù)等等。使用FPGA可消除這種限制-我們可根據(jù)要求使用各種位數(shù)的系數(shù)。因此我們能用完全不同的方法選擇一個(gè)優(yōu)化和確定的DSP算法。實(shí)時(shí)圖像融合系統(tǒng)硬件平臺(tái)分類（1）單DSP或多DSP并行處理通過單個(gè)或多個(gè)高性能的DSP器件來實(shí)現(xiàn)預(yù)處理與融合算法。設(shè)計(jì)簡(jiǎn)單，易于實(shí)現(xiàn)。在實(shí)現(xiàn)復(fù)雜算法時(shí)較為困難，特別是在多DSP處理中，如何合理地分配各DSP的處理任務(wù)，更好地實(shí)現(xiàn)處理的并行性，對(duì)算法的最終實(shí)現(xiàn)起關(guān)鍵作用。比較成熟，是目前應(yīng)用較多的方案。（2）DSP+FPGA處理通過FPGA來完成預(yù)處理部分和相應(yīng)的邏輯控制，而DSP主要來完成核心算法部分。該方式有較好的靈活性，充分發(fā)揮了FPGA和DSP各自的優(yōu)勢(shì)。需要解決的問題是：如何協(xié)調(diào)DSP和FPGA之間的通信和數(shù)據(jù)傳輸，以保證整個(gè)處理流程可以快速有效地進(jìn)行。（3）大規(guī)模FPGA處理通過FPGA器件內(nèi)部所帶的豐富的邏輯、加法器和乘法器等資源，來實(shí)現(xiàn)預(yù)處理與融合算法。易于實(shí)現(xiàn)并行處理，提高系統(tǒng)的處理速度，同時(shí)為將來SoPC設(shè)計(jì)提供了技術(shù)支持。難點(diǎn)在于如何合理的利用FPGA內(nèi)部資源實(shí)現(xiàn)相應(yīng)的算法。專用集成電路——ASIC隨著微電子技術(shù)的發(fā)展，系統(tǒng)設(shè)計(jì)師們更愿意自己設(shè)計(jì)專用集成電路(ASIC)芯片，而且希望ASIC的設(shè)計(jì)周期盡可能短可編程處理器件概覽嵌入式系統(tǒng)的Roadmap51單片機(jī)模擬電路AVR單片機(jī)數(shù)字電路PIC單片機(jī)PC原理MSP430C編程ARMCortexA8/A9MPCoreLinux,WP,IOS.AndroidARM7+OS、ARMCortexMNXP、三星DSPTIC6000、ADITigerSharkDSPTIC2000、ADIBlackFinSoPCCPLD、FPGADSP器件的發(fā)展歷程DSP器件的發(fā)展歷程DSP器件適合的算法類型線性濾波例如，基于頻率/相位鑒別，移除噪聲和不希望的干擾信號(hào)分量信號(hào)變換例如，頻率域/變換域信號(hào)分析。非線性信號(hào)增強(qiáng)/濾波例如，通過中值/階型濾波移除沖激噪聲信號(hào)分析/解釋/分類例如，信號(hào)特性的自動(dòng)特征分類壓縮/編碼例如，減少信號(hào)的帶寬和存儲(chǔ)需求記錄/復(fù)原例如，CD、CD-R、硬盤記錄等DSP器件的結(jié)構(gòu)特點(diǎn)（vsCPU）1）內(nèi)核基于改進(jìn)的Harvard結(jié)構(gòu)，內(nèi)部存在一條或多條分離的數(shù)據(jù)總線和程序總線；程序空間和數(shù)據(jù)空間分開，各自有獨(dú)立的地址總線和數(shù)據(jù)總線，取數(shù)和讀數(shù)可以同時(shí)進(jìn)行。2)獨(dú)立的硬件乘法器，使得乘法指令可以在單周期內(nèi)完成。3)一個(gè)處理器內(nèi)含有多個(gè)乘加處理單元，使得指令并行執(zhí)行成為可能。事實(shí)上，如果程序優(yōu)化得當(dāng)，其性能幾乎接近理論加速比。4)低功耗。相比于通用CPU家族的動(dòng)輒幾十W而言，其功耗一般在數(shù)W甚至mW量級(jí)，這在各種功耗敏感場(chǎng)合顯示出獨(dú)特的優(yōu)勢(shì)，同時(shí)省去了繁雜的散熱系統(tǒng)。TMS320C6416DSP的性能C6416芯片600MHz的主頻，4800MIPS（InstructionsPerSecond）的運(yùn)算能力，完全滿足金字塔融合算法所需的運(yùn)算量。豐富的外設(shè)接口，以及其為影像應(yīng)用所作的結(jié)構(gòu)和指令集的優(yōu)化C6416DSP主要特點(diǎn)可概括如下：高速定點(diǎn)DSP1.67ns指令周期（600MHz時(shí)鐘）每指令周期可并行執(zhí)行8條32bit指令VelociTI.2TM擴(kuò)展甚長(zhǎng)指令字結(jié)構(gòu)6個(gè)32/40-bitALU2個(gè)硬件乘法器，每時(shí)鐘周期可進(jìn)行4個(gè)16×16bit或8個(gè)8×8bit乘法運(yùn)算TMS320C6416DSP的核心結(jié)構(gòu)融合系統(tǒng)設(shè)計(jì)——系統(tǒng)結(jié)構(gòu)及硬件實(shí)現(xiàn)圖像融合子系統(tǒng)融合系統(tǒng)分為圖像融合處理DSP子系統(tǒng)和圖像輸入輸出子系統(tǒng)系統(tǒng)結(jié)構(gòu)及硬件實(shí)現(xiàn)采集輸出子系統(tǒng)數(shù)字視頻采集系統(tǒng)用于實(shí)現(xiàn)雙通道輸入圖像的數(shù)字化采集、圖像間配準(zhǔn)、融合處理系統(tǒng)工作流程控制等工作同步控制信號(hào)提取與輸出雙路專用視頻ADC具有X-Y方向像素平移配準(zhǔn)功能的幀存讀寫控制器使用大規(guī)?？删幊踢壿嬈骷﨏PLD實(shí)現(xiàn)系統(tǒng)復(fù)雜的時(shí)序與邏輯控制。視頻信號(hào)采集系統(tǒng)數(shù)據(jù)拼接（1路）幀存控制器設(shè)計(jì)視頻信號(hào)采集系統(tǒng)PCB電路設(shè)計(jì)地線設(shè)計(jì)融合系統(tǒng)的融合處理電路板采用了10層板層結(jié)構(gòu)，采集/輸出電路板采用了8層板層結(jié)構(gòu)，其中都設(shè)計(jì)了獨(dú)立的電源層和地線層，視頻端還設(shè)計(jì)了專門的模擬地，通過磁珠與系統(tǒng)數(shù)字地連接。設(shè)計(jì)原則電路中的電流回路應(yīng)保持最?。恍盘?hào)線和回線應(yīng)盡可能接近；使用較大的地平面以減小導(dǎo)線阻抗；電源線和地線應(yīng)相互接近；在多層電路板中，應(yīng)把電源層和地線層分開。PCB電路設(shè)計(jì)可測(cè)試性設(shè)計(jì)為主要信號(hào)設(shè)置測(cè)試點(diǎn)，以便于調(diào)試時(shí)使用示波器和邏輯分析儀捕捉波形，測(cè)試電路的工作狀態(tài)和信號(hào)特征。設(shè)置撥碼開關(guān)，以根據(jù)調(diào)試的需要靈活地改變電路的工作狀態(tài)。對(duì)于一些難以預(yù)先決定的連接，設(shè)置0電阻，當(dāng)需要斷開連接或需要導(dǎo)通時(shí)，只需要取下或焊上0電阻即可，避免了飛線。圖像融合系統(tǒng)軟件設(shè)計(jì)中斷處理程序流程DSP軟件優(yōu)化策略（1）優(yōu)化高速緩存Cache結(jié)構(gòu)，合理地劃分兩級(jí)Cache的大小，以及代碼段、數(shù)據(jù)段在內(nèi)存中的布局；（2）合理安排流水操作和程序分支，提高指令的并行度；（3）使用const關(guān)鍵字、restrict關(guān)鍵字，通過限定的指針指向該指針指向的對(duì)象，避免存儲(chǔ)器相關(guān)；（4）內(nèi)聯(lián)函數(shù)（intrinsic）是匯編指令直接映射的在線函數(shù)，使用內(nèi)聯(lián)函數(shù)使程序中函數(shù)更加緊湊，增加函數(shù)之間調(diào)用數(shù)據(jù)的相關(guān)性等；（5）利用數(shù)據(jù)打包處理技術(shù)，用字、雙字訪問短型數(shù)據(jù)進(jìn)行數(shù)據(jù)存?。籇SP軟件優(yōu)化策略（6）用邏輯運(yùn)算、加/減/乘運(yùn)算代替除運(yùn)算；（7）合理設(shè)置CCS編譯器參數(shù)和各種優(yōu)化選項(xiàng)，如使用優(yōu)化選項(xiàng)-o1、-o2、-o3、-pm、-mt等；（8）代碼中關(guān)鍵部分是循環(huán)。利用軟件流水優(yōu)化循環(huán)，解開多重循環(huán)嵌套，變函數(shù)操作為指令操作，把循環(huán)內(nèi)復(fù)雜的條件判斷盡量移到循環(huán)體的外部，循環(huán)內(nèi)代碼尺寸不要太大；（9）使用Profiler工具查找效率低的部分，分析相關(guān)圖，用線性匯編改寫耗時(shí)長(zhǎng)的部分。DSP6416的內(nèi)存1MByte，不能完成一場(chǎng)圖像的融合。DSP訪問片外存儲(chǔ)器的時(shí)間比訪問片內(nèi)存儲(chǔ)器慢得多，為了達(dá)到實(shí)時(shí)效果便不能將數(shù)據(jù)放在片外存儲(chǔ)器處理。充分利用DSPEMIF口的EDMA在無需CPU參與的情況下便能完成DSP存儲(chǔ)空間之間的數(shù)據(jù)搬移的功能。SDRAM配置圖內(nèi)存管理與DMA同步雙緩沖策略同步雙緩沖是指在SDRAM中使用乒乓結(jié)構(gòu)，用以存放相鄰兩場(chǎng)的數(shù)據(jù)。在DSP片內(nèi)存儲(chǔ)器中也開辟乒乓結(jié)構(gòu)用以存放一場(chǎng)中每個(gè)半場(chǎng)的數(shù)據(jù)。處理上半場(chǎng)時(shí)，EDMA搬運(yùn)下半場(chǎng)的數(shù)據(jù)，處理下半場(chǎng)時(shí)，EDMA搬運(yùn)上半場(chǎng)的數(shù)據(jù)。實(shí)時(shí)處理過程的時(shí)-空?qǐng)D多分辨圖像融合算法的實(shí)現(xiàn)流程金字塔結(jié)構(gòu)的多分辨融合算法基本思想來自于人眼視覺系統(tǒng)對(duì)于局部對(duì)比度變化的敏感性，因此可直接將融合圖像作為一種融合多尺度邊緣的描述。多分辨融合能較好地保留圖像的細(xì)節(jié)部分，并具有較好的目視效果。Laplacian金字塔結(jié)構(gòu)圖像融合算法融合系統(tǒng)實(shí)驗(yàn)效果（長(zhǎng)波紅外圖像）（3層Laplacian金字塔融合效果）（可見光圖像）（處理板）（實(shí)驗(yàn)現(xiàn)場(chǎng)照片）融合系統(tǒng)實(shí)驗(yàn)效果（長(zhǎng)波紅外圖像）（3層Laplacian金字塔融合效果）（可見光圖像）（處理板）（實(shí)驗(yàn)現(xiàn)場(chǎng)照片）基于4×DSP實(shí)時(shí)融合系統(tǒng)DSP主頻720MHzDSP數(shù)量4DSP峰值性能5760MIPS系統(tǒng)峰值性能23040MIPSDSP本地帶寬1064MB/s系統(tǒng)IO帶寬266MB/sDSP本地內(nèi)存32MB系統(tǒng)總內(nèi)存128MB+128kB基于4×DSP實(shí)時(shí)融合系統(tǒng)同步四口SRAM通道劃分圖像基于DM642的微小型化實(shí)時(shí)融合系統(tǒng)基于DM642的微小型化實(shí)時(shí)融合系統(tǒng)DM642是TI公司多媒體處理器TMS320DM64x系列外設(shè)最完備的一款，它建立在高性能C64xDSP核的基礎(chǔ)上，芯片總體性能比C62x約提高了10倍。DM642最大的特色是具有三個(gè)可靈活配置的視頻口（VideoPort），使它很適合用于視頻采集和處理。主要特點(diǎn)：（1）最高720MHz主頻的高性能定點(diǎn)處理器（2）VelociTI.2第二代先進(jìn)的超長(zhǎng)指令字結(jié)構(gòu)（3）具有配置靈活的256KB二級(jí)緩存以及64通道EMDA（4）豐富的片上外設(shè)，主要包括64bit擴(kuò)展內(nèi)存接口（EMIF）、多通道緩沖串口（McBSP）、多通道音頻串行端口（McASP）、66MHz32bitPCI接口、10/100Mbps以太網(wǎng)口（EMAC）等。圖像融合系統(tǒng)硬件系列平臺(tái)C62DSP融合板C64DSP融合板DM642DSP融合板FPGA器件早期的門陣列FPGA器件FPGA屬于可編程ASIC，由邏輯功能塊排列成陣列組成，并由可編程的內(nèi)部連線連接這些邏輯功能塊來實(shí)現(xiàn)不同的設(shè)計(jì)，并通過可編程互連接到所要求的輸入、輸出FPGA適合應(yīng)用在低級(jí)的DSP算法的數(shù)據(jù)流場(chǎng)合，而不適合應(yīng)用在if-then-else判斷型編程需求的場(chǎng)合。FPGA器件Altera公司FPGAFPGA器件Xilinx公司FPGA為什么用FPGA開發(fā)DSPAlgorithmsbeatsMoorebeatsChemists為什么用FPGA開發(fā)DSPXilinxDSPPerformanceLeadershipFPGA與DSP對(duì)比FPGA的優(yōu)勢(shì)以超高并行性實(shí)現(xiàn)更高性能靈活的I/O，可支持多種高速模擬接口低固定成本設(shè)計(jì)周期短，硬件更改快FPGA的不足冗余邏輯功耗較高量產(chǎn)成本高DSP的優(yōu)勢(shì)編程較簡(jiǎn)單——有許多庫和第三方支持公司直通處理速度更快DSP的不足硬件結(jié)構(gòu)固定并行處理量程有限D(zhuǎn)SP器件的優(yōu)勢(shì)（V.S.FPGA）前面所述的DSP是可編程的通用DSP，主要依靠編制的軟件來完成算法的實(shí)現(xiàn)。DSP適合于順序算法FPGA的優(yōu)勢(shì)是較低系統(tǒng)時(shí)鐘的并行運(yùn)算（當(dāng)然也可以實(shí)現(xiàn)順序的算法）DSP在浮點(diǎn)運(yùn)算方面有優(yōu)勢(shì)目前FPGA對(duì)浮點(diǎn)運(yùn)算的支持效率不高DSP編程開發(fā)過程比較簡(jiǎn)單DSP只需要編譯，F(xiàn)PGA需要編譯、綜合、布局布線DSP開發(fā)板和驅(qū)動(dòng)程序較豐富，外圍電路完善DSP有豐富的應(yīng)用范例和庫（FPGA各種IP核也越來越多）DSP器件的不足（V.S.FPGA）DSP處理器并行性有限只有幾個(gè)乘加單元；TI最好的DSP：8個(gè)處理核心處理可變寬度數(shù)據(jù)的效率較低處理多采樣速率的系統(tǒng)效率較低主要靠提高系統(tǒng)時(shí)鐘頻率來提高運(yùn)算速度>1GHz高頻電路設(shè)計(jì)困難功耗和散熱問題嚴(yán)重通用DSP——單引擎乘法累加順序處理限制數(shù)據(jù)的流量分時(shí)共享的乘法累加器單元高的時(shí)鐘頻率產(chǎn)生難以滿足的系統(tǒng)要求256抽頭FIR濾波器每個(gè)數(shù)據(jù)采樣運(yùn)行256次乘法和累加（MAC）每256個(gè)時(shí)鐘周期產(chǎn)生一個(gè)輸出RegDataInLoopAlgorithm256timesDataOutMACunit順序處理限制系統(tǒng)性能ChannelDensityorSampleRateAlgorithmicComplexitySampleRate

(MSamples/s)24681624324048566472808896104510152025303540Single300MHzProcessor

Two300MHzProcessorNo.of

coefficientsFixedProcessorClockRate

=NumberofoperationspersampleMaxSampleRateFPGA-多引擎乘法累加并行處理使數(shù)據(jù)流量最大化支持任意程度的并行性最佳的性能/成本取舍256FIR濾波器每個(gè)數(shù)據(jù)采樣運(yùn)行256次乘法和累加（MAC）每個(gè)時(shí)鐘周期一個(gè)輸出靈活的結(jié)構(gòu)分布的DSP資源（LUT，寄存器，乘法器，存儲(chǔ)器）DataOut....C0C1C2C255Reg0Reg1Reg2Reg255DataInAll256MACoperationsinoneclockcycleFPGA適合于DSP應(yīng)用傳統(tǒng)的DSP器件

(VonNeumann架構(gòu))DataOutRegDataInMACunit....C0DataOutC1C2C255FPGAReg0Reg1Reg2Reg255DataIn在1個(gè)時(shí)鐘周期內(nèi)同時(shí)處理256次MAC需要256次循環(huán)來處理采樣點(diǎn)數(shù)據(jù)256TapFIRFilterExampleReason1:FPGAs可以處理運(yùn)算密集型任務(wù)FPGA適合于DSP應(yīng)用FPGAsarealsoideallysuitedformulti-channelDSPdesignsManylowsampleratechannelscanbemultiplexed(e.g.TDM)andprocessedintheFPGA,atahighrateInterpolation(usingzeros)canalsodrivesamplerateshigherLPFMultiChannelFilter80MHzSamplesch1ch2ch3ch4LPFLPFLPFLPF20MHzSamplesFPGA適合于DSP應(yīng)用Q=(AxB)+(CxD)+(ExF)+(GxH)canbeimplementedinparallel××××++++++ABCDEFGHQReason2:巨大的靈活性ButisthistheonlywayintheFPGA?FPGA適合于DSP應(yīng)用CustomizeArchitecturestoSuitYourIdealAlgorithms××××++++++×++DQ

××++++

DQ

ParallelSemi-ParallelSerialFPGAsallowArea(cost)/PerformancetradeoffsOptimizedfor?SpeedCostFPGA適合于DSP應(yīng)用DDCA/DA/DD/AD/AMACsControlDDCDUCDUCMACsControlDSPProcs.DUCDUCDDCDDCSDRAMAFEFPGADSP

CardHundredsof

TerminationResistorsPowerPCSDRAMSSTL3TranslatorsQuadTRxQuadTRxASSPFPGANetwork

CardSDRAMA/DA/DD/AD/AControlControlPL4CORBAPowerPCMACs,DUCs,DDCs,LogicPowerPCPowerPCPowerPC3.125GbpsASSPSDRAMReason3:可以通過集成降低系統(tǒng)整體成本性能比較：Alteravs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TI性能比較：Xilinxvs.TIXilinxFPGA產(chǎn)品介紹XC4000：5/3.3/2.5V，容量從64～8464個(gè)CLBSPARTAN：XC4000的簡(jiǎn)化版VirtexII：1.5V，擁有256～46592個(gè)邏輯片（Slice）、18×18乘法器、嵌入式RAM塊SPARTANIII：90nm工藝的新一代低成本FPGA，VirtexII的簡(jiǎn)化版VirtexIIPro：VirtexII的升級(jí)版，內(nèi)部集成了PowerPC405核、高速接口RocketI/O和數(shù)字時(shí)鐘管理模塊（DCM）XilinxFPGA產(chǎn)品介紹VirtexIV：新一代基于組合模塊架構(gòu)(ASMBL)的FPGA平臺(tái)，擁有LX（側(cè)重于邏輯應(yīng)用）SX（DSP處理）FX（嵌入式系統(tǒng)和高速收發(fā)模塊）3個(gè)系列（1）設(shè)計(jì)定義（2）HDLCode（3）功能仿真（4）邏輯綜合（5）前仿真（6）布局布線（7）后仿真（9）在系統(tǒng)測(cè)試邏輯仿真器邏輯綜合器FPGA廠家工具邏輯仿真器邏輯仿真器（8）靜態(tài)時(shí)序分析FPGA

開發(fā)流程FPGA

開發(fā)流程電路圖設(shè)計(jì)文件HDL設(shè)計(jì)文件電路功能仿真HDL功能仿真HDL綜合確定實(shí)現(xiàn)電路的具體庫名

布線后門級(jí)仿真與實(shí)現(xiàn)邏輯的物理器件有關(guān)的工藝技術(shù)文件優(yōu)化、布局布線

電路制造工藝文件或FPGA碼流文件

有問題有問題有問題沒問題沒問題沒問題沒問題增量的設(shè)計(jì)方法常規(guī)的設(shè)計(jì)方法（如果塊E發(fā)生改變）增量設(shè)計(jì)的好處：減少了開發(fā)時(shí)間基于Virtex4的雙通道融合系統(tǒng)架構(gòu)使用FPGA算法總體實(shí)現(xiàn)聯(lián)合調(diào)試實(shí)物圖圖像融合結(jié)果

可見光源圖像紅外源圖像融合圖像基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)Virtex-5FPGA的優(yōu)勢(shì)65nm銅工藝第二代高級(jí)硅片組合模塊（ASMBL）列式架構(gòu)強(qiáng)大的36KbitBlockRAM/FIFO第二代25x18DSPSlice帶有內(nèi)置數(shù)控阻抗的SelectIO技術(shù)ChipSync源同步接口模塊系統(tǒng)監(jiān)視器功能增強(qiáng)型時(shí)鐘管理模塊基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)資源類型數(shù)量LogicResourcesSlices5,440LogicCells34,816CLBFlip-Flops21,760MemoryResourcesDistributedRAM（Kbits）520BlockRAM（36Kbitseach）84TotalBlockRAM（Kbits）3,024ClockResourcesDCM4PLL2I/OResourcesMaximumSingle-EndedPins360MaximumDifferentialI/OPairs180EmbeddedHardIPResourcesDSP48ESlices192PCIExpressEndpointBlocks110/100/1000EthernetMACBlocks4RocketIOGTPLow-PowerTransceivers8ConfigurationConfigurationMemory（Mbits）13.4PackageFootprintFF665Area27

27mm基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)器件類型器件名稱所在位置電平標(biāo)準(zhǔn)音視頻CodecTLVAIC23Bank17LVTTLADV7188（1）Bank17LVTTLADV7188（2）Bank13LVTTLADV7393Bank11、Bank13LVTTLADV7123Bank11LVTTL大容量存儲(chǔ)器CY7C1372Bank2、Bank12LVTTLMT47H64M16HRBank3、Bank15、Bank16SSTL18通信接口物理層器件RS-232Bank17LVTTLRS-485Bank17LVTTLCANBank17LVTTLEthernetBank18LVTTL其它KEY&LEDBank1LVTTL配置PROMBank0LVTTL系統(tǒng)時(shí)鐘Bank4LVTTL基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)大容量存儲(chǔ)器模塊設(shè)計(jì)NoBLSRAM：CY7C1372D（1M

18bit）DDR2SDRAM：MT47H64M16HR-3（8M

16bit

8banks）利用MIG工具生成存儲(chǔ)器控制器單元基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)電源模塊設(shè)計(jì)XPE（XPowerEstimator）估算FPGA大致的功耗基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)電源模塊設(shè)計(jì)電壓用途電流功耗供電方案0.9VDDR2SDRAMVref<100mA<100mWLP3906SQSW11VFPGAVCCINT<2A<2WTPS54310PWP1.8VFPGAVCCIODDR2SDRAMVCCVideoDecoderVCCINT<1A<2WLP3906SQSW22.5VFPGAVCCAUX<300mA<1WTPS54315PWPAnalog3.3VVideoDecoderAVCCVieoEncoderAVCCVGAEncoderAVCCAudioCodecAVCC<200mA<600mWLP3906SQLDO1Digital3.3VFPGAVCCIONoBLSRAMVCCVideoCodecDVCCVGAEncoderDVCCRS232TransceiverVCCRS422TransceiverVCCCANTransceiverVCCEthernetPHYVCC<1A<3WTPS54316PWP基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)融合系統(tǒng)PCB頂層原件布局圖基于Virtex-5的圖像融合硬件平臺(tái)設(shè)計(jì)基于Virtex-5FPGA的SoPC實(shí)時(shí)圖像融合系統(tǒng)實(shí)物圖XilinxSoPC架構(gòu)MBBUSIP基于XtremeDSP的高層次設(shè)計(jì)方法XtremeDSP設(shè)計(jì)套件包括SystemGenerator和AccelDSP兩個(gè)工具。SoPC設(shè)計(jì)流程基于FPGA的SoPC設(shè)計(jì)流程基于SoPC的偽彩色融合處理架構(gòu)基于SoPC的偽彩色融合處理實(shí)現(xiàn)架構(gòu)圖像采集與輸出模塊設(shè)計(jì)圖像采集模塊圖像采集與輸出模塊設(shè)計(jì)圖像輸出模塊偽彩色融合算法模塊設(shè)計(jì)將融合算法模塊作為MicroBlaze的協(xié)處理器，其間用高速FSL總線連接。偽彩色融合算法模塊設(shè)計(jì)首先將融合算法算法在AccelDSP中實(shí)現(xiàn)。查看RTL報(bào)告，獲取數(shù)據(jù)運(yùn)算時(shí)間協(xié)處理器每次計(jì)算1個(gè)像素融合結(jié)果：?jiǎn)未芜\(yùn)算耗時(shí)340ns，總耗時(shí)141ms；利用面積換速度原則，使協(xié)處理器每次計(jì)算25個(gè)像素融合結(jié)果，單次運(yùn)算耗時(shí)1.42ms，總耗時(shí)23.47ms。算法協(xié)處理器IP核的生成及使用偽彩色融合算法模塊設(shè)計(jì)偽彩色融合算法模塊設(shè)計(jì)融合算法協(xié)處理器與MicroBlaze接口其他接口模塊的設(shè)計(jì)本系統(tǒng)存儲(chǔ)器由三部分組成，F(xiàn)PGA內(nèi)部BlockRAM（BRAM）、18MbitNoBLSRAM以及1GbitDDR2SDRAM，分別使用不同的總線和接口；I2C接口、UART接口、GPIO接口模塊，以及DMA控制器、存儲(chǔ)器控制器模塊；系統(tǒng)中斷控制器的使用：SoPC融合系統(tǒng)綜合結(jié)果系統(tǒng)所用IP核連接圖SoPC融合系統(tǒng)綜合結(jié)果在XPS默認(rèn)設(shè)置和約束下，XST綜合得到的系統(tǒng)時(shí)鐘周期為4.663ns，即最高為214.452MHz，因此系統(tǒng)工作在200MHz時(shí)鐘下是安全的。根據(jù)綜合報(bào)告系統(tǒng)資源占用情況資源占用數(shù)量比例Slice251846%Flip-Flops1153253%LUT1357839%BRAM6778%I/O24769%SoPC系統(tǒng)軟件流程系統(tǒng)軟件流程SoPC實(shí)時(shí)融合系統(tǒng)調(diào)試基于ChipScope的數(shù)據(jù)流調(diào)試