多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究培訓(xùn)課件

1、多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究主要內(nèi)容基于PCNN的圖像融合算法總結(jié)與展望基于小波變換的圖像融合算法基于BP的特征級圖像融合算法醫(yī)學(xué)圖像配準(zhǔn)算法課題背景2多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究主要內(nèi)容基于PCNN的圖像融合算法總結(jié)與展望基于小波變換的圖一、課題背景由于醫(yī)學(xué)圖像儀器的成像機(jī)理的不同，使得不同模態(tài)的醫(yī)學(xué)圖像反映人體信息不同，從單一源圖像是無法對病人進(jìn)行全面診斷。圖像配準(zhǔn)和融合能將多模態(tài)的圖像信息進(jìn)行互補(bǔ)，融合成一幅新的影像。目前醫(yī)學(xué)圖像融合技術(shù)還處于起步階段，故本文針對多模態(tài)醫(yī)學(xué)圖像的融合方法及配準(zhǔn)算法方面展開研究。3多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的

2、研究一、課題背景由于醫(yī)學(xué)圖像儀器的成像機(jī)理的不同，使得不同模3多二、醫(yī)學(xué)圖像配準(zhǔn)算法醫(yī)學(xué)圖像配準(zhǔn)的定義：是尋求兩幅圖像間的幾何變換關(guān)系，通過這一幾何變換，使兩幅醫(yī)學(xué)圖像上的對應(yīng)點(diǎn)達(dá)到空間上的一致，這種一致是指人體上的同一解剖點(diǎn)在兩張匹配圖像上具有相同的空間位置。 4多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究二、醫(yī)學(xué)圖像配準(zhǔn)算法醫(yī)學(xué)圖像配準(zhǔn)的定義：是尋求兩幅圖像間的幾最大互信息配準(zhǔn)方法的基本思想 在多模醫(yī)學(xué)圖像配準(zhǔn)中，基于兩幅圖像中的相同目標(biāo)在空間上對齊時相關(guān)性最強(qiáng)，對應(yīng)像素灰度的互信息達(dá)到最大，從而可以根據(jù)最大互信息的位置找到最佳配準(zhǔn)。缺點(diǎn)：由于互信息函數(shù)不是分布良好的凸函數(shù)，從而導(dǎo)致誤配準(zhǔn)，同時計算

3、量較大，耗時較長。 5多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究最大互信息配準(zhǔn)方法的基本思想5多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的輸入圖像提取圖像的邊緣特征信息計算特征點(diǎn)集合的互信息歸一化處理 配準(zhǔn)提取的特征圖像優(yōu)化搜索根據(jù)配準(zhǔn)參數(shù)配準(zhǔn)原圖像采用基于Canny算子和小波提升變換的邊緣檢測方法采用歸一化互信息為測度采用改進(jìn)的鮑威爾算法，尋找最大歸一化互信息的位置改進(jìn)算法的流程圖6多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究輸入圖像提取圖像的邊緣特征信息計算特征點(diǎn)集合的互信息歸一化處仿真實(shí)驗(yàn) (a)CT圖像 (b)MRI圖像 (c) 最大的互信息配準(zhǔn)法 (d) 所提方法7多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究仿真實(shí)驗(yàn) (a)

4、CT圖像 CT/MRI圖像各配準(zhǔn)方法的配準(zhǔn)參數(shù)及性能比較 傳統(tǒng)的互信息配準(zhǔn)方法所提方法RMSE19.4315.32R0.92160.9812水平和垂直偏移量（9.02 8.52）（9.93 9.56）角度偏移量9.5979.9608多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究CT/MRI圖像各配準(zhǔn)方法的配準(zhǔn)參數(shù)及性能比較 傳統(tǒng)的互信息三、基于小波變換的圖像融合算法小波變換具有良好的時頻局域化特性及多尺度分析能力,非常適合于圖像處理?；谛〔ㄗ儞Q的影像融合算法被廣泛應(yīng)用于圖像融合處理中，其性能優(yōu)于傳統(tǒng)的圖像融合方法。 9多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究三、基于小波變換的圖像融合算法小波變換具有良好的時頻

5、局域化特（一）基于可分離小波變換的圖像融合算法具體步驟：對待融合的醫(yī)學(xué)源圖像分別進(jìn)行小波變換分解；對于尺度系數(shù)，使用下式合并醫(yī)學(xué)源圖像對應(yīng)的尺度系數(shù)； (3.1)10多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究（一）基于可分離小波變換的圖像融合算法具體步驟：(3.1)1對于小波系數(shù)，首先使用下式確定醫(yī)學(xué)源圖像高頻分量的邊緣點(diǎn)和非邊緣點(diǎn)，保護(hù)邊緣點(diǎn)對應(yīng)的小波系數(shù)；(3.2)(3.3)(3.4)11多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究(3.2)(3.3)(3.4)11多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技對非邊緣點(diǎn)用式(3.5)進(jìn)行小波系數(shù)融合。然后用式(3.6)獲得融合圖像的小波系數(shù)。 (3.5)(3.6)12多模態(tài)醫(yī)

6、學(xué)影像配準(zhǔn)和融合技術(shù)的研究對非邊緣點(diǎn)用式(3.5)進(jìn)行小波系數(shù)融合。然后用式(3.6)將融合圖像的小波系數(shù)和尺度系數(shù)進(jìn)行小波逆變換，即可得到重構(gòu)后的醫(yī)學(xué)融合圖像。 仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像 (c)拉普拉斯金字塔 融合算法13多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究將融合圖像的小波系數(shù)和尺度系數(shù)進(jìn)行小波逆變換，即可得到重構(gòu)后(d)梯度金字塔融合 (e)形態(tài)學(xué)金字塔融合 (f)小波變換融合算法 算法 算法(g) 所提算法14多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究(d)梯度金字塔融合 (e)形態(tài)學(xué)金字塔融合 CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評價拉普拉斯金字塔融合算法梯度金字塔融合算法 形態(tài)學(xué)金

7、字塔融合算法 小波變換融合算法 所提算法信息熵 10.911212.678512.835214.264617.5947平均交叉熵 7.83255.37265.14624.52163.2514平均梯度 31.589233.012335.542837.256739.5492相關(guān)系數(shù) 0.598450.60520.616430.640300.706715多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評價拉普拉斯金字塔融合算法梯度金字低頻分量的融合規(guī)則 (3.7)(3.8)(3.9)（二）基于不可分離小波變換的圖像融合算法16多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究低頻分量的融合規(guī)則 (3.7

8、)(3.8)(3.9)（二）基于高頻分量的融合規(guī)則 亮度信息細(xì)節(jié)信息 (3.10)(3.11)17多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究高頻分量的融合規(guī)則 (3.10)(3.11)17多模態(tài)醫(yī)學(xué)影或當(dāng)其中， ， 調(diào)節(jié)CT/MRI圖像的占優(yōu)比例 (3.12)(3.13)(3.14)18多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究或當(dāng)其中， ， 調(diào)節(jié)CT/MRI圖像的占優(yōu)比例 因子 調(diào)節(jié)圖像的亮度 (3.17)(3.18)(3.16)(3.15)19多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究因子 調(diào)節(jié)圖像的亮度 (3.17)(3.18)(3.1通過調(diào)整這些因子可以消減模糊邊緣，突出細(xì)節(jié)并調(diào)節(jié)圖像的亮度對比度。在臨床應(yīng)用

9、中，為了得到強(qiáng)調(diào)不同特征信息的圖像，醫(yī)生既可以根據(jù)上面公式計算它們，也可以根據(jù)經(jīng)驗(yàn)手動設(shè)定這些參數(shù)。 因子 決定圖像的邊緣(3.19)20多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究通過調(diào)整這些因子可以消減模糊邊緣，突出細(xì)節(jié)并調(diào)因子 決仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像 (c)對比度金字塔融合算法(d)基于像素融合算法 (e)基于區(qū)域融合算法 (f)所提算法21多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究仿真實(shí)驗(yàn) (a) CT圖像 CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評價對比度金字塔融合算法基于像素融合算法基于區(qū)域融合算法所提算法平均交叉熵6.34236.02653.46242.0598標(biāo)準(zhǔn)差12.89655.

10、37265.146219.9356平均梯度 41.675242.125645.326948.5486相關(guān)系數(shù) 0.48410.51660.61230.796422多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評價對比度金字塔融合算法基于像素融基于區(qū)域模糊熵和區(qū)域亮度細(xì)節(jié)占優(yōu)的融合算法設(shè)計 (3.20)(3.21)23多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究基于區(qū)域模糊熵和區(qū)域亮度細(xì)節(jié)占優(yōu)的融合算法設(shè)計 (3.20)仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像(c)對比度金字塔融合算法 (d)基于像素融合算法24多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究仿真實(shí)驗(yàn) (a) CT圖像 (g)所提算

11、法(e)基于區(qū)域融合算法 (f)模糊集和小波變換 融合算法25多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究 (g)所提算法(e)基于區(qū)域融合算法 CT/MRI實(shí)驗(yàn)結(jié)果的質(zhì)量評價對比度金字塔融合算法基于像素融合算法 基于區(qū)域融合算法 模糊集和小波變換融合算法 所提算法平均交叉熵9.01438.23266.45785.02313.4956標(biāo)準(zhǔn)差26.312428.657130.98744.521635.2587平均梯度 36.234538.562140.897237.256745.1789相關(guān)系數(shù) 0.47580.49320.52340.640300.767126多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究CT/MR

12、I實(shí)驗(yàn)結(jié)果的質(zhì)量評價對比度金字塔融合算法基于像素融四、基于PCNN的圖像融合算法小波變換方法針對性都很強(qiáng)，根據(jù)不同情況采用不同的融合規(guī)則?；谏窠?jīng)網(wǎng)絡(luò)方法對輸入不同類型的圖像得到的融合結(jié)果不會有很大差別，且其融合規(guī)則往往簡單易行，故基于神經(jīng)網(wǎng)絡(luò)的融合算法適應(yīng)性要更好一些。因此將具有生物學(xué)背景的PCNN神經(jīng)網(wǎng)絡(luò)應(yīng)用到醫(yī)學(xué)圖像融合中。 27多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究四、基于PCNN的圖像融合算法小波變換方法針對性都很強(qiáng)，根據(jù)具體融合步驟：1、對每一幅醫(yī)學(xué)圖像分別進(jìn)行兩層小波提升分解，提取圖像的近似細(xì)節(jié)、水平、垂直、對角方向的小波系數(shù)矩陣。2、對低頻和高頻子圖像分別采用改進(jìn)的PCNN網(wǎng)絡(luò)，P

13、CNN網(wǎng)絡(luò)大小與相應(yīng)子圖像大小相同，每個PCNN內(nèi)的所有神經(jīng)元均采用8鄰域連接方式。3、將來自醫(yī)學(xué)圖像A和B的子圖像分別輸入相應(yīng)的PCNN網(wǎng)絡(luò)，并按照如下步驟進(jìn)行融合處理： 28多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究具體融合步驟：28多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究初始化。設(shè) 和 分別表示第k對子圖像中像素(i,j)的灰度值，將其歸一化到01范圍內(nèi)，令內(nèi)部鏈接輸入矩陣、內(nèi)部行為矩陣和閾值矩陣的初值分別為: ， ，此時，所有神經(jīng)元都處于熄火狀態(tài): ，Nmax為最大迭代次數(shù)，點(diǎn)火時刻記錄矩陣 ；(2) 根據(jù)下式計算 ， ， 和 ；29多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究初始化。設(shè) 和 分別表示第k對子

14、圖像中像其中： 或 (4.1)30多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究其中： 或 (4.1)30多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究(3)累計網(wǎng)絡(luò)每次迭代運(yùn)行的輸出:(4) 重復(fù)步驟(2)和(3)直到，此時網(wǎng)絡(luò)迭代運(yùn)行停止；(5) 根據(jù)下式選擇融合圖像的小波系數(shù): (4.2)(4.3)31多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究(3)累計網(wǎng)絡(luò)每次迭代運(yùn)行的輸出:(4.2)(4.3)31多多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究培訓(xùn)課件仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI圖像 (c)梯度金字塔融合算法(d)基于區(qū)域融合算法 (e) PCNN (f)所提算法33多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究仿真實(shí)驗(yàn) (

15、a) CT圖像 (a) CT圖像 (b) MRI圖像(c)梯度金字塔 (d)基于區(qū)域融合 融合算法 算法34多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究 (a) CT圖像 (g) 所提算法 (e)模糊集和小波 (f) PCNN 變換融合算法35多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究 (g) 所提算法 (e)模糊集和小波 CT1/MRI1實(shí)驗(yàn)結(jié)果的質(zhì)量評價梯度金字塔融合算法 基于區(qū)域融合算法 PCNN所提方法平均交叉熵5.90132.94565.25482.3487標(biāo)準(zhǔn)差31.332444.948934.567245.1435平均梯度 8.638918.257810.237818.5678相關(guān)系數(shù) 0.608

16、10.84230.65870.845236多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究CT1/MRI1實(shí)驗(yàn)結(jié)果的質(zhì)量評價梯度金字塔融合基于區(qū)域融合梯度金字塔融合算法 基于區(qū)域融合算法 模糊集和小波變換融合算法 PCNN所提方法平均交叉熵9.83769.45765.59255.14733.8271標(biāo)準(zhǔn)差29.264530.167433.980734.768439.5867平均梯度 18.974520.867524.987325.635429.3526相關(guān)系數(shù) 0.43870.48620.60710.61820.7646CT2/MRI2實(shí)驗(yàn)結(jié)果的質(zhì)量評價37多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究梯度金字塔融合算

17、法 基于區(qū)域融合算法 模糊集和小波變換融合算基于像素級的醫(yī)學(xué)圖像融合可以使融合后的圖像包含更全面、更精確的信息，但是所要處理的圖像數(shù)據(jù)量大，故融合速度慢，同時對配準(zhǔn)精度的要求非常高?；谔卣骷壍尼t(yī)學(xué)圖像融合由于對多模醫(yī)學(xué)圖像提取的特征信息進(jìn)行融合，故可以大大加快融合速度，且對圖像配準(zhǔn)的要求沒有像素級嚴(yán)格，但其融合精度比像素級融合差 。 五、基于BP的特征級圖像融合算法38多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究基于像素級的醫(yī)學(xué)圖像融合可以使融合后的圖像五、基于BP的特征將像素級和特征級融合方法有效地結(jié)合起來，利用BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，提出了基于BP神經(jīng)網(wǎng)絡(luò)的特征級圖像融合方法。具體步驟：1、 將兩幅圖

18、像進(jìn)行圖像分割得到一組分割區(qū)域，用Ai和Bi分別表示第i個區(qū)域?qū)Α?、根據(jù)灰度共生矩陣，從每個區(qū)域抽取五個反映圖像紋理的特征。Ai和Bi的特征矢量分別表示為( )和( )。 39多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究將像素級和特征級融合方法有效地結(jié)合起來，利39多模態(tài)醫(yī)學(xué)影像3、訓(xùn)練一個用于判斷分析Ai和Bi區(qū)域紋理特征的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的輸入是差異矢量( )，網(wǎng)絡(luò)的輸出如下式：4、用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)在所有分割區(qū)域（第一步得到的）上進(jìn)行檢測、判斷。融合圖像的第i個區(qū)域按下式構(gòu)建： (5.1)(5.2)40多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究3、訓(xùn)練一個用于判斷分析Ai和Bi區(qū)域紋理特征的(5.1)(5、采用一致性檢測來校驗(yàn)步驟(4)得到的結(jié)果。如果神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域來自于圖像1而它周圍的區(qū)域來自圖像2，則將這個區(qū)域用圖像2中的對應(yīng)區(qū)域像素替換。這樣，保證在構(gòu)成合成系數(shù)時，鄰域內(nèi)系數(shù)的選擇基于相同的規(guī)則。 41多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究5、采用一致性檢測來校驗(yàn)步驟(4)得到的結(jié)果。41多模態(tài)醫(yī)學(xué)仿真實(shí)驗(yàn) (a) CT圖像 (b) MRI 圖像 (c)基于像素融合算法 (d)小波變換融合算法 (e)基于區(qū)域融合算法 (f)所提算法 42多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研