七、算術(shù)邏輯運算

1、代數(shù)運算(Algebraic operation)n相加。n相減。n相乘。n相除n圖像融合要點： 代數(shù)運算迭加相減：顯示兩幅圖像的差異、運動物體檢測。相乘：提取或刪掉圖象某部分。相除：遙感多光譜圖象相除抵消入射分量i(x,y)。相加M=1M=2M=4M=16nAddition:qaveraging for noise reductionX-ray image obtained before and after injection of dye into arteries. Dye affects appearance of blood vessels but not surrounding t

2、issues. Subtracting pre- and post-injection images enhances blood vessels relative to tissues. (Image courtesy of D. W. Holdsworth, RRI.)相減DSA相減DSA相減：檢測運動物體相乘相乘相乘nMultiplication:qmasking used to zero out areas that you dont want to use in calculationsx(a) Magnetic resonance velocity image through th

3、e human neck. Multiplying by the mask in (b) isolates pixels corresponding to one of the carotid arteries. Averaging pixel values inside the masked region and multiplying by the area of the mask yields the average blood flow. (Image courtesy of D. A. Steinman, RRI.)(a)(b)相除nDivision:qimage formation

4、 is often a multiplicative process:qneed to eliminate I(x, y) for better visualization and processing (e.g., thresholding)Black blood MR image through neck of a subject. The rolloff in image intensity can be modelled as a multiplicative process. (Image courtesy of D. A. Steinman, RRI.)相除(a) Black bl

5、ood MR image through neck of a subject. (b) Image after dividing out estimated rolloff function. (Image courtesy of D. A. Steinman, RRI.)(a)(b)nDivision (contd):qestimate I(x, y) and divide it outqmany procedures for estimating I(x, y); will cover one later (homomorphic filtering)Matlab中的實現(xiàn)nimadd(a,

6、b):兩幅圖像相加nimsubtract(a,b):兩幅圖像相減nimmultiply（a,b）:兩幅圖像相乘nimdivide(a,b)：兩幅圖像相除Medical Image Registration and Fusion2009年6月什么是圖像配準(zhǔn)?n圖像配準(zhǔn)是指對于一幅圖像尋求一種空間變換，使該圖像與另一幅圖像中的對應(yīng)點達(dá)到空間上的一致)()(/pTIq：I變換映射確定同一對象的不同視圖中的對應(yīng)點醫(yī)學(xué)圖像配準(zhǔn)的分類n基于外部特征和基于內(nèi)部特征q外部特征：標(biāo)記物或標(biāo)記點，侵入式q內(nèi)部特征：體內(nèi)特征點或表面n根據(jù)變換性質(zhì)：剛體變換、仿射變換、投影變換及曲線變換n根據(jù)圖像模態(tài)：單模、多模、患

7、者/模態(tài)間的配準(zhǔn)n根據(jù)主體：intrasubject、intersubject和atlas （圖譜）醫(yī)學(xué)圖像配準(zhǔn)的應(yīng)用n可以從不同圖像的模式中得到相關(guān)信息，用于：q基于圖像的診斷：解剖與功能圖像的結(jié)合q手術(shù)計劃/放療計劃的制定：腫瘤q病理變化的跟蹤及療效的評價q與圖譜（如可視人）配準(zhǔn)，用于確定特定區(qū)域及功能常用圖像配準(zhǔn)方法n基于特征點的配準(zhǔn)方法q特征點的數(shù)目及位置對結(jié)果有影響n基于表面（分割）的配準(zhǔn)方法q需要分割處理n基于象素（體素）的配準(zhǔn)法q靈活，利用圖像全部信息，但運算量大、速度慢基于特征點的配準(zhǔn)方法發(fā)現(xiàn)所有對應(yīng)的基準(zhǔn)點發(fā)現(xiàn)所有對應(yīng)的基準(zhǔn)點變換變換視圖視圖2= “空間空間” 2視圖視圖1=

8、 “空間空間” 1對準(zhǔn)相應(yīng)基準(zhǔn)點對準(zhǔn)相應(yīng)基準(zhǔn)點目標(biāo)點對準(zhǔn)目標(biāo)點對準(zhǔn)(Fitzpatrick 2003)特征點法示例用詞說明n各種圖像配準(zhǔn)的文獻(xiàn)都會出現(xiàn)“配準(zhǔn)、匹配、幾何校正”三個詞，它們的含義比較相似q一般兩幅圖像之間用配準(zhǔn)(register, registration)q尋找同名特征(點) 的過程叫匹配（match, matching)q根據(jù)主輔圖像之間的幾何變換關(guān)系，對輔圖像進(jìn)行逐像素處理變?yōu)榕錅?zhǔn)圖像的過程叫做幾何校正（geometric correction）基于表面（分割）法在待配準(zhǔn)的表面上選點移去待配準(zhǔn)表面，表面由所選點代表在參考平面上找到相應(yīng)的最近點，計算總距離(Fitzpatri

9、ck 2003)基于表面（分割）法去掉參考表面，表面可由相應(yīng)的點代替得到配準(zhǔn)點集(剛體)，進(jìn)行配準(zhǔn)恢復(fù)參考表面發(fā)現(xiàn)新的最近點集去掉參考平面，得到新的配準(zhǔn)點集繼續(xù)上述過程，得到新的配準(zhǔn)點集基于表面（分割）法-迭代最近點法基于像素/體素特征法基于體素特征法n三維圖像中的每個體素對應(yīng)一個相應(yīng)的坐標(biāo)和體素強度值n基于體素特征的方法就是將三維圖像A（參考圖）中的每個體素的坐標(biāo)與三維圖像B（浮動圖）中的每個體素的坐標(biāo)通過變換T建立映射關(guān)系,以達(dá)到兩個圖形的配準(zhǔn)Xa=T(Xb)基于體素特征法例如：對于剛體變換，Mt 坐標(biāo)表示平移，Mr坐標(biāo)表示旋轉(zhuǎn)Xa= MtMr Xb此時TMtMr ，即浮動圖B中的體素坐標(biāo)

10、經(jīng)過一定角度的旋轉(zhuǎn)和一定量的位移后對應(yīng)到參考圖A上配準(zhǔn)框架及方法空間變換優(yōu)化算法Image Similarity metric相似性測度Image Interpolator圖像插值配準(zhǔn)配準(zhǔn)基本步驟n空間轉(zhuǎn)換(Transform)q實現(xiàn)從一幅圖像到另一幅圖像的映射n圖像插值(Interpolation)q確定不在網(wǎng)格位置上的點的灰度值n相似性測度(Similarity Metric, 配準(zhǔn)標(biāo)準(zhǔn))q對“完美匹配”進(jìn)行定量分析n優(yōu)化算法(Optimizer)q優(yōu)化變換參數(shù)空間轉(zhuǎn)換浮動圖像 參考圖像常見空間變換剛體變換),(zyxzyxtttp11zyxTzyxrigid旋轉(zhuǎn)及平移參數(shù)：1000cos

11、coscossinsinsinsincoscossinsinsinsincoscoscoscoscossincossinsincossinsinsincoscoscoszyxyxyyzyxzxzyxzxzyxzyxzxzyxzxzyrigidtttT仿射變換尺度變換是剛性變換嗎？尺度變換是剛性變換嗎？投影變換n參數(shù) p=(a11, a12, a13, a41, a42, a43, tx, ty, tz, )434241333231232221131211 1aaataaataaataaaTzyxTuzyxzyxprojprojNote: xi=xI / u, for i=1,2,3曲線變換n多

12、項式近似n樣條函數(shù)q薄板樣條(thin-plate spline)qB-樣條(b-spline) n非剛體變換會較復(fù)雜，一般用于局部形變T=Tglobal+TlocalTglobal: rigid/affine transform(Trigid/Taffine)Tlocal: Non-rigid transform非剛體變換示例十分復(fù)雜！(Thompson, 1996)圖像的插值n最近鄰插值n線性插值n三次線性插值nB-樣條插值n雙線性插值法圖像的插值沒有灰度不連續(xù)性的缺點沒有灰度不連續(xù)性的缺點具有低通濾波性質(zhì)，圖像輪具有低通濾波性質(zhì)，圖像輪廓有一定模糊廓有一定模糊2|02|1|5|841|0

13、|3|52)(3232xxxxxxxxxS(i-1,j-1)(i-1,j+2)(i+2,j-1)(i+2,j+2)(x,y)u v雙三次內(nèi)插法雙三次內(nèi)插法(bicubic interpolation)該方法利用三次多項式S(x)來逼近理論上的最佳插值函數(shù)sin(x)/x。其數(shù)學(xué)表達(dá)式為：R G Keys. IEEE Trans Acoustics, Speech, and Sig Process, 1981, 29( 6) : 1153602121,)(),(2 , 1 , 0 , 1, )(mmmkkkjmimvsFyxf，musfF：其中則有原始影像灰度表面 最近鄰內(nèi)插法雙線性內(nèi)插法 雙三

14、次插值法像素灰度內(nèi)插法效果比較像素灰度內(nèi)插法效果比較相似性測度n均方值測度n歸一化相關(guān)性測度n最小二乘測度NiiiBANBAMS2)(1),(NiiNiiNiiiBABABANC22)(),(互信息測度n信息測度：熵信息測度：熵系統(tǒng)的復(fù)雜性或不確定性系統(tǒng)的復(fù)雜性或不確定性熵熵聯(lián)合熵聯(lián)合熵互信息互信息標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化互信息互信息二維灰度直方圖CT Intensity互信息測度當(dāng)兩幅圖像的空間位當(dāng)兩幅圖像的空間位置達(dá)到一致時，其互置達(dá)到一致時，其互信息應(yīng)為最大信息應(yīng)為最大無需特征點提取及分無需特征點提取及分割割用于基于體素的配準(zhǔn)方法優(yōu)化n配準(zhǔn)方法: n-維函數(shù), 其中n為變換的自由度n通常不是平滑函數(shù)

15、n含有許多局部極值n可以通過數(shù)學(xué)優(yōu)化實現(xiàn)n優(yōu)化算法q梯度下降法qDownhill simplex 優(yōu)化(amoeba)qPowells 算法qGenetic 算法q實例一：基于點的剛體變換配準(zhǔn)算法最小二乘配準(zhǔn)特征點的選取剛體變換的最小二乘解法共取N(N4)個特征點q浮動圖像坐標(biāo)系中，N個特征點的齊次坐標(biāo)構(gòu)成矩陣PCNX4；在參考空間坐標(biāo)系中，對應(yīng)點構(gòu)成矩陣P CNX4假設(shè)配準(zhǔn)矩陣TC4X4q則有P=P*T，對于T中任意列X，P中相應(yīng)列B，則有B=P*X，故可將T的求解分解為四個列向量的求解最小二乘解法n算法原理:q用豪斯荷爾德變換將P進(jìn)行QR分解，即P=QR，其中Q為nxn的正交矩陣，R為上三

16、角矩陣qMatlab實現(xiàn)：Q, R=qr(P);q設(shè)E=B-PX，用QT乘上式兩端得因為QT為正交矩陣，所以:|E|2=| QT E |2= |QT B-RX |2若令其中C為4維列向量，D為n-4維列向量，R1為4x4上三角方陣,則上式中，當(dāng)X滿足R1X=C時， 將取最小值XRRXDCBQT0,12222122DXRCE22E最小二乘解法（矩陣求解）算法步驟：1、對P進(jìn)行QR分解。即P=QR2、計算3、利用回代求解方程組R1X=C4、對P中每一列重復(fù)以上三步驟，即可得到4X4配準(zhǔn)矩陣TDCBQT書中算法4-1（SVD分分解）nxi, yi分別為浮動圖像和參考圖像對應(yīng)特征點（基準(zhǔn)點）n配準(zhǔn)誤差

17、：Ei=T(xi)-yi, T為配準(zhǔn)變換，則：n最小化E2，則有：n算法流程：NiiiiNiiiytRx/NE/NE1221222|)1 ()1 (TiNiiiiNiiNiiyxHyyyxxxyyxx . 3, . 2, . 1111基準(zhǔn)協(xié)方差矩陣算法流程xRytUVUVdiagRdiagI，VVUUVUHTTTT . 6)det(, 1 , 1 ( . 5),( ：H . 4321其中的奇異值分解SVD分解的Matlab實現(xiàn)：)(,HsvdVU實例二: 腦PET和MR圖像的快速魯棒配準(zhǔn)nNeuroImage論文材料和方法n圖像來源：PET，MRn相似性測度：互信息n優(yōu)化方法： downhil

18、l simplexn多分辨率方法：Multi-resolution coarse-to-fine optimizationq三種標(biāo)準(zhǔn)：4,4,1,2,2,1,1,1,1預(yù)處理(Preprocessing)n噪聲去除及感興趣區(qū)域的提取q門限處理和形態(tài)學(xué)操作：去除背景n比率q: 背景與整個圖像的像素比n對于給定的掃描圖像， q變化不大n進(jìn)行腐蝕和膨脹等二值形態(tài)學(xué)操作“凈化”背景區(qū)域并填補感興趣區(qū)的“洞”qMR腦圖像的提?。哼M(jìn)一步節(jié)省時間n利用Brain Extraction Tool (BET) by SmithnBET 可以利用表面模型的方法在較短的時間內(nèi)(大約1535 s)進(jìn)行腦圖像提取Dow

19、nhill simplex優(yōu)化(amoeba)無須梯度計算無須梯度計算基于模糊邊緣場的CT與MR剛性配準(zhǔn)計算機輔助外科手術(shù)系統(tǒng)ncomputer aided surgery/image guided surgeryn立體定位技術(shù)與成像技術(shù)的結(jié)合：在手術(shù)過程中立體定位技術(shù)與成像技術(shù)的結(jié)合：在手術(shù)過程中，利用空間定位及配準(zhǔn)技術(shù)使術(shù)前圖像、手術(shù)臺，利用空間定位及配準(zhǔn)技術(shù)使術(shù)前圖像、手術(shù)臺上的病人和手術(shù)器械三者精確聯(lián)系進(jìn)行術(shù)中跟蹤上的病人和手術(shù)器械三者精確聯(lián)系進(jìn)行術(shù)中跟蹤導(dǎo)航導(dǎo)航n常用定位技術(shù)：光學(xué)定位法、機械定位法、超聲常用定位技術(shù)：光學(xué)定位法、機械定位法、超聲波定位法和電磁定位法波定位法和電磁定位

20、法n常用成像技術(shù)：常用成像技術(shù)：X-線成像線成像, CT, MRIn主要應(yīng)用領(lǐng)域：神經(jīng)外科手術(shù)，骨科（含脊椎、主要應(yīng)用領(lǐng)域：神經(jīng)外科手術(shù)，骨科（含脊椎、 關(guān)節(jié)）手術(shù)關(guān)節(jié)）手術(shù)Elekta公司公司Surgiscope機器人導(dǎo)航系統(tǒng)機器人導(dǎo)航系統(tǒng) 發(fā)展趨勢及可能的解決方案n導(dǎo)航系統(tǒng)發(fā)展趨勢：導(dǎo)航系統(tǒng)發(fā)展趨勢：q實時術(shù)中影像導(dǎo)航實時術(shù)中影像導(dǎo)航: 開放式開放式CT/MRI術(shù)中導(dǎo)航系統(tǒng)術(shù)中導(dǎo)航系統(tǒng)q機器人手術(shù)系統(tǒng)機器人手術(shù)系統(tǒng),以術(shù)中以術(shù)中“C”型臂型臂X 線機實時采集的圖像進(jìn)線機實時采集的圖像進(jìn)行導(dǎo)航行導(dǎo)航Oblique CT plane corresponding to ultrasound Im

21、age for feature identification與超聲或腹腔鏡與超聲或腹腔鏡超聲探頭的結(jié)合超聲探頭的結(jié)合什么是圖像融合n在圖像配準(zhǔn)的基礎(chǔ)上，將兩種圖像的信息結(jié)合起來，在一幅圖像上同時表達(dá)來自人體的多方面的信息的過程圖象融合 Image fusion按照不同的圖像成像模式可將醫(yī)學(xué)圖像融合分為三類n單模融合:相同成像方式的圖像融合稱為稱單模融合(mono一modaliyt)，也稱為同類方式融合。n它是指待融合的兩幅圖像是由同一設(shè)備獲取的。n用途：單模融合多用于治療前后的對比、疾病(如癲癰)發(fā)作期與發(fā)作間期對比、腫瘤或骨骼的生長監(jiān)測。多模融合n多模融合:不同成像方式的圖像融合稱為多模融合

22、(mutlit一mdealiy) ，也稱為交互融合。它是指融合的兩幅圖像來源于不同的成像設(shè)備。n多模融合主要應(yīng)用于神經(jīng)外科的診斷、手術(shù)定位及放療計劃設(shè)計等。SPECT、PET能反映人體的功能和代謝信息，但其空間分辨率較低，致使解剖結(jié)構(gòu)欠清晰。如果將CT或M班與SPECT或PET融合，就能利用解剖成像方式為功能圖像提供充分的解剖信息，彌補后者的欠缺。模板融合n模板融合:將病人的圖像與模板融合稱為模板融合。這種方式也適用于不同患者間融合。模板可為采集的圖像，也可為解剖或生理圖譜甚至為病人本身。n比如，將待診斷的圖像與典型正常人的圖像比較，以確定被測試者是否正常;如果異常，也許還要與一些疾病的典型圖

23、像對比，確定患者是否屬于同類。醫(yī)學(xué)圖像融合方法概述n空間域圖像融合方法q空間域融合方法包括加權(quán)平均融合方法、像素灰度值選擇融合方法等，n變換域圖像融合方法q金字塔圖像融合法q小波變換圖像融合法傳統(tǒng)的醫(yī)學(xué)圖像融合的方法n加權(quán)平均融合法式中：i圖像中像素的行號， i =1,2,.M； j圖像中像素的列號， j =1,2,.N； 1加權(quán)系數(shù)1； 2加權(quán)系數(shù)2；通常， 1+2=1。),(),(),(21jiBwjiAwjif加權(quán)平均f1=imread(ronghe11.bmp);f2=imread(ronghe22.bmp);figure,imshow(f1),figure,imshow(f2)g=0.5*double(f1)+0.5*