七、算術(shù)邏輯運(yùn)算課件

1、代數(shù)運(yùn)算(Algebraic operation)相加。相減。相乘。相除圖像融合要點(diǎn)： 代數(shù)運(yùn)算迭加相減：顯示兩幅圖像的差異、運(yùn)動(dòng)物體檢測(cè)。相乘：提取或刪掉圖象某部分。相除：遙感多光譜圖象相除抵消入射分量i(x,y)。實(shí) 例相加M=1M=2M=4M=16Addition:averaging for noise reduction相減DSAX-ray image obtained before and after injection of dye into arteries. Dye affects appearance of blood vessels but not surrounding

2、tissues. Subtracting pre- and post-injection images enhances blood vessels relative to tissues. (Image courtesy of D. W. Holdsworth, RRI.)相減DSA相減：檢測(cè)運(yùn)動(dòng)物體相乘相乘相乘Multiplication:masking used to zero out areas that you dont want to use in calculationsx(a) Magnetic resonance velocity image through the huma

3、n neck. Multiplying by the mask in (b) isolates pixels corresponding to one of the carotid arteries. Averaging pixel values inside the masked region and multiplying by the area of the mask yields the average blood flow. (Image courtesy of D. A. Steinman, RRI.)(a)(b)相除(a) Black blood MR image through

4、 neck of a subject. (b) Image after dividing out estimated rolloff function. (Image courtesy of D. A. Steinman, RRI.)(a)(b)Division (contd):estimate I(x, y) and divide it outmany procedures for estimating I(x, y); will cover one later (homomorphic filtering)Matlab中的實(shí)現(xiàn)imadd(a,b):兩幅圖像相加imsubtract(a,b)

5、:兩幅圖像相減immultiply（a,b）:兩幅圖像相乘imdivide(a,b)：兩幅圖像相除什么是圖像配準(zhǔn)?圖像配準(zhǔn)是指對(duì)于一幅圖像尋求一種空間變換，使該圖像與另一幅圖像中的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致確定同一對(duì)象的不同視圖中的對(duì)應(yīng)點(diǎn)醫(yī)學(xué)圖像配準(zhǔn)的分類(lèi)基于外部特征和基于內(nèi)部特征外部特征：標(biāo)記物或標(biāo)記點(diǎn)，侵入式內(nèi)部特征：體內(nèi)特征點(diǎn)或表面根據(jù)變換性質(zhì)：剛體變換、仿射變換、投影變換及曲線變換根據(jù)圖像模態(tài)：?jiǎn)文?、多模、患?模態(tài)間的配準(zhǔn)根據(jù)主體：intrasubject、intersubject和atlas （圖譜）醫(yī)學(xué)圖像配準(zhǔn)的應(yīng)用可以從不同圖像的模式中得到相關(guān)信息，用于：基于圖像的診斷：解剖與功能

6、圖像的結(jié)合手術(shù)計(jì)劃/放療計(jì)劃的制定：腫瘤病理變化的跟蹤及療效的評(píng)價(jià)與圖譜（如可視人）配準(zhǔn)，用于確定特定區(qū)域及功能常用圖像配準(zhǔn)方法基于特征點(diǎn)的配準(zhǔn)方法特征點(diǎn)的數(shù)目及位置對(duì)結(jié)果有影響基于表面（分割）的配準(zhǔn)方法需要分割處理基于象素（體素）的配準(zhǔn)法靈活，利用圖像全部信息，但運(yùn)算量大、速度慢基于特征點(diǎn)的配準(zhǔn)方法發(fā)現(xiàn)所有對(duì)應(yīng)的基準(zhǔn)點(diǎn)變換視圖2= “空間” 2視圖1= “空間” 1對(duì)準(zhǔn)相應(yīng)基準(zhǔn)點(diǎn)目標(biāo)點(diǎn)對(duì)準(zhǔn)(Fitzpatrick 2003)用詞說(shuō)明各種圖像配準(zhǔn)的文獻(xiàn)都會(huì)出現(xiàn)“配準(zhǔn)、匹配、幾何校正”三個(gè)詞，它們的含義比較相似一般兩幅圖像之間用配準(zhǔn)(register, registration)尋找同名特征(點(diǎn)

7、) 的過(guò)程叫匹配（match, matching)根據(jù)主輔圖像之間的幾何變換關(guān)系，對(duì)輔圖像進(jìn)行逐像素處理變?yōu)榕錅?zhǔn)圖像的過(guò)程叫做幾何校正（geometric correction）基于表面（分割）法在待配準(zhǔn)的表面上選點(diǎn)移去待配準(zhǔn)表面，表面由所選點(diǎn)代表在參考平面上找到相應(yīng)的最近點(diǎn)，計(jì)算總距離(Fitzpatrick 2003)基于表面（分割）法-迭代最近點(diǎn)法基于像素/體素特征法基于體素特征法三維圖像中的每個(gè)體素對(duì)應(yīng)一個(gè)相應(yīng)的坐標(biāo)和體素強(qiáng)度值基于體素特征的方法就是將三維圖像A（參考圖）中的每個(gè)體素的坐標(biāo)與三維圖像B（浮動(dòng)圖）中的每個(gè)體素的坐標(biāo)通過(guò)變換T建立映射關(guān)系,以達(dá)到兩個(gè)圖形的配準(zhǔn)Xa=T(Xb

8、)基于體素特征法例如：對(duì)于剛體變換，Mt 坐標(biāo)表示平移，Mr坐標(biāo)表示旋轉(zhuǎn)Xa= MtMr Xb此時(shí)TMtMr ，即浮動(dòng)圖B中的體素坐標(biāo)經(jīng)過(guò)一定角度的旋轉(zhuǎn)和一定量的位移后對(duì)應(yīng)到參考圖A上配準(zhǔn)框架及方法空間變換優(yōu)化算法Image Similarity metric相似性測(cè)度Image Interpolator圖像插值配準(zhǔn)配準(zhǔn)基本步驟空間轉(zhuǎn)換(Transform)實(shí)現(xiàn)從一幅圖像到另一幅圖像的映射圖像插值(Interpolation)確定不在網(wǎng)格位置上的點(diǎn)的灰度值相似性測(cè)度(Similarity Metric, 配準(zhǔn)標(biāo)準(zhǔn))對(duì)“完美匹配”進(jìn)行定量分析優(yōu)化算法(Optimizer)優(yōu)化變換參數(shù)空間轉(zhuǎn)換浮動(dòng)

9、圖像 參考圖像常見(jiàn)空間變換剛體變換旋轉(zhuǎn)及平移參數(shù)：仿射變換尺度變換是剛性變換嗎？投影變換參數(shù) p=(a11, a12, a13, a41, a42, a43, tx, ty, tz, )Note: xi=xI / u, for i=1,2,3曲線變換多項(xiàng)式近似樣條函數(shù)薄板樣條(thin-plate spline)B-樣條(b-spline) 非剛體變換會(huì)較復(fù)雜，一般用于局部形變T=Tglobal+TlocalTglobal: rigid/affine transform(Trigid/Taffine)Tlocal: Non-rigid transform非剛體變換示例十分復(fù)雜！(Thompso

10、n, 1996)圖像的插值最近鄰插值線性插值三次線性插值B-樣條插值雙線性插值法圖像的插值沒(méi)有灰度不連續(xù)性的缺點(diǎn)具有低通濾波性質(zhì)，圖像輪廓有一定模糊(i-1,j-1)(i-1,j+2)(i+2,j-1)(i+2,j+2)(x,y)u v雙三次內(nèi)插法(bicubic interpolation)該方法利用三次多項(xiàng)式S(x)來(lái)逼近理論上的最佳插值函數(shù)sin(x)/x。其數(shù)學(xué)表達(dá)式為：R G Keys. IEEE Trans Acoustics, Speech, and Sig Process, 1981, 29( 6) : 115360原始影像灰度表面 最近鄰內(nèi)插法雙線性?xún)?nèi)插法 雙三次插值法像素灰

11、度內(nèi)插法效果比較相似性測(cè)度均方值測(cè)度歸一化相關(guān)性測(cè)度最小二乘測(cè)度互信息測(cè)度信息測(cè)度：熵系統(tǒng)的復(fù)雜性或不確定性熵聯(lián)合熵互信息標(biāo)準(zhǔn)化互信息二維灰度直方圖CT Intensity互信息測(cè)度當(dāng)兩幅圖像的空間位置達(dá)到一致時(shí)，其互信息應(yīng)為最大無(wú)需特征點(diǎn)提取及分割用于基于體素的配準(zhǔn)方法優(yōu)化配準(zhǔn)方法: n-維函數(shù), 其中n為變換的自由度通常不是平滑函數(shù)含有許多局部極值可以通過(guò)數(shù)學(xué)優(yōu)化實(shí)現(xiàn)優(yōu)化算法梯度下降法Downhill simplex 優(yōu)化(amoeba)Powells 算法Genetic 算法實(shí)例一：基于點(diǎn)的剛體變換配準(zhǔn)算法最小二乘配準(zhǔn)特征點(diǎn)的選取剛體變換的最小二乘解法共取N(N4)個(gè)特征點(diǎn)浮動(dòng)圖像坐標(biāo)系

12、中，N個(gè)特征點(diǎn)的齊次坐標(biāo)構(gòu)成矩陣PCNX4；在參考空間坐標(biāo)系中，對(duì)應(yīng)點(diǎn)構(gòu)成矩陣P CNX4假設(shè)配準(zhǔn)矩陣TC4X4則有P=P*T，對(duì)于T中任意列X，P中相應(yīng)列B，則有B=P*X，故可將T的求解分解為四個(gè)列向量的求解最小二乘解法算法原理:用豪斯荷爾德變換將P進(jìn)行QR分解，即P=QR，其中Q為nxn的正交矩陣，R為上三角矩陣Matlab實(shí)現(xiàn)：Q, R=qr(P);設(shè)E=B-PX，用QT乘上式兩端得因?yàn)镼T為正交矩陣，所以:|E|2=| QT E |2= |QT B-RX |2QT E= QT B- QT PX= QT B-RX若令其中C為4維列向量，D為n-4維列向量，R1為4x4上三角方陣,則上式

13、中，當(dāng)X滿(mǎn)足R1X=C時(shí)， 將取最小值最小二乘解法（矩陣求解）算法步驟：1、對(duì)P進(jìn)行QR分解。即P=QR2、計(jì)算3、利用回代求解方程組R1X=C4、對(duì)P中每一列重復(fù)以上三步驟，即可得到4X4配準(zhǔn)矩陣T書(shū)中算法4-1（SVD分解）xi, yi分別為浮動(dòng)圖像和參考圖像對(duì)應(yīng)特征點(diǎn)（基準(zhǔn)點(diǎn)）配準(zhǔn)誤差：Ei=T(xi)-yi, T為配準(zhǔn)變換，則：最小化E2，則有：算法流程：算法流程SVD分解的Matlab實(shí)現(xiàn)：實(shí)例二: 腦PET和MR圖像的快速魯棒配準(zhǔn)NeuroImage論文材料和方法圖像來(lái)源：PET，MR相似性測(cè)度：互信息優(yōu)化方法： downhill simplex多分辨率方法：Multi-resol

14、ution coarse-to-fine optimization三種標(biāo)準(zhǔn)：4,4,1,2,2,1,1,1,1預(yù)處理(Preprocessing)噪聲去除及感興趣區(qū)域的提取門(mén)限處理和形態(tài)學(xué)操作：去除背景比率q: 背景與整個(gè)圖像的像素比對(duì)于給定的掃描圖像， q變化不大進(jìn)行腐蝕和膨脹等二值形態(tài)學(xué)操作“凈化”背景區(qū)域并填補(bǔ)感興趣區(qū)的“洞”MR腦圖像的提?。哼M(jìn)一步節(jié)省時(shí)間利用Brain Extraction Tool (BET) by SmithBET 可以利用表面模型的方法在較短的時(shí)間內(nèi)(大約1535 s)進(jìn)行腦圖像提取Downhill simplex優(yōu)化(amoeba)無(wú)須梯度計(jì)算基于模糊邊緣場(chǎng)的

15、CT與MR剛性配準(zhǔn)計(jì)算機(jī)輔助外科手術(shù)系統(tǒng)computer aided surgery/image guided surgery立體定位技術(shù)與成像技術(shù)的結(jié)合：在手術(shù)過(guò)程中，利用空間定位及配準(zhǔn)技術(shù)使術(shù)前圖像、手術(shù)臺(tái)上的病人和手術(shù)器械三者精確聯(lián)系進(jìn)行術(shù)中跟蹤導(dǎo)航常用定位技術(shù)：光學(xué)定位法、機(jī)械定位法、超聲波定位法和電磁定位法常用成像技術(shù)：X-線成像, CT, MRI主要應(yīng)用領(lǐng)域：神經(jīng)外科手術(shù)，骨科（含脊椎、 關(guān)節(jié)）手術(shù)Elekta公司Surgiscope機(jī)器人導(dǎo)航系統(tǒng) 發(fā)展趨勢(shì)及可能的解決方案導(dǎo)航系統(tǒng)發(fā)展趨勢(shì)：實(shí)時(shí)術(shù)中影像導(dǎo)航: 開(kāi)放式CT/MRI術(shù)中導(dǎo)航系統(tǒng)機(jī)器人手術(shù)系統(tǒng),以術(shù)中“C”型臂X 線機(jī)實(shí)

16、時(shí)采集的圖像進(jìn)行導(dǎo)航定位系統(tǒng)發(fā)射裝置接收裝置及穿刺針6自由度感應(yīng)線圖帶線圈的穿刺針帶線圈的熱探頭Oblique CT plane corresponding to ultrasound Image for feature identification與超聲或腹腔鏡超聲探頭的結(jié)合什么是圖像融合在圖像配準(zhǔn)的基礎(chǔ)上，將兩種圖像的信息結(jié)合起來(lái)，在一幅圖像上同時(shí)表達(dá)來(lái)自人體的多方面的信息的過(guò)程圖象融合 Image fusion按照不同的圖像成像模式可將醫(yī)學(xué)圖像融合分為三類(lèi)單模融合:相同成像方式的圖像融合稱(chēng)為稱(chēng)單模融合(mono一modaliyt)，也稱(chēng)為同類(lèi)方式融合。它是指待融合的兩幅圖像是由同一設(shè)備獲

17、取的。用途：?jiǎn)文Ｈ诤隙嘤糜谥委熐昂蟮膶?duì)比、疾病(如癲癰)發(fā)作期與發(fā)作間期對(duì)比、腫瘤或骨骼的生長(zhǎng)監(jiān)測(cè)。多模融合多模融合:不同成像方式的圖像融合稱(chēng)為多模融合(mutlit一mdealiy) ，也稱(chēng)為交互融合。它是指融合的兩幅圖像來(lái)源于不同的成像設(shè)備。多模融合主要應(yīng)用于神經(jīng)外科的診斷、手術(shù)定位及放療計(jì)劃設(shè)計(jì)等。SPECT、PET能反映人體的功能和代謝信息，但其空間分辨率較低，致使解剖結(jié)構(gòu)欠清晰。如果將CT或M班與SPECT或PET融合，就能利用解剖成像方式為功能圖像提供充分的解剖信息，彌補(bǔ)后者的欠缺。模板融合模板融合:將病人的圖像與模板融合稱(chēng)為模板融合。這種方式也適用于不同患者間融合。模板可為采集的

18、圖像，也可為解剖或生理圖譜甚至為病人本身。比如，將待診斷的圖像與典型正常人的圖像比較，以確定被測(cè)試者是否正常;如果異常，也許還要與一些疾病的典型圖像對(duì)比，確定患者是否屬于同類(lèi)。醫(yī)學(xué)圖像融合方法概述空間域圖像融合方法空間域融合方法包括加權(quán)平均融合方法、像素灰度值選擇融合方法等，變換域圖像融合方法金字塔圖像融合法小波變換圖像融合法傳統(tǒng)的醫(yī)學(xué)圖像融合的方法加權(quán)平均融合法式中：i圖像中像素的行號(hào)， i =1,2,.M； j圖像中像素的列號(hào)， j =1,2,.N； 1加權(quán)系數(shù)1； 2加權(quán)系數(shù)2；通常， 1+2=1。加權(quán)平均f1=imread(ronghe11.bmp);f2=imread(ronghe22.bmp);figure,imshow(f1),figure,imshow(f2)g=0.5*double(f1)+0.5*double(f2);g=im2uint8(mat2gray(g);figure,imshow(g)像素加權(quán)平均融合法在傳統(tǒng)的醫(yī)學(xué)圖像融合中有著非常重要的地位，融合的范圍比較廣泛，但是，融合后圖像的對(duì)比度會(huì)有所降低。插入像素法的前提是兩幅圖像達(dá)到完全配準(zhǔn)，只有在這樣的情況下運(yùn)用插