醫(yī)學(xué)圖像處理圖像配準(zhǔn)學(xué)習(xí)教案課件

1、會(huì)計(jì)學(xué)1醫(yī)學(xué)圖像處理 圖像配準(zhǔn)主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第1頁(yè)/共47頁(yè)主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第2頁(yè)/共47頁(yè)圖像配準(zhǔn)概述圖像配準(zhǔn)的定義問(wèn)題的提出：臨床上需要對(duì)同一個(gè)病人進(jìn)行多種模式（CT、MRI、PET）或者同一模式的多次成像，并同時(shí)從幾幅圖像獲取信息，進(jìn)行綜合分析；前提條件：解決兩幅或多幅圖像對(duì)應(yīng)成像空間位置的嚴(yán)格對(duì)齊問(wèn)題，即確定同一對(duì)象在不

2、同圖像中的對(duì)應(yīng)點(diǎn)：第3頁(yè)/共47頁(yè)圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)（Image Registration）：對(duì)一幅圖像尋求一種（或一系列）空間變換，使它與另一幅圖像上的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致。這種一致是指對(duì)象上所有點(diǎn)（或至少所有感興趣點(diǎn)）在兩張已配準(zhǔn)圖像上有著相同的空間位置。各種圖像配準(zhǔn)的文獻(xiàn)都會(huì)出現(xiàn)“配準(zhǔn)、匹配、幾何校正”三個(gè)詞，它們的含義比較相似。第4頁(yè)/共47頁(yè)圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)舉例：對(duì)圖B尋求一種空間變換，使它與圖A上的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致。圖B經(jīng)空間變換后得到圖C，在圖A和圖C中相同對(duì)象有著相同的空間位置。稱圖A和圖C為已配準(zhǔn)的圖像，可以進(jìn)行進(jìn)一步的綜合分析。圖A

3、圖B圖C第5頁(yè)/共47頁(yè)圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)舉例：123第6頁(yè)/共47頁(yè)圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)舉例：第7頁(yè)/共47頁(yè)圖像配準(zhǔn)概述醫(yī)學(xué)圖像配準(zhǔn)的類型同一對(duì)象（患者）的圖像配準(zhǔn)：不同對(duì)象間的圖像配準(zhǔn)：將被試的圖像與典型正常人相同部位的圖像或標(biāo)準(zhǔn)圖譜進(jìn)行對(duì)比，以確定被試者是否正常。如有異常，還要與一些疾病的典型圖像對(duì)比，確定患者是否屬于同類。第8頁(yè)/共47頁(yè)圖像配準(zhǔn)概述圖像配準(zhǔn)的常用方法基于特征的圖像配準(zhǔn)方法：先提取圖像顯著特征，如灰度變化明顯的點(diǎn)、線等特征，通過(guò)特征集的映射建立兩幅圖像之間的空間變換關(guān)系。原則上該方法可用于配準(zhǔn)任何模式的圖像；最常用的是特征點(diǎn)法；基于模板的

4、圖像配準(zhǔn)方法：在一幅圖像中選取一個(gè)子圖像窗口作為模板，大小通常為55或77，然后讓該模板在另一幅圖像中移動(dòng)，通過(guò)計(jì)算相關(guān)函數(shù)來(lái)找到模板在搜索圖中的坐標(biāo)位置。該方法主要用于單模圖象配準(zhǔn)，特別是用于對(duì)改變較小的圖像序列進(jìn)行配準(zhǔn)；第9頁(yè)/共47頁(yè)主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第10頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法步驟一般來(lái)說(shuō)特征匹配算法可分為四步：特征提?。簭膬煞鶊D像中提取灰度變化明顯的點(diǎn)、線等特征形成特征集；特征空間映射：建立兩幅圖像特征集之間的空間多項(xiàng)式變換關(guān)系；非特征像素之

5、間的映射：利用上述多項(xiàng)式變換關(guān)系對(duì)于非特征像素點(diǎn)進(jìn)行空間變換，從而實(shí)現(xiàn)兩幅圖像之間逐像素的空間映射；灰度插值：由于空間映射得到的坐標(biāo)值不一定為整數(shù)，因此需要進(jìn)行灰度插值來(lái)確定這些坐標(biāo)上的灰度值；第11頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射設(shè)f(x, y)是待與圖像G(x, y)配準(zhǔn)的圖像；g(x, y)是根據(jù)G大小生成一幅和G的坐標(biāo)一致的空白圖像；設(shè)兩幅圖像相同點(diǎn)對(duì)應(yīng)的坐標(biāo)之間的變換關(guān)系用下式描述：則可以從一幅圖像的像素坐標(biāo)算出另一幅圖像對(duì)應(yīng)像素的坐標(biāo)。因此存在兩種空間映射方法：前向映射和后向映射；第12頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射前向映射：由推出，逐點(diǎn)計(jì)算出f中每個(gè)像素對(duì)應(yīng)

6、于g中的坐標(biāo)，然后利用灰度插值方法將f中每個(gè)像素的灰度值分配到它的4個(gè)最鄰近像素上；f(x, y)g(x, y)第13頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射前向映射的缺陷：f中的一些點(diǎn)可能落在g圖像的坐標(biāo)之外；f中的多個(gè)點(diǎn)映射到g中的坐標(biāo)可能有同樣的最鄰近像素，導(dǎo)致g中一個(gè)像素的灰度值被計(jì)算多次；f(x, y)g(x, y)第14頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射后向映射：由，逐點(diǎn)計(jì)算出g中每個(gè)像素對(duì)應(yīng)于f中的坐標(biāo)，然后利用灰度插值方法計(jì)算出g中每個(gè)像素的灰度值；后向映射比前向映射更實(shí)用，在這種映射方式中，輸出g的每一個(gè)像素灰度值都一次性由f中4相鄰像素的線性插值決定。f(x, y

7、)g(x, y )第15頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射常見(jiàn)的空間映射關(guān)系第16頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射剛體變換：對(duì)象內(nèi)部任意兩點(diǎn)間的距離保持不變；剛體變換可以分解為旋轉(zhuǎn)和平移：第17頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射仿射變換：仿射變換將直線映射為直線，并保持平行性；仿射變換在剛體變換的基礎(chǔ)上增加了尺度變換和錯(cuò)切變換：第18頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射舉例：假設(shè)你有2張拍攝時(shí)間相隔100年的峽谷壁的數(shù)字圖像，并且你希望通過(guò)相減的處理來(lái)判斷由于風(fēng)化作用而產(chǎn)生的地貌變化。你發(fā)現(xiàn)一塊巖石原來(lái)位于(303，467)，而現(xiàn)在位于(316，440)；一個(gè)樹(shù)

8、樁原來(lái)位于(298，277)，而現(xiàn)在位于(311，200)。問(wèn)：兩幅圖像有沒(méi)有(a)尺寸縮放(b)旋轉(zhuǎn)(c)平移？若有，有多少？若要將兩幅圖進(jìn)行相減處理，寫(xiě)出第二幅圖像所要做的幾何變換。假定兩幅圖像除了尺寸上的均勻縮放、旋轉(zhuǎn)和平移外沒(méi)有其他幾何扭曲。第19頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射解：由題意有g(shù)(x1, y1)=(303，467)，g(x2, y2)=(298，277)；f(x1, y1)=(316，440)， f(x2, y2)=(311，200)；第20頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映射解：原題轉(zhuǎn)化為求解變換矩陣：解得：第21頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法空間映

9、射通常在h1(x, y)和h2(x, y)未知的情況下，可用求對(duì)應(yīng)特征點(diǎn)集(至少3對(duì))的仿射變換矩陣的方法來(lái)估計(jì)h1(x, y)和h2(x, y)；在更復(fù)雜的情況下(如圖像的空間變換是非線性的)，h1(x,y)和h2(x,y)可用多項(xiàng)式來(lái)近似：其中，式中N為多項(xiàng)式的次數(shù)，aij和bij為各項(xiàng)待定系數(shù)。 第22頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值經(jīng)過(guò)空間變換得到的坐標(biāo)值通常不為整數(shù)，這些坐標(biāo)值上的灰度值沒(méi)有定義，必須通過(guò)對(duì)其鄰近像素的灰度值插值來(lái)得到：常用插值方法有：最近鄰像素插值、雙線性插值、三次立方插值；第23頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值最近鄰像素插值：在待求像素的四鄰點(diǎn)

10、中，將距離這點(diǎn)最近的鄰點(diǎn)灰度賦給待求像素。該方法最簡(jiǎn)單，但校正后的圖像有明顯鋸齒狀，即存在灰度不連續(xù)性。f(x, y)g(x, y )第24頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值：雙線性插值法是對(duì)最近鄰法的一種改進(jìn)，即根據(jù)待求像素的四個(gè)鄰近點(diǎn)的灰度值，分別在x和y方向上進(jìn)行兩次插值。最后形成的插值函數(shù)為一雙曲拋物面方程：計(jì)算比最近鄰點(diǎn)法復(fù)雜，但沒(méi)有灰度不連續(xù)性的缺點(diǎn)，結(jié)果較令人滿意。第25頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：首先，在x方向上作線性插值：第26頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：首先，在x方向上作線性插值：第27頁(yè)/共47

11、頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：然后，在y方向上作線性插值：第28頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：最后，得到雙線性插值公式：第29頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值最近鄰像素插值和雙線性插值比較：OriginalNearest NeighbourBilinear第30頁(yè)/共47頁(yè)基于特征的圖像配準(zhǔn)方法灰度插值舉例：假設(shè)f(109，775)=113，f(109，776)=109，f(110，775)=105，f(110，776)=103，試分別用最近鄰像素插值法和雙線性插值法求f(109.27，775.44)，寫(xiě)出雙線性插值變換方程f(x，y)=

12、ax+by+cxy+d，求出各參數(shù)的值；答案：最近鄰像素插值：f(109.27，775.44)113雙線性插值：f(109.27，775.44)109f(x, y)=-8(x-109)-4(y-775)+2(x-109)(y-775)+113第31頁(yè)/共47頁(yè)主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第32頁(yè)/共47頁(yè)基于模板的圖像配準(zhǔn)方法模板匹配模板匹配法：在一幅圖像中選取一個(gè)窗口作模板T，然后將模板在另一幅圖像中平移，通過(guò)相關(guān)函數(shù)的計(jì)算來(lái)找到它在搜索圖中的坐標(biāo)位置。模板覆蓋下的那塊搜

13、索圖叫做子圖Si,j，(i,j)為子圖的中心點(diǎn)在S中的坐標(biāo)；模板匹配法采用使圖像間相似性最大化的原理實(shí)現(xiàn)圖像間的配準(zhǔn)。用以下測(cè)度來(lái)衡量T和Si,j的相似程度：第33頁(yè)/共47頁(yè)基于模板的圖像配準(zhǔn)方法模板匹配P值介于0和1之間。根據(jù)經(jīng)驗(yàn)取某個(gè)閾值P0，如果PP0，則匹配成功；PSave Points to Workspace，則工作空間自動(dòng)添加input_points和base_points兩個(gè)變量；第41頁(yè)/共47頁(yè)MATLAB圖像配準(zhǔn)基于特征的配準(zhǔn)第42頁(yè)/共47頁(yè)MATLAB圖像配準(zhǔn) 基于特征的配準(zhǔn)由特征點(diǎn)集求空間變換cp2form ()語(yǔ)法：tform=cp2form(input_poi

14、nts, base_points, transform_type)說(shuō)明：input_points為待配準(zhǔn)的輸入圖像上的特征點(diǎn)，base_points為基準(zhǔn)圖像上的對(duì)應(yīng)點(diǎn)；transform_type為變換類型；第43頁(yè)/共47頁(yè)MATLAB圖像配準(zhǔn)基于特征的配準(zhǔn)例：根據(jù)控制點(diǎn)(特征點(diǎn))對(duì)兩幅圖像進(jìn)行配準(zhǔn)：I = imread(cameraman.tif);imshow(I);scale = 0.6;J = imresize(I,scale);theta = 30;K = imrotate(J,theta); figure, imshow(K)cpselect(K,I);%交互式地確定特征點(diǎn)集t = cp2tform(input_points,base_points,linear conformal);recovered = imtran