數(shù)字圖像處理 第六章

1、譙旭譙旭2012-13學(xué)年第二學(xué)期學(xué)年第二學(xué)期4/12/2013控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級醫(yī)學(xué)圖像處理Medical Imaging Processing個人簡介 譙旭譙旭 工學(xué)博士研究方向：醫(yī)學(xué)圖像處理，模式識別, CAD系統(tǒng)開發(fā)辦公室（臨時）：千佛山校區(qū)主樓636室聯(lián)系方式:辦公電話：暫無辦公郵箱：本課程的學(xué)習(xí)目標(biāo)控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級4/12/2013本課程的學(xué)習(xí)目標(biāo)控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級4/12/2013第6章 圖像校正與修補控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級背景背景：一幅灰度圖像是由在不同位置具有不同灰度的像素構(gòu)成的，像素位置像

2、素位置的變化或者灰度灰度的變化會導(dǎo)致圖像的變化。問題問題1 1：如果圖像發(fā)生了改變，如何修復(fù)圖像？問題問題2 2：相關(guān)圖像恢復(fù)的技術(shù)有哪些？這些技術(shù)的原 理是怎樣的？4/12/2013目 錄控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級1.圖像仿射變換2.幾何失真校正3.圖像修復(fù)4.區(qū)域填充（*）4/12/20134/12/2013控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級圖像的仿射變換圖象坐標(biāo)變換控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級坐標(biāo)變換示例：平移變換 000 ZZZYYYXXX1 100010001000ZYXZYXZ Y X 1 10001000100011000ZYXZYXZYX4/12

3、/2013控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級平移變換的矩陣表達(dá) Avv T1ZYXvT1 ZYXv1000100010001000ZYXT4/12/2013圖象坐標(biāo)變換控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級旋轉(zhuǎn)變換（繞X軸，Y軸，Z軸） 10000cossin00sincos00001R10000cos0sin00100sin0cosR1000010000cossin00sincosR4/12/2013圖象坐標(biāo)變換坐標(biāo)變換討論控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級AvTvSRv)( 變換級連對一個坐標(biāo)為 v 的點的平移、放縮、繞 Z 軸旋轉(zhuǎn)變換可表示為：用單個變換矩陣的方法可對點矩陣

4、v 變換 這些矩陣的運算次序一般不可互換4/12/2013坐標(biāo)變換討論控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級變換的推廣3-點映射變換：將一個三角形映射為另一個三角形，而將一個矩形映射為一個平行四邊形 拉伸（stretch）和剪切（shearing）變換 4/12/2013坐標(biāo)變換討論控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級坐標(biāo)變換反變換 1001001001yxT1000100011yxSSS1000)cos()sin(0)sin()cos(1R4/12/2013仿射變換控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級仿射（affine）變換?？醋魇且环N特殊的投影（projective）變換q =

5、Hp zyxzyxppphhhhhhhhhqqq3332312322211312114/12/2013投影變換控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級投影變換通用的非奇異齊次線性變換A是一個22的非奇異矩陣，t是一個21的矢量，而矢量v = v1, v2T 變換可用8個獨立的參數(shù)表示一個投影變換共有8個自由度（degrees of freedom，dof），可根據(jù)4組點的對應(yīng)性來計算 pvtApHquTP4/12/2013一般仿射變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級仿射變換一個非奇異線性變換接上一個平移變換一個平面上的仿射變換有6個自由度 1100122211211yxyxyxppt

6、aataaqqp0tApHq1TA4/12/2013一般仿射變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級仿射變換線性分量A可考慮成兩個基本變換的組合：旋轉(zhuǎn)和非各向同性放縮 ：)()()(DRRRA2100D4/12/2013一般仿射變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級仿射變換的性質(zhì)：(1)仿射變換將有限點映射為有限點(2)仿射變換將直線映射為直線(3)仿射變換將平行直線映射為平行直線(4)當(dāng)區(qū)域P和Q是沒有退化的三角形（即面積不為零），那么存在一個唯一的仿射變換A可將P映射為Q，即Q = A(P)4/12/2013特殊仿射變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級1.相似變換s

7、 ( 0)表示各向同性放縮，R是一個特殊的2 2正交矩陣（RTR = RRT = I），對應(yīng)這里的旋轉(zhuǎn)。典型特例為純旋轉(zhuǎn)（此時t = 0）和純平移（此時R = I） 1100cossinsincos1yxyxyxpptsstssqqp0tRpHq1TSs4/12/2013特殊仿射變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級1.相似變換保形性（保持形狀）或保角性 相似變換可以保持兩條曲線在交點處的角度 平面上的相似變換有4個自由度，所以可根據(jù)2組點的對應(yīng)性來計算（沒有非各向同性放縮 ） 01234-1-2-3-4-55-5-4-3-2-10123454/12/2013特殊仿射變換 控制科學(xué)與工

8、程學(xué)院生物醫(yī)學(xué)工程2010級2.剛體變換(等距變換)剛體變換T能保持區(qū)域中兩個點間的所有距離給定兩個點p1, p2 P，距離d1,2 = dist(p1, p2)，那么必有distT(p1), T(p2) = d1,2 相似變換中的 s = 1 01234-1-2-3-4-55-5-4-3-2-10123454/12/2013特殊仿射變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級3.歐氏變換歐氏變換可表達(dá)剛體的運動（平移和旋轉(zhuǎn)的組合）。一個歐氏運動是先旋轉(zhuǎn)（可看作特殊的正交變換）后平移的組合所有區(qū)域都可以認(rèn)為是全等的 01234-1-2-3-4-55-5-4-3-2-10123454/12/2

9、013特殊仿射變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級4.等距變換剛體變換和歐氏變換可集合在等距變換之下等距（isometry）指在2-D空間保持歐氏距離（iso表示相同，metric表示測度）e = 1，那么等距還能保持朝向且是歐氏變換。e = 1，將反轉(zhuǎn)朝向，即變換矩陣相當(dāng)于一個鏡像與一個歐氏變換的組合 1100cossinsincos1yxteeteeyxyxp0tRpq1TIH4/12/2013變換的層次 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級 平行的直線變 成會聚的直線 圓環(huán)變成橢圓 平行或垂直的 直線仍具有相 同的相對朝向 圓環(huán)和正方形 都不變化形狀 仿射變換相似變換4/1

10、2/20134/12/2013控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級幾何失真校正幾何失真校正 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級l 空間變換 圖象平面上的象素進(jìn)行重新排列以恢復(fù)原空間關(guān)系 l 灰度插值 對空間變換后的象素賦予相應(yīng)的灰度值以恢復(fù)原位置的灰度值 4/12/2013空間變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級321),(kykxkyxs模型圖象f (x, y)受幾何形變的影響變成失真圖象 g(x, y ) 線性失真（非線性）二次失真 ),(yxsx ),(yxty 654),(kykxkyxt26524321),(ykxykxkykxkkyxs21211210987),

11、(ykxykxkykxkkyxt4/12/2013空間變換 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級約束對應(yīng)點方法在輸入圖（失真圖）和輸出圖（校正圖）上找一些其位置確切知道的點，然后利用這些點建立兩幅圖間其它點空間位置的對應(yīng)關(guān)系 選取四邊形頂點四組對應(yīng)點解八個系數(shù) 4321kxykykxkx8765kxykykxkyg(x, y)灰度插值 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級w用整數(shù)處的象素值來計算在非整數(shù)處的象素值w(x, y)總是整數(shù)，但(x, y )值可能不是整數(shù) 最近鄰插值 也常稱為零階插值 將離(x, y )點最近的象素的灰度值作為(x, y )點的灰度值賦給原圖(x, y)處象

12、素 空間變換灰度賦值x, yx, yg最近鄰()()()x, yx, y()f灰度插值 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級前向映射 一個失真圖的象素映射到不失真圖的四個象素之間最后灰度是由許多失真圖象素的貢獻(xiàn)之和決定 前向映射x, yx, yg()()()x, yx, y()f(a)灰度插值 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級后向映射 實際失真圖中四個象素之間的位置對應(yīng)不失真圖的某個象素，則先根據(jù)插值算法計算出該位置的灰度，再將其映射給不失真圖的對應(yīng)象素 后向映射x, yx, yg()()()x, yx, y()f(b)灰度插值 控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級雙線性插值

13、利用(x, y )點的四個最近鄰象素A、B、C、D，灰度值分別為g(A)、g(B)、g(C)、g(D) AECBDFXY(a)x, y()()()()()(AgAgBgixEg)()()()()(CgCgDgixFg)()()()(),(EgEgFgjyyxg4/12/2013控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級圖像修復(fù)圖像修復(fù)Bertalmio 2000年首次提出“圖像修補（image inpainting）”利用損壞圖像已知信息，按照一定規(guī)則對損壞區(qū)域進(jìn)行填補，其目的是使修復(fù)夠圖像接近或達(dá)到原圖像的視覺效果。缺少足夠信息保證唯一正確的修復(fù)結(jié)果，因此是一個病態(tài)問題，解的合理性取決于人類視

14、覺系統(tǒng)的接受程度。舊照片修復(fù) Old Photo Restoration幾種圖像修復(fù)實例字幕去除 Text Removal目標(biāo)物去除 Object Removal視覺認(rèn)知規(guī)律結(jié)構(gòu)性 結(jié)構(gòu)型輪廓在感知中的作用最為明顯，斷斷續(xù)續(xù)的線條出現(xiàn)，大腦將其連接成一個整體。相似性 對于未知區(qū)域的信息，大腦根據(jù)相似性原理，使用其鄰域的信息進(jìn)行推斷，把類似的物體組合在一起。結(jié)構(gòu)優(yōu)先 結(jié)構(gòu)在視覺感知中作用更重要，結(jié)構(gòu)修復(fù)優(yōu)先保持整體圖像一致性，否則先進(jìn)行紋理填充會出現(xiàn)細(xì)節(jié)相似但整體產(chǎn)生偏差的情況紋理一致 紋理并不被大腦所重視，如果不仔細(xì)觀察，則被看成是相似物體，而不會主動分辨其中細(xì)節(jié)，因此，修復(fù)紋理時只要不出現(xiàn)不

15、同于當(dāng)前紋理的新信息，大腦就不容易察覺。圖像修復(fù)經(jīng)典方法圖像修復(fù)方法變分PDE模型基于紋理修復(fù)偏微分方程方法變分方法紋理合成方法特征匹配基于結(jié)構(gòu)修復(fù)基于學(xué)習(xí)修復(fù)一. 基于結(jié)構(gòu)的修復(fù)方法模擬微觀修復(fù)機制模擬微觀修復(fù)機制BSCB模型 Bertalmio（2000）依據(jù)手工修復(fù)的經(jīng)驗，將邊緣信息沿著等照度線方向擴(kuò)散到待修復(fù)區(qū)域內(nèi)。修復(fù)結(jié)果存在問題算法時間復(fù)雜度太高，執(zhí)行速度非常慢對大的缺陷區(qū)域的修復(fù)，效果不好穩(wěn)定性不好，有時會導(dǎo)致修復(fù)圖像視覺效果不好容易受到噪聲干擾，影響等照度線方向的判斷整體變分模型模擬宏觀修復(fù)機制模擬宏觀修復(fù)機制1. 整體變分（整體變分（TV）模型）模型 Chan&She

16、n（2001）“最佳猜測”原理與貝葉斯框架理論 圖像修復(fù)問題是一個貝葉斯問題 u：原始圖像 u0：破損圖像 P(u0 | u)：似然項（數(shù)據(jù)模型），依賴觀測數(shù)據(jù) P(u)：先驗項（圖像模型），反映主觀自然性評價00EIdivIIITV模型 D：待修補區(qū)域 E：待修補區(qū)域的外鄰域 I：原始圖像 I0：破損圖像第一項是為了使待修復(fù)區(qū)域及其邊界盡可能的平滑第二項是保持修復(fù)結(jié)果與原圖的一致性由變分原理，最小化上式等價于求解對應(yīng)的Euler-Lagrange方程20min ( )2EDEJII dxdyIIdxdy整體變分模型實質(zhì)為各向異性擴(kuò)散方程物理意義：如果當(dāng)前點與鄰點的梯度較小，即差別較小時，具有

17、較高的擴(kuò)散系數(shù)，會與鄰點相平滑；如果差別較大，那么擴(kuò)散系數(shù)較低，則基本保持當(dāng)前點的值。Idiv gIIt g 各向異性函數(shù)1g IIIdivItI當(dāng) 有g(shù)1 IIdivIIt 當(dāng) 有各向同性擴(kuò)散（圖像平滑）整體變分模型缺點：不滿足“連接性準(zhǔn)則”，擴(kuò)散強度僅依賴于等照度線的對比度或強度，不依賴于等照度線的幾何信息。整體變分模型基于曲率驅(qū)動擴(kuò)散基于曲率驅(qū)動擴(kuò)散（Curvature-Driven Diffusion,CDD）方法方法加入等照度線幾何信息曲率加入曲率信息，大曲率處擴(kuò)散強度大，小曲率處擴(kuò)散逐漸消失 fkIIdivIkdivtII曲率基于結(jié)構(gòu)修復(fù)算法缺點本質(zhì)上是一種信息擴(kuò)散的過程，修復(fù)區(qū)域

18、較大時，使由外邊界向區(qū)域中心的信息擴(kuò)散過程變得極慢，運算量劇增。擴(kuò)散過程使得修復(fù)區(qū)域過于平滑，若修復(fù)區(qū)域存在豐富紋理，就會使修復(fù)區(qū)域變得模糊。分析過于局部，僅利用修復(fù)區(qū)域鄰域的信息，缺少整體指導(dǎo)?；诩y理修復(fù)與基于結(jié)構(gòu)修復(fù)方法不同1.充分利用視覺認(rèn)知規(guī)律的相似性原則，追求整體一致性。2.基于結(jié)構(gòu)修復(fù)是通過信息擴(kuò)散實現(xiàn)修復(fù)，是基于點的分析；基于紋理修復(fù)利用圖像塊之間的相似性，是基于塊的分析。3.基于紋理修復(fù)是在全圖搜索以尋找最匹配的塊，利用信息更充分?；舅枷耄?由為缺損區(qū)域中采樣合適的圖像塊，復(fù)制或合成到缺損區(qū)域中，同時保證紋理結(jié)構(gòu)的連續(xù)性和相似性。修復(fù)過程：搜索、匹配、合成修復(fù)優(yōu)先級問題修復(fù)

19、塊優(yōu)先級決定因素：1. 數(shù)據(jù)項：在圖像邊緣數(shù)據(jù)項值較大，優(yōu)先修復(fù)邊緣。2. 置信度：反映待修復(fù)塊信息完整程度。置信度越高，塊內(nèi)信息缺失越少，修復(fù)可靠度越高，應(yīng)優(yōu)先修復(fù)。修復(fù)結(jié)果算法缺點：尋找匹配塊時，大多采用全局搜索方法，增大了修復(fù)時間。缺少對圖像結(jié)構(gòu)分析，造成局部相似整體卻不和諧的結(jié)果。由于采用塊匹配粘貼的緣故，在處理結(jié)構(gòu)信息時，可能無法自然的拼接，產(chǎn)生塊效應(yīng)。改進(jìn)：研究規(guī)則紋理的方向特性，找到圖像中紋理的大致走向，沿該走向?qū)ふ移ヅ鋲K，可減少搜索空間。對圖像進(jìn)行結(jié)構(gòu)-紋理分解，分別對結(jié)構(gòu)紋理進(jìn)行修復(fù)。對塊拼接的邊界進(jìn)行處理，實現(xiàn)無縫拼接，達(dá)到自然過渡的效果?；趯W(xué)習(xí)的修復(fù)方法非學(xué)習(xí)方法： 通

20、過設(shè)定一些前提條件如平滑性假設(shè)、局部相似性假設(shè)，然后以此為基礎(chǔ)進(jìn)行修復(fù)缺點： 僅適用原圖少量信息，對圖像中所呈現(xiàn)出的模式缺乏一個整體認(rèn)識?；趯W(xué)習(xí)的修復(fù)方法 在原圖的有效區(qū)域或其他圖像數(shù)據(jù)庫中，通過學(xué)習(xí)發(fā)掘出圖像的統(tǒng)計信息或先驗概率，并通過某些優(yōu)化算法如置信度傳播（BP）、梯度下降法等來獲得修復(fù)結(jié)果。Levin（2003）從圖像統(tǒng)計的角度，提出學(xué)習(xí)型圖像修復(fù)方法。統(tǒng)計學(xué)習(xí)的信息為每點的梯度幅度以及相鄰點梯度的夾角：參照Markov隨機場中概率函數(shù)的定義方式，將修復(fù)圖像的概率函數(shù)定義為：為簡化求解，定義：通過置信度擴(kuò)散（BP）方法求解，得到具有最大概率函數(shù)的圖像值，即為修復(fù)結(jié)果。修復(fù)結(jié)果修復(fù)結(jié)果

21、與訓(xùn)練的圖像密切相關(guān)，充分反映了所學(xué)習(xí)的模式特征。存在問題最優(yōu)概率函數(shù)的求解復(fù)雜度較高，學(xué)習(xí)的信息較為簡單，只有梯度幅度以及相鄰點梯度的夾角，只能描述一些較為簡單的結(jié)構(gòu)（如結(jié)構(gòu)拐角處的修復(fù)）。4/12/2013控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級區(qū)域填充區(qū)域填充區(qū)域區(qū)域指已經(jīng)表示成點陣形式的填充圖形，它是象素的集合。區(qū)域填充區(qū)域填充指先將區(qū)域的一點賦予指定的顏色，然后將該顏色擴(kuò)展到整個區(qū)域的過程。區(qū)域填充算法要求區(qū)域是連通的基本思路：（1）將圖像理解分解為結(jié)構(gòu)部分和紋理部分，對結(jié)構(gòu)性強的部分使用擴(kuò)散方法進(jìn)行填充，對紋理明顯的部分借助紋理合成的技術(shù)進(jìn)行填充；（2）在圖像未退化部分選取樣本塊，

22、用這些樣本塊來代替擬填充區(qū)域邊界處的圖像塊（要接近），并逐步向擬填充區(qū)域內(nèi)部遞進(jìn)填充本課重點回顧：放射變換的原理，性質(zhì)及相關(guān)的額特殊變換的關(guān)系如何校正圖像中由于采集和處理等導(dǎo)致的幾何失真的原理和方法（空間變換，灰度差值）了解和掌握圖像修復(fù)技術(shù)的原理（主要掌握全變分模型）總 結(jié)課下思考與作業(yè)閱讀 【區(qū)域填充】的部分課后作業(yè)：Page 149 6-2， 6-5， 6-7，6-11，6-12（不要局限于課本，多去查找資料）4/12/2013控制科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程2010級實 驗實驗：圖像的幾何失真校正實驗?zāi)康?. 熟練掌握MATLAB圖像處理工具箱中的imresize函數(shù)與imrotate函

23、數(shù)。2. 根據(jù)自己編寫的程序，選定圖像進(jìn)行放大或縮小，進(jìn)一步理解圖像縮小、放大與旋轉(zhuǎn)操作的原理。imresize函數(shù)函數(shù) imrersize函數(shù)使用由參數(shù)method指定的插值運算來改變圖像的大小。method的幾種可選值： nearest（默認(rèn)值）最近鄰插值 bilinear雙線性插值 bicubic雙三次插值B = imresize(A,m)表示把圖像A放大m倍B = imresize(.,method,h)中的h可以是任意一個FIR濾波器（h通常由函數(shù)ftrans2、fwind1、fwind2、或fsamp2等生成的二維FIR濾波器）。imrotate函數(shù)函數(shù)函數(shù)功能：對圖像進(jìn)行旋轉(zhuǎn)操作

24、。在matlab命令窗口中鍵入help imrotate 或 doc imrotate或lookfor imrotate可以獲得該函數(shù)幫助信息。 調(diào)用格式： B = imrotate(A,angle) 將圖像A（圖像的數(shù)據(jù)矩陣）繞圖像的中心點旋轉(zhuǎn)angle度， 正數(shù)表示逆時針旋轉(zhuǎn)， 負(fù)數(shù)表示順時針旋轉(zhuǎn)。返回旋轉(zhuǎn)后的圖像矩陣。 以這種格式調(diào)用該函數(shù)， 該函數(shù)默認(rèn)采用最近鄰線性插值（Nearest-neighbor interpolation）。旋轉(zhuǎn)后的圖像超出的部分填充0（黑色）。 B = imrotate(A,angle,method) 使用method參數(shù)可以改變插值算法，method參數(shù)可

25、以為下面這三個值： nearest：最鄰近線性插值（Nearest-neighbor interpolation） bilinear： 雙線性插值（Bilinear interpolation） bicubic： 雙三次插值（或叫做雙立方插值）（Bicubic interpolation） B = imrotate(A,angle,method,bbox) 。%調(diào)用MATLAB圖像處理工具箱中的imresize函數(shù)和imrotate函數(shù)對圖像進(jìn)行縮小、放大、%旋轉(zhuǎn)變換clc,clear allI=imread(football_iverse.jpg);figure,imshow(I);titl

26、e(原始圖像);J=imresize(I,0.5);P=imresize(I,1.5);figure,imshow(J);title(將原圖像縮小0.5倍);figure,imshow(P);title(將原圖像放大1.5倍);xlabel(觀察發(fā)現(xiàn)：圖像出現(xiàn)了馬賽克現(xiàn)象);Q=imrotate(I,45);figure,imshow(Q);title(逆時針旋轉(zhuǎn)45度后的圖像);原始圖像原始圖像處理后圖像處理后圖像圖像進(jìn)行縮小、放大將 原 圖 像 縮 小 0.5倍將 原 圖 像 放 大 1.5倍觀 察 發(fā) 現(xiàn) ： 圖 像 出 現(xiàn) 了 馬 賽 克 現(xiàn) 象原始圖像原始圖像處理后圖像處理后圖像圖像進(jìn)行旋轉(zhuǎn)逆 時 針 旋 轉(zhuǎn) 45度 后 的 圖 像%對圖像進(jìn)行隔行隔列采樣，把原圖像縮小為原圖像的對圖像進(jìn)行隔行隔列采樣，把原圖像縮小為原圖像的1