反卷積的算法

在過(guò)去的十年當(dāng)中，人們嘗試了各種算法來(lái)消除數(shù)字圖片的模糊問(wèn)題。在光學(xué)顯微術(shù)中，應(yīng)用最為廣泛的算法可分為兩類(lèi)，去模糊(deblurring)及圖像還原(imagerestoration)。deblurring算法適用于二維去模糊，這種算法采取逐層計(jì)算的方式還原三維圖像。相對(duì)的,imagerestoration則是三維意義上的算法，這種算法以每一個(gè)體素為目標(biāo)同時(shí)進(jìn)行去模糊計(jì)算。BeforeandAfterNearestNeighborD^tfonvolulzionAnalysis在介紹詳細(xì)的內(nèi)容之前，我們先來(lái)書(shū)記幾個(gè)術(shù)語(yǔ)。object指顯微鏡視野下被激發(fā)的三維熒光。rawimage指顯微鏡下獲得的未經(jīng)處理的數(shù)字圖片或圖片層。features指圖片中某一感興趣的特定區(qū)域。deburring算法二維算法比女口nearest-neighbor,multi—neighbor,no-neighbor，及unsharpmasking在這里，我們都將其歸為deblurring算法中。在三維圖片層中，這種算法通過(guò)逐層計(jì)算來(lái)去除每一層的模糊oFigure1顯示，為三維圖片中的某一光切層面,樣品為Xenopus細(xì)胞的微管結(jié)構(gòu)。a為處理前圖片，b為經(jīng)nearest-neighbor算法處理后的圖片。這種單層計(jì)算的方式相對(duì)來(lái)說(shuō)很經(jīng)濟(jì)有效。但deblurring算法也有一些較大的缺點(diǎn)。首先，幾個(gè)層面中的噪音重疊在了一起；另外，deblurring算法去除了干擾信號(hào)的同時(shí)降低了信號(hào)的總強(qiáng)度；第三，features中的信號(hào)在z軸方向上的擴(kuò)散，在每一個(gè)層面中都會(huì)計(jì)算一次，但實(shí)際上某些層面，這些信號(hào)是假的，于是features的位置會(huì)發(fā)生偏移。這種情況在二維圖片的去模糊中尤為嚴(yán)重，這些二維圖片上，其他層面的干涉環(huán)或光經(jīng)過(guò)計(jì)算后會(huì)被認(rèn)為是這一層的信號(hào)而留在二維圖像上。總的來(lái)講，deblurring算法改進(jìn)的圖像對(duì)比度，但犧牲了信噪比，并且還有可能引入假信號(hào)。當(dāng)需要快速去模糊或計(jì)算機(jī)性能有限的時(shí)候，二維deblurring算法是很有用的。它尤其適用于熒光結(jié)構(gòu)分散的樣品，但考慮到這種算法會(huì)降低信號(hào)強(qiáng)度，最好不要用于形態(tài)學(xué)計(jì)算、熒光定量及比率計(jì)算實(shí)驗(yàn)。

imagerestoration算法imagerestoration算法的基本功能是消除三維圖像的模糊，效果很理想。這種算法并不是去掉模糊，而是通過(guò)運(yùn)算，逆轉(zhuǎn)圖像固有的卷積效應(yīng)，將模糊的光線(xiàn)算回到焦點(diǎn)位置。假設(shè)圖像中的object遵循點(diǎn)擴(kuò)散方程(psf,pointspreadfunction)變得模糊，那么通過(guò)翻卷積運(yùn)算，即可將object復(fù)原。但是由于成像系統(tǒng)固有的限制以及圖像的組成，object無(wú)法被完美的還原；只能通過(guò)已知的限制因素，估算object。restoration算法通過(guò)計(jì)算psf還原object。這種算法的優(yōu)勢(shì)在于，三維圖像的翻卷積運(yùn)算可以遵循傅里葉變換(fouriertransformation)通過(guò)數(shù)學(xué)的方法計(jì)算出來(lái)。inversefilter算法inversefilter是第一個(gè)圖像翻卷積算法。inversefilter以及與其類(lèi)似的regularizedinversefilters在20世紀(jì)60年代被用于電信號(hào)的處理，在20世紀(jì)70年代晚期被用于圖像分析。在圖像分析軟件中，這些算法通常被稱(chēng)作Wienerdeconvolution,RegularizedLeastSquares,LinearLeastSquares,及Tikhonov-Millerregularization。inversefilter也采用傅里葉變換的方法進(jìn)行翻卷積。這是最簡(jiǎn)單的翻卷積算法,計(jì)算迅速，和前面提到的二維去模糊速度相當(dāng)。但這種方法是應(yīng)用受限于噪音放大。在進(jìn)行傅里葉變換的過(guò)程中小的噪音信號(hào)會(huì)被放大。這樣模糊雖然被消除，但引入了更多的噪音,例如所謂的ringing。通過(guò)估算object的結(jié)構(gòu)可以降低噪音放大以及ringingo例如，如果object相對(duì)平滑，那么由于噪音引起的粗糙邊緣可以被矯正。這一方法叫做regularization。regularization可以應(yīng)用于inversefilter計(jì)算中的某一步，或反復(fù)應(yīng)用，以得出平滑的結(jié)果。然而，由于這種算法可能導(dǎo)致細(xì)節(jié)的丟失，采用inversefilters算法的應(yīng)用軟件都會(huì)提供某一可控參數(shù)給用戶(hù)來(lái)控制平滑度與噪音放大之間的偏重。ConstrainedIterative算法為了改進(jìn)inversefilter算法，人們添加了許多其他的三維算法到圖像處理過(guò)程中。這些算法被稱(chēng)作constrainediterativealgorithms,進(jìn)行循環(huán)計(jì)算(因此被稱(chēng)作迭代，iterative)。另外，這些算法不僅消除了噪音及其他問(wèn)題，同時(shí)，還改進(jìn)了去除信號(hào)模糊的能力。

DebJurringandRestorationl^finiqu&sOd^maJDataNearestNe^hbor RestoredFigure2典型的constrainediterativealgorithms遵循以下步驟。首先，對(duì)rawimage進(jìn)行初步概算。然后，進(jìn)行psf的計(jì)算，得到結(jié)果同rawimage進(jìn)行比較，來(lái)檢測(cè)兩者的相似度，并減小錯(cuò)誤。然后重新開(kāi)始新的一輪計(jì)算。整個(gè)過(guò)程將會(huì)一直重復(fù)，直至錯(cuò)誤減小至規(guī)定的閾值。最終的結(jié)果即為最后一步迭代的得出的object。Figure2中的樣品是XLK2細(xì)胞的三維模型，由70張0.2微米的間隔光切圖片疊加而成。圖片由寬場(chǎng)成像系統(tǒng)，采用1.4數(shù)值孔徑的油鏡獲得。左側(cè)的標(biāo)注為OriginalData的Figure2(a)為未經(jīng)處理的三維圖像中的某一層面。標(biāo)記為NearestNeighbor的Figure2(b)為經(jīng)nearestneighbor算法去模糊后的圖片。第三張標(biāo)記為Restored的FIgure2(c)的圖片經(jīng)過(guò)constrainediterative翻卷積軟件處理過(guò)的圖片。deblurring及restoration兩種算法都提高了對(duì)比度，但在deblurring計(jì)算后的圖片信噪比要明顯低于restoration算法處理的圖片。Figure2(c)中的標(biāo)尺代表2微米，F(xiàn)igure4中的展示的為Figure2(a)中的箭頭指向位置的信息。大部分用于顯微圖片翻卷積的算法都帶有控制因素。最常用的是上面提到的smoothing及regularization。在迭代過(guò)程中，會(huì)增大噪音信號(hào)，大部分計(jì)算結(jié)果都要通過(guò)smoothing及regularization處理優(yōu)化。另外一個(gè)常用的限制是nonnegativity。這種限制因素可使結(jié)果更真實(shí)。其他的限制因素還包括涉及像素飽和度的boundaryconstraints,對(duì)統(tǒng)計(jì)的噪音的控制，以及其他統(tǒng)計(jì)學(xué)上的控制因素。ConstrainedIterativeDeconvolution的經(jīng)典算法第一個(gè)用于顯微圖像去模糊的ConstrainedIterativeDeconvolution算法建立在Jansson-VanCittert(JVC)算法上。JVC算法為光譜顯微術(shù)而研發(fā)。后來(lái)，Agard修正這

一算法將其應(yīng)用在數(shù)字顯微圖像上。現(xiàn)在多家公司的去模糊產(chǎn)品使用這一算法，女Waytek,IntelligentImagingInnovations.AppliedPrecision,CarlZeiss,及Bitplane。另外一些研究組開(kāi)發(fā)出regularizedleastsquaresminimization方法用于翻卷積處理，這一方法通過(guò)Vaytek及Scanalytics.公司出售。這些算法利用額外的或遞增的誤差準(zhǔn)則在每次迭代計(jì)算中優(yōu)化計(jì)算值。StatisticalIterative算法迭代算法中另外一類(lèi)使用概率誤差準(zhǔn)則。最大相似度估算(maximumlikelihoodestimation,MLE)算法及EM算法(expectationmaximization)利用相似度(Likelihood)。這些算法被SVI,Bitplane,ImproVision,CarlZeiss,以及Autoquant等公司應(yīng)用于翻卷積產(chǎn)品。MLE是科研領(lǐng)取各分支中應(yīng)用非常廣泛的統(tǒng)計(jì)學(xué)工具。另一種與統(tǒng)計(jì)學(xué)測(cè)量相關(guān)的算法最大平均信息量(maximumentropy,ME)被CarlZeiss應(yīng)用于圖像翻卷積處理。StatisticalIterative算法要比以往方式的計(jì)算強(qiáng)度大，所以耗費(fèi)的時(shí)間也長(zhǎng)很多。然而，這種通過(guò)算法得到的圖像質(zhì)量要比傳統(tǒng)算法高。當(dāng)然，這種算法也引入了控制噪音的限制因素(實(shí)際上，利用了Poisson或Gaussian分布)；StatisticalIterative算法對(duì)噪音的處理能力更佳，得到的圖片噪音也更小。在選擇噪音的處理方式時(shí)，要考慮到圖像本身的因素，一些圖像處理軟件在這一方面的處理也很靈活。BlindDeconvolution算法Blinddeconvolution是一項(xiàng)適用于無(wú)經(jīng)驗(yàn)者的新技術(shù)，它簡(jiǎn)化了分析過(guò)程，但商品化的軟件并不多。這一算法更改了MLE的估算過(guò)程，將object同psf一同代入計(jì)算。DeconvolutionAlgorithmCoriTfSarisoriU) (b)DeconvolutionAlgorithmCoriTfSarisoriU) (b)Blinddeconvolution的效果相當(dāng)不錯(cuò)，它不僅適用于高質(zhì)量圖片，同時(shí)也可以處理噪音較大以及引入了球差的圖片。這一算法將理論上的psf應(yīng)用到需要進(jìn)行翻卷積計(jì)算的圖片中。這樣，用戶(hù)節(jié)約了用于獲取高質(zhì)量psf的時(shí)間。另外，在將psf帶入圖像的同時(shí)，還可矯正一部分球差。然而，這一矯正應(yīng)作為處理步驟中的最后一步，因?yàn)榍虿顟?yīng)當(dāng)在獲取圖片的時(shí)候矯正。Figure4中顯示為三種不同的算法計(jì)算出的圖像。原始的三維圖片為果蠅胚胎的腿部，整個(gè)三維圖像共192張光切圖片,z軸步進(jìn)0.4微米，在寬場(chǎng)熒光顯微鏡下獲得(1.25NA油鏡)。圖中顯示為三維圖像中的某一光切層，F(xiàn)igure3(a)為rawimage。Figure3(b)采用nearestneighbor算法處理，參數(shù)設(shè)為去除95%模糊；Figure3(c)同一層面經(jīng)inversefilter算法處理后的圖像；Figure3(c)為iterativeblinddeconvolution結(jié)合psf處理后的圖像。共聚焦及多光子圖像的翻卷積正如所料，共聚焦顯微鏡及雙光子顯微鏡獲得的圖像也可以進(jìn)行翻卷積計(jì)算。結(jié)合了共聚焦顯微鏡的翻卷積技術(shù)可得到任一技術(shù)單獨(dú)使用時(shí)無(wú)法比擬的圖像質(zhì)量。對(duì)共聚焦圖像進(jìn)行翻卷積處理可減少焦點(diǎn)外信號(hào)引起的噪音。對(duì)多光子圖像進(jìn)行翻卷積可很好的消除圖像中的假信號(hào)提高對(duì)比度。但需要注意的是，設(shè)置psf的值要正確，尤其是共聚焦顯微鏡的針孔孔徑。

翻卷積算法的執(zhí)行效果翻卷積的處理速度及質(zhì)量極大程度上受軟件的算法影響。通過(guò)減少迭代次數(shù)及加速收斂，可得到較穩(wěn)定的計(jì)算方法。未經(jīng)優(yōu)化的Jansson-VanCittert算法需要50-100次迭代來(lái)得到最佳效果。先對(duì)rawimage進(jìn)行預(yù)處理抑制噪音，并在前兩次的迭代中引入誤差準(zhǔn)則可將迭代次數(shù)減少至5-10次。另外，每5次迭代進(jìn)行一次smoothing處理，可減少噪音放大。當(dāng)根據(jù)經(jīng)驗(yàn)設(shè)定psf的時(shí)候，最重要的是使用高質(zhì)量低噪音的的點(diǎn)擴(kuò)散方程。現(xiàn)在市場(chǎng)上沒(méi)有哪家的翻卷積軟件包使用直接根據(jù)顯微鏡信息建立的psf。軟件包通常包含預(yù)處理步驟來(lái)降低噪音，并對(duì)psf執(zhí)行徑向?qū)ΨQ(chēng)。許多軟件包還執(zhí)行軸向?qū)ΨQ(chēng)來(lái)消除球差。這些步驟減少了噪音及像差，極大的提高了翻卷積的質(zhì)量。deconvolution算法的應(yīng)用還需注意的一點(diǎn)，就是對(duì)rawimage進(jìn)行預(yù)處理。預(yù)處理通常包括背景矯正，平場(chǎng)校準(zhǔn)，光漂白校準(zhǔn)，等抖動(dòng)校準(zhǔn)。這些處理將提高圖像的信噪比，并去除一些假信號(hào)。大多數(shù)的圖像處理軟件包都具有這些功能，用戶(hù)在使用的時(shí)候需要根據(jù)應(yīng)用的不同查閱相關(guān)的細(xì)節(jié)說(shuō)明。其他翻卷積算法的執(zhí)行效果注重?cái)?shù)據(jù)的展現(xiàn)。圖像可被分為數(shù)個(gè)subvolumes或數(shù)據(jù)塊（datablocks）的形式。每個(gè)像素（pixel）值以整數(shù)或浮點(diǎn)數(shù)來(lái)表示。傅里葉變換可以浮點(diǎn)數(shù)或復(fù)數(shù)來(lái)表示。圖像越準(zhǔn)確，計(jì)算機(jī)的內(nèi)存需要越大，處理的時(shí)間越長(zhǎng)。因此，需要在計(jì)算速度及圖像質(zhì)量間做權(quán)衡。結(jié)論與deblurring算法及共聚焦顯微術(shù)不同的是，iterativerestoration算法會(huì)將焦點(diǎn)外模糊算回它應(yīng)處的位置，而不是直接去掉這些信號(hào)。這樣，焦點(diǎn)外的信號(hào)也會(huì)被利用。在翻卷積之后，熒光結(jié)構(gòu)內(nèi)的信號(hào)增強(qiáng)，但圖像的信號(hào)總強(qiáng)度不變，而原來(lái)模糊的區(qū)域信號(hào)消失。object周?chē)：募?xì)節(jié)被算回了焦點(diǎn)位置，object邊界變得更加銳利，與背景間的分界更加明顯。同時(shí)，對(duì)比度及信噪比也得到了很好的提高。上述特點(diǎn)在Figure2中體現(xiàn)了出來(lái)，翻卷積提高了圖像的對(duì)比度，因此改進(jìn)了object的分辨率，同時(shí)又不會(huì)引入噪音。對(duì)圖像分析及定量至關(guān)重要的是,rawimage的熒光信號(hào)總強(qiáng)度同翻卷積處理后的圖像相同。試用適當(dāng)，翻卷積將在保留總信號(hào)強(qiáng)度的基礎(chǔ)上調(diào)整信號(hào)的位置而提高對(duì)比度（Figure4）。因此，翻卷積處理后的圖像可進(jìn)行定量分析。

PixelBrightnessValueLinePratPositionInImage(Mlcrameter&JFigure4中的圖表顯示了PixelBrightnessValueLinePratPositionInImage(Mlcrameter&JFigure4中的圖表顯示了Figure2(a)中箭頭所示位置的水平線(xiàn)上，像素的亮度值。原始數(shù)據(jù)的亮度值以綠色線(xiàn)顯示，deblurring處理后的圖像亮度以藍(lán)色線(xiàn)表示，翻卷積后