醫(yī)學(xué)圖像三維重建的體繪制技術(shù)綜述分享

1、真誠為您提供優(yōu)質(zhì)參考資料，若有不當(dāng)之處，請指正。醫(yī)學(xué)圖像三維重建的體繪制技術(shù)綜述摘要：體繪制技術(shù)是目前醫(yī)學(xué)圖像三維重建的主要方法之一，是一種能夠準(zhǔn)確反映出數(shù)據(jù)內(nèi)部信息的可視化技術(shù)，是可視化研究領(lǐng)域的一個重要分支，是目前最活躍的可視化技術(shù)之一。本文首先分析了醫(yī)學(xué)圖像三維重建的兩大方法及其基本思想，并將體繪制技術(shù)與面繪制技術(shù)進(jìn)行了比較；然后分別描述了射線投射法、足跡法、剪切-曲變法、基于硬件的3D 紋理映射、頻域體繪制法以及基于小波的體繪制等典型算法；最后通過比較分析給出了各類算法的性能評價，并在此基礎(chǔ)上展望了體繪制技術(shù)研究的發(fā)展前景。關(guān)鍵字：體繪制；三維重建；可視化；性能評價Abstract：V

2、olume rendering techniques is one of the main methods of 3D reconstruction of medical images currently. It's also an important branch of visual technology which can reflect the inside information of data. It is one of the most active visualization technology.This paper first introduces are the t

3、wo methods of 3D reconstruction of medical image and the basic thought of them,then volume rendering technology and surface rendering technology are compared.Secondly,the author introduces some kinds of algorithm for volume rendering：Ray Casting ,Splatting,Shear-Warp,3D Texture-Mapping Hardware,Freq

4、uency Domin Volume Rendering,Wavelet .Based Volume Rendering.The differences of their performances are compared and discussed in the last. Then some results are presented and their perspective are given in the end.Key words:Volume rendering techniques;3D reconstruction of medical images;visual techn

5、ology;Performance evaluation1.引言自20世紀(jì)70年代以來，利用計(jì)算機(jī)X射線斷層投影（Computer Tomography，CT）、核磁共振（Magnetic Resonance Imaging，MRI）、超聲（US）、數(shù)字血管減影成像技術(shù)（DSA）等醫(yī)學(xué)成像技術(shù)可以得到的二維數(shù)字?jǐn)鄬訄D像序列。但是僅依靠這些二維圖像很難直觀地體現(xiàn)或確定物體的三維結(jié)構(gòu)及其相互之間的關(guān)系。由于物體的三維信息在醫(yī)學(xué)診斷和治療及其他臨床領(lǐng)域所具有的特殊應(yīng)用價值，使得三維醫(yī)學(xué)圖像的可視化技術(shù)越來越引起人們的關(guān)注。通過計(jì)算機(jī)圖像處理技術(shù)可以對二維醫(yī)學(xué)圖像進(jìn)行分析和處理，從而實(shí)現(xiàn)對人體器官、軟

6、組織和病變體的分割提取、三維重建及顯示，進(jìn)而輔助醫(yī)生對病變體及其他感興趣的區(qū)域進(jìn)行定性甚至定量的分析，大大提高了醫(yī)療診斷的準(zhǔn)確性和可靠性。2.醫(yī)學(xué)圖像的三維重建 醫(yī)學(xué)圖像的三維重建是研究利用各種醫(yī)學(xué)成像設(shè)備獲取的二維圖像及彩色冰凍切片圖像來構(gòu)建組織或器官的三維幾何模型，并在計(jì)算機(jī)屏幕上“真實(shí)” 地繪制并顯示出來。根據(jù)繪制過程中數(shù)據(jù)描述方法的不同，目前醫(yī)學(xué)圖像三維重建的方法主要有兩類：1. 通過幾何單元拼接擬合物體表面來描述物體的三維結(jié)構(gòu)，稱為表面繪制方法，又稱間接繪制方法，即面繪制法；2. 直接將體素投影到顯示平面的方法，稱為體繪制方法，即體繪制法。經(jīng)過十幾年的發(fā)展，醫(yī)學(xué)圖像三維重建已經(jīng)從輔助

7、診斷發(fā)展成為輔助治療的重要手段。三維重建技術(shù)能充分利用CT 、MRI 等醫(yī)學(xué)圖像體數(shù)據(jù)，采用面繪制或體繪制的成像算法，根據(jù)需要得到任意視角透視的三維投影圖像，構(gòu)造三維模型，并對三維模型從不同方向投影顯示，提取出相關(guān)器官的信息，能使醫(yī)生對感興趣器官的大小、形狀和空間位置獲得定量描述?；诒砻娴姆椒ǎ疵胬L制法是表示三維物體形狀最基本的方法，它可以提供三維物體形狀的全面信息。它的基本思想是從體數(shù)據(jù)中抽取一系列相關(guān)表面，并用多邊形擬合近似后，再通過傳統(tǒng)的圖形學(xué)算法顯示出來。表面繪制方法的處理過程主要包括下面三部分：體數(shù)據(jù)中待顯示物體表面的分割；通過幾何單元內(nèi)插形成物體表面；通過照明、濃淡處理、紋理映

8、射等圖形學(xué)算法來顯示有真實(shí)感的圖像。經(jīng)典的算法主要有立方塊（Cuberille） 方法，移動立方體法(Marching Cubes)，MarchingTetrahedral（MT） 和剖分立方體法(Dividing Cubes) 等。面繪制技術(shù)需要對體數(shù)據(jù)進(jìn)行判別分類，即需要判別每一個體素是否在當(dāng)前繪制的面上，因此在處理復(fù)雜的、邊界模糊的人體組織時，經(jīng)常出現(xiàn)分類上的錯誤，從而造成虛假的面顯示或在顯示面上產(chǎn)生空洞。體繪制法是由Drebin 和Levoy 在80年代末提出的，該方法避免了面繪制技術(shù)中構(gòu)造幾何多邊形等表面的中間過程，采用直接對所有的體數(shù)據(jù)進(jìn)行明暗處理的方法，進(jìn)而合成具有三維效果的圖像

9、。其優(yōu)點(diǎn)是無須進(jìn)行分割即可直接進(jìn)行繪制，有利于保留三維醫(yī)學(xué)圖像的細(xì)節(jié)信息，增強(qiáng)圖像整體的繪制效果。但缺點(diǎn)是需要對所有體素進(jìn)行處理，加大了計(jì)算量，限制了圖像的繪制速度。隨著計(jì)算機(jī)、工作站性能的提高，各種分布計(jì)算和并行繪制算法和硬件環(huán)境的發(fā)展，以及醫(yī)學(xué)體數(shù)據(jù)密度和分辨率的不斷提高，面繪制的交互優(yōu)勢越來越不明顯，體繪制優(yōu)異的三維表現(xiàn)能力正在吸引使用者越來越多的注意力?？梢灶A(yù)見，在不久的將來，體繪制技術(shù)將在越來越多的應(yīng)用中取代面繪制技術(shù)，成為三維繪制的主要技術(shù)。另外，許多科研工XXX從不同的角度提出了體繪制的加速算法，使體繪制的速度有了明顯的提高，表現(xiàn)出很大的發(fā)展?jié)摿Α?. 醫(yī)學(xué)圖像三維重建的體繪制技

10、術(shù)體繪制法是由Drebin 和Levoy 在80年代末提出的，該技術(shù)的中心思想是為每一個體素指定一個不透明度(Opacity) ，由光線穿過整個數(shù)據(jù)場，并考慮每一個體素對光線的透射、發(fā)射和反射作用。這里體素就是將三維圖像中的每一像素看成是空間中的一個六面體小單元。光線的透射取決于體素的不透明度；光線的發(fā)射取決于體素的物質(zhì)度(Objectness)：物質(zhì)度愈大，其發(fā)射光愈強(qiáng)；光線的反射則取決于體素所在的面與入射光的夾角關(guān)系。因此，體繪制的步驟原則上可分為投射、消隱、渲染和合成等4 個步驟。 體繪制方法是對三維空間中定義的三維物體，從任意的視點(diǎn)來跟蹤體素，賦予它一定的色彩和透明度，由光線穿越半透明

11、物質(zhì)時能量聚集的光學(xué)原理，進(jìn)行色彩合成的成像操作。此種顯示方法的特點(diǎn)是由灰度體數(shù)據(jù)直接顯示，沒有體數(shù)據(jù)到幾何圖元的映射過程，因而又稱為直接體繪制法。體繪制算法按處理數(shù)據(jù)域的不同可分為空間域方法和變換域方法。前者是直接對原始的體數(shù)據(jù)進(jìn)行處理顯示；后者是將體數(shù)據(jù)變換到變換域，然后再進(jìn)行處理顯示?；诳臻g域的經(jīng)典方法主要有射線投射法(Ray Casting) ，足跡法（又稱拋雪球法）(Splatting) ，錯切形變法(Shear-Warp) 等?；谧儞Q域的方法主要有頻域體繪制法(Frequency Domain Volume Rendering) 和基于小波的體繪制法(Wavelet .Base

12、d Volume Rendering)等。體繪制技術(shù)是直接研究光線通過體數(shù)據(jù)場時與體素的相互關(guān)系，所以無須構(gòu)造中間面，因而體素中的許多細(xì)節(jié)信息得以保留，結(jié)果的保真性大為提高。因此從繪制結(jié)果來講，體繪制的圖像質(zhì)量通常要優(yōu)于面繪制。但是體繪制法對硬件的要求很高，運(yùn)行速度比較慢。3.1 基于空間域的方法（1） 射線投影法(Ray Casting)射線投射法是一種典型的以圖像空間為序的直接體繪制算法，他從屏幕上的每一個像素點(diǎn)出發(fā)，沿著特定的視點(diǎn)方向，發(fā)出一條射線，該射線穿過三維數(shù)據(jù)場，沿這條射線選擇若干個等距采樣點(diǎn)，由距離某一采樣點(diǎn)最近的八個體素的顏色值及不透明度值做三線性插值，求出該采樣點(diǎn)的不透明度

13、值及顏色值。在求出該條射線上所有采樣點(diǎn)的顏色值和不透明度值以后，可以采用由后到前或由前到后的兩種不同的方法將每一采樣點(diǎn)的顏色及不透明度進(jìn)行組合，從而計(jì)算出屏幕上該像素點(diǎn)處的顏色值。（2） 足跡法（Splatting）足跡法首先由Westover 提出，也譯為拋雪球法，其原理是將體數(shù)據(jù)表示為一個由交疊的基本函數(shù)構(gòu)成矩陣，基本函數(shù)通常選擇幅值由體素值表示的高斯函數(shù)核（Kemel），然后根據(jù)一個預(yù)先計(jì)算的、存儲著沿視線方向?qū)瘮?shù)核積分的足跡查詢表，把這些基本函數(shù)投射到象平面以生成圖像。其實(shí)質(zhì)也可視為將體數(shù)據(jù)與函數(shù)核作卷積，再沿視線的反方向投射積累到象平面的過程。（3） 錯切形變法(Shear-War

14、p)錯切形變法(Shear-Warp）也稱剪切曲變法，被認(rèn)為是目前速度最快的一種體繪制算法。錯切變形算法由Lacroute 提出，基本原理是將三維視覺變換分解成三維錯切變換和兩維的變形變換。體數(shù)據(jù)按照錯切變換矩陣進(jìn)行錯切，投影到錯切空數(shù)據(jù)按照錯切變換矩陣進(jìn)行錯切，投影到錯切空間形成一個中間圖像，然后中間圖像經(jīng)變形生成最后的結(jié)果圖像。(4) 基于硬件的3D紋理映射（3D Texture-Mapping Hardware）基于硬件的3D紋理映射首先是由Cabral應(yīng)用于無明暗處理的體繪制。其方法是首先將體數(shù)據(jù)裝載到紋理內(nèi)存，再由硬件將平行于視平面的多邊形層片轉(zhuǎn)變?yōu)閳D像。這些層片是由后向前地進(jìn)行融合

15、，插值濾波器為三次或四次線性函數(shù)，而層片間的距離可以任意選擇。目前，這種方法已被推廣應(yīng)用到具有明暗處理的體繪制中。3.2 基于變換域的方法（1） 頻域體繪制法(Frequency Domain Volume Rendering)變換域體繪制算法的理論基礎(chǔ)是1993年Malzbender提出的傅里葉切片投影定理。頻域體繪制法的基本原理是首先用三維傅立葉變換將空間域的體數(shù)據(jù)變換到頻域得到離散頻譜，然后沿著經(jīng)過原點(diǎn)并與視正交的抽取平面對離散頻譜進(jìn)行插值，插值后的頻譜再經(jīng)過重新采樣，得到一個二維的頻譜，對其作二維傅立葉反變換即可得到該視方向上的空間域投影圖。頻域體繪制方法又可細(xì)分為傅里葉體繪制和哈特里

16、體繪制。（2） 基于小波的體繪制法（Wavelet .Based Volume Rendering）基于小波的體繪制是一種通過對體數(shù)據(jù)進(jìn)行三維離散小波變換，以構(gòu)成體數(shù)據(jù)的多分辨率表示，然后代入到體繪制方程中來生成三維圖像的方法。它包括小波足跡法（Wavelet Base Splatting）和小波域射線投射法（Ray Tracing in Wavelet Space）。前者的基本思想是將體數(shù)據(jù)的三維離散小波變換的近似結(jié)果直接代入到體繪制方程中求解，從本質(zhì)上來看它是射線投射法在小波域的實(shí)現(xiàn)；后者的基本思想是利用傅立葉頻域繪制先得到每個小波和尺度函數(shù)的足跡，再通過小波系數(shù)加權(quán)得到投影圖像。4. 各

17、種算法的比較分析射線投射法是采用為每個體素分配不透明度和光強(qiáng)的方法來合成圖像，因此有利于保留圖像的細(xì)節(jié)，繪制高品質(zhì)的圖像，特別適用于繪制區(qū)域特征模糊、體素特征相關(guān)性高的三維圖像。但是因?yàn)樾枰獙γ恳粋€體素都進(jìn)行操作，所以極大地限制了繪制速度。為此人們對射線投射法提出了各種的加速算法，如可以略過三維圖像空區(qū)域的空間跳躍算法（Space-Leaping）、累積透明度接近于數(shù)值1時終止射線投射的射線提前終止法（Early-Ray Termination）等。足跡法最大的優(yōu)點(diǎn)是只有與圖像有關(guān)的體素才會被映射到象平面，從而可以大大地減少需要處理和存儲的數(shù)據(jù)量。足跡法用經(jīng)過一個足跡樣條的采樣均值來代替射線投

18、射法的點(diǎn)采樣，這相當(dāng)于引入了一個低通濾波器對信號進(jìn)行平滑濾波。這樣一來，一方面有利于克服圖像的失真或混疊，但另一方面有時也會使圖像的高頻分量受到衰減。足跡法也有應(yīng)用類似于射線提前終止法概念的加速算法:基于動態(tài)計(jì)算屏幕阻塞圖（Screen Occlusion Map）的足跡提前終止法。在錯切形變法算法中，體素行程是按不透明度的初分類進(jìn)行RLE編碼的。這就需要在三個主視方向上構(gòu)造出獨(dú)立的編碼體素；因?yàn)椴蓸硬逯祪H僅出現(xiàn)在剪切出的體素層，因此直接體繪制積分的間距是與視相關(guān)的，且不能任意改變來滿足沿射線進(jìn)行密集采樣（或過采樣），這樣在非主視方向上可能不能遵守采樣定理，特別是在視域的分辨率高于體素分辨率時

19、，會導(dǎo)致所繪制的圖像品質(zhì)明顯下降。3D紋理映射的實(shí)現(xiàn)需要昂貴的專用圖形硬件，對于較大規(guī)模的醫(yī)學(xué)體素?fù)?jù)則需要在有限的紋理內(nèi)存中（在較小的機(jī)器中通常為4M）反復(fù)搬動數(shù)據(jù)。限制3D紋理影射繪制圖像質(zhì)量的主要因素歸結(jié)于其畫面幀存儲器（Framebuffer）有限的位分辨率（8-12 bits），這遠(yuǎn)低于軟件算法中使用的浮點(diǎn)數(shù)的精度。特別是有限的位分辨率嚴(yán)重制約了不透明度加權(quán)顏色（或亮度）方法的使用，因?yàn)榈筒煌该鞫鹊捏w素經(jīng)不透明度加權(quán)后，其體素的顏色（或亮度）值會降低到幀存儲器分辨率以下，這就限制了具有低不透明度、低密度體素區(qū)域的合成繪制。一種解決方法是按比例地放大體素顏色（亮度）值，但這樣有時會造成其

20、它區(qū)域值的飽和。頻域體繪制法利用快速傅立葉變換（FFT）可以達(dá)到較快的繪制速度。由于可以在頻域內(nèi)靈活地根據(jù)不同的視對離散頻譜抽取平面，因此可以便捷地得到不同視角的圖像。但是由于不能保留體素的光吸收特性，因此不能得到半透明的圖像。小波域射線投射法是射線投射法在小波域的實(shí)現(xiàn)，因此它具有射線投射法的許多優(yōu)點(diǎn)，如高品質(zhì)的圖像、半透明的視覺效果以及可以加入各種明暗處理等，但缺點(diǎn)是計(jì)算量大，繪制速度慢。小波足跡法的最大優(yōu)點(diǎn)是繪制速度快，可以達(dá)到網(wǎng)絡(luò)交互級的速率，但缺點(diǎn)是繪制的圖像質(zhì)量呈現(xiàn)一種指數(shù)型的自阻塞特性。 表1 各種算法的比較分析體繪制算法圖像品質(zhì)繪制速度算法特點(diǎn)空間域射線投射法最高慢無需分割，可以

21、利用不透明度得到整體的層次結(jié)構(gòu)占用內(nèi)存大足跡法高中等占用內(nèi)存小，可漸進(jìn)顯示錯切形變法中等最快占用內(nèi)存小3D紋理映射較低快圖像品質(zhì)依賴幀存儲器位分辨率變換域頻域體繪制法較高快X光片效果，利用FFT算法簡潔小波域射線投射法高慢可利用不透明度得到整體的層次結(jié)構(gòu)，占用內(nèi)存大足跡法較高較快X光片效果,可漸進(jìn)顯示,局部細(xì)節(jié)添加5. 研究展望隨著現(xiàn)代醫(yī)學(xué)影像技術(shù)日新月異的發(fā)展和各種醫(yī)學(xué)數(shù)字影象設(shè)備技術(shù)的發(fā)展及廣泛應(yīng)用，醫(yī)學(xué)圖像三維重建的體繪制技術(shù)已經(jīng)成為研究的熱點(diǎn)之一。盡管目前體繪制技術(shù)的繪制速度仍然受到計(jì)算機(jī)運(yùn)算速度的限制，但隨著計(jì)算機(jī)技術(shù)的發(fā)展和體繪制算法研究的深入，可以預(yù)見體繪制的繪制速度很快能達(dá)到實(shí)

22、時交互的速率。 當(dāng)前體繪制技術(shù)的研究可以根據(jù)現(xiàn)有的硬件條件與具體的應(yīng)用要求，尋求圖像品質(zhì)與繪制速度之間的最佳方案。在各類算法中，基于小波的體繪制技術(shù)表現(xiàn)出較好的應(yīng)用前景，可以作為重點(diǎn)的研究內(nèi)容，如克服小波足跡法中圖像品質(zhì)的自阻塞指數(shù)特性。隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，基于硬件的3D紋理映射體繪制也表現(xiàn)出巨大的發(fā)展?jié)摿?，許多新技術(shù)、新方法有待于深入研究與開發(fā)。此外，在不影響圖像品質(zhì)的前提下如何將錯切形變算法中的某些概念引入到射線投射法或足跡法中以提高繪制速度，以及足跡法的明暗算法等都是值得繼續(xù)深入研究的問題。 目前國內(nèi)的醫(yī)學(xué)圖像三維重建的體繪制技術(shù)研究依舊處于起步階段，面對醫(yī)學(xué)臨床已具備的豐富的三維

23、醫(yī)學(xué)體數(shù)據(jù)和應(yīng)用需求，盡快盡早地開展此類方面的研究具有廣泛的應(yīng)用價值和深遠(yuǎn)的發(fā)展前景。 參考文獻(xiàn)1UposonC,FaulhaberT. V-Buffer: Visible volume renderingJ. Computer Graphics, 1988, 22(4), 59-642Westover L A. Interactive volume rendering A, Proceedings of the chapel hill on workshop volume visualization C. Chapel Hill: Department of Computer Science

24、, University of North Carolifornia, 1989: 9- 16. 3Dong F, Gordon J. Volume rendering of fine details within medical dataA.In: IEET Visualization'2001C. San Francisco: IEET Computer Society Press, 2001: 387-394. 4孫薇薇, 張樺. 三種體繪制算法的比較J. 天津理工大學(xué)學(xué)報, 2005, 21(4)5張尤賽, 陳福民. 三維醫(yī)學(xué)圖像的體繪制技術(shù)綜述J. 計(jì)算機(jī)工程與應(yīng)用, 2002, 8: 18-196洪鋒, 梅炯, 李明祿. 醫(yī)學(xué)圖象三維重建技術(shù)綜述J. 中國圖象圖形學(xué)報, 2003, 87李燕, 譚鷗, 段會龍. 三維醫(yī)學(xué)圖象可視化技術(shù)綜述J. 中國圖象圖形學(xué)報, 2001, 68陳云芝, 張彬, 程維春. 基于Ma