圖形學課程-可視化在醫(yī)學中的應用

1、圖形學課程之可視化在醫(yī)學中的研究可視化在醫(yī)學中的研究南方醫(yī)科大學生物醫(yī)學工程學院郝立巍博士， 2006介紹內容 可視化技術簡介 常見軟件工具介紹: VTK ITK AVS&AMIRA MITK IDL/3D Doctor/Mimics/VGStudio(Skip) 總結與討論可視化技術簡介圖形學在醫(yī)學中應用總論 三維重建 治療計劃 計算機輔助外科（CAS） 虛擬現(xiàn)實（VR） 虛擬人項目 手術模擬訓練 最開始 Roentgen 一百年前接下來 - CT Hounsfield 30多年前現(xiàn)在掃描速度越來越快，數(shù)據(jù)量越來越大醫(yī)學可視化研究的產生 目的：從2D堆疊的數(shù)據(jù)得到3D圖像渲染：科學美

2、學 兩種主要渲染方法：等值面 3D網格上搜索等值面 由三角網格近似 轉化為面片集，直接渲染 輪廓線重建（略） Marching Cubes（MC） 在8個像素組成的體元中搜索。 體元內可能存在的等值面用線性插值近似處理為平面。繼續(xù)匹配下一個體元繼續(xù)匹配下一個體元 對每個節(jié)點判斷它在面內還是面外 如果一條邊的兩個端點一個在面內一個在面外就認為這條邊與等值面相交MC ：等值面與Cubes相交的判斷MC ：窮舉等值面與Cubes相交類型 理論上 28=256種等值面與Cube的相交類型 三角化每種情況MC ：利用對稱減少等值面與Cubes相交類型 利用對稱性，等值面與Cube相交的類型由256種減少

3、到15種。MC ：等值面與Cubes15種類型MC ：算法簡介 利用線性插值計算等值面與體元的邊的相交情況. 計算體元每個角點的梯度 采用離散近似的方法 利用線性插值，計算三角形各頂點的梯度，即認為是各頂點的法向量（錯誤的計算方向導致等值面黑洞） 對三角形的每個節(jié)點置法向量（或三角形置法向量）zkjiDkjiDkjiGykjiDkjiDkjiGxkjiDkjiDkjiGzyx2) 1,() 1,(),(2), 1,(), 1,(),(2), 1(), 1(),(MC ：結果組織 小面片組成一個大的等值面 渲染MC ：優(yōu)點與問題 優(yōu)點 渲染簡單，易于硬件加速 高解析度 問題 生成的模型過于復雜

4、MC的三角面片是待求等值面的近似表示 幾何二義性 可能形成空洞256x256x128 820,000MC ：可以繼續(xù)的工作 成組連接 可視面判別 并行、大數(shù)據(jù)量處理 切割、組合、填充 混合渲染 實用的軟件 等值面面片的簡化 曲線擬合 3維變形及受力模擬 與特定硬件結合的研究體繪制 基本思想 無需構建三維幾何模型 直接使用體數(shù)據(jù) 幾種加速方法 軟件加速方法 Shear-warp 方法 硬件加速方法 2D/3D紋理映射直接體繪制 直接渲染沒有提取任何表面 (DVR) 把標量值映射為光學屬性（顏色、透明度） 選擇一個光學模型：發(fā)射、吸收或混合 通過光線跟蹤的方法實現(xiàn)體繪制積分光學模型 吸收型(比如D

5、RR，Digitally Reconstruction Radiology ) 發(fā)射型 吸收發(fā)射混合型 最大密度投射（CTA，MRA）尺度值 s顏色值 RGB透明度 AT(s)物質的分類光線跟蹤 體繪制積分的數(shù)值近似 沿光線追蹤方向等步長采樣 三線性差值體繪制圖像的合成沿著入射光線重采樣沿著入射光線重采樣:RayT(s)T(s)由后到前的合成：由后到前的合成：最大密度投射（MIP）沒有發(fā)射和吸收 取沿入射光線上的最大尺度值光線s0s 優(yōu)點優(yōu)點: 不需要傳遞函數(shù)! 缺點缺點: 沒有深度信息!尺度值 S最大尺度 Smax體繪制加速算法 軟件：ShearWarp 硬件：2D/3D 紋理加速Shear

6、-warp 變換 直接體繪制速度慢的幾點思考： 沿光線方向的坐標變換費時 三維離散數(shù)據(jù)場的重新采樣 如果數(shù)據(jù)集的方向與入射方向垂直計算就簡單多了 Shear-warp算法 對數(shù)據(jù)集進行錯切變換 計算沿光線上各點的貢獻的積分變成了平行方向的疊加 把結果再變形回來 繼續(xù)提速的辦法 快速消除透明體素硬件加速方法2D 紋理加速3D 紋理加速紋理加速的原理幾何近似幾何近似 （考慮成紋理薄片）（考慮成紋理薄片）沒有對應體數(shù)據(jù)的幾何元素沒有對應體數(shù)據(jù)的幾何元素GeometryProcessingRasterizationFragmentOperations2D紋理加速 軸對齊的薄片軸對齊的薄片硬件的雙線性插

7、值硬件的雙線性插值在內存中數(shù)據(jù)集成三個正交方向存三份在內存中數(shù)據(jù)集成三個正交方向存三份!2D紋理加速: 弱點產生原因是雙線性插值代替三線性插值產生的誤差產生原因是雙線性插值代替三線性插值產生的誤差更好的選擇: 3D 紋理映射根據(jù)視點對齊的數(shù)據(jù)根據(jù)視點對齊的數(shù)據(jù) 利用硬件的三線性插值利用硬件的三線性插值在內存中只需保留一份數(shù)據(jù)在內存中只需保留一份數(shù)據(jù)生成紋理薄片生成紋理薄片紋理薄片的渲染紋理薄片的渲染結果圖像結果圖像硬件三線性插值硬件三線性插值合成合成3D紋理映射示意醫(yī)學中體繪制：可以繼續(xù)的工作 加速（軟件，硬件） 傳遞函數(shù) 混合體繪制（MIPRayCast） 體繪制中的物體的拾取 混合渲染（體

8、繪制面繪制） 實用的軟件 頻域體繪制研究（傅立葉投影截面定理） 多模圖像的體繪制體繪制結果（1）明暗計算明暗計算體繪制結果（2）傳遞函數(shù)傳遞函數(shù)體繪制結果（3）MIP發(fā)射吸收模型最大密度投射三種常見可視化模式同時顯示 體繪制, 等值面, 混合模式體繪制的優(yōu)缺點 優(yōu)點 可以同時顯示多種組織 高解析度 缺點 渲染過程復雜 交互性差：慢，物體拾取困難VTK簡介 VTK的內容 支持幾乎所有的通用可視化算法和常見圖像處理算法。 利用C+，面向對象開發(fā)的對象庫。 到3.2版本為止，一共包含600個類和32.5萬行代碼。 跨平臺 支持OpenGL 和 Mesa。 支持多種解釋型語言“粘合”代碼: Tcl/T

9、k, Java, and Python 開放源代碼。 VTK設計思想 Data source Visualizatoin Graphics數(shù)據(jù)流思想: 管道模式Source Filter Mapper Actor 數(shù)據(jù)流方向 update方向RenderVisualization model Graphics modelVTK圖形模型模擬現(xiàn)實世界的舞臺的一個場景交互類設計cameraLightActorscreenVTK圖形模型(2)對應上一頁的類抽象vtkCameravtkLightvtkActorvtkPropertyvtkMappervtkTransformvtkRenderWindow

10、vtkRenderervtkRenderWindowInteractorVTK圖形模型(3)1 vtkRenderWindow2 vtkRenderervtkCameravtkLightvtkActor( property, geometry(mapper), transformation, etc)VTK 的應用3D Slicer:8000/pages/papers/slicer/VTK 的學習資源 VTK Users Guide June 1999, Will Schroeder and Ken Martin, Kitware, In

11、c. (1999) The Visualization Toolkit, 2nd ed., Will Schroeder, Ken Martin and Bill Lorensen, Prentice Hall PTR (1998) ISBN 0-13-954694-4. Manual pages for all releases are available through: vtkusers mailing list available through KitwareITK簡介什么是 ITK? ITK 是專門用于處理醫(yī)學圖像的分割與配準問題的代碼開放的軟件開發(fā)包。 ITK 雖然是主要針對醫(yī)學

12、圖像處理，也同樣可以用來處理其他類型的圖像。 ITK 主要是使用C+語言來設計和實現(xiàn)。同時支持解釋性語言(TCL, Python)“粘合”各個軟件模塊，比較簡單地實現(xiàn)運用層次的開發(fā)。ITK的起源：美國虛擬人計劃美國虛擬人計劃2的一部分的一部分 NLM (the US National Library of Medicine) 及其它六個主要的組織。 三個商業(yè)伙伴: GE 研發(fā)部, Kitware和 Insightful 三個學術界伙伴： North Carolina (UNC), University of Tennessee (UT), and University of Pennsylva

13、nia (UPenn)ITK庫的設計特點 ITK 跨平臺 (Unix and Windows)。 ITK 大量使用C+的 語言特性，同時又支持MSVC, Sun, gcc 和 SGI等多種編譯器 。 “Smart pointers”: 智能指針，簡化資源的管理。 Cmake: 跨平臺的編譯環(huán)境。ITK 庫的主要內容（1） ITK 主要設計理念是提供一個研究新算法和運用老算法的通用平臺。 配準算法: Metrics: Mutual Information Landmark Distance Transformations Affine, Rigid, or Projective Kernel-b

14、ased (e.g., Elastic-Body Splines and Thin-Plate Splines) Optimization Algorithms Conjugate Gradient Gradient DescentITK 庫的主要內容（2） 分割算法: Deformable mesh Balloon force filter Region growing Watershed 圖像處理算法: Contrast Enhancement (Power-law Adaptive Histogram Equalization ) Morphology Image filtersITK帶

15、給我們的益處 可以從大量優(yōu)秀的代碼中學習。 減少了重復開發(fā)的工作量。 建立了一個基礎的可通用的算法庫。 建立了一個可用于高級開發(fā)的算法平臺。 方便了我們的以后的研究工作。 ITK與VTK的關系 相似性: 代碼開放的結構 庫設計結構相似: 數(shù)據(jù)流的類關聯(lián)結構 使用對象廠的模式 相似的庫維護和發(fā)展機制. 不同: VTK: Visualization ITK: Segmentation and Registration ITK 使用模板和智能指針 不同數(shù)據(jù)格式ITK與VTK的接口 回調函數(shù)用于連接 ITK和VTK的數(shù)據(jù)管道 : ITK: itkVTKImageImport, itkVTKImageE

16、xport VTK: vtkImageImport, vtkImageExport Typical data flow:vtkDatavtkImageExportItk:VTKImageImportItk:ImageFilterItk:VTKImageExportvtkImageImportITK應用實例 - 利用互信息量配準Visualization by VTKPatient scans in multi modalitiesinput VTK /ITK InterfaceRegistrationresultsoutputUpdateviewportsMutual Information

17、Registration Filterin ITKItk:MutualInformationImageToImageMetricItk:Rigid or AffineRegistrationItk:GradientDescentOptimizerITK應用實例 - 利用互信息量配準（2）商業(yè)可視化工具-AVS&AMIRA介紹AVS/Express的內容 面向對象可視化工具 模塊化 分層次 開放可擴展 上百種預先定義的可視化開發(fā)工具 分析 顯示 數(shù)據(jù)編輯 交互 組件庫選擇頁 菜單條 組件庫 被使用的組件 狀態(tài)條組件AVS編程界面生成一個立方體的示例生成一個立方體的示例（2）Amira 最

18、簡單地醫(yī)學可視化系統(tǒng)最簡單地醫(yī)學可視化系統(tǒng) 支持多種可視化方法 支持硬件加速 支持多種文件格式 傻瓜化的可視化數(shù)據(jù)處理 參數(shù)調節(jié)多樣 幾乎沒有學習曲線 Amira體繪制示例體繪制示例Amira體繪制示例（體繪制示例（2）MITK介紹http:/ MITK, Medical Imaging ToolKit, is a C+ library for integrated medical image processing and analyzing developed by 中國科學院自動化研究所醫(yī)學影像處理研中國科學院自動化研究所醫(yī)學影像處理研究組究組. The development of MITK is inspired by the big success of open source softwares VTK and ITK, and its main purpose is to provide medical image community a consistent framework to combine the function of medical image segmentation, registration and visualiz