圖形學(xué)課程可視化在醫(yī)學(xué)中的應(yīng)用ppt課件

1、ppt課件.1圖形學(xué)課程之可視化在醫(yī)學(xué)中的研究可視化在醫(yī)學(xué)中的研究ppt課件.2介紹內(nèi)容 可視化技術(shù)簡(jiǎn)介 常見軟件工具介紹: VTK ITK AVS&AMIRA MITK IDL/3D Doctor/Mimics/VGStudio(Skip) 總結(jié)與討論ppt課件.3可視化技術(shù)簡(jiǎn)介ppt課件.4圖形學(xué)在醫(yī)學(xué)中應(yīng)用總論 三維重建 治療計(jì)劃 計(jì)算機(jī)輔助外科（CAS） 虛擬現(xiàn)實(shí)（VR） 虛擬人項(xiàng)目 手術(shù)模擬訓(xùn)練 ppt課件.5最開始 Roentgen 一百年前ppt課件.6接下來 - CT Hounsfield 30多年前ppt課件.7現(xiàn)在掃描速度越來越快，數(shù)據(jù)量越來越大ppt課件.8醫(yī)學(xué)可

2、視化研究的產(chǎn)生 目的：從2D堆疊的數(shù)據(jù)得到3D圖像ppt課件.9渲染：科學(xué)美學(xué) 兩種主要渲染方法：ppt課件.10等值面 3D網(wǎng)格上搜索等值面 由三角網(wǎng)格近似 轉(zhuǎn)化為面片集，直接渲染 輪廓線重建（略） ppt課件.11Marching Cubes（MC） 在8個(gè)像素組成的體元中搜索。 體元內(nèi)可能存在的等值面用線性插值近似處理為平面。繼續(xù)匹配下一個(gè)體元繼續(xù)匹配下一個(gè)體元ppt課件.12 對(duì)每個(gè)節(jié)點(diǎn)判斷它在面內(nèi)還是面外 如果一條邊的兩個(gè)端點(diǎn)一個(gè)在面內(nèi)一個(gè)在面外就認(rèn)為這條邊與等值面相交MC ：等值面與Cubes相交的判斷ppt課件.13MC ：窮舉等值面與Cubes相交類型 理論上 28=256種等

3、值面與Cube的相交類型 三角化每種情況ppt課件.14MC ：利用對(duì)稱減少等值面與Cubes相交類型 利用對(duì)稱性，等值面與Cube相交的類型由256種減少到15種。ppt課件.15MC ：等值面與Cubes15種類型ppt課件.16MC ：算法簡(jiǎn)介 利用線性插值計(jì)算等值面與體元的邊的相交情況. 計(jì)算體元每個(gè)角點(diǎn)的梯度 采用離散近似的方法 利用線性插值，計(jì)算三角形各頂點(diǎn)的梯度，即認(rèn)為是各頂點(diǎn)的法向量（錯(cuò)誤的計(jì)算方向?qū)е碌戎得婧诙矗?對(duì)三角形的每個(gè)節(jié)點(diǎn)置法向量（或三角形置法向量）zkjiDkjiDkjiGykjiDkjiDkjiGxkjiDkjiDkjiGzyx2) 1,() 1,(),(2),

4、 1,(), 1,(),(2), 1(), 1(),(ppt課件.17MC ：結(jié)果組織 小面片組成一個(gè)大的等值面 渲染ppt課件.18MC ：優(yōu)點(diǎn)與問題 優(yōu)點(diǎn) 渲染簡(jiǎn)單，易于硬件加速 高解析度 問題 生成的模型過于復(fù)雜 MC的三角面片是待求等值面的近似表示 幾何二義性 可能形成空洞256x256x128 820,000ppt課件.19MC ：可以繼續(xù)的工作 成組連接 可視面判別 并行、大數(shù)據(jù)量處理 切割、組合、填充 混合渲染 實(shí)用的軟件 等值面面片的簡(jiǎn)化 曲線擬合 3維變形及受力模擬 與特定硬件結(jié)合的研究ppt課件.20體繪制 基本思想 無需構(gòu)建三維幾何模型 直接使用體數(shù)據(jù) 幾種加速方法 軟件

5、加速方法 Shear-warp 方法 硬件加速方法 2D/3D紋理映射ppt課件.21直接體繪制 直接渲染沒有提取任何表面 (DVR) 把標(biāo)量值映射為光學(xué)屬性（顏色、透明度） 選擇一個(gè)光學(xué)模型：發(fā)射、吸收或混合 通過光線跟蹤的方法實(shí)現(xiàn)體繪制積分ppt課件.22光學(xué)模型 吸收型(比如DRR，Digitally Reconstruction Radiology ) 發(fā)射型 吸收發(fā)射混合型 最大密度投射（CTA，MRA）ppt課件.23尺度值 s顏色值 RGB透明度 AT(s)物質(zhì)的分類ppt課件.24光線跟蹤 體繪制積分的數(shù)值近似 沿光線追蹤方向等步長(zhǎng)采樣 三線性差值ppt課件.25體繪制圖像的合

6、成沿著入射光線重采樣沿著入射光線重采樣:RayT(s)T(s)由后到前的合成：由后到前的合成：ppt課件.26最大密度投射（MIP）沒有發(fā)射和吸收 取沿入射光線上的最大尺度值光線s0s 優(yōu)點(diǎn)優(yōu)點(diǎn): 不需要傳遞函數(shù)! 缺點(diǎn)缺點(diǎn): 沒有深度信息!尺度值 S最大尺度 Smaxppt課件.27體繪制加速算法 軟件：ShearWarp 硬件：2D/3D 紋理加速ppt課件.28Shear-warp 變換 直接體繪制速度慢的幾點(diǎn)思考： 沿光線方向的坐標(biāo)變換費(fèi)時(shí) 三維離散數(shù)據(jù)場(chǎng)的重新采樣 如果數(shù)據(jù)集的方向與入射方向垂直計(jì)算就簡(jiǎn)單多了 ppt課件.29Shear-warp算法 對(duì)數(shù)據(jù)集進(jìn)行錯(cuò)切變換 計(jì)算沿光線

7、上各點(diǎn)的貢獻(xiàn)的積分變成了平行方向的疊加 把結(jié)果再變形回來 繼續(xù)提速的辦法 快速消除透明體素ppt課件.30硬件加速方法2D 紋理加速3D 紋理加速ppt課件.31紋理加速的原理幾何近似幾何近似 （考慮成紋理薄片）（考慮成紋理薄片）沒有對(duì)應(yīng)體數(shù)據(jù)的幾何元素沒有對(duì)應(yīng)體數(shù)據(jù)的幾何元素GeometryProcessingRasterizationFragmentOperationsppt課件.322D紋理加速 軸對(duì)齊的薄片軸對(duì)齊的薄片硬件的雙線性插值硬件的雙線性插值在內(nèi)存中數(shù)據(jù)集成三個(gè)正交方向存三份在內(nèi)存中數(shù)據(jù)集成三個(gè)正交方向存三份!ppt課件.332D紋理加速: 弱點(diǎn)產(chǎn)生原因是雙線性插值代替三線性插

8、值產(chǎn)生的誤差產(chǎn)生原因是雙線性插值代替三線性插值產(chǎn)生的誤差ppt課件.34更好的選擇: 3D 紋理映射根據(jù)視點(diǎn)對(duì)齊的數(shù)據(jù)根據(jù)視點(diǎn)對(duì)齊的數(shù)據(jù) 利用硬件的三線性插值利用硬件的三線性插值在內(nèi)存中只需保留一份數(shù)據(jù)在內(nèi)存中只需保留一份數(shù)據(jù)ppt課件.35生成紋理薄片生成紋理薄片紋理薄片的渲染紋理薄片的渲染結(jié)果圖像結(jié)果圖像硬件三線性插值硬件三線性插值合成合成3D紋理映射示意ppt課件.36醫(yī)學(xué)中體繪制：可以繼續(xù)的工作 加速（軟件，硬件） 傳遞函數(shù) 混合體繪制（MIPRayCast） 體繪制中的物體的拾取 混合渲染（體繪制面繪制） 實(shí)用的軟件 頻域體繪制研究（傅立葉投影截面定理） 多模圖像的體繪制ppt課件.

9、37體繪制結(jié)果（1）明暗計(jì)算明暗計(jì)算ppt課件.38體繪制結(jié)果（2）傳遞函數(shù)傳遞函數(shù)ppt課件.39體繪制結(jié)果（3）MIP發(fā)射吸收模型最大密度投射ppt課件.40三種常見可視化模式同時(shí)顯示 體繪制, 等值面, 混合模式ppt課件.41體繪制的優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 可以同時(shí)顯示多種組織 高解析度 缺點(diǎn) 渲染過程復(fù)雜 交互性差：慢，物體拾取困難ppt課件.42VTK簡(jiǎn)介 ppt課件.43VTK的內(nèi)容 支持幾乎所有的通用可視化算法和常見圖像處理算法。 利用C+，面向?qū)ο箝_發(fā)的對(duì)象庫(kù)。 到3.2版本為止，一共包含600個(gè)類和32.5萬行代碼。 跨平臺(tái) 支持OpenGL 和 Mesa。 支持多種解釋型語(yǔ)言“粘合

10、”代碼: Tcl/Tk, Java, and Python 開放源代碼。 ppt課件.44VTK設(shè)計(jì)思想 Data source Visualizatoin Graphics數(shù)據(jù)流思想: 管道模式Source Filter Mapper Actor 數(shù)據(jù)流方向 update方向RenderVisualization model Graphics modelppt課件.45VTK圖形模型模擬現(xiàn)實(shí)世界的舞臺(tái)的一個(gè)場(chǎng)景交互類設(shè)計(jì)cameraLightActorscreenppt課件.46VTK圖形模型(2)對(duì)應(yīng)上一頁(yè)的類抽象vtkCameravtkLightvtkActorvtkPropertyvt

11、kMappervtkTransformvtkRenderWindowvtkRenderervtkRenderWindowInteractorppt課件.47VTK圖形模型(3)1 vtkRenderWindow2 vtkRenderervtkCameravtkLightvtkActor( property, geometry(mapper), transformation, etc)ppt課件.48VTK 的應(yīng)用3D Slicer:8000/pages/papers/slicer/ppt課件.49VTK 的學(xué)習(xí)資源 VTK Users G

12、uide June 1999, Will Schroeder and Ken Martin, Kitware, Inc. (1999) The Visualization Toolkit, 2nd ed., Will Schroeder, Ken Martin and Bill Lorensen, Prentice Hall PTR (1998) ISBN 0-13-954694-4. Manual pages for all releases are available through: vtkusers mailing list available through Kitwareppt課件

13、.50ITK簡(jiǎn)介ppt課件.51什么是 ITK? ITK 是專門用于處理醫(yī)學(xué)圖像的分割與配準(zhǔn)問題的代碼開放的軟件開發(fā)包。 ITK 雖然是主要針對(duì)醫(yī)學(xué)圖像處理，也同樣可以用來處理其他類型的圖像。 ITK 主要是使用C+語(yǔ)言來設(shè)計(jì)和實(shí)現(xiàn)。同時(shí)支持解釋性語(yǔ)言(TCL, Python)“粘合”各個(gè)軟件模塊，比較簡(jiǎn)單地實(shí)現(xiàn)運(yùn)用層次的開發(fā)。ppt課件.52ITK的起源：美國(guó)虛擬人計(jì)劃美國(guó)虛擬人計(jì)劃2的一部分的一部分 NLM (the US National Library of Medicine) 及其它六個(gè)主要的組織。 三個(gè)商業(yè)伙伴: GE 研發(fā)部, Kitware和 Insightful 三個(gè)學(xué)術(shù)界伙

14、伴： North Carolina (UNC), University of Tennessee (UT), and University of Pennsylvania (UPenn)ppt課件.53ITK庫(kù)的設(shè)計(jì)特點(diǎn) ITK 跨平臺(tái) (Unix and Windows)。 ITK 大量使用C+的 語(yǔ)言特性，同時(shí)又支持MSVC, Sun, gcc 和 SGI等多種編譯器 。 “Smart pointers”: 智能指針，簡(jiǎn)化資源的管理。 Cmake: 跨平臺(tái)的編譯環(huán)境。ppt課件.54ITK 庫(kù)的主要內(nèi)容（1） ITK 主要設(shè)計(jì)理念是提供一個(gè)研究新算法和運(yùn)用老算法的通用平臺(tái)。 配準(zhǔn)算法: M

15、etrics: Mutual Information Landmark Distance Transformations Affine, Rigid, or Projective Kernel-based (e.g., Elastic-Body Splines and Thin-Plate Splines) Optimization Algorithms Conjugate Gradient Gradient Descentppt課件.55ITK 庫(kù)的主要內(nèi)容（2） 分割算法: Deformable mesh Balloon force filter Region growing Waters

16、hed 圖像處理算法: Contrast Enhancement (Power-law Adaptive Histogram Equalization ) Morphology Image filtersppt課件.56ITK帶給我們的益處 可以從大量?jī)?yōu)秀的代碼中學(xué)習(xí)。 減少了重復(fù)開發(fā)的工作量。 建立了一個(gè)基礎(chǔ)的可通用的算法庫(kù)。 建立了一個(gè)可用于高級(jí)開發(fā)的算法平臺(tái)。 方便了我們的以后的研究工作。 ppt課件.57ITK與VTK的關(guān)系 相似性: 代碼開放的結(jié)構(gòu) 庫(kù)設(shè)計(jì)結(jié)構(gòu)相似: 數(shù)據(jù)流的類關(guān)聯(lián)結(jié)構(gòu) 使用對(duì)象廠的模式 相似的庫(kù)維護(hù)和發(fā)展機(jī)制. 不同: VTK: Visualization ITK:

17、 Segmentation and Registration ITK 使用模板和智能指針 不同數(shù)據(jù)格式ppt課件.58ITK與VTK的接口 回調(diào)函數(shù)用于連接 ITK和VTK的數(shù)據(jù)管道 : ITK: itkVTKImageImport, itkVTKImageExport VTK: vtkImageImport, vtkImageExport Typical data flow:vtkDatavtkImageExportItk:VTKImageImportItk:ImageFilterItk:VTKImageExportvtkImageImportppt課件.59ITK應(yīng)用實(shí)例 - 利用互信息量

18、配準(zhǔn)Visualization by VTKPatient scans in multi modalitiesinput VTK /ITK InterfaceRegistrationresultsoutputUpdateviewportsMutual Information Registration Filterin ITKItk:MutualInformationImageToImageMetricItk:Rigid or AffineRegistrationItk:GradientDescentOptimizerppt課件.60ITK應(yīng)用實(shí)例 - 利用互信息量配準(zhǔn)（2）ppt課件.61商業(yè)

19、可視化工具-AVS&AMIRA介紹ppt課件.62AVS/Express的內(nèi)容 面向?qū)ο罂梢暬ぞ?模塊化 分層次 開放可擴(kuò)展 上百種預(yù)先定義的可視化開發(fā)工具 分析 顯示 數(shù)據(jù)編輯 交互ppt課件.63 組件庫(kù)選擇頁(yè) 菜單條 組件庫(kù) 被使用的組件 狀態(tài)條組件AVS編程界面ppt課件.64生成一個(gè)立方體的示例ppt課件.65生成一個(gè)立方體的示例（2）ppt課件.66Amira 最簡(jiǎn)單地醫(yī)學(xué)可視化系統(tǒng)最簡(jiǎn)單地醫(yī)學(xué)可視化系統(tǒng) 支持多種可視化方法 支持硬件加速 支持多種文件格式 傻瓜化的可視化數(shù)據(jù)處理 參數(shù)調(diào)節(jié)多樣 幾乎沒有學(xué)習(xí)曲線 ppt課件.67Amira體繪制示例體繪制示例ppt課件.68Amira體繪制示例（體繪制示例（2）ppt課件.69MITK介紹 MITK, Medical Imaging ToolKit, is a C+ library for integrated medical image processing and analyzing develo