【畢業(yè)學位論文】（Word原稿）基于mongoDB的氣象數據三維可視化系統的研究與設計-軟件工程

碩士學位論文 （碩士學位） 姓 名 學 號 : 所在院系： 職業(yè)類型： 專業(yè)領域： 指導教師： 副指導教師： 基于 氣象數據三維可視化系統的研究與設計 A in 2014 d n 學位論文版權使用授權書 本人完全了解同濟大學關于收集、保存、使用學位論文的規(guī)定，同意如下各項內容：按照學校要求提交學位論文的印刷本和電子版本；學校有權保存學位論文 的印刷本和電子版，并采用影印、縮印、掃描、數字化或其它手段保存論文；學校有權提供目錄檢索以及提供本學位論文全文或者部分的閱覽服務；學校有權按有關規(guī)定向國家有關部門或者機構送交論文的復印件和電子版；在不以贏利為目的的前提下，學?？梢赃m當復制論文的部分或全部內容用于學術活動。 學位論文作者簽名： 2014 年 3 月 2 日 同濟大學學位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學位論文，是本 人在導師指導下，進行研究工作所取得的成果。除文中已經注明引用的內容外，本學位論文的研究成果不包含任何他人創(chuàng)作的、已公開發(fā)表或者沒有公開發(fā)表的作品的內容。對本論文所涉及的研究工作做出貢獻的其他個人和集體，均已在文中以明確方式標明。本學位論文原創(chuàng)性聲明的法律責任由本人承擔。 學位論文作者簽名： 2014 年 3 月 2 日 同濟大學 碩士學位論文 摘要 I 摘要 數據可視化技術是指運用計算機圖形學和圖像處理技術，將數據轉化為圖形或圖像在屏幕上顯示出 來，并進行交互處理的理論、方法和技術，它涉及到計算機圖形學、圖像處理、計算機輔助設計、計算機視覺及人機交互技術等多個領域。 當前大氣探測的手段在不斷提高 ,人們獲得氣象數據的途徑越來越多 ,數據量也越來越大 ,如何更加有效地利用這些數據 ,客觀地解釋這些數據成為人們十分關心的問題。隨著計算機圖像、圖形技術的發(fā)展 ,憑借計算機的巨大處理能力 ,科學計算可視化技術能夠把巨大數量的數據轉換為靜態(tài)或動態(tài)圖像或圖形呈現在人們的面前 ,為人們分析、理解數據、形成概念和找出規(guī)律提供了強有力的手段。因此 ,研究和開發(fā)氣象可視化系統 ,將觀測 及數值預報計算出來的大量氣象數據進行有效的處理和三維圖形顯示 ,使氣象預報工作者能夠更直觀、更深入理解大氣演變信息 ,從而 準確地對天氣情況作出判斷 。 本系統包含兩個主要的模塊：（一），基于 布式云存儲、時空雙重索引、時空雙向游程壓縮的數據管理模塊。（二），基于 多線程渲染模塊，八叉樹支持下的多細節(jié)層次管理；多粒度支持下的氣象數據自適應調度，氣象數據到場景數據的轉化，語義映射的氣象信息自適應調度。 關鍵字 ： 氣象數據 ,可視化， I is to to or on a to At is to s is to to a of of of to or or to in of a to of of it D be of a to in of of of of on FC of of 同濟大學 碩士學位論文 目錄 I 目錄 第一章 引言 . 1 發(fā)背景 . 1 內外研究現狀 .統原理 . 2 文結構 .二章 相關技術介紹 . 3 空 R 樹索引技術 . 3 本介紹 . 3 要特點 . 3 . 4 介 . 4 性 . 4 . 5 介 . 5 性 . 5 . 6 本介紹 . 6 要特點 . 6 第三章 系統分析與設計 . 7 求分析 . 7 統流程示意圖 . 7 據流程圖 . 8 細流程示意圖 . 8 統數據介紹 . 9 據介紹 . 9 式轉換與數據劃分 . 9 第四章 模塊設計 . 11同濟大學 碩士學位論文 目錄 染模塊 . 11 架結構 . 11 線程與 線程的結合 . 12 據管理模塊 . 13 據存儲 分布式并行存儲 . 13 據索引 樹的時空索引 . 14 據壓縮 . 15 據調度 . 16 第五章 模塊實現 . 18 染模塊 . 18 視化場景的建立與渲染 . 18 據管理模塊 . 22 據元組結構設計 . 23 空 R 樹索引設計 . 25 第六章 應用程序設計 . 29 叉樹結點設計 . 29 叉樹子結點的重要信息 . 29 叉樹結點的設計 . 30 景中渲染結點的結構體設計 . 30 個重要類的介紹 . 31 染模塊順序圖 . 34 建渲染文件過程 . 34 用程序獲取渲染文件過程 . 34 分代碼 . 35 分相關結構體 . 35 叉樹部分代碼 . 36 件管理類部分代碼 . 38 第七 章 實驗結果 . 50 基元”紋理 . 50 驗數據 . 50 同濟大學 碩士學位論文 目錄 驗效果 . 50 染模塊測試結果 . 50 據管理模塊測試結果 . 51 第八章總結與展望 . 54 第九章 參考文獻 . 55 第一章 引言 1 第一章 引言 發(fā)背景 科學計算可視化是計算機圖形學研究的熱點領域之一，可視化技術極大地提高了數據處理的速度和處理的質量推進了科學計算工具和研究環(huán)境的進一步現代化，從而使科學研究的面貌發(fā)生了根本的變化。氣象預報關系到億萬人民的生活、國民經濟持續(xù)發(fā)展，國家安全，對災害天氣的預報和預防將會大大減少人民生命財產的損失。氣象預報的準確性來自于氣象數據的準確獲取，以及對數據的處理與分析，而氣象預報業(yè)務鎖固有的及時性需求使 得氣象工作者必須在短時間內從海量的氣象數據庫中獲取有價值的信息，將可視化技術用于氣象領域，使得原來復雜，晦澀難懂的氣象數據轉化為直觀的二維和三維的圖像，極大地幫助了氣象工作者分析氣象數據和在短時間內做出準確的判斷，因此面向氣象數據的可視化技術具有極大的研究價值。 云是自然界中常見的景觀，在計算機技術日益成熟的今天，云的計算機模擬已經成為可能并已廣泛的引用到各種領域中，如影視特效、游戲場景、氣象預報等。作為自然界中做常見的現象，云的模擬在涉及到自然場景的游戲中已不可或缺；對于影視劇的情節(jié)需要生產各種滿足藝術家 要求的云也是非常實用并且有效的；在虛擬戰(zhàn)場環(huán)境中，云的模擬有利于天氣信息的視覺直觀表達。 內外研究現狀 三維云的計算機模擬的研究取得了長足的進展。不同的基元被用于云的建模工作中。 和 采用了基于橢球體對云建模的方法，所不同的是，用的不規(guī)格的碎片紋理映射到橢球表面的方法模擬云的細節(jié)，而 和 人提出了一種使用“元球”創(chuàng)建人造云的方法，通過利用 速很好的實現了云的實時模擬 16。 人提出給予元細胞自動機的模擬方法對云進行模擬8101318，他們提出的方法實現了對云圖的三維建模 14，此外，他們提出了全球級云的建模方法較好的完成了交互式云密度的生成 11。 2 等人提出了 法對云形成的物理過程進行了近似模擬，能夠根據一定的大氣參數設置生成不同類型的云。這為本文的研究工作找到了切合點，本文對氣象數據進行了分析，但不同的是，采用粒子系統系統方式實現云的可視化，這里我們把粒子成為“基元”，給“基元”設置不同的紋理，并改變“ 基元”的位置和尺同濟大學 碩士 學位論文 基于 氣象數據三維可視化系統的研究與設計 2 寸等，然后對其進行渲染。 統原理 該系統利用 斷接入傳感器傳送的數據（空氣濕度），結合時空 帶的索引查詢目標時間段目標區(qū)域數據，最后通過象地描繪出目標區(qū)域的氣象數據。 本實驗也是基于“基元”的基本思想，但是不同的是，“基元”是不同形狀的二維面片。根據原始的氣象數據（大氣中某區(qū)域的水分密度），組合這些不同的“基元” ,并給它們綁定不同的紋理，通過改變紋理的屬性參數和“基元”的位置，大小等，以模擬現實世界中的云。 該系統主 要圍繞兩個模塊設計：（一）：采用分布式存儲，基于時空 R 樹管理的數據管理模塊。采用 布式管理的云存儲 123，時空雙重索引，時空雙向游程數據壓縮，（二）：基于 多線程渲染模塊。氣象數據到場景數據的轉化；八叉樹 17支持下的多細節(jié)層次管理；多粒度支持下的氣象數據自適應調度 ,語義映射的氣象信息自適應可視化。 文結構 本文總共分為十個章節(jié)，第一節(jié)引言，介紹了國內外關于云的渲染的研究背景，介紹了幾種研究方式，同時提出了自己的研究方式，闡述了系統的 工作原理。第二章基本介紹了系統所用的相關技術，第三章集中介紹了該系統的分析與設計，介紹了系統相關類圖和工作流程示意圖，同時對系統的數據做了進一步說明。第四章，模塊設計，描述個各個模塊的設計，及相關的技術。第五章，模塊實現，對第四章的內容做進一步設計，類圖，活動圖等。第六章，應用程序設計，系統開發(fā)中每個模塊的設計，對每個模塊的編程做詳細介紹。第七章，實驗結果分析。展示實驗環(huán)境，分析實驗數據，得出結論。第八章，總結與展望未來，總結結論，并對該氣象數據可視化的前景做出推論。第九章，參考文獻介紹。 第二章 相關技術介紹 3 第二章 相關技術介紹 空 R 樹索引技術 本介紹 時空 R 樹 69是一種與 B 樹 15類似的高度平衡樹。這種索引是動態(tài)的，不需要定期重建。索引記錄（ 存在葉節(jié)點中。 時空 R 樹的結點分為葉結點和中間結點。葉結點存儲存儲一些了元組的物理位置，每個元組代表某個對象在某個時刻、某個位置的屬性，并且每個元組都有一個唯一的標示符，標示符用于檢索。每個葉結點同時還記錄有一個唯一的標示符，用于結點的檢索。中間結點存儲下層結點的時空范圍，根結點則存儲整棵時空 R 樹的時空范圍 。 圖 空 R 樹索引結構描述示意圖 要特點 時空索引的主要特點：時空高效查詢。對任何帶有時間和空間屬性的記錄，從時間維和空間維同時構建索引，不同于普通方式的一維或者多維的索引。 大規(guī)模時空數據的管理。在索引結構中，葉結點存儲一系列時空元組數據，中間結點存儲下層結點的時空范圍和結點標示符，時空 R 樹是一種與 B 樹類似的高度平衡樹。大幅度增加元組數據，不會導致索引結構的復雜度增高，同時索引結構的結點的數目不會隨著元組數據的大幅度插入而急劇上升。 同濟大學 碩士 學位論文 基于 氣象數據三維可視 化系統的研究與設計 4 簡介 一款高性能的 3D 圖形開發(fā)庫。廣泛應用在可視化仿真、游戲、虛擬現實、高端技術研發(fā)以及建模等領域。使用標準的 C+和 分利用 設計模式，發(fā)揮開源開發(fā)模型的優(yōu)勢來提供一個免費的開發(fā)庫，并且重點集中在用戶的需求上 ,可以運行在 列、 及 作系統。 性 它完全是由標準 C+程序和 的，充分利用 設計模式，發(fā)揮開源開發(fā)模型 的優(yōu)勢來提供一個免費的開發(fā)庫，并且重點集中在用戶的需求上。隨著使用一個全特性的場景圖 關鍵優(yōu)勢在于它的性能、可擴展性、可移植性和可快速開發(fā)。 性能 :支持視圖投影剔除（ ，隱藏面剔除（ 小特性剔除（ 細節(jié)層次節(jié)點（ ，狀態(tài)排序 (頂點 數組 ，頂點緩沖對象（ 色語言和 顯示列表（ 以上所列都是場景圖內核的一部分。 快速開發(fā) :場景圖的內核封裝了包括最新擴展的大部分 能，提供諸如剔除和排序的渲染優(yōu)化功能，同樣提供能快速開發(fā)高性能圖形應用程序的一整套補充庫。應用程序開發(fā)者可以更關心實質性內容和如何操控這些它們，而不再是底層的代碼 數據裝載：為了讀入 和寫出數據庫，有一個數據庫的支持庫（ 加了通過后綴名動態(tài) 插件 機制，從而支持大量數據格式，目前的發(fā)布版本有 55種單獨的插件支持 3D 數據和 圖像格式 的裝載。 節(jié)點工具箱：這個場景圖同樣有一套節(jié)點工具集，它們是可以在你的應用程序中編譯或者在運行時裝載的獨立庫，它們增加支持 粒子系統 （ 高質量 抗鋸齒 文本（ 特效框架結構（ 陰影框架結構 (交互控制（ ，與 虛擬仿真 相關的效果（ 。 可移植性：場景圖的內核已經被設計成盡量少的依賴具體的平臺，很少的部分 超出了標準 C+程序和 就使得這個場景圖可以快速移植到大部分系統中。 第二章 相關技術介紹 5 簡介 寫 個定義了一個跨編程語言、跨平臺的編程接口的規(guī)格，它用于三維圖象（二維的亦可）。 個專業(yè)的圖形程序接口，是一個功能強大，調用方便的底層圖形庫 . 性 一個開放的三維圖形軟件包，它獨立于窗口系統和操作系統，以它為基礎開發(fā)的應用程序可以十分方便地在各種平臺間移植； 以與+緊密接口，便于實現機械手的有關計算和圖形算法，可保證算法的正確性和可靠性； 用簡便，效率高。它具有七大功能： 建模： 形庫除了提供基本的點、線、多邊形的繪制函數外，還提供了復雜的三維物體（球、錐、多面體、茶壺等）以及復雜曲線和曲面繪制函數。 變換： 形庫的變換包括基本變換和投影變換。基本變換有平移、旋轉、變比鏡像四種變換，投影變換有平行投影（又稱正射投影）和透視投 影兩種變換。其變換方法有利于減少算法的運行時間，提高三維圖形的顯示速度。 顏色模式設置 ： 色模式有兩種，即 式和顏色索引（ 光照和材質設置： 有輻射光（ 環(huán)境光（ 漫反射光（ 鏡面光（ 材質是用光反射率來表示。場景（ 物體最終反映到人眼的顏色是光的紅綠藍分量與材質紅綠藍分量的反射率相乘后形成的顏色。 紋理映射（ 利用 理映射功能可以十分逼真地表達物體表面細節(jié)。 位圖 顯示和圖象增強圖象功能除了基本的拷貝和像素讀寫外，還提供融合（ 反走樣（ 霧（ 特殊圖象效果處理。以上三條可使被仿真物更具真實感，增強圖形顯示的效果。 雙緩存動畫（ 緩存即前臺緩存和后臺緩存，簡言之，后臺緩存計算場景、生成畫面，前臺緩存顯示后臺緩存已畫好的畫面。 此外，利用 能實現深度暗示（ 運動模糊（ 特殊效果。從而實現了消隱算法。 同濟大學 碩士 學位論文 基于 氣象數據三維可視化系統的研究與設計 6 基本介紹 布式文檔存儲數據庫，由 C+語言編寫，旨在為 用提供可擴展的高性能數據存儲解決方案 1。 一個基于分布式文件存儲的數據庫。 一個介于 關系數據庫 和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。它支持的數據結構 非常松散，是類似 式，因此可以存儲比較復雜的數據類型 2。 大的特點是支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立 索引 。 務端可運行在 臺，支持 32 位和 64位應用，默認端口為 27017。推薦運行在 64 位平臺，因為 32 位模式運 行時支持的最大文件尺寸為 2。 要特點 面向集合存儲，易存儲對象類型的數據。模式自由。支持動態(tài)查詢。支持完全索引，包含內部對象。支持查詢。支持復制和故障恢復。使用高效的二進制數據存儲，包括大型對象（如視頻等）。自動處理碎片，以支持云計算層次的擴展性。支持 C+， C#等多種語言。文件存儲格式為 種 擴展）?？赏ㄟ^網絡訪問。 第三章 系統分析與設計 7 第三章 系統分析與設計 求分析 為了實時模擬氣象數據，該系統需要如下幾個模塊：存儲模塊：持續(xù)接入大氣傳感器傳送的數據；索引模塊：查詢目標區(qū)域的大氣數據（無論分時間段或者地理區(qū)域）；渲染模塊：利用三維技術形象描繪出該目標區(qū)域的大氣信息（本系統為目標區(qū)域中的水分含量）。 統流程示意圖 圖 統流程示意圖 氣象傳感器不斷監(jiān)測大氣數據，同時將監(jiān)測結果發(fā)生到臨時數據庫中，通過對臨時數據庫中的監(jiān)測數據建立索引，構成索引數據庫，模擬終端通過查詢請求獲取目標矩形時空范圍內的大氣數據進行渲染，模擬大氣信息。 圖 的臨時數據庫用于臨時存儲大氣傳感器傳送的氣象數據，因為每個傳感器被安放在固定的位置，每個時刻傳感器發(fā)送的數據必須包括時刻屬性、傳感器的位置屬性。時空 R 樹技術根據這兩個關鍵數據對傳感器數據進行構建索引。時空數據庫存儲構建好索引的大氣數據。模擬終端用于模擬大氣信息（發(fā)送目標矩形時空區(qū) 域，獲取該時空區(qū)域的大氣信息，氣象模擬）。 同濟大學 碩士 學位論文 基于 氣象數據三維可視化系統的研究與設計 8 據流程圖 圖 據流程圖 氣象傳感器不斷向臨時數據庫發(fā)送狀態(tài)數據，當臨時數據庫中的臨時數據表存儲到一定的規(guī)模后，將該臨時表中的狀態(tài)數據進行時空 R 樹索引構建，同時將索引數據存在時空數據庫中。模擬終端想時空數據庫發(fā)送查詢請求，通過時空R 樹索引獲取目標氣象數據，形成渲染文件，在模擬終端上渲染，以模擬目標區(qū)域的大氣信息，提供研究。 細流程示意圖 圖 統詳細流程示意圖 系統整體分為 系統分為如下幾個重要模塊 ,數據管理模塊 ：主要的功能是對于大批量的數據進行管理，以達到高效存儲的效果，這是傳感器大氣信息數據的最初處理。數據處理模塊：將獲取的目標數據進行優(yōu)化處理，然后形成場景的渲染文件。數據渲染模塊：將渲染文件轉化為場景結點，整合到場景中去，然后高效渲染這些數據。 第三章 系統分析與設計 9 統數據介紹 在本系統中，首先將傳感器發(fā)送的數據進行數據預處理工作，將一個大的數據塊分為幾個小的數據塊，每個小的數據塊作為一條記錄存在在時空索引數據中，并對這小的數據塊進行索引構建。 據介紹 傳感器數據空間分布格式： 100 100 100（ M） ，即三維空間內每隔 100 米記錄著該點的大氣信息。這里指大氣中水分的含量。傳感器數據分布格式： 502 501 59(U,V),501*501*60（ W）。 圖 據介紹示意圖 首先按照 X 軸上分布，箭頭的指向為分布方向，然后再以 Y 軸層疊，果超過了 502 502 的數據則像 1、 2、 3 分布一樣以 Z 軸層疊。 式轉換與數據劃分 為了能夠內存中的快速索引，需將 檔的內容提取然后轉換成二進制數據，轉換的二進制數據類型為 型，占用 4 個字節(jié)，文件的大小為 502 501 59。如 果將文件作為一個整體存儲，第一數據量大，第二數據跨越區(qū)域大，不利于自適應調度。索引我們將整體數據劃分為 64*64*64 的若干個數據小塊。每個數據小塊作為一條 儲的記錄進行存儲、時空索引的元組數據進行構建索引。 如何對數據小塊進行時空索引的構建？傳感器數據中不僅包含了某個區(qū)域同濟大學 碩士 學位論文 基于 氣象數據三維可視化系統的研究與設計 10 的大氣信息數據，同時記錄了該數據集合的采集位置。如圖 示的 位置。在將整個數據大塊劃分為 64*64*64 的小塊時，同樣需要計算每個數據小塊集合的起始位置。設數據小塊的起始位置為（ x,y,z） ,則數據小塊的整體空 間為（ x+64*100,y+64*100,z+64*100）。該時空區(qū)域和采集時刻組成該數據小塊的時空索引項。 第 4 章 模塊設計 11 第四章 模塊設計 染模塊 該模塊主要負責場景的渲染工作，比如場景攝像機的構建，場景構建，場景裁剪，場景渲染，時間響應等。 架結構 在渲染模塊中，最重要的視景器 (如下圖所示： 圖 染框架結構圖 如圖 包括： (1)用于實現交互式場景漫游的漫游器。 (2)事件處理器組 _責處理視景器 的事件隊列 _要是鍵盤 /鼠標的事件的處理。 同濟大學 碩士 學位論文 基于 氣象數據三維可視化系統的研究與設計 12 (3)場景 _包括視景器鎖對應的場景圖形根節(jié)點，以及用于提高節(jié)點和圖像數據處理速度的兩個分頁數據庫（線程實現）。 (4)攝像機 _ _為場景的主攝像機，后為從攝像機組，不過 沒有規(guī)定一定要使用主攝像機來現實場景，它的更重要的作用是為 界矩陣的計算提供依據。 攝像機是 圖顯示的核心器件，沒有攝像機就沒有辦法將場景圖形的實景展現給用戶，它包括： (1)視口（ 示了攝像機 的顯示窗口的位置和尺寸。 (2)圖形上下文（ ,通常也就是圖形相關的圖形顯示窗口（ 于 統而言，他實際上是通過 個熟悉的 創(chuàng)建的），不過也可能是離屏渲染設備（例如 . 圖形窗口的另外一個任務就是及時把系統和用戶交互產生的事件反饋到事件處理器組去。 渲染器 (多的時候是： 這是這個選（ 繪制（ 關鍵。 此外， 顯示設置工具 會直接對攝像機的處理工作負責，大部分的設置都可以傳遞到攝像機對應的窗口特性（ ，并在渲染過程中發(fā)揮作用。 的事件處理機制與 息處理緊密聯系，首先獲取仿真環(huán)境中所有的（ 形窗口，然后通過 數通知窗口執(zhí)行消息回調函數，將消息添加到 _息隊列中， 取交互的事件，并交給 理事件。 圖 真環(huán)境與 間消息傳遞示意圖 線程與 線程的結合 結合主要是在 應的視圖類中