氣象數(shù)據(jù)一體化平臺方案與對策

1、項目編號：RJ20150020設(shè)計方案氣象數(shù)據(jù)一體化信息服務(wù)平臺設(shè)計方案2016年1月南京助事達軟件科技有限公司1 概述 31.1 背景與預期 31.2 建設(shè)內(nèi)容 42設(shè)計方案 52.1 系統(tǒng)架構(gòu) 52.1.1. 平臺總體架構(gòu)圖 52.1.2. 數(shù)據(jù)流概覽 62.2 分布式解析引擎 62.2.1. 分布式解析引擎概述 62.2.2. 分布式解析設(shè)計架構(gòu) 72.3 氣象分布式數(shù)據(jù)庫設(shè)計 122.3.1. 氣象一體化平臺分布式數(shù)據(jù)庫設(shè)計概述 122.3.2. 分布式數(shù)據(jù)庫設(shè)計架構(gòu) 152.4 氣象資料云服務(wù)引擎 172.4.1. 應(yīng)用授權(quán)機制 172.4.2. 授權(quán)認證機制 172.4.3. 服務(wù)

2、請求基礎(chǔ)參數(shù)體系建立 172.5 服務(wù)版本管理體系建立 182.5.1. 版本管理設(shè)計 182.5.2. 建立服務(wù) API幫助文檔 181概述1.1背景與預期針對以往基礎(chǔ)數(shù)據(jù)庫建設(shè)分散、標準不統(tǒng)一、服務(wù)能力差等問題， 按照“系統(tǒng)集成，數(shù)據(jù)集中，資源集約，功能完善，突出特色”的思 路，經(jīng)過兩年半的努力，依托江蘇預報業(yè)務(wù)一體化平臺項目建設(shè)，初 步建成全省統(tǒng)一的基礎(chǔ)數(shù)據(jù)環(huán)境，有效提高了信息資源的利用率和數(shù) 據(jù)服務(wù)能力，為本省率先實現(xiàn)氣象現(xiàn)代化提供了有力支撐。信息中心在全省氣象信息業(yè)務(wù)建設(shè)的基礎(chǔ)上， 先后出臺幾十項標 準或規(guī)范，為一體化體系提供標準支撐，完善了我省氣象信息的標準 規(guī)范體系；優(yōu)化數(shù)據(jù)傳輸

3、流程，時效性可靠性提升顯著，省內(nèi)區(qū)域自 動站可實現(xiàn)60秒內(nèi)、雷達數(shù)據(jù)8分鐘之內(nèi)、省際共享上海市區(qū)域自 動站100秒內(nèi)到達預報員桌面；通過“軟 CAST同步機制，省市間 數(shù)據(jù)實現(xiàn)了秒級流轉(zhuǎn)；完成了自動站、土壤水份、精細化等50多類數(shù)據(jù)的解析入庫，數(shù)據(jù)解析的種類和覆蓋范圍在不斷擴充， 確保了數(shù) 據(jù)的完整性、一致性。架設(shè)全省云平臺實現(xiàn)硬件資源的統(tǒng)一管理與分 配，達到資源集約化、應(yīng)用多樣化的目標。為進一步提高和增強氣象數(shù)據(jù)服務(wù)能力， 科學準確的做好數(shù)據(jù)服 務(wù)工作，結(jié)合前期預報業(yè)務(wù)一體化平臺使用和市縣推廣應(yīng)用情況，在氣象數(shù)據(jù)傳輸、數(shù)據(jù)存儲和數(shù)據(jù)應(yīng)用方面，提出諸多改進措施和方案， 旨在不斷的提高氣象數(shù)據(jù)服

4、務(wù)能力和質(zhì)量。1.2建設(shè)內(nèi)容根據(jù)江蘇氣象現(xiàn)代化發(fā)展的需求， 在現(xiàn)有工作基礎(chǔ)上，進一步完 善全省基礎(chǔ)資源配置和管理，開展智能化、個性化的基礎(chǔ)數(shù)據(jù)環(huán)境信 息服務(wù)平臺的設(shè)計和開發(fā)，繼續(xù)優(yōu)化各類基礎(chǔ)資料的收集處理流程， 做好統(tǒng)一數(shù)據(jù)環(huán)境在市縣的推廣應(yīng)用，著手開展適合本省的實時質(zhì)量 控制方法研究和質(zhì)控系統(tǒng)的設(shè)計和開發(fā)工作， 提高數(shù)據(jù)服務(wù)質(zhì)量。通 過建立團隊協(xié)作機制，聯(lián)合進行數(shù)據(jù)處理和信息技術(shù)應(yīng)用開發(fā)， 建立 數(shù)據(jù)規(guī)范；完成實時/歷史數(shù)據(jù)庫設(shè)計、解碼和入庫。2設(shè)計萬案2.1系統(tǒng)架構(gòu)2.1.1. 平臺總體架構(gòu)圖C數(shù)據(jù)層核心數(shù)據(jù)支揮庫業(yè)務(wù)數(shù)據(jù)支撐庫業(yè)務(wù)邏輯函數(shù)庫統(tǒng)的規(guī)范標準F'I分布式處理氣象數(shù)抿云云

5、存錨管理駕駛艙云鮮折服務(wù)樓心槪務(wù)接口省舟咸向同步應(yīng)用層元解析引華分布式脈務(wù)MIft數(shù)據(jù)開步骨理任務(wù)盟悅報文解析組杵云朦務(wù)適配器數(shù)據(jù)定劃同步監(jiān)控M（補調(diào)云存悩引隼K步成拎及扯計救據(jù)頂址監(jiān)挖1用戶及權(quán)隈系蜿管理kA支撐層云解析引璽 分布式檢案引聲 云曲引華云適配引畫安全的保障體系圖表i平臺總體架構(gòu)圖2.12數(shù)據(jù)流概覽CIMISStft 口分右式解析服務(wù)（ Ktrlhulrd»vr*l：e|分布式數(shù)據(jù)庫圖表2數(shù)據(jù)流概覽DataD遷鈿Nod«D占tjNodeDataNod«2.2分布式解析引擎2.2.1.分布式解析引擎概述氣象資料的來源有多種，包括上百種類型的氣象資料報文

6、、各個 業(yè)務(wù)系統(tǒng)產(chǎn)出的氣象服務(wù)產(chǎn)品、來自于 CIMISS的數(shù)據(jù)資料等等。由 于資料種類繁多、場地分散、解析入庫方式及質(zhì)量參差不齊等等各種 問題的存在，同樣為了滿足集中管理、統(tǒng)一標準的業(yè)務(wù)目標需求，我 們最終使用了氣象數(shù)據(jù)分布式解析引擎 來實現(xiàn)其各種功能。Service Control IKefiiotingPurser Client Mcm!tor 和電mingA丘解折服務(wù)貧理器服務(wù)管理場采管理殂件管理資料源監(jiān)控安全管理智能化解析配胃Folder Watch or RematingrT皿文 嶄枳 用件1報文辭忻'旦件時Mr 鬥件匚1馳1 r 1工C寮tirr1機別二1斛rH田件孫布式輔

7、析科'222. 分布式解析設(shè)計架構(gòu)圖表3分布式解析設(shè)計架構(gòu)分布式解析云的核心主要由四個部分組成：a）解析云服務(wù)主要通過實時發(fā)布遠程對象的方式為各個功能域提供分進程間信息共享平臺。共享的遠程對象主要包括：報文資源文件夾監(jiān)控對象、分布式解析器運行時對象、服務(wù)全局控制對象、智能化解析配置對象、 全局報文解析組件適配對象等。實質(zhì)：遠程對象以信道作為發(fā)布渠道，來進行客戶端和服務(wù)器之間的通信。信道包括客戶端的信道部分和服務(wù)器的信道部分發(fā)布的內(nèi)容以消息作為載體，消息包含遠程對象的信息、被調(diào)用方法的名稱以及所有的參數(shù)。TrinipArtrit Prowy二 IAKP 應(yīng) TTTP®斥EiMf

8、l旺R汩3心方 眥CMrtnnelSPf*U嘶圖表4分布式客戶端與服務(wù)間通信原理報文資源文件夾監(jiān)控對象：每種資源文件都存儲在一個或多個文件夾中，當有新的文件加入時解析云自動將待解析的文件加入到 解析資源池（即任務(wù)隊列）。當 分布式解析器中有存在空閑的解析器時， 此解析器則會自動向服務(wù)申 請一個解析任務(wù)。之后，當一個任務(wù)被解析器處理完畢后，其就會從任務(wù)隊列中自動刪除，同時將相對應(yīng)的原始數(shù)據(jù)文件自動移動到已處理文件目錄下 面。分布式解析器運行時對象：每個報文解析器分別部署在一個或多個服務(wù)器上，那么各個解析 器運行狀態(tài)的管理就十分的重要。 為了滿足全局監(jiān)控，定向管理的目 標，云解析平臺將分布式解析器

9、運行時對象作為各功能域內(nèi)部可見的 全局對象進行發(fā)布。即各個解析器運行后自動向云服務(wù) 發(fā)送注冊請求, 云服務(wù)接受請求后則將此解析器加入到解析器隊列中用于后期的監(jiān)控及管理。服務(wù)全局控制對象：主要負責服務(wù)的啟動、暫停、重啟以及重新加載配置文件等工作。智能化解析配置對象：此對象主要為分布式解析引擎提供解析知識庫，為了實現(xiàn)解析組 件的可插拔我們將 智能解析配置對象 也作為全局對象進行發(fā)布?？梢?從云解析管理器中對其內(nèi)容進行更改，更改后云服務(wù)自動通知各個解 析器接下來的解析工作使用 新的解析知識庫 進行報文識別及智能解 析。全局報文解析組件適配對象：為了使報文的識別實現(xiàn) 動態(tài)化擴展，我們將解析適配器對象進

10、行 全局發(fā)布，當云解析管理器對解析適配器信息進行更改后云解析服務(wù) 將自動應(yīng)用新的解析適配方案。所有的分布式解析器都使用云解析服 務(wù)提供的統(tǒng)一解析適配器進行解析適配工作， 所以當云服務(wù)的適配器 方案改變后各個解析器 自動使用新的方案進行適配工作。b）云解析管理器云解析管理器是云解析服務(wù)的一個客戶端，主要用于輔助云解析 服務(wù)工作，為云解析服務(wù)提供可視化操作界面。如云解析服務(wù)提供的 各個實時對象的管理及運行時參數(shù)的維護管理等工作都在云解析器 中進行操作。如報文解析組件適配信息配置、智能化解析知識庫配置、分布式 客戶端監(jiān)控、資源池監(jiān)控、解析組件配置、數(shù)據(jù)源配置、運行日志管 理等。c）分布式解析引擎分布

11、式解析引擎是云解析服務(wù)的運算核心，所有類型的數(shù)據(jù)都通 過此引擎進行解析運算。報文解析引擎由三大支撐組件（數(shù)據(jù)類型識 別組件、智能化解析組件和解析組件適配器）和解析組件池組成。數(shù)據(jù)類型識別組件：數(shù)據(jù)類型識別組件主要對當前申請到的解析資源進行自動識別， 主要通過數(shù)據(jù)文件名、數(shù)據(jù)段特殊標記以及其他特性化配置方式進行 識別。數(shù)據(jù)類型被識別后向解析引擎反饋此文件的解析適配標識。解析組件適配器：解析組件適配器主要將數(shù)據(jù)類型識別組件反饋的解析適配標識進 行適配，并從解析組件工廠中構(gòu)造一個適合此適配標記的解析組件智能化解析組件：智能化解析組件主要將智能解析知識庫中的信息翻譯成解析器能夠識別的信息結(jié)構(gòu)，并將此信

12、息結(jié)構(gòu)提供給解析組件進行報文解析。解析組件池：由一系列報文解析組件組成，如重要天氣報解析組件、A文件解析組件、高空資料解析組件、自動站解析組件等等。每個解析組件都 遵從解析引擎的報文解析流程，最終完成報文的解析。報文解析流程如下:能 H=Hi報渝代1識別圖表5報文解析流程d）分布式解析器分布式報文解析器主要有如下幾個特性:1. 分布式：即此解析器可以在多臺服務(wù)器上同時運行， 同樣也可以 在一臺服務(wù)器上運行多個實例。2. 可擴展性:解析器中搭載的是 解析組件引擎，而解析組件隊列可在遠程服務(wù)中直接獲取，所以當云解析服務(wù)更新組件配置或加入新的 解析組件時各個解析器同時受益。3. 并行計算：每個解析器

13、的都在獨立的進程中進行運算，所以當多個解析器同時對解析任務(wù)池中的任務(wù)進行解析時大大縮短了解析的時間縮短，提高解析效率。4. 可管理性:每個解析組件運行后首先會注冊到解析云服務(wù)，同時解析云服務(wù)會將此信息反饋給解析服務(wù)管理器，管理器收到信息后將 此解析組件加入到本地的可視化解析組件管理列表中，對其進行實施監(jiān)控。當一個解析器出錯或強行退出時，解析云自動注銷其消息訂閱 事件，并通知解析云服務(wù)管理器，管理器從管理列表中將此解析器 移 除，或提醒管理員此解析器已下線。2.3氣象分布式數(shù)據(jù)庫設(shè)計2.3.1.氣象一體化平臺分布式數(shù)據(jù)庫設(shè)計概述從目前江蘇省氣象信息的數(shù)據(jù)結(jié)構(gòu)及分布情況分析，我們的數(shù)據(jù)屬于異構(gòu)數(shù)據(jù)

14、庫。即現(xiàn)有的數(shù)據(jù)使用了多個DBMS如SQL Server，Oracle等。由于各種氣象資料較為繁雜，存儲的數(shù)據(jù)結(jié)構(gòu)也不盡相 同。所以我們建立的分布式數(shù)據(jù)庫管理架構(gòu)不但要解決分布式存儲 的問題還需要解決異構(gòu)數(shù)據(jù)庫的問題。本架構(gòu)設(shè)計的核心原理是通過分布式數(shù)據(jù)服務(wù)全局共享數(shù)據(jù)節(jié) 點索引對象。并使用分布式數(shù)據(jù)庫管理引擎來對各個數(shù)據(jù)節(jié)點進行高效的存取操作。數(shù)據(jù)索引需要建立在一個全局共同遵守的標準之上， 這個標準中 規(guī)定了在不同數(shù)據(jù)分片場景下各個數(shù)據(jù)節(jié)點應(yīng)共同包含或通過邏輯 映射的方式包含相應(yīng)的屬性。如在水平分片場景下，各個數(shù)據(jù)節(jié)點應(yīng) 共同擁有日期屬性，日期屬性可分為（年、月、旬、候、時間）等多 個分類方

15、式。如同屬于年分類的場景下，則需要共同擁有年屬性。如在垂直分片場景下，各個數(shù)據(jù)節(jié)點應(yīng)共同擁有要素類型屬性。分布式存儲的核心問題是對數(shù)據(jù)分片和數(shù)據(jù)分配方式， 分片的方 式分為水平分片、垂直分片、導出分片和混合分片。水平分片：即按一定的條件把全局關(guān)系的所有元組劃分成若干不 相交的子集，每個子集為關(guān)系的一個片段。根據(jù)分析我們可以通過時 間節(jié)點對數(shù)據(jù)進行水平分片。垂直分片：即把一個全局關(guān)系的屬性集分成若干子集， 并在這些 子集上作投影運算，每個投影稱為垂直分片。如我們可以通過氣象要 素進行空間的垂直分片。導出分片：又稱為導出水平分片，即水平分片的條件不是本關(guān)系 屬性的條件，而是其他關(guān)系屬性的條件。我們

16、一般在特殊的數(shù)據(jù)應(yīng)用 場景中使用此分片方式。如對數(shù)據(jù)按站點所在的城市為條件進行數(shù)據(jù) 分片，因站點所在的城市這個屬性一般不在要素基本屬性中存在，而是在站點信息關(guān)系表中存在，那么此種分片則稱為導出分片。混合分片：綜合了以上三種分片方式進行數(shù)據(jù)分片。數(shù)據(jù)分配方式分為：集中式、分割式、全復制式和混合式根據(jù)氣象數(shù)據(jù)的特點我們建議采用分割式的數(shù)據(jù)分配方式，即所有數(shù)據(jù)只有一份，它被分割成若干邏輯片段，每個邏輯片段被指派在 一個特定的場地上。同時服務(wù)器的磁盤陣列使用冗余磁盤陣列（RAID） 的方式進行管理，并建議使用 RAID10（即卩RAID 0+ 1 ）。虛擬化技術(shù)虛擬化是一種資源管理技術(shù)，是將計算機的各

17、種實體資源，如服 務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，打破實體 結(jié)構(gòu)間的不可切割的障礙，使用戶可以比原本的組態(tài)更好的方式來應(yīng) 用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。一般所指的虛擬化資源包括計算能力和資料存 儲。在實際的生產(chǎn)環(huán)境中，虛擬化技術(shù)主要用來解決高性能的物理硬 件產(chǎn)能過剩和老的舊的硬件產(chǎn)能過低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。因為我們需要將數(shù)據(jù)節(jié)點存儲在多個場地上， 為了節(jié)約硬件產(chǎn)品, 并充分利用硬件的計算資源以及存儲資源， 我們可以將一臺工作站 虛 擬成多個存儲場地。2.32分布式數(shù)據(jù)庫設(shè)計架構(gòu)it ft

18、 jCftJW HU 齊(IH sii hut ed LhHtabase ice)Service Control RenKit in廠/空財歎躺時構(gòu)出踐也宦仏川躺):1/坐向址劇厲訓莎啊曙城拒推遲般并如拒陽尸及収Jlft總理全幀側(cè)爭険(CIJL>>丿Distributed Client StackData Index StructData Query ServiceData Save Service云存儲接口SaveI. i h圖表6分布式數(shù)據(jù)庫總體設(shè)計方案分布式數(shù)據(jù)庫的核心模塊分為：分布式數(shù)據(jù)庫通訊服務(wù)(CM、分布式數(shù)據(jù)庫管理器 (DDBMS 云存儲接口(Cloud Data A

19、PI )、DataClient、Data Query Standard Lib 和 Data Save Standard Libo分布式數(shù)據(jù)庫通訊服務(wù):負責在分布式數(shù)據(jù)庫的各場地之間傳送全局對象、消息和數(shù)據(jù), 完成通信功能。核心的全局對象是 分布式數(shù)據(jù)索引對象(Data Index Struct) ， 每個分布式客戶端上線后將自動注冊到分布式數(shù)據(jù)庫通訊服務(wù)，通訊服務(wù)自動將其加入到 Distributed Clie nt Stack 中，同時根據(jù)客戶 端報送的數(shù)據(jù)節(jié)點名稱，服務(wù)自動為其初始化局部數(shù)據(jù)庫數(shù)據(jù)索引對 象，并將關(guān)鍵索引存儲為 Hash Table的key-value模式。并為其訂 閱全局數(shù)據(jù)檢索和數(shù)據(jù)保存事件等，當有數(shù)據(jù)檢索請求時，服務(wù)通過并行化編程技術(shù)使所有分布式客戶端同時處理此事件， 當某個分布式 客戶端處理發(fā)現(xiàn)本地索引中無相關(guān) key或不滿足其數(shù)據(jù)分片條件時 則直接退出響應(yīng)。如果相關(guān)條件都在其索引范圍內(nèi)，則進行本地化數(shù) 據(jù)查詢操作，并將結(jié)果以 Data Set的形式返回至事件源。所有并行 流程執(zhí)行完成后事件源將Data Set集反饋給查詢者。分布式數(shù)據(jù)庫管理系統(tǒng)（DDBMS）分布式數(shù)據(jù)庫管理系統(tǒng)主要用于2.4氣象資料云服務(wù)引擎2.4.1. 應(yīng)用授權(quán)機制即每一個接入服務(wù)的應(yīng)用都需要申請一個AppKey,此Key