氣象數(shù)據(jù)一體化平臺(tái)設(shè)計(jì)方案

1、軟件需求規(guī)格說明書 項(xiàng)目編號(hào)：RJ20150020設(shè)計(jì)方案氣象數(shù)據(jù)一體化信息服務(wù)平臺(tái) 設(shè)計(jì)方案2016年1月南京助事達(dá)軟件科技有限公司 19 / 19氣象數(shù)據(jù)一體化平臺(tái)-設(shè)計(jì)方案目 錄1概述31.1背景與預(yù)期31.2建設(shè)內(nèi)容42設(shè)計(jì)方案52.1系統(tǒng)架構(gòu)52.1.1.平臺(tái)總體架構(gòu)圖52.1.2.數(shù)據(jù)流概覽62.2分布式解析引擎62.2.1.分布式解析引擎概述62.2.2.分布式解析設(shè)計(jì)架構(gòu)72.3氣象分布式數(shù)據(jù)庫設(shè)計(jì)122.3.1.氣象一體化平臺(tái)分布式數(shù)據(jù)庫設(shè)計(jì)概述122.3.2.分布式數(shù)據(jù)庫設(shè)計(jì)架構(gòu)152.4氣象資料云服務(wù)引擎172.4.1.應(yīng)用授權(quán)機(jī)制172.4.2.授權(quán)認(rèn)證機(jī)制172.4.

2、3.服務(wù)請求基礎(chǔ)參數(shù)體系建立172.5服務(wù)版本管理體系建立182.5.1.版本管理設(shè)計(jì)182.5.2.建立服務(wù)API幫助文檔181概述1.1 背景與預(yù)期針對(duì)以往基礎(chǔ)數(shù)據(jù)庫建設(shè)分散、標(biāo)準(zhǔn)不統(tǒng)一、服務(wù)能力差等問題，按照“系統(tǒng)集成，數(shù)據(jù)集中，資源集約，功能完善，突出特色”的思路，經(jīng)過兩年半的努力，依托江蘇預(yù)報(bào)業(yè)務(wù)一體化平臺(tái)項(xiàng)目建設(shè)，初步建成全省統(tǒng)一的基礎(chǔ)數(shù)據(jù)環(huán)境，有效提高了信息資源的利用率和數(shù)據(jù)服務(wù)能力，為本省率先實(shí)現(xiàn)氣象現(xiàn)代化提供了有力支撐。信息中心在全省氣象信息業(yè)務(wù)建設(shè)的基礎(chǔ)上，先后出臺(tái)幾十項(xiàng)標(biāo)準(zhǔn)或規(guī)范，為一體化體系提供標(biāo)準(zhǔn)支撐，完善了我省氣象信息的標(biāo)準(zhǔn)規(guī)范體系；優(yōu)化數(shù)據(jù)傳輸流程，時(shí)效性可靠性提

3、升顯著，省內(nèi)區(qū)域自動(dòng)站可實(shí)現(xiàn)60秒內(nèi)、雷達(dá)數(shù)據(jù)8分鐘之內(nèi)、省際共享上海市區(qū)域自動(dòng)站100秒內(nèi)到達(dá)預(yù)報(bào)員桌面；通過“軟CAST”同步機(jī)制，省市間數(shù)據(jù)實(shí)現(xiàn)了秒級(jí)流轉(zhuǎn)；完成了自動(dòng)站、土壤水份、精細(xì)化等50多類數(shù)據(jù)的解析入庫，數(shù)據(jù)解析的種類和覆蓋范圍在不斷擴(kuò)充，確保了數(shù)據(jù)的完整性、一致性。架設(shè)全省云平臺(tái)實(shí)現(xiàn)硬件資源的統(tǒng)一管理與分配，達(dá)到資源集約化、應(yīng)用多樣化的目標(biāo)。為進(jìn)一步提高和增強(qiáng)氣象數(shù)據(jù)服務(wù)能力，科學(xué)準(zhǔn)確的做好數(shù)據(jù)服務(wù)工作，結(jié)合前期預(yù)報(bào)業(yè)務(wù)一體化平臺(tái)使用和市縣推廣應(yīng)用情況，在氣象數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)應(yīng)用方面，提出諸多改進(jìn)措施和方案，旨在不斷的提高氣象數(shù)據(jù)服務(wù)能力和質(zhì)量。1.2 建設(shè)內(nèi)容根據(jù)江蘇

4、氣象現(xiàn)代化發(fā)展的需求，在現(xiàn)有工作基礎(chǔ)上，進(jìn)一步完善全省基礎(chǔ)資源配置和管理，開展智能化、個(gè)性化的基礎(chǔ)數(shù)據(jù)環(huán)境信息服務(wù)平臺(tái)的設(shè)計(jì)和開發(fā)，繼續(xù)優(yōu)化各類基礎(chǔ)資料的收集處理流程，做好統(tǒng)一數(shù)據(jù)環(huán)境在市縣的推廣應(yīng)用，著手開展適合本省的實(shí)時(shí)質(zhì)量控制方法研究和質(zhì)控系統(tǒng)的設(shè)計(jì)和開發(fā)工作，提高數(shù)據(jù)服務(wù)質(zhì)量。通過建立團(tuán)隊(duì)協(xié)作機(jī)制，聯(lián)合進(jìn)行數(shù)據(jù)處理和信息技術(shù)應(yīng)用開發(fā)，建立數(shù)據(jù)規(guī)范；完成實(shí)時(shí)/歷史數(shù)據(jù)庫設(shè)計(jì)、解碼和入庫。2設(shè)計(jì)方案22.1 系統(tǒng)架構(gòu)1.2.2.1.2.1.1. 平臺(tái)總體架構(gòu)圖圖表 1平臺(tái)總體架構(gòu)圖2.1.2. 數(shù)據(jù)流概覽圖表 2數(shù)據(jù)流概覽2.2 分布式解析引擎2.2.2.2.1. 分布式解析引擎概述氣象資

5、料的來源有多種，包括上百種類型的氣象資料報(bào)文、各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)出的氣象服務(wù)產(chǎn)品、來自于CIMISS的數(shù)據(jù)資料等等。由于資料種類繁多、場地分散、解析入庫方式及質(zhì)量參差不齊等等各種問題的存在，同樣為了滿足集中管理、統(tǒng)一標(biāo)準(zhǔn)的業(yè)務(wù)目標(biāo)需求，我們最終使用了氣象數(shù)據(jù)分布式解析引擎來實(shí)現(xiàn)其各種功能。2.2.2. 分布式解析設(shè)計(jì)架構(gòu) 圖表 3分布式解析設(shè)計(jì)架構(gòu)分布式解析云的核心主要由四個(gè)部分組成：a) 解析云服務(wù)主要通過實(shí)時(shí)發(fā)布遠(yuǎn)程對(duì)象的方式為各個(gè)功能域提供分進(jìn)程間信息共享平臺(tái)。共享的遠(yuǎn)程對(duì)象主要包括：報(bào)文資源文件夾監(jiān)控對(duì)象、分布式解析器運(yùn)行時(shí)對(duì)象、服務(wù)全局控制對(duì)象、智能化解析配置對(duì)象、全局報(bào)文解析組件適配對(duì)

6、象等。實(shí)質(zhì)：遠(yuǎn)程對(duì)象以信道作為發(fā)布渠道，來進(jìn)行客戶端和服務(wù)器之間的通信。信道包括客戶端的信道部分和服務(wù)器的信道部分。發(fā)布的內(nèi)容以消息作為載體，消息包含遠(yuǎn)程對(duì)象的信息、被調(diào)用方法的名稱以及所有的參數(shù)。 圖表 4分布式客戶端與服務(wù)間通信原理報(bào)文資源文件夾監(jiān)控對(duì)象：每種資源文件都存儲(chǔ)在一個(gè)或多個(gè)文件夾中，當(dāng)有新的文件加入時(shí)解析云自動(dòng)將待解析的文件加入到解析資源池（即任務(wù)隊(duì)列）。當(dāng)分布式解析器中有存在空閑的解析器時(shí)，此解析器則會(huì)自動(dòng)向服務(wù)申請一個(gè)解析任務(wù)。之后，當(dāng)一個(gè)任務(wù)被解析器處理完畢后，其就會(huì)從任務(wù)隊(duì)列中自動(dòng)刪除，同時(shí)將相對(duì)應(yīng)的原始數(shù)據(jù)文件自動(dòng)移動(dòng)到已處理文件目錄下面。分布式解析器運(yùn)行時(shí)對(duì)象：每個(gè)

7、報(bào)文解析器分別部署在一個(gè)或多個(gè)服務(wù)器上，那么各個(gè)解析器運(yùn)行狀態(tài)的管理就十分的重要。為了滿足全局監(jiān)控，定向管理的目標(biāo)，云解析平臺(tái)將分布式解析器運(yùn)行時(shí)對(duì)象作為各功能域內(nèi)部可見的全局對(duì)象進(jìn)行發(fā)布。即各個(gè)解析器運(yùn)行后自動(dòng)向云服務(wù)發(fā)送注冊請求，云服務(wù)接受請求后則將此解析器加入到解析器隊(duì)列中用于后期的監(jiān)控及管理。服務(wù)全局控制對(duì)象：主要負(fù)責(zé)服務(wù)的啟動(dòng)、暫停、重啟以及重新加載配置文件等工作。智能化解析配置對(duì)象：此對(duì)象主要為分布式解析引擎提供解析知識(shí)庫，為了實(shí)現(xiàn)解析組件的可插拔我們將智能解析配置對(duì)象也作為全局對(duì)象進(jìn)行發(fā)布。可以從云解析管理器中對(duì)其內(nèi)容進(jìn)行更改，更改后云服務(wù)自動(dòng)通知各個(gè)解析器接下來的解析工作使用新

8、的解析知識(shí)庫進(jìn)行報(bào)文識(shí)別及智能解析。全局報(bào)文解析組件適配對(duì)象：為了使報(bào)文的識(shí)別實(shí)現(xiàn)動(dòng)態(tài)化擴(kuò)展，我們將解析適配器對(duì)象進(jìn)行全局發(fā)布，當(dāng)云解析管理器對(duì)解析適配器信息進(jìn)行更改后云解析服務(wù)將自動(dòng)應(yīng)用新的解析適配方案。所有的分布式解析器都使用云解析服務(wù)提供的統(tǒng)一解析適配器進(jìn)行解析適配工作，所以當(dāng)云服務(wù)的適配器方案改變后各個(gè)解析器自動(dòng)使用新的方案進(jìn)行適配工作。b) 云解析管理器云解析管理器是云解析服務(wù)的一個(gè)客戶端，主要用于輔助云解析服務(wù)工作，為云解析服務(wù)提供可視化操作界面。如云解析服務(wù)提供的各個(gè)實(shí)時(shí)對(duì)象的管理及運(yùn)行時(shí)參數(shù)的維護(hù)管理等工作都在云解析器中進(jìn)行操作。如報(bào)文解析組件適配信息配置、智能化解析知識(shí)庫配置

9、、分布式客戶端監(jiān)控、資源池監(jiān)控、解析組件配置、數(shù)據(jù)源配置、運(yùn)行日志管理等。c) 分布式解析引擎分布式解析引擎是云解析服務(wù)的運(yùn)算核心，所有類型的數(shù)據(jù)都通過此引擎進(jìn)行解析運(yùn)算。報(bào)文解析引擎由三大支撐組件（數(shù)據(jù)類型識(shí)別組件、智能化解析組件和解析組件適配器）和解析組件池組成。數(shù)據(jù)類型識(shí)別組件：數(shù)據(jù)類型識(shí)別組件主要對(duì)當(dāng)前申請到的解析資源進(jìn)行自動(dòng)識(shí)別，主要通過數(shù)據(jù)文件名、數(shù)據(jù)段特殊標(biāo)記以及其他特性化配置方式進(jìn)行識(shí)別。數(shù)據(jù)類型被識(shí)別后向解析引擎反饋此文件的解析適配標(biāo)識(shí)。解析組件適配器：解析組件適配器主要將數(shù)據(jù)類型識(shí)別組件反饋的解析適配標(biāo)識(shí)進(jìn)行適配，并從解析組件工廠中構(gòu)造一個(gè)適合此適配標(biāo)記的解析組件智能化解析

10、組件：智能化解析組件主要將智能解析知識(shí)庫中的信息翻譯成解析器能夠識(shí)別的信息結(jié)構(gòu)，并將此信息結(jié)構(gòu)提供給解析組件進(jìn)行報(bào)文解析。解析組件池：由一系列報(bào)文解析組件組成，如重要天氣報(bào)解析組件、A文件解析組件、高空資料解析組件、自動(dòng)站解析組件等等。每個(gè)解析組件都遵從解析引擎的報(bào)文解析流程，最終完成報(bào)文的解析。報(bào)文解析流程如下：圖表 5報(bào)文解析流程d) 分布式解析器分布式報(bào)文解析器主要有如下幾個(gè)特性：1.分布式:即此解析器可以在多臺(tái)服務(wù)器上同時(shí)運(yùn)行，同樣也可以在一臺(tái)服務(wù)器上運(yùn)行多個(gè)實(shí)例。2.可擴(kuò)展性:解析器中搭載的是解析組件引擎，而解析組件隊(duì)列可在遠(yuǎn)程服務(wù)中直接獲取，所以當(dāng)云解析服務(wù)更新組件配置或加入新的解

11、析組件時(shí)各個(gè)解析器同時(shí)受益。3.并行計(jì)算:每個(gè)解析器的都在獨(dú)立的進(jìn)程中進(jìn)行運(yùn)算，所以當(dāng)多個(gè)解析器同時(shí)對(duì)解析任務(wù)池中的任務(wù)進(jìn)行解析時(shí)大大縮短了解析的時(shí)間縮短，提高解析效率。4.可管理性:每個(gè)解析組件運(yùn)行后首先會(huì)注冊到解析云服務(wù)，同時(shí)解析云服務(wù)會(huì)將此信息反饋給解析服務(wù)管理器，管理器收到信息后將此解析組件加入到本地的可視化解析組件管理列表中，對(duì)其進(jìn)行實(shí)施監(jiān)控。當(dāng)一個(gè)解析器出錯(cuò)或強(qiáng)行退出時(shí)，解析云自動(dòng)注銷其消息訂閱事件，并通知解析云服務(wù)管理器，管理器從管理列表中將此解析器移除，或提醒管理員此解析器已下線。2.3 氣象分布式數(shù)據(jù)庫設(shè)計(jì)2.3.2.3.1. 氣象一體化平臺(tái)分布式數(shù)據(jù)庫設(shè)計(jì)概述從目前江蘇省氣

12、象信息的數(shù)據(jù)結(jié)構(gòu)及分布情況分析，我們的數(shù)據(jù)屬于異構(gòu)數(shù)據(jù)庫。即現(xiàn)有的數(shù)據(jù)使用了多個(gè)DBMS，如SQL Server，Oracle等。由于各種氣象資料較為繁雜，存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)也不盡相同。所以我們建立的分布式數(shù)據(jù)庫管理架構(gòu)不但要解決分布式存儲(chǔ)的問題還需要解決異構(gòu)數(shù)據(jù)庫的問題。本架構(gòu)設(shè)計(jì)的核心原理是通過分布式數(shù)據(jù)服務(wù)全局共享數(shù)據(jù)節(jié)點(diǎn)索引對(duì)象。并使用分布式數(shù)據(jù)庫管理引擎來對(duì)各個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行高效的存取操作。數(shù)據(jù)索引需要建立在一個(gè)全局共同遵守的標(biāo)準(zhǔn)之上，這個(gè)標(biāo)準(zhǔn)中規(guī)定了在不同數(shù)據(jù)分片場景下各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同包含或通過邏輯映射的方式包含相應(yīng)的屬性。如在水平分片場景下，各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同擁有日期屬性，日期屬性可

13、分為（年、月、旬、候、時(shí)間）等多個(gè)分類方式。如同屬于年分類的場景下，則需要共同擁有年屬性。如在垂直分片場景下，各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同擁有要素類型屬性。分布式存儲(chǔ)的核心問題是對(duì)數(shù)據(jù)分片和數(shù)據(jù)分配方式，分片的方式分為水平分片、垂直分片、導(dǎo)出分片和混合分片。水平分片：即按一定的條件把全局關(guān)系的所有元組劃分成若干不相交的子集，每個(gè)子集為關(guān)系的一個(gè)片段。根據(jù)分析我們可以通過時(shí)間節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行水平分片。垂直分片：即把一個(gè)全局關(guān)系的屬性集分成若干子集，并在這些子集上作投影運(yùn)算，每個(gè)投影稱為垂直分片。如我們可以通過氣象要素進(jìn)行空間的垂直分片。導(dǎo)出分片：又稱為導(dǎo)出水平分片，即水平分片的條件不是本關(guān)系屬性的條件，而是

14、其他關(guān)系屬性的條件。我們一般在特殊的數(shù)據(jù)應(yīng)用場景中使用此分片方式。如對(duì)數(shù)據(jù)按站點(diǎn)所在的城市為條件進(jìn)行數(shù)據(jù)分片，因站點(diǎn)所在的城市這個(gè)屬性一般不在要素基本屬性中存在，而是在站點(diǎn)信息關(guān)系表中存在，那么此種分片則稱為導(dǎo)出分片?；旌戏制壕C合了以上三種分片方式進(jìn)行數(shù)據(jù)分片。數(shù)據(jù)分配方式分為：集中式、分割式、全復(fù)制式和混合式。根據(jù)氣象數(shù)據(jù)的特點(diǎn)我們建議采用分割式的數(shù)據(jù)分配方式，即所有數(shù)據(jù)只有一份，它被分割成若干邏輯片段，每個(gè)邏輯片段被指派在一個(gè)特定的場地上。同時(shí)服務(wù)器的磁盤陣列使用冗余磁盤陣列(RAID)的方式進(jìn)行管理，并建議使用RAID10（即RAID 0+ 1）。虛擬化技術(shù)虛擬化是一種資源管理技術(shù)，是

15、將計(jì)算機(jī)的各種實(shí)體資源，如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲(chǔ)等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，打破實(shí)體結(jié)構(gòu)間的不可切割的障礙，使用戶可以比原本的組態(tài)更好的方式來應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。一般所指的虛擬化資源包括計(jì)算能力和資料存儲(chǔ)。在實(shí)際的生產(chǎn)環(huán)境中，虛擬化技術(shù)主要用來解決高性能的物理硬件產(chǎn)能過剩和老的舊的硬件產(chǎn)能過低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。因?yàn)槲覀冃枰獙?shù)據(jù)節(jié)點(diǎn)存儲(chǔ)在多個(gè)場地上，為了節(jié)約硬件產(chǎn)品，并充分利用硬件的計(jì)算資源以及存儲(chǔ)資源，我們可以將一臺(tái)工作站虛擬成多個(gè)存儲(chǔ)場地。2.3.2. 分布式數(shù)據(jù)庫設(shè)計(jì)架構(gòu)圖表 6分布

16、式數(shù)據(jù)庫總體設(shè)計(jì)方案分布式數(shù)據(jù)庫的核心模塊分為：分布式數(shù)據(jù)庫通訊服務(wù)(CM)、分布式數(shù)據(jù)庫管理器(DDBMS)、云存儲(chǔ)接口(Cloud Data API)、Data Client、Data Query Standard Lib 和Data Save Standard Lib。分布式數(shù)據(jù)庫通訊服務(wù):負(fù)責(zé)在分布式數(shù)據(jù)庫的各場地之間傳送全局對(duì)象、消息和數(shù)據(jù)，完成通信功能。圖表 7分布式查詢核心原理圖核心的全局對(duì)象是分布式數(shù)據(jù)索引對(duì)象(Data Index Struct)，每個(gè)分布式客戶端上線后將自動(dòng)注冊到分布式數(shù)據(jù)庫通訊服務(wù)，通訊服務(wù)自動(dòng)將其加入到Distributed Client Stack中，

17、同時(shí)根據(jù)客戶端報(bào)送的數(shù)據(jù)節(jié)點(diǎn)名稱，服務(wù)自動(dòng)為其初始化局部數(shù)據(jù)庫數(shù)據(jù)索引對(duì)象，并將關(guān)鍵索引存儲(chǔ)為Hash Table的key-value模式。并為其訂閱全局?jǐn)?shù)據(jù)檢索和數(shù)據(jù)保存事件等，當(dāng)有數(shù)據(jù)檢索請求時(shí)，服務(wù)通過并行化編程技術(shù)使所有分布式客戶端同時(shí)處理此事件，當(dāng)某個(gè)分布式客戶端處理發(fā)現(xiàn)本地索引中無相關(guān)key或不滿足其數(shù)據(jù)分片條件時(shí)則直接退出響應(yīng)。如果相關(guān)條件都在其索引范圍內(nèi)，則進(jìn)行本地化數(shù)據(jù)查詢操作，并將結(jié)果以Data Set的形式返回至事件源。所有并行流程執(zhí)行完成后事件源將Data Set集反饋給查詢者。分布式數(shù)據(jù)庫管理系統(tǒng)(DDBMS)：分布式數(shù)據(jù)庫管理系統(tǒng)主要用于2.4 氣象資料云服務(wù)引擎2

18、.4.2.4.1. 應(yīng)用授權(quán)機(jī)制即每一個(gè)接入服務(wù)的應(yīng)用都需要申請一個(gè)AppKey，此Key對(duì)應(yīng)著一套數(shù)據(jù)訪問授權(quán)，同時(shí)記錄應(yīng)用名稱、開發(fā)者、軟件功能等信息。2.4.2. 授權(quán)認(rèn)證機(jī)制即所有服務(wù)請求都必須提交AppKey，請求的數(shù)據(jù)訪問權(quán)限都必須在此AppKey的權(quán)限框架下。所有數(shù)據(jù)請求到達(dá)服務(wù)器端后進(jìn)入統(tǒng)一的認(rèn)證通道，認(rèn)證通過后服務(wù)通過相關(guān)的請求參數(shù)反饋相應(yīng)的數(shù)據(jù)，否則提示應(yīng)用請求認(rèn)證失敗。2.4.3. 服務(wù)請求基礎(chǔ)參數(shù)體系建立為規(guī)范化管理，每一個(gè)服務(wù)請求應(yīng)能夠包含部分基礎(chǔ)請求參數(shù)，如區(qū)域來源（如地區(qū)標(biāo)記）、資料類型、返回值類型（JSON、XML、其他格式文件）、等。2.5 服務(wù)版本管理體系建立為保障服務(wù)的可擴(kuò)展性以及服務(wù)的兼容性，必須建立完善的版本管理體系。2.5.2.5.1. 版本管理設(shè)計(jì)為保障后期服務(wù)功能的升級(jí)不會(huì)影響前期的使用，每一個(gè)服務(wù)的升級(jí)都對(duì)應(yīng)一個(gè)不同的版本號(hào)。升級(jí)后的服務(wù)和升級(jí)前的服務(wù)都可以獨(dú)立