信息數(shù)據(jù)整合方案

1、信息資源整合方案一、總體思路全面梳理市局各氣象業(yè)務(wù)系統(tǒng)的硬件架構(gòu)、數(shù)據(jù)流程、存儲方式 等，根據(jù)梳理結(jié)果制定現(xiàn)有服務(wù)器、存儲資源整合方案，將滿足虛擬 化整合技術(shù)要求的服務(wù)器及存儲設(shè)備，整合到資源池。實現(xiàn)信息資源 的有效共享和關(guān)鍵數(shù)據(jù)的多業(yè)務(wù)復(fù)用，最終形成統(tǒng)一的全局?jǐn)?shù)據(jù)視圖， 促進(jìn)氣象信息數(shù)據(jù)的優(yōu)化管理。二、信息資源整合方案利用今年新購置的Isilon高性能存儲設(shè)備對市局?jǐn)?shù)據(jù)存儲業(yè)務(wù)進(jìn) 行初步整合。充分發(fā)揮Isilon設(shè)備可擴(kuò)展容量大、擴(kuò)容速度快、數(shù)據(jù) 處理性能高的優(yōu)勢，利用可靠性高、可維護(hù)性高、空間利用率高的集 中式NAS存儲逐步替代市局原有松散的存儲設(shè)備，并接管其上的數(shù) 據(jù)存儲業(yè)務(wù)，達(dá)到信息資

2、源整合的目的。目前新購置的Isilon高性能存儲設(shè)備為裸空間99TB的3節(jié)點(diǎn)集 群，每個節(jié)點(diǎn)配置24GB內(nèi)存，33TB數(shù)據(jù)盤，800GB SSD緩存盤。按 照其實際可用空間80T估算，預(yù)計可對市局以下存儲業(yè)務(wù)進(jìn)行整合。1、支撐預(yù)報一體化平臺高性能存儲需求。購置Isilon高性能存儲設(shè)備的最初目的是為了解決預(yù)報一體 化平臺數(shù)據(jù)訪問I/O瓶頸，滿足數(shù)據(jù)產(chǎn)品共享存儲高效訪問的需 求。因此，Isilon首要目的是支撐預(yù)報一體化平臺高效運(yùn)行。按 照項目開發(fā)組提供的需求，Isilon將分別為數(shù)據(jù)庫提供12TB數(shù)據(jù) 存儲，為虛擬化服務(wù)器提供10TB本地存儲，為數(shù)據(jù)加工產(chǎn)品提 供一年38T的共享存儲空間，合計

3、60TB。未來根據(jù)存儲實際使 用情況，可考慮對Isilon空間進(jìn)行擴(kuò)容。2、接管氣象臺WRF模式存儲管理業(yè)務(wù)。由于氣象臺7TB的模式數(shù)據(jù)二級存儲已經(jīng)應(yīng)用多年，設(shè)備老 化，性能較低，存在一定的不穩(wěn)定因素，擬在Isilon設(shè)備中分配 10TB空間，用以替代氣象臺現(xiàn)有7TB二級存儲，逐步接管氣象 臺WRF模式存儲管理業(yè)務(wù)。3、其他數(shù)據(jù)存儲業(yè)務(wù)整合預(yù)報一體化平臺的主要存儲遷移到Isilon設(shè)備上之后，將為 服務(wù)器虛擬化平臺釋放掉大約20T存儲空間。山洪項目采購設(shè)備 到位之后，預(yù)報一體化平臺的數(shù)據(jù)庫和產(chǎn)品加工等密集計算節(jié)點(diǎn) 將遷移至物理資源池，服務(wù)器虛擬化平臺的計算資源將得到有效 釋放，為更多低開銷型應(yīng)

4、用、業(yè)務(wù)遷移至虛擬化平臺提供足夠資 源。根據(jù)實際業(yè)務(wù)需求，考慮在NAS設(shè)備上分配2TB空間用于存 放CMACast短期廣播數(shù)據(jù)，對局域網(wǎng)用戶提供全開放訪問，同時 將MICAPS3數(shù)據(jù)處理服務(wù)由物理服務(wù)器遷移至虛擬化平臺， MICAPS3實時歷史數(shù)據(jù)逐步遷移至虛擬化平臺，其它探測資料的 歷史歸檔數(shù)據(jù)也逐步遷移到存儲資源池進(jìn)行統(tǒng)一管理。原存儲設(shè) 備釋放出空間后，將根據(jù)設(shè)備可用性實際情況，加入到虛擬化平 臺進(jìn)行異構(gòu)管理。三、整合步驟與安排1、需求調(diào)研（2016年12月）分別對預(yù)報一體化平臺項目開發(fā)組、氣象臺、科研所等單位進(jìn)行 調(diào)研，了解存儲資源實際需求，理清各業(yè)務(wù)系統(tǒng)之間的關(guān)聯(lián)關(guān)系，確 定存儲資源分

5、配、遷移、整合、回收方案。2、數(shù)據(jù)遷移（2016年12月-2017年3月）根據(jù)調(diào)研結(jié)果，對現(xiàn)有存儲資源池進(jìn)行資源分配劃分，根據(jù)業(yè)務(wù) 實際情況開展數(shù)據(jù)遷移工作。將預(yù)報一體化平臺主要存儲需求遷移 到Isilon設(shè)備中，將數(shù)據(jù)庫、產(chǎn)品加工等密集計算節(jié)點(diǎn)遷移到物理資 源池。請科研所將WRF模式回傳到氣象臺二級存儲的同時，分發(fā)到 NAS存儲資源池。將CMACast衛(wèi)星廣播數(shù)據(jù)分發(fā)到NAS存儲設(shè)備， 并制定清理策略。探測資料直接分發(fā)到存儲資源池進(jìn)行歸檔，MICAPS、 探測資料等歷史數(shù)據(jù)往存儲資源池遷移。3、業(yè)務(wù)遷移整合（2017年3月-2017年5月）調(diào)整數(shù)據(jù)處理流程，需要業(yè)務(wù)并行運(yùn)行的，開展3個月的業(yè)務(wù)并 行期，業(yè)務(wù)并行期間，將原數(shù)據(jù)存儲上的業(yè)務(wù)應(yīng)用系統(tǒng)遷移整合到存 儲資源池。依賴于原模式二級存儲的業(yè)務(wù)應(yīng)用逐步調(diào)整到NAS存儲 資源池。MICAPS3處理程序遷移到虛擬化平臺，以NAS共享的CMACast 數(shù)據(jù)做為數(shù)據(jù)源進(jìn)行MICAPS3產(chǎn)品加工處理，產(chǎn)品直接落地到存儲 資源池進(jìn)行歸檔管理。4、原有資源回收（2017