智慧氣象大數(shù)據(jù)分析平臺整體解決方案

智慧氣象大數(shù)據(jù)分析平臺整體解決方案智慧氣象大數(shù)據(jù)分析平臺整體解決方案11需求梳理及行業(yè)發(fā)展趨勢2氣象行業(yè)解決方案3案例分析目錄CONTENTS1需求梳理及行業(yè)發(fā)展趨勢2氣象行業(yè)解決方案3案例分析目錄C201章節(jié)PART需求梳理及行業(yè)發(fā)展趨勢01章節(jié)PART需求梳理及行業(yè)發(fā)展趨勢3氣象局新一代信息工程總體技術(shù)架構(gòu)理解重點解析：總體架構(gòu)和云架構(gòu)是銜接-演進的關(guān)系氣象局新一代信息工程總體技術(shù)架構(gòu)理解重點解析：總體架構(gòu)和云架4標準化數(shù)字化數(shù)字化標準化數(shù)字化應用資源整合數(shù)據(jù)資源整合硬件資源整合智慧氣象云工程智慧業(yè)務、智慧管理、智慧服務以資源整合和應用集約為抓手，以標準化貫穿始終，從流程再造入手，初步完成數(shù)據(jù)、硬件和業(yè)務應用等三大資源整合，以統(tǒng)一構(gòu)建的國省數(shù)據(jù)環(huán)境，統(tǒng)一規(guī)劃的基礎(chǔ)設施資源池，統(tǒng)一的加工處理流水線，構(gòu)建扁平化的信息組織體系，為實施金云工程，發(fā)展智慧氣象奠定基礎(chǔ)。氣象信息化行動方案實施氣象信息化行動方案，夯實氣象云建設基礎(chǔ)管理信息化標準化問題導向：數(shù)據(jù)分散、信息孤島、

應用林立資源整合共享是國家新一代信息工程建設的重點標準化數(shù)字化數(shù)字化標準化數(shù)字化應用資源整合數(shù)據(jù)資源整合硬件資5

應用導向，搭建國省統(tǒng)一CIMISS數(shù)據(jù)環(huán)境 以CIMISS為基礎(chǔ)構(gòu)建國省統(tǒng)一數(shù)據(jù)環(huán)境CIMISS確立了標準，整合了各類數(shù)據(jù)這就是氣象大數(shù)據(jù)在國省、省際流動并創(chuàng)造價值的前提基礎(chǔ) 應用導向，搭建國省統(tǒng)一CIMISS數(shù)據(jù)環(huán)境 以CIMIS6咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系主要任務發(fā)展戰(zhàn)略現(xiàn)狀分析標桿研究需求問題分析內(nèi)涵及要素構(gòu)成智慧城市愿景及目標總體架構(gòu)業(yè)務架構(gòu)技術(shù)架構(gòu)重點工程行動計劃關(guān)鍵路徑指標體系應用架構(gòu)保障措施

氣象信息化整體規(guī)劃思路和路線 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系主要任務7咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系

氣象云主題建設內(nèi)容 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系 氣象8咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系

氣象大數(shù)據(jù)主體建設內(nèi)容 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系 氣象9咨詢規(guī)劃云計算中心政務大數(shù)據(jù)平臺應用展示中心應用體系開放共贏融合創(chuàng)新

氣象工程展示中心主體建設內(nèi)容 咨詢規(guī)劃云計算中心政務大數(shù)據(jù)平臺應用展示中心應用體系開放共贏10咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系

氣象應用體系主體建設內(nèi)容 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系 氣象11氣象信息化建設發(fā)展方向：大整合、大平臺業(yè)務數(shù)據(jù)/平臺基礎(chǔ)設施管理CIPASCIMISS日志審計MICAPS請求服務100業(yè)務系統(tǒng)基礎(chǔ)庫行業(yè)庫實時庫自動站數(shù)據(jù)業(yè)務網(wǎng)+氣象專網(wǎng)+互聯(lián)網(wǎng)二級、三級、四級網(wǎng)網(wǎng)絡多品牌服務器+小機FC

SAN

+NAS+

分布式文件服務器存儲容災預報中心氣候中心…

…本地備份雙活、異地容災（弱）氣象中心 公服中心人工影響天氣中心氣象信息中心（數(shù)據(jù)中心）信息化現(xiàn)狀統(tǒng)一大平臺門戶CIPASMICAPS大數(shù)據(jù)分析平臺資源整合平臺資源服務平臺云計算服務基礎(chǔ)設施統(tǒng)一運維管理計算資源池存儲資源池網(wǎng)絡資源池信息化痛點 信息化方向業(yè)務自建、缺乏標準系統(tǒng)多雜，多次登陸重復錄入，效率低下數(shù)據(jù)量大，處理效率低數(shù)據(jù)格式雜，無法處理數(shù)據(jù)無法有效共享多元化數(shù)據(jù)如何創(chuàng)新基礎(chǔ)設施大整合GIS ……數(shù)據(jù)資源大整合業(yè)務支撐平臺業(yè)務應用大平臺業(yè)務廠商設備多，品牌雜利用率低，服務器20%利用管理難，無法有效監(jiān)控運維不靈活，難以支撐信息化擴展安全水平低，難以持續(xù)提供信息化基礎(chǔ)設施能力信息化管理部門無法向快速為業(yè)務部門信息化需求提供服務容災資源池衛(wèi)星數(shù)據(jù) 雷達數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)+非結(jié)構(gòu)化數(shù)據(jù)百億條基礎(chǔ)數(shù)據(jù)，數(shù)值預報數(shù)據(jù)龐大數(shù)值產(chǎn)品氣象信息化建設發(fā)展方向：大整合、大平臺業(yè)數(shù)基礎(chǔ)設施CI1202章節(jié)PART氣象行業(yè)解決方案02章節(jié)PART氣象行業(yè)解決方案13

構(gòu)建基于CIMISS的國省兩級氣象云應用體系-整體架構(gòu) 構(gòu)建基于CIMISS的國省兩級氣象云應用體系-整體架構(gòu)14異地災備中心公眾服務國家級相關(guān)部門國家氣象云主中心應用2應用3應用1天氣預報 減災服務 氣象觀測 衛(wèi)星遙感 科研計算 數(shù)值預報同城雙活中心公眾服務省市縣相關(guān)部門公眾服務省市縣相關(guān)部門公眾服務省市縣相關(guān)部門應用2氣象公有云應用1應用3省級分中心省級分中心省級分中心國家氣象云建設1個主中心（含北京局）+1個同城災備中心+1個異地災備中心+30個省級分中心標準體系建設技術(shù)架構(gòu)安全標準數(shù)據(jù)標準服務標準

國家氣象云參考部署架構(gòu) 異地災備中心公眾服務國家級相關(guān)部門國家氣象云主中心應用2應用15氣象云計算平臺網(wǎng)絡拓撲架構(gòu)氣象有公共服務資源池氣象有私有云資源池氣象云計算平臺網(wǎng)絡拓撲架構(gòu)氣象有公共服務資源池氣象有私有云資16

氣象云內(nèi)外網(wǎng)數(shù)據(jù)安全傳輸 氣象云內(nèi)外網(wǎng)數(shù)據(jù)安全傳輸 171717

氣象云部署架構(gòu) 1717 氣象云部署架構(gòu) 18氣象公有云部署和設想從客戶角度出發(fā)，為了保證技術(shù)的透明性和可持有性，理解氣象公有云建設是運行在互聯(lián)網(wǎng)上的氣象云建設，而不是純粹由互聯(lián)網(wǎng)廠商運行的黑匣子。根據(jù)公有云部署應用的情況分析可以考慮數(shù)據(jù)庫的云化；氣象局可以考慮采購服務的模式，避免自建，按需計費；物理部署位置選擇：最近的城市云中心（無錫、南京等），或者上海超算中心云化資源池。氣象公有云部署和設想從客戶角度出發(fā)，為了保證技術(shù)的透明性和可191919氣象公有云部署和設想1919氣象公有云部署和設想201、應用拆分 2、應用/WEB上云3、數(shù)據(jù)庫U2L4、數(shù)據(jù)上云CMISS平臺CMISS平臺按照不同階段處理流程劃分數(shù)據(jù)收發(fā)系統(tǒng)（CTS）：包括數(shù)據(jù)收集、收集處理、分發(fā)處理、數(shù)據(jù)補調(diào)等加工處理系統(tǒng)（DPC）：數(shù)據(jù)解碼系統(tǒng)、質(zhì)量控制系統(tǒng)、產(chǎn)品生產(chǎn)系統(tǒng)等存儲管理系統(tǒng)（SOD）：結(jié)構(gòu)管理、元數(shù)據(jù)管理、數(shù)據(jù)處理、數(shù)據(jù)清除等共享服務系統(tǒng)：檢索查詢、數(shù)據(jù)統(tǒng)計分析、可視化等平臺分類數(shù)據(jù)收發(fā)系統(tǒng)（CTS）系統(tǒng)構(gòu)成數(shù)據(jù)收集環(huán)境 特征虛擬機虛擬機虛擬機

多核虛擬機

大內(nèi)存虛擬機虛擬機虛擬機加工處理系統(tǒng)存儲管理系統(tǒng)（SOD）收集處理分發(fā)處理數(shù)據(jù)分發(fā)數(shù)據(jù)補調(diào)系統(tǒng)交互監(jiān)所管理數(shù)據(jù)解碼（DPC） 質(zhì)量控制 高IO

產(chǎn)品生產(chǎn) 虛擬機 結(jié)構(gòu)管理入庫存儲數(shù)據(jù)處理數(shù)據(jù)清除虛擬機共享服務系統(tǒng)（GDS）虛擬機虛擬機

大內(nèi)存檢索系統(tǒng)數(shù)據(jù)獲取數(shù)據(jù)可視化虛擬機

數(shù)據(jù)分發(fā)及統(tǒng)計

虛擬機 存儲搬遷數(shù)據(jù)上云數(shù)據(jù)物理分散轉(zhuǎn)變?yōu)槲锢砑蟹稚⒋鎯D(zhuǎn)變統(tǒng)一云存儲；集中資源，降低未來容災難度接警信息庫串并案庫案件信息庫違法人員庫嫌疑人庫 其他數(shù)據(jù)庫原始數(shù)據(jù)庫CIMISS平臺與云平臺的關(guān)系分析大數(shù)據(jù)平

臺 20 信息資源數(shù)據(jù)庫統(tǒng)一大數(shù)據(jù)平臺平臺HADOOP SPARKSTORM MPPDBDB1DB2DB1’DB2’HA/CLUSTERX86服務器HA/CLOUSTER小型機網(wǎng)絡加速IB網(wǎng)絡：心跳、業(yè)務網(wǎng)萬兆網(wǎng)絡：業(yè)務網(wǎng)IO加速: PCIE-SSD內(nèi)存數(shù)據(jù)庫加速：開啟Oracle12c內(nèi)存數(shù)據(jù)庫功能CTSDPCSODGDSMCP1、應用拆分 2、應用/WEB上云3、數(shù)據(jù)庫U2L4、數(shù)據(jù)上21

氣象基礎(chǔ)設施資源池技術(shù)架構(gòu) ①

全球最先進的虛擬化技術(shù)②

大型云計算中心運維經(jīng)驗③

根正苗紅的國產(chǎn)品牌主要優(yōu)勢支撐應用完善平臺特定行業(yè)云解決方案云計算管理平臺云計算基礎(chǔ)設施 氣象基礎(chǔ)設施資源池技術(shù)架構(gòu) ①全球最先進的虛擬化技術(shù)③22運維管理系統(tǒng)Web/網(wǎng)站/數(shù)據(jù)庫MIS系統(tǒng)中高端X86服務器虛擬化彈性計算資源池核心數(shù)據(jù)庫其他數(shù)據(jù)庫高性能X86服務器數(shù)據(jù)采集系統(tǒng)數(shù)據(jù)預處理系統(tǒng)數(shù)據(jù)分析系統(tǒng)通用低端服務器大數(shù)據(jù)計算分析資源池彈性計算計算資源池數(shù)據(jù)庫資源池基于不同分區(qū)的計算資源池架構(gòu)通用型服務器計算/IO服務器計算存儲型服務器混合型服務器網(wǎng)絡型服務器分布式云計算平臺使用x86架構(gòu)的服務器搭建大規(guī)模集群，通過軟件可伸縮性的優(yōu)勢彌補硬件差錯，提高云計算平臺的可用性、可靠性和安全性。整體建設原則：采購高端新設備、整合可用老設備、淘汰落后差設備；運維管理系統(tǒng)Web/網(wǎng)站/數(shù)據(jù)庫MIS系統(tǒng)中高端X86服務器23FC-SANSAN/NAS

Pool分布式存儲資源池模式計算存儲資源池存儲服務高性能模式數(shù)據(jù)存儲服務分布式數(shù)據(jù)庫服務核心數(shù)據(jù)庫存儲超融合的云存儲系統(tǒng)支撐融合的信息化存儲資源關(guān)系型數(shù)據(jù)庫服務多媒體其它云平臺存儲管理采用兩套存儲架構(gòu)支撐氣象云數(shù)據(jù)中心存儲平臺核心數(shù)據(jù)庫存儲：主要支撐氣象核心生產(chǎn)系統(tǒng)數(shù)據(jù)庫，例如CIMISS、MICAPS結(jié)構(gòu)化數(shù)據(jù)等等；超融合云存儲系統(tǒng)：主要支撐數(shù)據(jù)中心虛擬機、數(shù)值產(chǎn)品數(shù)據(jù)、CIMISS、MICAPS等非結(jié)構(gòu)化的文件數(shù)據(jù)，大數(shù)量多媒體文件存儲；融合的存儲資源池架構(gòu)云計算平臺以分布式存儲集群為主，同時以NAS、SAN等傳統(tǒng)存儲技術(shù)作為補充。FC-SANSAN/NASPool分布式存儲資源池模式計算24Hypervisor網(wǎng)絡CSSPlugin

PlatformSNMPHypervisor

AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中間件 應用JMX/JDBCRest/WebserviceCSSPlugin

Platform新資源SNMP/Modbus存儲SNMP/SMI-S動力環(huán)境服務器SNMPCSSPlugin

Platform對動態(tài)數(shù)據(jù)中心資源集中監(jiān)管，并提供多視角的可視化展現(xiàn)。自主可控云操作系統(tǒng)云環(huán)境監(jiān)控總覽PDUUPSATS空調(diào)WindowsLinuxSolarisAIX存儲友商存儲NetAPPEMC防火墻負載均衡路由器交換機虛擬化XenServerVmwareKVMXENRHEVPowerVMSqlServer)應用服務器(Tomcat、WebSphere、Weblogic、JBoss)消息中間件(

ActiveMQ)數(shù)據(jù)庫(DB2、MySQL、Oracle、? 氣象行業(yè)應用第三方應用插件開發(fā)支持新類型資源監(jiān)控Hypervisor網(wǎng)絡CSSSNMPHypervisor25KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存儲管理豐富完善的管理功能模板管理靈活易擴展的架構(gòu)網(wǎng)絡管理資源自動探查

生命周期管理支持多種虛擬化平臺多虛擬化環(huán)境管理AdaptorCloudVirtualKVMCloudViewAdaptorAdaptorAdap26服務器設備監(jiān)控LinuxWindowsSolarisAIXHPUnix監(jiān)控代理監(jiān)控代理監(jiān)控代理AgentSNMPIPMI全面支持各類操作系統(tǒng)支持多種采集協(xié)議，適應不同場景監(jiān)控指標豐富，可靈活設置顯示與否CloudView服務器設備監(jiān)控LinuxWindowsSolarisAIXH27網(wǎng)絡設備監(jiān)控及拓撲展現(xiàn)

支持SNMP

V1、V2、V3

支持設備自帶MIB庫上傳網(wǎng)絡拓撲手動設置 拓撲自動發(fā)現(xiàn)及故障預警

自動接收Syslog、SNMP

Trap等告基于ICMP（ping）、路由ARP以及SNMP協(xié)議的網(wǎng)絡自動發(fā)現(xiàn)警方式Request監(jiān) Response 管 CloudManager

自動發(fā)現(xiàn)網(wǎng)絡及拓撲展現(xiàn)設 Syslog備 Trap

支持手動設置和修改網(wǎng)絡拓撲基于SNMP（MIB）協(xié)議的網(wǎng)絡設備監(jiān)控

支持多種網(wǎng)絡設備監(jiān)控數(shù)據(jù)中心資源 網(wǎng)絡設備監(jiān)控網(wǎng)絡設備監(jiān)控及拓撲展現(xiàn) 支持SNMPV1、V2、V328數(shù)據(jù)庫資源監(jiān)控JDBC數(shù)據(jù)庫Log日志表空間資源消耗分析運行指標 數(shù)據(jù)庫文件事務連接數(shù)配置信息支持國內(nèi)國外多種數(shù)據(jù)庫靈活擴展支持擴展指標豐富，契合業(yè)務深度監(jiān)控支持靈活的指標和日志級告警數(shù)據(jù)庫資源監(jiān)控JDBC數(shù)據(jù)庫Log日志表空間資源消耗分析運行29中間件資源監(jiān)控連接池現(xiàn)數(shù)據(jù)庫連接池狀態(tài)時了解業(yè)務處理狀態(tài)件錯誤log日志監(jiān)控性能 根據(jù)關(guān)鍵字進行日志錯誤告警支撐各廠商的業(yè)務應用中間件監(jiān)控，提供實時的業(yè)務應用性能指標信息。輕量級、無侵入：通過JMX、SNMP等方式進行監(jiān)控，無需安裝部署Agent代理程序。豐富的指標采集：查看中間件在一段時間內(nèi)的各項指標監(jiān)控，了解業(yè)務系統(tǒng)健康狀態(tài)。精確的實時預警：通過對關(guān)心的性能指標進行策略預警，及時獲得性能瓶頸。監(jiān)控實及日志監(jiān)控JVM內(nèi)存使用率

支持中間優(yōu)化中間件配置，提升緩存實現(xiàn)中間件緩存監(jiān)控提升中間件訪問性能線程池查看中間件繁忙線程數(shù)優(yōu)化中間件參數(shù)配置WebSphereWebLogicTomcatJBossTongWeb中間件資源監(jiān)控連接池支撐各廠商的業(yè)務應用中間件監(jiān)控，提供實時30集群集群監(jiān)控與管理交換機CloudFirm出入外網(wǎng)管理數(shù)據(jù)審查Cloudview身份認證系統(tǒng)日志記錄信息告警CloudManager三級安全等保審查CA證書CloudGaurd的價值出入外網(wǎng)數(shù)據(jù)審查CA證書身份認證系統(tǒng)日志記錄…..業(yè)務數(shù)據(jù)多級云安全管理集群集群監(jiān)控與管理交換機CloudFirm出入外網(wǎng)管31

應用拓撲視圖 根據(jù)業(yè)務關(guān)系模型，展現(xiàn)業(yè)務與IT資源之間的關(guān)聯(lián)關(guān)系，并進行集中監(jiān)控，聚焦業(yè)務，提升IT服務質(zhì)量。 應用拓撲視圖 根據(jù)業(yè)務關(guān)系模型，展現(xiàn)業(yè)務與IT資源之間的32

應用及運行環(huán)境的快速交付 虛擬化層操作系統(tǒng)層中間件層應用層vAppvAppTomcat

WeblogicMySQLWebSphereLinuxApacheWindowsVMware配置部署工具軟件堆棧云管理平臺Ansible

WarRundeck

JarBMC

BladeLogic

SQL

ScriptDataConfiguration

FiChefPuppetBMC

BladeLogicCA

ConfigurationManagementTomcatMySQLApacheWebSphereWeblogicBMC

BladeLogicPXExCATHP

ServerAutomationCF

EngineBMC

BladeLogicLinuxWindowsles軟件用戶軟件部署人員XenKVM

應用一鍵式部署，版本自動升級回退，提升業(yè)務的部署和更新速度 應用及運行環(huán)境的快速交付 虛擬化層操作系統(tǒng)層中間件層應用33自動化彈性與動態(tài)調(diào)配VMMySQLVMAmebaVMMySQLVMMySQLVMMySQLVMTomcatWarVMTomcatWarVMTomcatWarVMTomcatWarVM負載均衡DNSvSwitchvSwitch…+/-…+/-Per

VMCPU4Core

x3GHzRAM

2GBStorage

20GBCPU2Core

xvSwitchBW

>100MbpsLatency

<100msvNetwork

2BW

>1GbpsLatency

<100msPer

VM3GHzRAM

4GBStorage

20GBvNetwork

3BW

>10GbpsLatency

<5msRequestsvNetwork

0BW

>10MbpsLatency

<200ms負載均衡vNetwork1AmebaTomcatMySQLvNetwork0vNetwork2vNetwork0MySQL平均請求響應時間超閥值3200ms指標采集器1

采集監(jiān)控指標發(fā)現(xiàn)請求響應時間超標觸發(fā)彈性控制過程彈性控制引擎2

根據(jù)詳細監(jiān)控指標定位性能瓶頸網(wǎng)絡資源控制器計算資源控制器軟件配置變更控制器3

針對性能瓶頸生成彈性控制計劃并發(fā)送彈性控4

控制器執(zhí)行相應動作彈性伸縮指定資源配置Scale-out/inScale-up/down

制計劃給指定控制器Group1Group2用戶請求SLA定義SLO1

在線用戶數(shù)

>10000SLO2

請求響應時間

<2000msvNetwork

1自動化彈性與動態(tài)調(diào)配VMMySQLVMAmebaVMMySQ34基礎(chǔ)架構(gòu)Software-DefinedDatacenter

ServicesVDCVDC組件應用CloudVirtualPhysical提供應用自動化部署全生命周期管理Firewall&LBWeb

servers

App

serversDatabase

servers模板通用應用環(huán)境模板上線運行環(huán)境（數(shù)值預報用戶）module1module2war1moduleAmoduleBwar2上線運行環(huán)境（防災減災用戶）war3XXXXXXwar4XXXXXX..基礎(chǔ)架構(gòu)Software-DefinedDatacent35彈性擴展支持多租用戶更高的集群利用率易于使用的界面通過硬件整合實現(xiàn)更低的總體擁有成本利用

CloudVirtual

增強

HA/FT概述CloudVirtual

加強了對大數(shù)據(jù)工作負載的支持，包括所有主要

Hadoop

發(fā)行版在通用

CloudVirtual

基礎(chǔ)架構(gòu)上虛擬化

Hadoop

以實現(xiàn)無與倫比的靈活性通過集成到管理中心的管理工具幫助用戶在CloudVirtual上部署、運行及管理Hadoop集群隔離存儲和計算以實現(xiàn)彈性擴展和真正的多租戶優(yōu)勢Hadoop

堆棧：CloudVirtual

加強了對大數(shù)據(jù)工作負載的支持當前的Hadoop：組合式存儲/計算VM計算VMT1VM存儲VM存儲VMT2彈性擴展：隔離存儲和計算物理主機大數(shù)據(jù)應用擴展彈性擴展概述優(yōu)勢Hadoop堆棧：CloudVirtual36輸入數(shù)據(jù)文件名檢查解壓縮格式檢查業(yè)務監(jiān)視信息入庫數(shù)據(jù)收集預處理數(shù)據(jù)分發(fā)省行業(yè)用戶國家級用戶級用戶地面?zhèn)鬏斝l(wèi)星廣播業(yè)務監(jiān)視信息入庫臨時文件庫數(shù)據(jù)處理數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)3解碼文件名標準化圖形生成業(yè)務監(jiān)視信息入庫數(shù)據(jù)存儲管理數(shù)據(jù)共享元數(shù)據(jù)生成數(shù) 存 數(shù)據(jù) 儲 據(jù)入 管 歸庫 理 檔業(yè)務監(jiān)視信息入庫A F元 W P T數(shù) e I P據(jù)b程

直生檢序

接成索調(diào)

服用 務信 業(yè)信 息 信 務息 統(tǒng) 息 流管 計 展 程理 分 示 管析 理業(yè)務監(jiān)控業(yè)務監(jiān)視信息入庫基 實礎(chǔ) 時庫 庫互聯(lián)網(wǎng)庫行業(yè)庫歸檔庫監(jiān)視信息庫系統(tǒng)軟硬件監(jiān)視信息部用戶內(nèi) 行業(yè)用戶業(yè)務值班用戶業(yè)務管理用戶現(xiàn)有氣象數(shù)據(jù)處理流程輸入數(shù)據(jù)文件名檢查解壓縮格式檢查業(yè)務監(jiān)視信息入庫數(shù)據(jù)3738收據(jù)收集流式計算數(shù)據(jù)源GTS資料業(yè)務系統(tǒng)資料國家下發(fā)資料行業(yè)用戶資料其他資料日志數(shù)據(jù)數(shù)據(jù)標準管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理主數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)存儲分析數(shù)據(jù)治理體系雷達數(shù)據(jù)預報地面大氣高空農(nóng)業(yè)生態(tài)海洋氣象輻射衛(wèi)星數(shù)據(jù)T639模式數(shù)據(jù)文件過濾文件識別格式轉(zhuǎn)換數(shù)據(jù)解析數(shù) 唯一性據(jù) 檢查預處 解壓縮理數(shù)據(jù)分析

數(shù)據(jù)存儲模式解碼雷達解碼衛(wèi)星解碼產(chǎn)品生成質(zhì)量控制全文檢索統(tǒng)計分析可擴展解碼Nosql數(shù)據(jù)庫分布式文件系統(tǒng)可交互式檢索數(shù)據(jù)接口

客戶端調(diào)用（時間、空間、數(shù)據(jù)取值）Web

Service（時間、空間、數(shù)據(jù)取值）REST服務（時間、空間、數(shù)據(jù)取值）調(diào)用腳本（時間、空間、數(shù)據(jù)取值）數(shù)據(jù)訪問探索式檢索 圖形化展示基于大數(shù)據(jù)的氣象數(shù)據(jù)處理流程38收據(jù)收集流式計算數(shù)據(jù)源GTS資數(shù)據(jù)標準數(shù)據(jù)質(zhì)量數(shù)據(jù)38

39數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資料數(shù)值預報大氣成分資料農(nóng)業(yè)&生態(tài)氣象資料雷達氣象服務產(chǎn)品衛(wèi)星資料采集網(wǎng)關(guān)：CollectHTTPCollect FileCollectSocketCollect TCP/UDPCollect負載均衡器數(shù)據(jù)統(tǒng)一接入集群采集策略配置存儲策略配置分發(fā)策略配置系統(tǒng)設置配置時效性配置接入節(jié)點1接入節(jié)點2系統(tǒng)監(jiān)控配置接入節(jié)點3接入節(jié)點n數(shù)據(jù)處理分發(fā)集群收集時效處理文件拆分處理格式檢查數(shù)據(jù)規(guī)整Tar解 地處面理/高析 空/海洋/大氣成分氣象資文料件解包解壓文件過濾文件唯一性處理文件換名處理輻射/農(nóng)業(yè)/生態(tài)氣象資料格式檢查自定義格式解析數(shù)據(jù)抽取文件換名處理數(shù)值預報文件過濾收集時效處理格式檢查Grib解析文件識別雷達文件換名處理文件過濾收集時效處理格式檢查文件識別自定義格式解文件過濾唯一性檢查文件識別衛(wèi)星收集時效性處格式檢查文件解包解壓數(shù)據(jù)消耗分布式文件系統(tǒng)NoSQL數(shù)據(jù)庫內(nèi)存計算引擎數(shù)據(jù)統(tǒng)一接入 39數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資39本地目錄遠程目錄TCP/UDP端口數(shù)據(jù)源HTTP本地日志采集集群存儲配置監(jiān)控配置系統(tǒng)設置執(zhí)行任務處理集群運行配置解析處理配置集群系統(tǒng)設置執(zhí)行線程執(zhí)行線程執(zhí)行線程執(zhí)行線程任務調(diào)度表信息設置表歸檔設置列式數(shù)據(jù)庫數(shù)據(jù)訪問接口WebService數(shù)據(jù)存儲配置數(shù)據(jù)格式配置HDFS文件系統(tǒng)批處理模式處理批處理架構(gòu)流處理監(jiān)控系統(tǒng)采集集群監(jiān)控處理集群監(jiān)控接收消息監(jiān)控處理任務監(jiān)控370TB/天120萬條記錄/s百億條記錄秒級返回數(shù)據(jù)采集流程本地目錄遠程目錄TCP/UDP端口數(shù)據(jù)源HTTP本地日志采集40數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資料農(nóng)業(yè)&生態(tài)氣象資料數(shù)值預報大氣成分資料雷達氣象服務產(chǎn)品衛(wèi)星資料數(shù)據(jù)采集集群Spark數(shù)據(jù)加工處理集群HDFS/ParaStor（數(shù)據(jù)存儲）資源管理調(diào)度Tar解碼BUFR解碼GRIB解碼ASCII文件解碼ImpalaSpark（SparkStreaming/Spark

SQL)MapReduce HBAE/Hive分鐘數(shù)據(jù)產(chǎn)品

生成

質(zhì)量控制算法 時值數(shù)據(jù)統(tǒng)計 日值數(shù)據(jù)統(tǒng)計均值數(shù)據(jù)統(tǒng)計月值數(shù)據(jù)統(tǒng)計年值數(shù)據(jù)統(tǒng)計 全文檢索監(jiān)控系統(tǒng)設備監(jiān)控訪問監(jiān)控存儲監(jiān)控權(quán)限管理告警管理統(tǒng)計分析策略配置并發(fā)監(jiān)控日志信息/審計信息日志信息/審計信息基于內(nèi)存的數(shù)據(jù)加工處理數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資41區(qū)域站、觀測站、ECMWF確定性模式、雷達基數(shù)據(jù)等；存儲內(nèi)容行列存儲區(qū)別列存儲優(yōu)勢讀取需要數(shù)據(jù)，降低IO數(shù)據(jù)量壓縮編碼降低存儲空間讀取需要列，支持向量運算，具有更好掃描性能優(yōu)勢優(yōu)勢基于列式存儲的NoSQL數(shù)據(jù)庫，提高訪問性能；建立索引提高檢索速度任意維度任意尺度訪問數(shù)據(jù)數(shù)據(jù)訪問時效控制在秒級范圍內(nèi)數(shù)據(jù)存儲-行列混合存儲區(qū)域站、觀測站、ECMWF確定性模式、雷達基數(shù)據(jù)等；存儲內(nèi)容42存儲內(nèi)容衛(wèi)星數(shù)據(jù)、T639模式數(shù)據(jù)等大文件數(shù)據(jù)索引控制器索引控制器索引控制器索引控制器數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器……管理控制器管理控制器管理網(wǎng)數(shù)據(jù)控制器數(shù)據(jù)控制器……數(shù)據(jù)控制器歸檔/回遷數(shù)據(jù)遷移數(shù)據(jù)遷移并發(fā)讀寫并發(fā)讀寫并發(fā)讀寫Linux、Windows客戶端/NFS/CIFS/POSIX

API/HDFS/HTTP/FTP/REST/SOAP/SNMP元數(shù)據(jù)讀寫數(shù)據(jù)存儲-分布式文件系統(tǒng)存儲內(nèi)容索引控制器索引控制器索引控制器索引控制器數(shù)據(jù)控制器數(shù)4303章節(jié)PART案例分析03章節(jié)PART案例分析44基于氣象業(yè)務需求，本次測試主要面向大數(shù)據(jù)的實時檢索分析能力進行測試，包括數(shù)據(jù)檢索、實時統(tǒng)計分析、實時交互分析、穩(wěn)定性、容錯性和高并發(fā)等能力測試。數(shù)據(jù)類型國家氣象信息中心整編下發(fā)的中國地面逐小時資料，TXT文件格式每條記錄95個字段，包括風、降水量、溫度、濕度、氣壓、云等要素信息T639模式單場單要素，數(shù)據(jù)格式為grid數(shù)據(jù)規(guī)模提供2012年6月30日地面觀測樣例數(shù)據(jù)，112493條基于提供的樣例數(shù)據(jù)，生成60億條測試數(shù)據(jù)提供T639模式單場單要素，10條基于提供的樣例數(shù)據(jù)，生成100萬條測試數(shù)據(jù)測試場景數(shù)據(jù)導入

測試數(shù)據(jù)導入的性能填圖數(shù)據(jù)獲取

測試在高并發(fā)場景下，快速提取填圖數(shù)據(jù)的能力長時間序列數(shù)據(jù)獲取

測試獲取長時間序列要素數(shù)據(jù)的能力統(tǒng)計分析

針對原始數(shù)據(jù)，測試對要素信息的聚合統(tǒng)計能力，數(shù)據(jù)更新，可以實時反映在聚合結(jié)果中數(shù)據(jù)預報數(shù)據(jù)快速獲取能力氣象局測試背景基于氣象業(yè)務需求，本次測試主要面向大數(shù)據(jù)的實時檢索分析能力進45XeonE5-2620v32.4G15M6C*2I620-G20

CPU散熱片*216G

DDR4

2133

ECC

REG

內(nèi)存*8300G

2.5吋

10K

6Gb

SAS*2480G

2.5寸

SATA

6Gb

MLC

SSD*6硬盤盤盒D12*8550W雙電源模塊

PCI-E雙口10G多模光纖網(wǎng)卡（含光模塊）S1：板載2G

Cache

RAID、3PCIE、2塊4盤位背板、千兆雙口高端RJ45網(wǎng)卡物理結(jié)構(gòu)XeonE5-2620v32.4G15M6C*246地面觀測數(shù)據(jù)1974197519762025node1node2node4node5node3node6數(shù)據(jù)分布node1node2node4node5node3node647并發(fā)度 24加載速率 44537條/秒，約267萬條/分鐘總加載時間 38小時總加載數(shù)據(jù)量 60億占用空間 7TB測試要求：導入性能大于20萬/分鐘數(shù)據(jù)導入并發(fā)度 24加載速率 44537條/秒，約267萬條/分鐘總48494919420688619615001000200015002500測試要求：按某一時間點（以整點小時為檢索條件）檢索中國地面逐小時資料降水量數(shù)據(jù)500并發(fā)1s內(nèi)返回結(jié)果，900并發(fā)2s內(nèi)返回結(jié)果查詢耗時降水要素填圖數(shù)據(jù)獲取050100查詢耗時500指數(shù)

(查詢耗時)90049491942068861961500100020002549505024225629884072600050004000300020001000測試要求：按某一時間點（以整點小時為檢索條件）檢索中國地面逐小時資料填圖數(shù)據(jù)5s內(nèi)返回結(jié)果查詢耗時全要素填圖數(shù)據(jù)獲取050100查詢耗時500指數(shù)

(查詢耗時)9005050242256298840726000測試要求：按某一50測試要求：在近5年的中國地面逐小時資料數(shù)據(jù)中，檢索某一站點在各年同一時期的某一要素數(shù)據(jù)1s內(nèi)返回結(jié)果歷年周期要素分析數(shù)據(jù)獲取測試要求：在近5年的中國地面逐小時資料數(shù)據(jù)中，檢索某一站點在51測試結(jié)果：共5次測試，返回時間分別為：87ms、63ms、83ms、72ms、85ms長時間序列數(shù)據(jù)查詢測試結(jié)果：共5次測試，返回時間分別為：87ms、63ms、852測試結(jié)果：共5次測試，返回時間分別為：234ms、273ms、253ms、245ms、231ms降水量歷史排名測試結(jié)果：共5次測試，返回時間分別為：234ms、273ms53測試結(jié)果：返回時間分別為：310ms、325ms、276ms、423ms、313ms降水量排行測試結(jié)果：返回時間分別為：310ms、325ms、276ms54測試結(jié)果：共5次測試，返回時間分別為：487ms、525ms、576ms、523ms、513ms日降水量超過閾值日期查詢測試結(jié)果：共5次測試，返回時間分別為：487ms、525ms55測試結(jié)果：共5次測試，返回時間分別為：688ms、862ms、486ms、548ms、686ms降水量超閾值天數(shù)測試結(jié)果：共5次測試，返回時間分別為：688ms、862ms56測試結(jié)果：共5次測試，返回時間分別為：1.14s、1.19s、1.20s、1.37s、1.42s降水量極值(最大值、最小值)及平均值測試結(jié)果：共5次測試，返回時間分別為：1.14s、1.19s57測試結(jié)果：共5次測試，返回時間分別為：332ms、299ms、325ms、313ms、319ms日最高溫度歷史排名測試結(jié)果：共5次測試，返回時間分別為：332ms、299ms58測試結(jié)果：共5次測試，返回時間分別為：221ms、203ms、215ms、178ms、192ms日平均溫度排名測試結(jié)果：共5次測試，返回時間分別為：221ms、203ms59測試結(jié)果：共5次測試，返回時間分別為：903ms、895ms、919ms、892ms、839ms日最高氣溫超過閾值日期查詢測試結(jié)果：共5次測試，返回時間分別為：903ms、895ms60測試結(jié)果：共5次測試，返回時間分別為：267ms、372ms、351ms、278ms、301ms日最高氣溫超過閾值天數(shù)測試結(jié)果：共5次測試，返回時間分別為：267ms、372ms6156183775100080060040020001測試要求：通過時間、要素、層次、區(qū)域的選擇，快速獲取相應檢索條件的二維場數(shù)據(jù)1s內(nèi)返回結(jié)果查詢耗時查詢耗時10 100

指數(shù)

(查詢耗時)數(shù)值預報產(chǎn)品單場數(shù)據(jù)獲取5618377510001測試要求：通過時間、要素、層次、區(qū)62測試要求：在相同的起報時間、預報時效、區(qū)域條件下，指定層次，獲取要素的二維場集合。1s內(nèi)返回結(jié)果6313610008006004002000查詢耗時 933 1 10 100查詢耗時

指數(shù)

(查詢耗時)數(shù)值預報產(chǎn)品單場數(shù)據(jù)獲取測試要求：在相同的起報時間、預報時效、區(qū)域條件下，指定層次，63測試要求：測試前后翻臨近時次、上下翻臨近層次的數(shù)據(jù)獲取效率1s內(nèi)返回結(jié)果6514880060040020001查詢耗時 702 10 100查詢耗時

指數(shù)

(查詢耗時)數(shù)值預報產(chǎn)品單場數(shù)據(jù)獲取測試要求：測試前后翻臨近時次、上下翻臨近層次的數(shù)據(jù)獲取效率664XX氣象大數(shù)據(jù)應用中心項目規(guī)劃方案總體架構(gòu)XX氣象大數(shù)據(jù)應用中心項目規(guī)劃方案總體架構(gòu)65匯報完畢感謝聆聽匯報完畢感謝聆聽66智慧氣象大數(shù)據(jù)分析平臺整體解決方案智慧氣象大數(shù)據(jù)分析平臺整體解決方案671需求梳理及行業(yè)發(fā)展趨勢2氣象行業(yè)解決方案3案例分析目錄CONTENTS1需求梳理及行業(yè)發(fā)展趨勢2氣象行業(yè)解決方案3案例分析目錄C6801章節(jié)PART需求梳理及行業(yè)發(fā)展趨勢01章節(jié)PART需求梳理及行業(yè)發(fā)展趨勢69氣象局新一代信息工程總體技術(shù)架構(gòu)理解重點解析：總體架構(gòu)和云架構(gòu)是銜接-演進的關(guān)系氣象局新一代信息工程總體技術(shù)架構(gòu)理解重點解析：總體架構(gòu)和云架70標準化數(shù)字化數(shù)字化標準化數(shù)字化應用資源整合數(shù)據(jù)資源整合硬件資源整合智慧氣象云工程智慧業(yè)務、智慧管理、智慧服務以資源整合和應用集約為抓手，以標準化貫穿始終，從流程再造入手，初步完成數(shù)據(jù)、硬件和業(yè)務應用等三大資源整合，以統(tǒng)一構(gòu)建的國省數(shù)據(jù)環(huán)境，統(tǒng)一規(guī)劃的基礎(chǔ)設施資源池，統(tǒng)一的加工處理流水線，構(gòu)建扁平化的信息組織體系，為實施金云工程，發(fā)展智慧氣象奠定基礎(chǔ)。氣象信息化行動方案實施氣象信息化行動方案，夯實氣象云建設基礎(chǔ)管理信息化標準化問題導向：數(shù)據(jù)分散、信息孤島、

應用林立資源整合共享是國家新一代信息工程建設的重點標準化數(shù)字化數(shù)字化標準化數(shù)字化應用資源整合數(shù)據(jù)資源整合硬件資71

應用導向，搭建國省統(tǒng)一CIMISS數(shù)據(jù)環(huán)境 以CIMISS為基礎(chǔ)構(gòu)建國省統(tǒng)一數(shù)據(jù)環(huán)境CIMISS確立了標準，整合了各類數(shù)據(jù)這就是氣象大數(shù)據(jù)在國省、省際流動并創(chuàng)造價值的前提基礎(chǔ) 應用導向，搭建國省統(tǒng)一CIMISS數(shù)據(jù)環(huán)境 以CIMIS72咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系主要任務發(fā)展戰(zhàn)略現(xiàn)狀分析標桿研究需求問題分析內(nèi)涵及要素構(gòu)成智慧城市愿景及目標總體架構(gòu)業(yè)務架構(gòu)技術(shù)架構(gòu)重點工程行動計劃關(guān)鍵路徑指標體系應用架構(gòu)保障措施

氣象信息化整體規(guī)劃思路和路線 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系主要任務73咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系

氣象云主題建設內(nèi)容 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系 氣象74咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系

氣象大數(shù)據(jù)主體建設內(nèi)容 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系 氣象75咨詢規(guī)劃云計算中心政務大數(shù)據(jù)平臺應用展示中心應用體系開放共贏融合創(chuàng)新

氣象工程展示中心主體建設內(nèi)容 咨詢規(guī)劃云計算中心政務大數(shù)據(jù)平臺應用展示中心應用體系開放共贏76咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系

氣象應用體系主體建設內(nèi)容 咨詢規(guī)劃云計算中心氣象大數(shù)據(jù)平臺應用展示中心應用體系 氣象77氣象信息化建設發(fā)展方向：大整合、大平臺業(yè)務數(shù)據(jù)/平臺基礎(chǔ)設施管理CIPASCIMISS日志審計MICAPS請求服務100業(yè)務系統(tǒng)基礎(chǔ)庫行業(yè)庫實時庫自動站數(shù)據(jù)業(yè)務網(wǎng)+氣象專網(wǎng)+互聯(lián)網(wǎng)二級、三級、四級網(wǎng)網(wǎng)絡多品牌服務器+小機FC

SAN

+NAS+

分布式文件服務器存儲容災預報中心氣候中心…

…本地備份雙活、異地容災（弱）氣象中心 公服中心人工影響天氣中心氣象信息中心（數(shù)據(jù)中心）信息化現(xiàn)狀統(tǒng)一大平臺門戶CIPASMICAPS大數(shù)據(jù)分析平臺資源整合平臺資源服務平臺云計算服務基礎(chǔ)設施統(tǒng)一運維管理計算資源池存儲資源池網(wǎng)絡資源池信息化痛點 信息化方向業(yè)務自建、缺乏標準系統(tǒng)多雜，多次登陸重復錄入，效率低下數(shù)據(jù)量大，處理效率低數(shù)據(jù)格式雜，無法處理數(shù)據(jù)無法有效共享多元化數(shù)據(jù)如何創(chuàng)新基礎(chǔ)設施大整合GIS ……數(shù)據(jù)資源大整合業(yè)務支撐平臺業(yè)務應用大平臺業(yè)務廠商設備多，品牌雜利用率低，服務器20%利用管理難，無法有效監(jiān)控運維不靈活，難以支撐信息化擴展安全水平低，難以持續(xù)提供信息化基礎(chǔ)設施能力信息化管理部門無法向快速為業(yè)務部門信息化需求提供服務容災資源池衛(wèi)星數(shù)據(jù) 雷達數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)+非結(jié)構(gòu)化數(shù)據(jù)百億條基礎(chǔ)數(shù)據(jù)，數(shù)值預報數(shù)據(jù)龐大數(shù)值產(chǎn)品氣象信息化建設發(fā)展方向：大整合、大平臺業(yè)數(shù)基礎(chǔ)設施CI7802章節(jié)PART氣象行業(yè)解決方案02章節(jié)PART氣象行業(yè)解決方案79

構(gòu)建基于CIMISS的國省兩級氣象云應用體系-整體架構(gòu) 構(gòu)建基于CIMISS的國省兩級氣象云應用體系-整體架構(gòu)80異地災備中心公眾服務國家級相關(guān)部門國家氣象云主中心應用2應用3應用1天氣預報 減災服務 氣象觀測 衛(wèi)星遙感 科研計算 數(shù)值預報同城雙活中心公眾服務省市縣相關(guān)部門公眾服務省市縣相關(guān)部門公眾服務省市縣相關(guān)部門應用2氣象公有云應用1應用3省級分中心省級分中心省級分中心國家氣象云建設1個主中心（含北京局）+1個同城災備中心+1個異地災備中心+30個省級分中心標準體系建設技術(shù)架構(gòu)安全標準數(shù)據(jù)標準服務標準

國家氣象云參考部署架構(gòu) 異地災備中心公眾服務國家級相關(guān)部門國家氣象云主中心應用2應用81氣象云計算平臺網(wǎng)絡拓撲架構(gòu)氣象有公共服務資源池氣象有私有云資源池氣象云計算平臺網(wǎng)絡拓撲架構(gòu)氣象有公共服務資源池氣象有私有云資82

氣象云內(nèi)外網(wǎng)數(shù)據(jù)安全傳輸 氣象云內(nèi)外網(wǎng)數(shù)據(jù)安全傳輸 831717

氣象云部署架構(gòu) 1717 氣象云部署架構(gòu) 84氣象公有云部署和設想從客戶角度出發(fā)，為了保證技術(shù)的透明性和可持有性，理解氣象公有云建設是運行在互聯(lián)網(wǎng)上的氣象云建設，而不是純粹由互聯(lián)網(wǎng)廠商運行的黑匣子。根據(jù)公有云部署應用的情況分析可以考慮數(shù)據(jù)庫的云化；氣象局可以考慮采購服務的模式，避免自建，按需計費；物理部署位置選擇：最近的城市云中心（無錫、南京等），或者上海超算中心云化資源池。氣象公有云部署和設想從客戶角度出發(fā)，為了保證技術(shù)的透明性和可851919氣象公有云部署和設想1919氣象公有云部署和設想861、應用拆分 2、應用/WEB上云3、數(shù)據(jù)庫U2L4、數(shù)據(jù)上云CMISS平臺CMISS平臺按照不同階段處理流程劃分數(shù)據(jù)收發(fā)系統(tǒng)（CTS）：包括數(shù)據(jù)收集、收集處理、分發(fā)處理、數(shù)據(jù)補調(diào)等加工處理系統(tǒng)（DPC）：數(shù)據(jù)解碼系統(tǒng)、質(zhì)量控制系統(tǒng)、產(chǎn)品生產(chǎn)系統(tǒng)等存儲管理系統(tǒng)（SOD）：結(jié)構(gòu)管理、元數(shù)據(jù)管理、數(shù)據(jù)處理、數(shù)據(jù)清除等共享服務系統(tǒng)：檢索查詢、數(shù)據(jù)統(tǒng)計分析、可視化等平臺分類數(shù)據(jù)收發(fā)系統(tǒng)（CTS）系統(tǒng)構(gòu)成數(shù)據(jù)收集環(huán)境 特征虛擬機虛擬機虛擬機

多核虛擬機

大內(nèi)存虛擬機虛擬機虛擬機加工處理系統(tǒng)存儲管理系統(tǒng)（SOD）收集處理分發(fā)處理數(shù)據(jù)分發(fā)數(shù)據(jù)補調(diào)系統(tǒng)交互監(jiān)所管理數(shù)據(jù)解碼（DPC） 質(zhì)量控制 高IO

產(chǎn)品生產(chǎn) 虛擬機 結(jié)構(gòu)管理入庫存儲數(shù)據(jù)處理數(shù)據(jù)清除虛擬機共享服務系統(tǒng)（GDS）虛擬機虛擬機

大內(nèi)存檢索系統(tǒng)數(shù)據(jù)獲取數(shù)據(jù)可視化虛擬機

數(shù)據(jù)分發(fā)及統(tǒng)計

虛擬機 存儲搬遷數(shù)據(jù)上云數(shù)據(jù)物理分散轉(zhuǎn)變?yōu)槲锢砑蟹稚⒋鎯D(zhuǎn)變統(tǒng)一云存儲；集中資源，降低未來容災難度接警信息庫串并案庫案件信息庫違法人員庫嫌疑人庫 其他數(shù)據(jù)庫原始數(shù)據(jù)庫CIMISS平臺與云平臺的關(guān)系分析大數(shù)據(jù)平

臺 20 信息資源數(shù)據(jù)庫統(tǒng)一大數(shù)據(jù)平臺平臺HADOOP SPARKSTORM MPPDBDB1DB2DB1’DB2’HA/CLUSTERX86服務器HA/CLOUSTER小型機網(wǎng)絡加速IB網(wǎng)絡：心跳、業(yè)務網(wǎng)萬兆網(wǎng)絡：業(yè)務網(wǎng)IO加速: PCIE-SSD內(nèi)存數(shù)據(jù)庫加速：開啟Oracle12c內(nèi)存數(shù)據(jù)庫功能CTSDPCSODGDSMCP1、應用拆分 2、應用/WEB上云3、數(shù)據(jù)庫U2L4、數(shù)據(jù)上87

氣象基礎(chǔ)設施資源池技術(shù)架構(gòu) ①

全球最先進的虛擬化技術(shù)②

大型云計算中心運維經(jīng)驗③

根正苗紅的國產(chǎn)品牌主要優(yōu)勢支撐應用完善平臺特定行業(yè)云解決方案云計算管理平臺云計算基礎(chǔ)設施 氣象基礎(chǔ)設施資源池技術(shù)架構(gòu) ①全球最先進的虛擬化技術(shù)③88運維管理系統(tǒng)Web/網(wǎng)站/數(shù)據(jù)庫MIS系統(tǒng)中高端X86服務器虛擬化彈性計算資源池核心數(shù)據(jù)庫其他數(shù)據(jù)庫高性能X86服務器數(shù)據(jù)采集系統(tǒng)數(shù)據(jù)預處理系統(tǒng)數(shù)據(jù)分析系統(tǒng)通用低端服務器大數(shù)據(jù)計算分析資源池彈性計算計算資源池數(shù)據(jù)庫資源池基于不同分區(qū)的計算資源池架構(gòu)通用型服務器計算/IO服務器計算存儲型服務器混合型服務器網(wǎng)絡型服務器分布式云計算平臺使用x86架構(gòu)的服務器搭建大規(guī)模集群，通過軟件可伸縮性的優(yōu)勢彌補硬件差錯，提高云計算平臺的可用性、可靠性和安全性。整體建設原則：采購高端新設備、整合可用老設備、淘汰落后差設備；運維管理系統(tǒng)Web/網(wǎng)站/數(shù)據(jù)庫MIS系統(tǒng)中高端X86服務器89FC-SANSAN/NAS

Pool分布式存儲資源池模式計算存儲資源池存儲服務高性能模式數(shù)據(jù)存儲服務分布式數(shù)據(jù)庫服務核心數(shù)據(jù)庫存儲超融合的云存儲系統(tǒng)支撐融合的信息化存儲資源關(guān)系型數(shù)據(jù)庫服務多媒體其它云平臺存儲管理采用兩套存儲架構(gòu)支撐氣象云數(shù)據(jù)中心存儲平臺核心數(shù)據(jù)庫存儲：主要支撐氣象核心生產(chǎn)系統(tǒng)數(shù)據(jù)庫，例如CIMISS、MICAPS結(jié)構(gòu)化數(shù)據(jù)等等；超融合云存儲系統(tǒng)：主要支撐數(shù)據(jù)中心虛擬機、數(shù)值產(chǎn)品數(shù)據(jù)、CIMISS、MICAPS等非結(jié)構(gòu)化的文件數(shù)據(jù)，大數(shù)量多媒體文件存儲；融合的存儲資源池架構(gòu)云計算平臺以分布式存儲集群為主，同時以NAS、SAN等傳統(tǒng)存儲技術(shù)作為補充。FC-SANSAN/NASPool分布式存儲資源池模式計算90Hypervisor網(wǎng)絡CSSPlugin

PlatformSNMPHypervisor

AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中間件 應用JMX/JDBCRest/WebserviceCSSPlugin

Platform新資源SNMP/Modbus存儲SNMP/SMI-S動力環(huán)境服務器SNMPCSSPlugin

Platform對動態(tài)數(shù)據(jù)中心資源集中監(jiān)管，并提供多視角的可視化展現(xiàn)。自主可控云操作系統(tǒng)云環(huán)境監(jiān)控總覽PDUUPSATS空調(diào)WindowsLinuxSolarisAIX存儲友商存儲NetAPPEMC防火墻負載均衡路由器交換機虛擬化XenServerVmwareKVMXENRHEVPowerVMSqlServer)應用服務器(Tomcat、WebSphere、Weblogic、JBoss)消息中間件(

ActiveMQ)數(shù)據(jù)庫(DB2、MySQL、Oracle、? 氣象行業(yè)應用第三方應用插件開發(fā)支持新類型資源監(jiān)控Hypervisor網(wǎng)絡CSSSNMPHypervisor91KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存儲管理豐富完善的管理功能模板管理靈活易擴展的架構(gòu)網(wǎng)絡管理資源自動探查

生命周期管理支持多種虛擬化平臺多虛擬化環(huán)境管理AdaptorCloudVirtualKVMCloudViewAdaptorAdaptorAdap92服務器設備監(jiān)控LinuxWindowsSolarisAIXHPUnix監(jiān)控代理監(jiān)控代理監(jiān)控代理AgentSNMPIPMI全面支持各類操作系統(tǒng)支持多種采集協(xié)議，適應不同場景監(jiān)控指標豐富，可靈活設置顯示與否CloudView服務器設備監(jiān)控LinuxWindowsSolarisAIXH93網(wǎng)絡設備監(jiān)控及拓撲展現(xiàn)

支持SNMP

V1、V2、V3

支持設備自帶MIB庫上傳網(wǎng)絡拓撲手動設置 拓撲自動發(fā)現(xiàn)及故障預警

自動接收Syslog、SNMP

Trap等告基于ICMP（ping）、路由ARP以及SNMP協(xié)議的網(wǎng)絡自動發(fā)現(xiàn)警方式Request監(jiān) Response 管 CloudManager

自動發(fā)現(xiàn)網(wǎng)絡及拓撲展現(xiàn)設 Syslog備 Trap

支持手動設置和修改網(wǎng)絡拓撲基于SNMP（MIB）協(xié)議的網(wǎng)絡設備監(jiān)控

支持多種網(wǎng)絡設備監(jiān)控數(shù)據(jù)中心資源 網(wǎng)絡設備監(jiān)控網(wǎng)絡設備監(jiān)控及拓撲展現(xiàn) 支持SNMPV1、V2、V394數(shù)據(jù)庫資源監(jiān)控JDBC數(shù)據(jù)庫Log日志表空間資源消耗分析運行指標 數(shù)據(jù)庫文件事務連接數(shù)配置信息支持國內(nèi)國外多種數(shù)據(jù)庫靈活擴展支持擴展指標豐富，契合業(yè)務深度監(jiān)控支持靈活的指標和日志級告警數(shù)據(jù)庫資源監(jiān)控JDBC數(shù)據(jù)庫Log日志表空間資源消耗分析運行95中間件資源監(jiān)控連接池現(xiàn)數(shù)據(jù)庫連接池狀態(tài)時了解業(yè)務處理狀態(tài)件錯誤log日志監(jiān)控性能 根據(jù)關(guān)鍵字進行日志錯誤告警支撐各廠商的業(yè)務應用中間件監(jiān)控，提供實時的業(yè)務應用性能指標信息。輕量級、無侵入：通過JMX、SNMP等方式進行監(jiān)控，無需安裝部署Agent代理程序。豐富的指標采集：查看中間件在一段時間內(nèi)的各項指標監(jiān)控，了解業(yè)務系統(tǒng)健康狀態(tài)。精確的實時預警：通過對關(guān)心的性能指標進行策略預警，及時獲得性能瓶頸。監(jiān)控實及日志監(jiān)控JVM內(nèi)存使用率

支持中間優(yōu)化中間件配置，提升緩存實現(xiàn)中間件緩存監(jiān)控提升中間件訪問性能線程池查看中間件繁忙線程數(shù)優(yōu)化中間件參數(shù)配置WebSphereWebLogicTomcatJBossTongWeb中間件資源監(jiān)控連接池支撐各廠商的業(yè)務應用中間件監(jiān)控，提供實時96集群集群監(jiān)控與管理交換機CloudFirm出入外網(wǎng)管理數(shù)據(jù)審查Cloudview身份認證系統(tǒng)日志記錄信息告警CloudManager三級安全等保審查CA證書CloudGaurd的價值出入外網(wǎng)數(shù)據(jù)審查CA證書身份認證系統(tǒng)日志記錄…..業(yè)務數(shù)據(jù)多級云安全管理集群集群監(jiān)控與管理交換機CloudFirm出入外網(wǎng)管97

應用拓撲視圖 根據(jù)業(yè)務關(guān)系模型，展現(xiàn)業(yè)務與IT資源之間的關(guān)聯(lián)關(guān)系，并進行集中監(jiān)控，聚焦業(yè)務，提升IT服務質(zhì)量。 應用拓撲視圖 根據(jù)業(yè)務關(guān)系模型，展現(xiàn)業(yè)務與IT資源之間的98

應用及運行環(huán)境的快速交付 虛擬化層操作系統(tǒng)層中間件層應用層vAppvAppTomcat

WeblogicMySQLWebSphereLinuxApacheWindowsVMware配置部署工具軟件堆棧云管理平臺Ansible

WarRundeck

JarBMC

BladeLogic

SQL

ScriptDataConfiguration

FiChefPuppetBMC

BladeLogicCA

ConfigurationManagementTomcatMySQLApacheWebSphereWeblogicBMC

BladeLogicPXExCATHP

ServerAutomationCF

EngineBMC

BladeLogicLinuxWindowsles軟件用戶軟件部署人員XenKVM

應用一鍵式部署，版本自動升級回退，提升業(yè)務的部署和更新速度 應用及運行環(huán)境的快速交付 虛擬化層操作系統(tǒng)層中間件層應用99自動化彈性與動態(tài)調(diào)配VMMySQLVMAmebaVMMySQLVMMySQLVMMySQLVMTomcatWarVMTomcatWarVMTomcatWarVMTomcatWarVM負載均衡DNSvSwitchvSwitch…+/-…+/-Per

VMCPU4Core

x3GHzRAM

2GBStorage

20GBCPU2Core

xvSwitchBW

>100MbpsLatency

<100msvNetwork

2BW

>1GbpsLatency

<100msPer

VM3GHzRAM

4GBStorage

20GBvNetwork

3BW

>10GbpsLatency

<5msRequestsvNetwork

0BW

>10MbpsLatency

<200ms負載均衡vNetwork1AmebaTomcatMySQLvNetwork0vNetwork2vNetwork0MySQL平均請求響應時間超閥值3200ms指標采集器1

采集監(jiān)控指標發(fā)現(xiàn)請求響應時間超標觸發(fā)彈性控制過程彈性控制引擎2

根據(jù)詳細監(jiān)控指標定位性能瓶頸網(wǎng)絡資源控制器計算資源控制器軟件配置變更控制器3

針對性能瓶頸生成彈性控制計劃并發(fā)送彈性控4

控制器執(zhí)行相應動作彈性伸縮指定資源配置Scale-out/inScale-up/down

制計劃給指定控制器Group1Group2用戶請求SLA定義SLO1

在線用戶數(shù)

>10000SLO2

請求響應時間

<2000msvNetwork

1自動化彈性與動態(tài)調(diào)配VMMySQLVMAmebaVMMySQ100基礎(chǔ)架構(gòu)Software-DefinedDatacenter

ServicesVDCVDC組件應用CloudVirtualPhysical提供應用自動化部署全生命周期管理Firewall&LBWeb

servers

App

serversDatabase

servers模板通用應用環(huán)境模板上線運行環(huán)境（數(shù)值預報用戶）module1module2war1moduleAmoduleBwar2上線運行環(huán)境（防災減災用戶）war3XXXXXXwar4XXXXXX..基礎(chǔ)架構(gòu)Software-DefinedDatacent101彈性擴展支持多租用戶更高的集群利用率易于使用的界面通過硬件整合實現(xiàn)更低的總體擁有成本利用

CloudVirtual

增強

HA/FT概述CloudVirtual

加強了對大數(shù)據(jù)工作負載的支持，包括所有主要

Hadoop

發(fā)行版在通用

CloudVirtual

基礎(chǔ)架構(gòu)上虛擬化

Hadoop

以實現(xiàn)無與倫比的靈活性通過集成到管理中心的管理工具幫助用戶在CloudVirtual上部署、運行及管理Hadoop集群隔離存儲和計算以實現(xiàn)彈性擴展和真正的多租戶優(yōu)勢Hadoop

堆棧：CloudVirtual

加強了對大數(shù)據(jù)工作負載的支持當前的Hadoop：組合式存儲/計算VM計算VMT1VM存儲VM存儲VMT2彈性擴展：隔離存儲和計算物理主機大數(shù)據(jù)應用擴展彈性擴展概述優(yōu)勢Hadoop堆棧：CloudVirtual102輸入數(shù)據(jù)文件名檢查解壓縮格式檢查業(yè)務監(jiān)視信息入庫數(shù)據(jù)收集預處理數(shù)據(jù)分發(fā)省行業(yè)用戶國家級用戶級用戶地面?zhèn)鬏斝l(wèi)星廣播業(yè)務監(jiān)視信息入庫臨時文件庫數(shù)據(jù)處理數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)3解碼文件名標準化圖形生成業(yè)務監(jiān)視信息入庫數(shù)據(jù)存儲管理數(shù)據(jù)共享元數(shù)據(jù)生成數(shù) 存 數(shù)據(jù) 儲 據(jù)入 管 歸庫 理 檔業(yè)務監(jiān)視信息入庫A F元 W P T數(shù) e I P據(jù)b程

直生檢序

接成索調(diào)

服用 務信 業(yè)信 息 信 務息 統(tǒng) 息 流管 計 展 程理 分 示 管析 理業(yè)務監(jiān)控業(yè)務監(jiān)視信息入庫基 實礎(chǔ) 時庫 庫互聯(lián)網(wǎng)庫行業(yè)庫歸檔庫監(jiān)視信息庫系統(tǒng)軟硬件監(jiān)視信息部用戶內(nèi) 行業(yè)用戶業(yè)務值班用戶業(yè)務管理用戶現(xiàn)有氣象數(shù)據(jù)處理流程輸入數(shù)據(jù)文件名檢查解壓縮格式檢查業(yè)務監(jiān)視信息入庫數(shù)據(jù)10338收據(jù)收集流式計算數(shù)據(jù)源GTS資料業(yè)務系統(tǒng)資料國家下發(fā)資料行業(yè)用戶資料其他資料日志數(shù)據(jù)數(shù)據(jù)標準管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理主數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)存儲分析數(shù)據(jù)治理體系雷達數(shù)據(jù)預報地面大氣高空農(nóng)業(yè)生態(tài)海洋氣象輻射衛(wèi)星數(shù)據(jù)T639模式數(shù)據(jù)文件過濾文件識別格式轉(zhuǎn)換數(shù)據(jù)解析數(shù) 唯一性據(jù) 檢查預處 解壓縮理數(shù)據(jù)分析

數(shù)據(jù)存儲模式解碼雷達解碼衛(wèi)星解碼產(chǎn)品生成質(zhì)量控制全文檢索統(tǒng)計分析可擴展解碼Nosql數(shù)據(jù)庫分布式文件系統(tǒng)可交互式檢索數(shù)據(jù)接口

客戶端調(diào)用（時間、空間、數(shù)據(jù)取值）Web

Service（時間、空間、數(shù)據(jù)取值）REST服務（時間、空間、數(shù)據(jù)取值）調(diào)用腳本（時間、空間、數(shù)據(jù)取值）數(shù)據(jù)訪問探索式檢索 圖形化展示基于大數(shù)據(jù)的氣象數(shù)據(jù)處理流程38收據(jù)收集流式計算數(shù)據(jù)源GTS資數(shù)據(jù)標準數(shù)據(jù)質(zhì)量數(shù)據(jù)104

39數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資料數(shù)值預報大氣成分資料農(nóng)業(yè)&生態(tài)氣象資料雷達氣象服務產(chǎn)品衛(wèi)星資料采集網(wǎng)關(guān)：CollectHTTPCollect FileCollectSocketCollect TCP/UDPCollect負載均衡器數(shù)據(jù)統(tǒng)一接入集群采集策略配置存儲策略配置分發(fā)策略配置系統(tǒng)設置配置時效性配置接入節(jié)點1接入節(jié)點2系統(tǒng)監(jiān)控配置接入節(jié)點3接入節(jié)點n數(shù)據(jù)處理分發(fā)集群收集時效處理文件拆分處理格式檢查數(shù)據(jù)規(guī)整Tar解 地處面理/高析 空/海洋/大氣成分氣象資文料件解包解壓文件過濾文件唯一性處理文件換名處理輻射/農(nóng)業(yè)/生態(tài)氣象資料格式檢查自定義格式解析數(shù)據(jù)抽取文件換名處理數(shù)值預報文件過濾收集時效處理格式檢查Grib解析文件識別雷達文件換名處理文件過濾收集時效處理格式檢查文件識別自定義格式解文件過濾唯一性檢查文件識別衛(wèi)星收集時效性處格式檢查文件解包解壓數(shù)據(jù)消耗分布式文件系統(tǒng)NoSQL數(shù)據(jù)庫內(nèi)存計算引擎數(shù)據(jù)統(tǒng)一接入 39數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資105本地目錄遠程目錄TCP/UDP端口數(shù)據(jù)源HTTP本地日志采集集群存儲配置監(jiān)控配置系統(tǒng)設置執(zhí)行任務處理集群運行配置解析處理配置集群系統(tǒng)設置執(zhí)行線程執(zhí)行線程執(zhí)行線程執(zhí)行線程任務調(diào)度表信息設置表歸檔設置列式數(shù)據(jù)庫數(shù)據(jù)訪問接口WebService數(shù)據(jù)存儲配置數(shù)據(jù)格式配置HDFS文件系統(tǒng)批處理模式處理批處理架構(gòu)流處理監(jiān)控系統(tǒng)采集集群監(jiān)控處理集群監(jiān)控接收消息監(jiān)控處理任務監(jiān)控370TB/天120萬條記錄/s百億條記錄秒級返回數(shù)據(jù)采集流程本地目錄遠程目錄TCP/UDP端口數(shù)據(jù)源HTTP本地日志采集106數(shù)據(jù)源地面氣象資料高空氣象資料海洋氣象資料氣象輻射資料農(nóng)業(yè)&生態(tài)氣象資料數(shù)值預報大氣成分資料雷達氣象服務產(chǎn)品衛(wèi)星資料數(shù)據(jù)采集集群Spark數(shù)據(jù)加工處理集群HDFS/ParaStor（數(shù)據(jù)存儲）資源管理調(diào)度Tar解碼BUFR解碼GRIB解碼ASCII文件解碼ImpalaSpark（SparkStreaming/Spark

SQL)MapReduce HBAE/Hive分鐘數(shù)據(jù)產(chǎn)品

生成

質(zhì)量控制算法 時值數(shù)據(jù)統(tǒng)計 日值數(shù)據(jù)統(tǒng)計