面向空氣質量數(shù)值預報的高性能計算解決方案

面向環(huán)境空氣質量預報預警的高性能計算解決方案環(huán)境保護，是我們每個企業(yè)和個人的責任！目錄空氣質量預報預警與高性能計算空氣質量預報預警HPC解決方案成功案例及優(yōu)勢經驗預報專家根據(jù)經驗綜合天氣信息、當前監(jiān)測數(shù)據(jù)等要素作出預報統(tǒng)計預報利用監(jiān)測數(shù)據(jù)，基于統(tǒng)計分析，研究空氣的時空變化和分布規(guī)律進行預報和預警數(shù)值預報以大氣動力學理論為基礎，基于大氣物理化學過程規(guī)律，利用數(shù)學方法和計算機對其進行模擬空氣質量預報預警手段空氣質量數(shù)值模式，是基于對大氣物理和化學過程規(guī)律的理解基礎上，利用數(shù)學方法和計算機數(shù)值計算對其進行模擬，以預測未來一段時間內污染物的傳播和分布的方法從尺度上，可分為城市、區(qū)域和全球模式，省市環(huán)保部門一般只關注城市和區(qū)域模式區(qū)域空氣質量模式是以氣象模式結果為驅動場，以污染源排放清單為基礎，通過區(qū)域空氣質量模式預測未來一段時間各種污染物的濃度數(shù)據(jù)，并在此基礎上計算區(qū)域、網格的相關空氣質量情況。什么是空氣質量數(shù)值模式？空氣質量數(shù)值預報污染來源解析污染行業(yè)評估環(huán)境政策評估數(shù)值預報能做什么？基準情景與減排情境下周邊對北京各區(qū)縣SO2、PM10濃度貢獻區(qū)域空氣質量數(shù)值預報模式系統(tǒng)

預報前處理系統(tǒng)空氣質量預報模式預報后處理系統(tǒng)發(fā)布、展示和會商系統(tǒng)觀測數(shù)據(jù)天氣圖衛(wèi)星數(shù)據(jù)氣象要素氣象場（WRF)接口科研版排放源清單處理NAQPMSCMAQCMAxWRF-ChemAQI預報業(yè)務版GIS展示制圖預報基礎數(shù)據(jù)采集HPC數(shù)值預報模式應用特點計算量巨大浮點計算量大內存要求高網格精度提高時效性要求高多模式集合預報通信極為密集MPI并行通信格點間通信嵌套區(qū)域間通信IO性能要求高海量小文件讀寫同化資料處理和污染源解析一般要求分布式IO或并行文件系統(tǒng)調優(yōu)效果明顯幾乎所有的應用均為開源系統(tǒng)可以進行編譯器、數(shù)學庫、MPI等多層次應用調優(yōu)目錄空氣質量預報預警與高性能計算空氣質量預報預警HPC解決方案成功案例及優(yōu)勢空氣質量數(shù)值預報系統(tǒng)解決方案框架解決方案體系硬件高性能計算機、分布式并行存儲系統(tǒng)軟硬一體化解決方案軟件集群管理軟件、空氣質量預報模式，集合預報千兆交換機局域網用戶Internet路由器防火墻遠程控制內網外網千兆管理網控制臺本地KVM外部網絡InfiniBand網機房環(huán)境在線并行存儲系統(tǒng)計算系統(tǒng)存儲系統(tǒng)計算節(jié)點SMP胖節(jié)點管理/登陸節(jié)點主機房InfiniBand計算網千兆管理網KVM管理網KVM控制臺服務發(fā)布節(jié)點離線存儲備份系統(tǒng)高性能計算平臺結構拓撲圖專門針對數(shù)值預報等HPC應用定制優(yōu)化的計算刀片硬件解決方案——計算系統(tǒng)1高密度最高支持5U10片高性能雙路Intel刀片高性能支持最新IntelE5-2600CPUIvybrige、Haswell高速率支持56GbFDRInfiniband網絡支持100GbEDRInfiniband網絡低噪音滿載低于65dB、空載低于40dB靜音性刀片機箱低能耗93%效率金牌電源，冗余熱插拔N+N、N+1冗余易部署管理模塊集成，配合GridviewTC4600已有的大規(guī)模應用案例包括：北京市計算中心教育網格二期（華中科技大學、清華大學等）華東師范大學五期國家氣象局衛(wèi)星中心北京、上海、浙江、舟山等氣象局中科院超算中心深騰7000擴容中科院超算中心新一代計算系統(tǒng)中科院等離子體所、地質與地球物理所…產品鏈接：http:///product/detail/productid/90.html硬件解決方案——計算系統(tǒng)2完全模塊化、高密度設計的TC5600-H整機柜系統(tǒng)采用全模塊化設計，由機柜框架、節(jié)點倉、計算節(jié)點、供電、散熱、管理等模塊組成每機柜最大可支持40U節(jié)點空間，最大可配置80個計算刀片采用前走線、前維護方式，相比傳統(tǒng)HPC設備更加方便、快捷4U節(jié)點倉刀片節(jié)點電源模塊業(yè)界最高密度的整機柜式計算刀片系統(tǒng)硬件解決方案——計算系統(tǒng)2高密度高性能綠色節(jié)能模塊化易管理一體化易擴展快速部署整機柜服務器可為不同的應用領域提供多種跨平臺可選擴展配置，如對四路、GPU等的支持80個雙路節(jié)點單機柜30KW單機柜70TFLOPS計算峰值支持IB、GPU整體電源，減少損耗10%整體風扇，減少損耗50%總體節(jié)能20%冷池級制冷，PUE達到1.6散熱模塊、電源模塊、交換模塊、IB模塊、計算模塊、管理模塊單機柜管理模塊，減少管理設備的數(shù)量，基于web的管理軟件、模塊化設計等均利于管理基礎設施、交換設備、連接線纜、服務器設備的一體化集成整機柜一體化生產、運輸?；谡麢C柜的線纜連接。基于整機柜的部署產品鏈接：http:///product/detail/productid/133.htmlSMP胖節(jié)點作為數(shù)值預報綜合處理服務器，源解析應用硬件解決方案——計算系統(tǒng)31單機性能高2內存容量更大3更高本地IO更大的空間，豐富的插槽，可以適合插入各種類型的外插卡，提供更為靈活的配置和擴展8-24塊的本地硬盤擴展能力，提供更高的存儲性能和更大的存儲空間某些應用需要非常大的單機內存容量，比如污染源解析、模式前后處理、數(shù)據(jù)同化等應用，胖節(jié)點具有1-8TB海量內存的擴展性，滿足此類應用單機更高的核心數(shù)，可擴展至120核心，提供更高的單機性能，對于共享存儲并行程序提供更大的擴展性4豐富的擴展能力四路服務器八路服務器ParaStor200分布式并行存儲系統(tǒng)，作為數(shù)值預報平臺的共享存儲，滿足海量、高帶寬的存儲需求高性能：針對數(shù)值預報高IO帶寬需求特點進行了專門優(yōu)化可擴展性：支持在線擴容，容量和性能實現(xiàn)線性增長分級存儲：熱點數(shù)據(jù)和冷數(shù)據(jù)自動分層和遷移故障自愈：故障硬盤快速自動恢復高可靠性：控制器、網絡、數(shù)據(jù)全冗余設計易管理：基于Gridview的統(tǒng)一監(jiān)控管理框架存儲系統(tǒng)：針對數(shù)值預報高IO需求的并行存儲系統(tǒng)數(shù)據(jù)控制器（SATA部分）數(shù)據(jù)控制器（SATA部分）數(shù)據(jù)控制器（SATA部分）數(shù)據(jù)控制器（SATA部分）8+2:1糾刪碼，利用率80%數(shù)據(jù)控制器（SSD部分）數(shù)據(jù)控制器（SSD部分）數(shù)據(jù)控制器（SSD部分）數(shù)據(jù)控制器（SSD部分）8+2:1糾刪碼，利用率80%元數(shù)據(jù)控制器元數(shù)據(jù)控制器雙活冗余分級存儲、自動數(shù)據(jù)遷移56GbFDRInfiniBand計算、登陸、管理等節(jié)點（ParaStor200客戶端）ParaStor200分布式并行存儲系統(tǒng)數(shù)值預報業(yè)務系統(tǒng)對存儲系統(tǒng)需求特點為大容量、高帶寬、高可擴展性、支持分級存儲和故障自愈功能，采用ParaStor200分布式并行存儲系統(tǒng)。穩(wěn)定可靠的并行存儲系統(tǒng)Parastor200磁盤、節(jié)點、網絡全冗余設計，無單點故障，保障數(shù)值預報數(shù)據(jù)安全；數(shù)據(jù)保護：數(shù)據(jù)副本或N+M糾刪碼方式無人值守故障硬盤處理，避免傳統(tǒng)RAID的“雪崩”效應易擴展、易管理的并行存儲系統(tǒng)Parastor200支持在線擴容，擴容后自動負載均衡；Scale-out擴展方式，容量和性能線性增長簡單易用的Web監(jiān)控管理頁面；Linux/Windows多客戶端支持；豐富的權限控制和配額管理；支持WORM（WriteOnceReadMany）Parastor200相比其他存儲優(yōu)勢推薦采用ParaStor200分布式并行存儲系統(tǒng)相比Lustre及其衍生品，P200的優(yōu)勢特性：P200元數(shù)據(jù)集群Active-Active雙活；Lustre是Active-StandbyP200節(jié)點故障時“零時間”在線切換；Lustre通常需要幾達到十幾分鐘P200磁盤故障時，數(shù)據(jù)自動并發(fā)重建，速度快（0.5-2小時），無人值守，定期更換故障硬盤即可；Lustre數(shù)據(jù)保護基于RAID，需要及時發(fā)現(xiàn)并更換故障硬盤，數(shù)據(jù)重建時間長（以天計），重建過程中容易出現(xiàn)繼續(xù)壞盤的雪崩效應P200軟硬一體，在硬件面板或監(jiān)控界面可以直接故障盤定位；Lustre相對麻煩，更換失誤的風險大在線擴容后P200能夠數(shù)據(jù)自動分布均衡，實現(xiàn)容量和性能線性增長；Lustre需要手動數(shù)據(jù)遷移，難度很大P200支持透明的分級存儲；Lustre目前不支持P200支持Windows客戶端；Lustre目前不支持ParaStor200并行存儲系統(tǒng)已是HPC系統(tǒng)的標配，已有有眾多使用案例，包括：

深圳超算中心（16PB）

中科院超算中心“元”（兩期共5.53PB）

中國環(huán)境監(jiān)測總站京津冀區(qū)域空氣質量數(shù)值預報系統(tǒng)一期（3.45PB）

北京氣象局、上海臺風所、內蒙氣象局、福建氣象局等數(shù)值預報領域數(shù)據(jù)具有明顯的時間累積性，時間越長，數(shù)據(jù)量越大，需要配置備份存儲系統(tǒng)備份存儲系統(tǒng)方案專業(yè)機房基礎設施解決方案CloudBASEC1000/C3000行間水平送風氣流組織C1000/C3000IMMS監(jiān)控管理界面初期建設成本+運維成本設備運轉時間機房級PUE>2.0單柜5-10kW冷池級/機柜排級PUE1.4~1.6，單柜30kW提高制冷效率，降低PUE的途徑冷熱通道分離水平氣流組織、就近精確送風自然冷卻、輔助冷卻Gridview高性能集群綜合管理平臺軟件解決方案——集群管理軟件Gridview高性能集群綜合管理平臺軟件解決方案——集群管理軟件多視角監(jiān)控全功能管理多方式告警復雜報表高效率運維一鍵配置集群用戶管理Ssh/Rsh配置Nfs配置磁盤配額管理IPMI配置智能批量開關機時間同步用戶配額申請用戶最大資源申請用戶申請審批故障報告與審批短信、郵件、聲光基于整機柜的定制化監(jiān)控統(tǒng)針對數(shù)值預報特點定制開發(fā)的作業(yè)調度系統(tǒng)強大穩(wěn)定的作業(yè)調度系統(tǒng)，多樣的調度策略；支持多種license控制；支持GPU作業(yè)調度；支持VNC交互式作業(yè)提交；支持多種應用WebPortal；作業(yè)調度豐富的調度策略，保障集群資源最大利用和最佳分配完善的作業(yè)搶占功能，實現(xiàn)業(yè)務作業(yè)和科研作業(yè)的靈活切換應用WebPortal封裝，簡化用戶操作，提供使用效率充值計費系統(tǒng)，實現(xiàn)集群資源的精細化管理和統(tǒng)計目錄空氣質量預報預警與高性能計算空氣質量預報預警HPC解決方案成功案例及優(yōu)勢與數(shù)值預報2002年，推出氣象專用機，軟硬件一體化的中尺度氣象業(yè)務預報系統(tǒng)。2004年，聯(lián)合計算所、AMD公司，在全球率先將MM5移植到X86-64平臺。2006年，在國內首次完成了WRF模式在X64-64高性能集群系統(tǒng)上的業(yè)務化移植，開創(chuàng)了國內在64位機器上做WRF模式業(yè)務化的先河。2007年，與武漢暴雨所合作將暴雨數(shù)值預報模式（AREM）移植到并行機上并進行性能優(yōu)化。2007年，與北海環(huán)境檢測中心合作，研究新一代海洋環(huán)流模式FVCOM在X64高性能計算機上的移植和優(yōu)化，在FVCOM的運行上取得了非常好的效果，該成果已經于2007年12月份成功應用與天津海洋局項目中。2008年，公司推出基于WRF模式的針對行業(yè)中小用戶的第二代氣象專用機。2010年，和微軟一起移植WRF到WHS2008，開創(chuàng)了Windows高性能計算平臺上進行數(shù)值預報的先河。2009年，與中科院大氣物理研究所合作，對氣候模式代碼在x86平臺上完成移植和性能優(yōu)化。2012年，與中科院大氣物理研究所合作，開展了空氣質量多模式集合預報預警平臺的測試工作。2013年，與上海臺風研究所達成戰(zhàn)略合作，雙方在高可靠數(shù)值預報、氣象專用高性能計算機方面進行深入合作。2014年，聯(lián)合中科院大氣所、上海臺風所開展氣象、環(huán)保行業(yè)業(yè)務專用機的研制工作，深化對氣象、環(huán)保用戶的應用支持。與氣象中國環(huán)境監(jiān)測總站北京市氣象局上海臺風所深圳市氣象局浙江省氣象局福建省氣象局

河南氣象局電科院新能源所中國氣象局衛(wèi)星中心

深圳市氣象局

武漢暴雨所

成都高原所眾多地市級氣象局寧波蘇州西安哈爾濱數(shù)值預報成功案例成功案例分享：中國環(huán)境監(jiān)測總站需求分析隨著經濟社會發(fā)展，京津冀、長三角、珠三角等區(qū)域面臨嚴重的大氣環(huán)境污染狀況，大氣污染治理勢在必行空氣質量數(shù)值預報預警對于大氣污染治理具有重要的指導作用，是大氣污染治理的重要手段和工具環(huán)境監(jiān)測總站需要一整套空氣質量數(shù)值預報預警平臺的軟硬件解決方案，包括高性能計算機、機房基礎設施、空氣質量預報模式、預報預警業(yè)務化系統(tǒng)等解決方案提供了一整套環(huán)境空氣質量預報預警平臺的軟硬件綜合解決方案，整體方案分為高性能計算機、機房基礎設施、空氣質量預報模式及業(yè)務化系統(tǒng)、支撐環(huán)境等組成部分方案設計充分考慮先進性、成熟型、環(huán)保節(jié)能、軟硬件匹配等原則，為開展“京津冀”等區(qū)域的大氣污染研究和治理提供了最佳的支撐平臺成功案例分享：中國環(huán)境監(jiān)測總站方案特色高性能：雙路計算刀片+八路SMP胖節(jié)點混合架構，300片TC4600計算刀片+2臺I980-G10，采用56GbFDRInfiniband互聯(lián)，計算能力達到135萬億次大容量：3套Parastor200并行存儲系統(tǒng)，總存儲超過3PB容量，滿足環(huán)境海量數(shù)據(jù)存儲需求高可靠性：關鍵節(jié)點、部件冗余設計，無單點故障綠色環(huán)保：C3000高效水冷機柜解決方案，冷水機組支持自然冷卻，PUE值低于1.5與應用匹配：與中科院大氣所NAQPMS模式進行了大量測試空氣質量預報預警平臺組成框圖中國環(huán)境監(jiān)測總站集群拓撲圖江蘇環(huán)境監(jiān)測預報中心2014年采購高性能集群一套，用于江蘇省及長三角區(qū)域的大氣環(huán)境污染預報預警平臺公司為用戶提供了一套成熟的TC4600刀片集群一套，總計算能力超過20萬億次，并配置2臺大內存胖節(jié)點，充分滿足空氣質量預報模式計算需求成功案例分享：江蘇環(huán)境監(jiān)測預報中心用戶需求分析上海市臺風所是中國最具權威的數(shù)值預報模式研究單位之一，在臺風預報、集合預報、短時臨近預報、資料同化等領域成果顯著，其業(yè)務模式被多地氣象局廣泛仿效應用，如浙江、青島等根據(jù)中國氣象局上海臺風研究所開展高分辨率數(shù)值預報的需要，擬購置大型高性能計算平臺1套，以建設一流高性能計算平臺，滿足9km～3km高分辨率數(shù)值預報模式計算需求，提高科研創(chuàng)新能力，培養(yǎng)高級數(shù)值預報人才。成功案例分享：上海臺風所解決方案32.6萬億次高性能計算集群，基于IntelE52600處理器平臺和56GbInfiniband網絡，為數(shù)值預報提供超強的計算能力配置兩臺小型機作為綜合處理服務器，為海量的氣象資料提供大內存、高性能的處理平臺采用分級存儲，在線存儲使用Parastor200并行存儲，近線存儲使用NAS存儲，兼顧存儲容量和性能的均衡成功案例分享：上海臺風所系統(tǒng)應用：數(shù)值預報模式、同化系統(tǒng)、精細化預報中尺度模式，臺風模式，短臨模式等用戶需求分析借2011年深圳大運會的契機，開展了大城市精細化預報業(yè)務試點工作高分辨率的實時同化預報系統(tǒng)（HAPS），逐小時同化廣東省及泛華南地區(qū)的多普勒雷達資料，提供4km水平分辨率的精細化數(shù)值預報產品；短時臨近預報、集合預報、快速循環(huán)同化系統(tǒng)成功案例分享：深圳氣象局解決方案一套5000A高性能計算機，總計算能力34萬億次，超過150TB并行分級存儲系統(tǒng)（SAS/FC）根據(jù)用戶應用特點，將整個高性能計算平臺劃分兩個功能區(qū)：業(yè)務區(qū)和科研區(qū)，兩者資源獨立，也可以按需遷移平臺虛擬化：提供800核以上的虛擬服務平臺和200個桌面虛擬應用成功案例分享：深圳氣象局方案概述架構：5000A，170個刀片集群節(jié)點：CB-85高密度計算刀片4路AMD2.1GHz6核處理器64GBmemory/node,64GBSSD/node網絡：20GbDDRInfiniband+千兆管理網存儲：Parastor100并行文件系統(tǒng)機柜：C3000水冷機柜軟件：WRF、MM5、Grapes、LAPS、Gridview、短時臨近預報、資料同化系統(tǒng)成功案例分享：深圳氣象局效果：氣象災害分區(qū)預警精細到4平方公里，并由深圳市擴大至泛華南區(qū)域，預警信息傳輸時效縮短至10分鐘以內，短時臨近預報時效延長至3小時，實現(xiàn)重點時段提前2小時逐10分鐘發(fā)布實況和預報信息提示。推出上下班出行等重點時段的風速、能見度、濕度、降雨量等分區(qū)精細化預報信息，通過電臺等多種形式服務市民出行。成功案例分享：北京市氣象局需求分析北京市氣象局2007年在國內建立了首家快速更新循環(huán)預報系統(tǒng)（BJ-RUC）,并成功應用于奧運氣象保障等服務。隨著BJ-RUC的不斷升級，對大型計算機性能提出了更高的需求，原有系統(tǒng)已經無法滿足業(yè)務運行需要解決方案TC4600刀片集群一套，配置201個雙路計算刀片，雙路IntelE5-2680v2處理器，總計算能力超過90Tflops配置1套Parastor200并行存儲系統(tǒng)，滿足數(shù)值預報高性能并發(fā)IO和大容量存儲的需求北京市氣象