用適配的曙光高性能計(jì)算解決方案

與應(yīng)用適配的曙光高性能計(jì)算解決方案曙光信息產(chǎn)業(yè)（北京）有限公司高性能計(jì)算方案部李斌高性能計(jì)算平臺什么最重要？計(jì)算密集型網(wǎng)絡(luò)密集型數(shù)據(jù)密集型訪存密集型大內(nèi)存需求MPI并行多線程并行高通量并發(fā)眾核計(jì)算減小求解時間提高求解精度擴(kuò)大求解規(guī)模提高任務(wù)吞吐量物理化學(xué)生命科學(xué)材料CAE/CFD氣象石油勘探渲染金融計(jì)算衛(wèi)星遙感電力仿真計(jì)算？網(wǎng)絡(luò)？存儲？軟件？管理？高性能計(jì)算平臺什么最重要？計(jì)算平臺應(yīng)用資源需求網(wǎng)絡(luò)Heavy！存儲Easy！計(jì)算Regular能夠與應(yīng)用適配，才是“好”的高性能計(jì)算平臺高性能計(jì)算平臺什么最重要？網(wǎng)絡(luò)Heavy！存儲Easy！計(jì)算Regular計(jì)算平臺應(yīng)用資源需求“好刀要用在刀刃上”，否則是廢鐵一塊高性能計(jì)算平臺什么最重要？網(wǎng)絡(luò)Heavy！存儲Easy！計(jì)算Regular木桶效應(yīng)——避免盲目投資計(jì)算平臺應(yīng)用資源需求HPC應(yīng)用需求分析——物理化學(xué)材料計(jì)算密集型，浮點(diǎn)運(yùn)算能力需求訪存密集型，部分應(yīng)用有大內(nèi)存需求通信密集型（第一性原理、分子動力學(xué)）存儲資源中度需求軟件種類繁多，學(xué)術(shù)/開源軟件為主，軟件調(diào)優(yōu)空間較大HPC應(yīng)用需求分析——生命科學(xué)測序儀離線處理（序列拼接）Euler,allpaths,Velvet,soap,denovo,abyss等整型計(jì)算為主，海量內(nèi)存需求、高磁盤IO、多線程并行為主序列搜索比對BLAST、HMMER、FASTA、ClustalW等整型計(jì)算為主，訪存密集，并行擴(kuò)展性好，網(wǎng)絡(luò)壓力不大電子顯微鏡三維重構(gòu)Spider、EMAN、xmipp、Sparx、relion訪存密集，高IO、加速比好，網(wǎng)絡(luò)壓力小質(zhì)譜儀數(shù)據(jù)處理計(jì)算量大，計(jì)算時間長，加速比好，網(wǎng)絡(luò)壓力小藥物設(shè)計(jì)（分子對接）DOCK、AutoDock、DiscoveryStudio、MORDOR、ZDOCK計(jì)算較密集、并行擴(kuò)展性良好，網(wǎng)絡(luò)壓力小HPC應(yīng)用需求分析——CAE工程計(jì)算隱式結(jié)構(gòu)力學(xué)擴(kuò)展性一般，部分求解器多線程并行訪存密集，內(nèi)存容量性能需求較高高磁盤IO需求顯示結(jié)構(gòu)力學(xué)擴(kuò)展性較好網(wǎng)絡(luò)通信密集較大磁盤容量需求CFD流體力學(xué)擴(kuò)展性較好網(wǎng)絡(luò)通信密集磁盤IO要求不高電磁仿真加速比較好海量內(nèi)存需求部分軟件協(xié)處理器加速效果明顯HPC應(yīng)用需求分析——?dú)庀蠛Ｑ蟓h(huán)境

氣象、氣候模式:MM5,WRF,GRAPES,AREMS,LAPS,ARPS,T106,CCSM3,CESM

etal.

海洋模式:ROMS,HYCOM,FVCOM,POP,ECOMSED,ECOM,MOM4,MITgcm,FGOALS

etal.

大氣環(huán)境模式:CMAQ,Smoke,WRF-Chem,CAMx

etal.浮點(diǎn)計(jì)算量巨大，訪存密集通信極為密集磁盤IO要求高，大量文件讀寫調(diào)優(yōu)效果顯著業(yè)務(wù)化特征明顯HPC應(yīng)用需求分析——石油物探地震資料采集地震資料處理地震資料解釋淺海灘涂地震資料處理（數(shù)據(jù)的反演計(jì)算：疊前時間偏移、逆時偏移等），計(jì)算量巨大并行計(jì)算數(shù)據(jù)交互少，網(wǎng)絡(luò)壓力不大，擴(kuò)展性好GPGPU深度應(yīng)用IO密集，分布式并行存儲需求HPC應(yīng)用需求分析——遙感、天文遙感天文高能物理最典型的數(shù)據(jù)密集型應(yīng)用HPC中的大數(shù)據(jù)海量存儲需求數(shù)據(jù)并行取代計(jì)算并行聚合IO帶寬性能很重要HPC應(yīng)用需求分析——高通量計(jì)算傳統(tǒng)HPC通過并行計(jì)算縮短單任務(wù)計(jì)算時間，提高計(jì)算規(guī)模和精度（緊耦合并行計(jì)算任務(wù)）高通量計(jì)算HTC，側(cè)重于提高計(jì)算任務(wù)的吞吐量，單個任務(wù)多為串行（海量的松耦合技術(shù)任務(wù)）電網(wǎng)輸電線路暫穩(wěn)態(tài)分析鈔票印刷錯誤篩查單個處理單元的性能很重要，但處理單元的數(shù)量更為重要！曙光高性能計(jì)算解決方案框架機(jī)房基礎(chǔ)設(shè)施：機(jī)房、機(jī)柜、配電、空調(diào)等通用計(jì)算節(jié)點(diǎn)胖節(jié)點(diǎn)協(xié)處理器節(jié)點(diǎn)計(jì)算網(wǎng)絡(luò)存儲系統(tǒng)監(jiān)控管理網(wǎng)絡(luò)網(wǎng)絡(luò)安全集群功能節(jié)點(diǎn)HPC基礎(chǔ)軟件環(huán)境集群監(jiān)控管理軟件作業(yè)調(diào)度軟件應(yīng)用WebPortalHPC應(yīng)用：物理、化學(xué)、材料、生命科學(xué)、CAE、氣象、海洋、環(huán)境、遙感、天文、高能物理、石油物探、動漫渲染、金融…基礎(chǔ)設(shè)施層硬件資源層基礎(chǔ)軟件層應(yīng)用軟件層計(jì)算系統(tǒng)多路胖節(jié)點(diǎn)四路、八路計(jì)算節(jié)點(diǎn)大內(nèi)存需求應(yīng)用程序擴(kuò)展性一般的多線程并行程序本地磁盤IO較高的應(yīng)用程序眾核加速節(jié)點(diǎn)GPGPU/IntelXeonPhi針對支持協(xié)處理加速的應(yīng)用通用計(jì)算節(jié)點(diǎn)雙路計(jì)算節(jié)點(diǎn)為主計(jì)算密集、非大內(nèi)存需求、具有一定擴(kuò)展性的MPI并行程序大規(guī)模串行計(jì)算程序計(jì)算節(jié)點(diǎn)形態(tài)的演變塔式機(jī)架式刀片式整機(jī)柜式密度更高功耗降低布線簡單可靠性高管理方便網(wǎng)絡(luò)系統(tǒng)——監(jiān)控管理網(wǎng)絡(luò)阻塞阻塞阻塞阻塞阻塞阻塞熱點(diǎn)網(wǎng)絡(luò)系統(tǒng)——計(jì)算網(wǎng)絡(luò)千兆？萬兆？InfiniBand？根據(jù)應(yīng)用的網(wǎng)絡(luò)通信密集程度選擇帶寬敏感大數(shù)據(jù)包為主延遲敏感小數(shù)據(jù)包為主選擇的標(biāo)準(zhǔn)是什么？InfiniBand是否需要線速？1/N線速可以滿足應(yīng)用需求針對擴(kuò)展性一般的應(yīng)用，區(qū)域線速是合理選擇存儲系統(tǒng)高性能高可擴(kuò)展性高可靠性數(shù)據(jù)分布化簡易管理自動負(fù)載均衡ParaStor200并行存儲系統(tǒng)如何解決HPC集群全局共享存儲的性能和擴(kuò)展性問題？——分布式并行存儲系統(tǒng)性能：多個IO通道，提高聚合帶寬針對IO密集應(yīng)用，條帶化提高單流IO性能擴(kuò)展性：元數(shù)據(jù)和數(shù)據(jù)分離，消除瓶頸自動負(fù)載均衡，容量和性能線性增長在線擴(kuò)容，不中斷應(yīng)用高可靠性：多活冗余的元數(shù)據(jù)控制冗余的數(shù)據(jù)網(wǎng)絡(luò)，數(shù)據(jù)多副本或N+M校驗(yàn)無單點(diǎn)故障、保障數(shù)據(jù)安全性價(jià)比：使用通用、廉價(jià)設(shè)備構(gòu)建高可靠的存儲系統(tǒng)分級存儲，區(qū)分冷熱數(shù)據(jù)，優(yōu)化成本Gridview集群監(jiān)控管理軟件全面的集群的運(yùn)行狀態(tài)實(shí)時監(jiān)控，包括設(shè)備狀態(tài)、存儲監(jiān)控、機(jī)房基礎(chǔ)設(shè)施監(jiān)控等集群監(jiān)控系統(tǒng)快速部署用戶信息統(tǒng)一管理集群系統(tǒng)服務(wù)統(tǒng)一管理遠(yuǎn)程KVM、IPMI智能一鍵開關(guān)機(jī)集群管理監(jiān)控各主要故障點(diǎn)信息；故障閾值設(shè)置，定制監(jiān)控策略；短信、郵件等告警方式告警管理集群運(yùn)行狀態(tài)的統(tǒng)計(jì)報(bào)表功能預(yù)定義和自定義形式生成集群運(yùn)行狀況報(bào)表報(bào)表系統(tǒng)一目了然防患未然輕松管理分析決策作業(yè)調(diào)度軟件系統(tǒng)管理員的需求？豐富的調(diào)度策略，提高資源利用率異構(gòu)資源的調(diào)度用戶的充值、計(jì)費(fèi)管理商業(yè)軟件license調(diào)度作業(yè)搶占、資源預(yù)留作業(yè)關(guān)聯(lián)關(guān)系、作業(yè)流控制超算中心工程計(jì)算氣象石油氣象生物批量作業(yè)支持及調(diào)度性能生物HTC使用用戶的期望？簡單易用，避免命令行操作，針對應(yīng)用的Web封裝，應(yīng)用參數(shù)方便關(guān)聯(lián)選擇方便查看權(quán)限和余額，可以在線申請錯誤檢查：資源是否超限？輸入文件檢查作業(yè)狀態(tài)變更通知、作業(yè)運(yùn)行狀態(tài)追蹤，作業(yè)輸出方便查看VNC可視化交互式作業(yè)提交Gridview作業(yè)調(diào)度系統(tǒng)GridviewClusQuota集群基礎(chǔ)軟件環(huán)境完備的基礎(chǔ)+應(yīng)用軟件環(huán)境針對硬件平臺優(yōu)化自動化動態(tài)安裝部署基礎(chǔ)設(shè)施系統(tǒng)初期建設(shè)成本+運(yùn)維成本設(shè)備運(yùn)轉(zhuǎn)時間機(jī)房級PUE>2.0單柜5-10kW冷池級/機(jī)柜排級PUE1.4~1