02先進計算助力科研探索課件

先進計算助力科研探索先進計算助力科研探索101020304無處不在的計算先進計算助力科研探索精準(zhǔn)化HPC方案期許與展望目錄01020304無處不在的計算先進計算助力科研探索精準(zhǔn)化HP進一步考慮E級超算在解決人類共同面臨的能源危機、環(huán)境污染和氣候變化等重大問題上的巨大作用，在E級機的研制中加強協(xié)同，與綜合性國家科學(xué)中心、科創(chuàng)中心等創(chuàng)新資源形成合力；——白春禮HPC助力科研探索進一步考慮E級超算在解決人類共同面臨的能源危機、環(huán)境污染和氣HPC助力大科學(xué)裝置——高能物理HPC助力大科學(xué)裝置——高能物理每日~5TB數(shù)據(jù)數(shù)據(jù)保留10+年海量天文數(shù)據(jù)整合分析天體分析和挖掘天文大數(shù)據(jù)可視化擴展應(yīng)用：農(nóng)業(yè)、遙感、能源等HPC助力大科學(xué)裝置——FAST每日~5TB數(shù)據(jù)數(shù)據(jù)保留10+年海量天文數(shù)據(jù)整合分析天體分析部分應(yīng)用研究防災(zāi)減災(zāi)區(qū)域天氣和氣候災(zāi)害及次生災(zāi)害預(yù)測與防治洪水淹沒范圍遙感數(shù)據(jù)同化研究汶川地震發(fā)生過程的動力學(xué)模擬臺風(fēng)登陸前后異常變化機理研究清潔能源光伏電站功率預(yù)測與環(huán)境關(guān)系研究大型風(fēng)電場風(fēng)電量短期預(yù)報模式系統(tǒng)生態(tài)農(nóng)業(yè)旱區(qū)多遙感平臺農(nóng)田信息精準(zhǔn)獲取技術(shù)集成與應(yīng)用全球大宗作物遙感定量監(jiān)測關(guān)鍵技術(shù)高分辨率全國農(nóng)作物產(chǎn)量預(yù)測大氣污染防治大氣污染預(yù)報與調(diào)控模式京津冀地區(qū)城市化對大氣邊界層和區(qū)域環(huán)境氣候的影響研究氣象氣候街區(qū)可分辨氣象數(shù)值模擬技術(shù)研究高分辨率氣候系統(tǒng)模式的研制與評估高分辨率區(qū)域氣候模式開發(fā)與業(yè)務(wù)化HPC助力大科學(xué)裝置——地球模擬器部分應(yīng)用研究防災(zāi)減災(zāi)區(qū)域天氣和氣候災(zāi)害及次生災(zāi)害預(yù)測與防治清1實驗2理論3計算

模擬4大數(shù)據(jù)

研究疫苗研制高能物理氣候研究新型材料生物醫(yī)學(xué)生態(tài)環(huán)境地球模擬類人智能科學(xué)

研究計算已經(jīng)無處不在，但支撐科學(xué)進步的本質(zhì)從未改變。滿足科學(xué)研究的需要是HPC系統(tǒng)的唯一目標(biāo)。應(yīng)用的支撐是衡量的重要指標(biāo)無處不在的計算多元融合的計算模式、概念、技術(shù)和應(yīng)用科學(xué)計算數(shù)據(jù)密集型計算類腦計算量子計算終端計算邊緣計算人機物三元融合計算云計算網(wǎng)絡(luò)計算人工智能深度學(xué)習(xí)智能計算并行計算高性能計算計算機大型機小型機個人電腦智能手機超級計算模擬仿真神經(jīng)網(wǎng)絡(luò)服務(wù)器智慧計算無邊界計算認(rèn)知計算低功耗計算霧計算光子計算1實驗2理論3計算

模擬4大數(shù)據(jù)

研究疫苗研制高能物理氣候研2014年11月，“中科院先進計算技術(shù)創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟”正式成立中科院首個技術(shù)創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟，曙光作為理事長單位與研究所（特別是應(yīng)用類）緊密結(jié)合，重點面向國家在高性能計算、云計算、大數(shù)據(jù)等應(yīng)用領(lǐng)域的技術(shù)與裝備的需求，開展協(xié)同研發(fā)和產(chǎn)業(yè)化應(yīng)用推廣，建立成果孵化轉(zhuǎn)化平臺聯(lián)盟的成立，符合新時期國家深化科技體制改革的政策精神，是中科院深入推進《“率先行動”計劃》，服務(wù)國民經(jīng)濟主戰(zhàn)場的重要舉措，對中科院探索“兩鏈嫁接”的有效途徑和模式具有重要的示范意義——中國科學(xué)院院長白春禮中科院先進計算中心與產(chǎn)業(yè)聯(lián)盟2014年11月，“中科院先進計算技術(shù)創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟”正式曙光與中科院大氣所合資公司，布局生態(tài)環(huán)境大數(shù)據(jù)。曙光與中科院電子所合資企業(yè)，專注于地理空間大數(shù)據(jù)處理國內(nèi)領(lǐng)先的指靜脈生物識別技術(shù)廠商和身份認(rèn)證解決方案提供商。曙光與VMware首家合資企業(yè)，依托曙光多年自主研發(fā)基礎(chǔ)，保障云安全國標(biāo)審查。中科曙光發(fā)展思路曙光與中科院大氣所合資公司，布局生態(tài)環(huán)境大數(shù)據(jù)。曙光與中科院曙光高性能計算平臺曙光XData大數(shù)據(jù)計算平臺曙光深度學(xué)習(xí)計算平臺曙光ParaStor數(shù)據(jù)存儲平臺曙光EasyOP運維管理平臺曙光科學(xué)大數(shù)據(jù)引擎曙光高性能計算平臺曙光XData大數(shù)據(jù)計算平臺曙光深度學(xué)EasyOP在線運維服務(wù)機房基礎(chǔ)設(shè)施：機房、機柜、配電、空調(diào)等通用計算節(jié)點胖節(jié)點協(xié)處理器節(jié)點計算網(wǎng)絡(luò)存儲系統(tǒng)監(jiān)控管理網(wǎng)絡(luò)網(wǎng)絡(luò)安全集群功能節(jié)點HPC基礎(chǔ)軟件環(huán)境集群監(jiān)控管理軟件作業(yè)調(diào)度軟件應(yīng)用WebPortalHPC應(yīng)用：物理、化學(xué)、材料、生命科學(xué)、CAE、氣象、海洋、環(huán)境、遙感、天文、高能物理、石油物探、動漫渲染、金融…基礎(chǔ)設(shè)施層硬件資源層基礎(chǔ)軟件層應(yīng)用軟件層先進計算服務(wù)先進計算服務(wù)平臺（計算力）科技創(chuàng)新服務(wù)平臺（創(chuàng)新力）產(chǎn)業(yè)創(chuàng)新服務(wù)平臺（生態(tài)環(huán)）中科曙光HPC布局EasyOP機房基礎(chǔ)設(shè)施：機房、機柜、配電、空調(diào)等通用計算節(jié)圖：某超算中心計算資源在各學(xué)科的分布HPC應(yīng)用特征分析圖：某超算中心計算資源在各學(xué)科的分布HPC應(yīng)用特征分析主頻穩(wěn)定在2.8GHz（Base）AVX指令調(diào)用數(shù)4000-8000波動（HPL的1/10）性能大部分依賴高主頻，AVX有一定收益主頻內(nèi)存讀AVX指令集內(nèi)存寫內(nèi)存讀帶寬36GB/s，寫帶寬55GB/s內(nèi)存訪問密集，內(nèi)存帶寬敏感HPC應(yīng)用特征分析——材料計算主頻穩(wěn)定在2.8GHz（Base）性能大部分依賴高主頻，AV2個刀片（4顆CPU）共享1個100Gb/sMulti-HostInfiniBand刀片型號CX20-G30CPU2個IntelXeonE3-1200v6系列CPU內(nèi)存8個DDR4DIMM插槽硬盤2個本地2.5寸SATA/SSD硬盤或2個內(nèi)置M.2PCIeSSD網(wǎng)絡(luò)100Gb/sInfiniBand（2個刀片共享）PCIe3.0E3-1200v5刀片應(yīng)用測試結(jié)果高主頻直接性能提升，對AVX加速提供進一步補償Multi-host提供高性價比組網(wǎng)方案節(jié)約軟件license費用，充分發(fā)揮軟件license效能配套資源——高主頻計算資源M-ProBlade1CPU0Blade1CPU1Blade2CPU0Blade2CPU2100Gb/sMulti-HostIB2個刀片（4顆CPU）共享刀片型號CX20-G30CPU2M-Pro加速效果M-Pro加速效果以大批量串行（或小規(guī)模并行）任務(wù)為主要特性，任務(wù)量通常在數(shù)百以上通常開啟超線程運行，相比關(guān)閉狀態(tài)性能提升（內(nèi)存足夠情況下提升更明顯）內(nèi)存消耗較大，通常每線程4GB左右大批量任務(wù)、龐大的基因數(shù)據(jù)帶來存儲巨大壓力（帶寬和IOPS）高負(fù)荷生物信息應(yīng)用的存儲負(fù)載（分布式存儲）BWA應(yīng)用的4K小數(shù)據(jù)塊讀寫操作HPC應(yīng)用特征分析——生物信息以大批量串行（或小規(guī)模并行）任務(wù)為主要特性，任務(wù)量通常在數(shù)百以生物信息為代表的應(yīng)用，任務(wù)量大，需要足夠多的物理計算核心打開超線程可提升性能，不同于傳統(tǒng)hpc應(yīng)用（通常關(guān)閉）海量任務(wù)批次提交，瞬間提升存儲壓力生物信息、天文等海量數(shù)據(jù)存儲，數(shù)據(jù)密集型業(yè)務(wù)基于全新的Zen架構(gòu)，性能大幅提升單處理器最多32核心每顆處理器8個

內(nèi)存通道，雙路實測性能280GB/s需求驅(qū)動資源分區(qū)<——AMDParastor多核心大內(nèi)存超線程業(yè)務(wù)對存儲壓力大——>曙光A620-G30配套資源——AMD計算資源以生物信息為代表的應(yīng)用，任務(wù)量大，需要足夠多的物理計算核心基數(shù)據(jù)、元數(shù)據(jù)分離保障元數(shù)據(jù)性能全冗余配置保障系統(tǒng)高可用；支持透明分級存儲提升性價比；分布式鎖機制改善小文件讀寫；RDMA協(xié)議提供超高讀寫性能；配套存儲——分布式并行存儲Parastor數(shù)據(jù)、元數(shù)據(jù)分離保障元數(shù)據(jù)性能全冗余配置保障系統(tǒng)高可用；支持曙光Xmachine系列異構(gòu)計算節(jié)點、SuperBox深度學(xué)習(xí)平臺、圖形工作站人工智能——曙光視覺計算產(chǎn)品線X580-G30雙路SkylakeCPU;3UPI支持8個3.5”熱插拔盤位支持4個雙寬GPU加速卡額外支持2個PCIe3x16插槽(1+1)冗余2000W鈦金電源X740-G30雙路SkylakeCPU;3UPI支持8個2.5”熱插拔盤位支持6個雙寬GPU加速卡額外支持1個PCIe3x16插槽(1+1)冗余2000W鉑金電源X780-G30雙路SkylakeCPU;3UPI支持24個2.5”熱插拔盤位支持8個雙寬GPU加速卡額外支持2個PCIe3x16插槽(2+2)冗余1600W鉑金電源SupreBox支持20個PCIe3.0X16插槽，同時支持20個人工智能在線處理加速器最大支持1TB內(nèi)存W560-G20雙路機塔互換支持3個雙寬圖形顯示卡冗余電源曙光Xmachine系列異構(gòu)計算節(jié)點、SuperBox深度學(xué)人工智能——SoThisAI平臺人工智能——SoThisAI平臺8U2×2×33D-Torus6×32-ports頁板前面板192×100GbpsQSFP接口后面板48×400GbpsTorus互聯(lián)接口管理模塊液冷制冷曙光硅元交換機4/5/6D-Torus3D-Torus硅元交換機高可擴展網(wǎng)絡(luò)——硅元交換機8U曙光硅元交換機4/5/6D-Torus3D-Torus作業(yè)調(diào)度Portal可視化作業(yè)提交遠程三維設(shè)計調(diào)度管理桌面管理可視化+計算——曙光Gridview4.0管理調(diào)度系統(tǒng)作業(yè)調(diào)度Portal可視化作業(yè)提交遠程三維設(shè)計調(diào)度管理桌面管專業(yè)的7*24小時高性能計算機遠程運維高性能計算專家在線咨詢服務(wù)智能化，自動化運維服務(wù)大數(shù)據(jù)在線分析在線運維平臺——EasyOP專業(yè)的7*24小時高性能計算機遠程運維高性能計算專家在線咨詢新型材料污染治理天文探索……先進計算E級機產(chǎn)業(yè)聯(lián)盟曙光希望依托在HPC、先進計算、E級技術(shù)領(lǐng)域的技術(shù)積累，更好的為中國科研事業(yè)，做出更多貢獻！期許與展望新型材料污染治理天文探索……先進計算E級機產(chǎn)業(yè)聯(lián)盟曙光希望依02先進計算助力科研探索課件25先進計算助力科研探索先進計算助力科研探索2601020304無處不在的計算先進計算助力科研探索精準(zhǔn)化HPC方案期許與展望目錄01020304無處不在的計算先進計算助力科研探索精準(zhǔn)化HP進一步考慮E級超算在解決人類共同面臨的能源危機、環(huán)境污染和氣候變化等重大問題上的巨大作用，在E級機的研制中加強協(xié)同，與綜合性國家科學(xué)中心、科創(chuàng)中心等創(chuàng)新資源形成合力；——白春禮HPC助力科研探索進一步考慮E級超算在解決人類共同面臨的能源危機、環(huán)境污染和氣HPC助力大科學(xué)裝置——高能物理HPC助力大科學(xué)裝置——高能物理每日~5TB數(shù)據(jù)數(shù)據(jù)保留10+年海量天文數(shù)據(jù)整合分析天體分析和挖掘天文大數(shù)據(jù)可視化擴展應(yīng)用：農(nóng)業(yè)、遙感、能源等HPC助力大科學(xué)裝置——FAST每日~5TB數(shù)據(jù)數(shù)據(jù)保留10+年海量天文數(shù)據(jù)整合分析天體分析部分應(yīng)用研究防災(zāi)減災(zāi)區(qū)域天氣和氣候災(zāi)害及次生災(zāi)害預(yù)測與防治洪水淹沒范圍遙感數(shù)據(jù)同化研究汶川地震發(fā)生過程的動力學(xué)模擬臺風(fēng)登陸前后異常變化機理研究清潔能源光伏電站功率預(yù)測與環(huán)境關(guān)系研究大型風(fēng)電場風(fēng)電量短期預(yù)報模式系統(tǒng)生態(tài)農(nóng)業(yè)旱區(qū)多遙感平臺農(nóng)田信息精準(zhǔn)獲取技術(shù)集成與應(yīng)用全球大宗作物遙感定量監(jiān)測關(guān)鍵技術(shù)高分辨率全國農(nóng)作物產(chǎn)量預(yù)測大氣污染防治大氣污染預(yù)報與調(diào)控模式京津冀地區(qū)城市化對大氣邊界層和區(qū)域環(huán)境氣候的影響研究氣象氣候街區(qū)可分辨氣象數(shù)值模擬技術(shù)研究高分辨率氣候系統(tǒng)模式的研制與評估高分辨率區(qū)域氣候模式開發(fā)與業(yè)務(wù)化HPC助力大科學(xué)裝置——地球模擬器部分應(yīng)用研究防災(zāi)減災(zāi)區(qū)域天氣和氣候災(zāi)害及次生災(zāi)害預(yù)測與防治清1實驗2理論3計算

模擬4大數(shù)據(jù)

研究疫苗研制高能物理氣候研究新型材料生物醫(yī)學(xué)生態(tài)環(huán)境地球模擬類人智能科學(xué)

研究計算已經(jīng)無處不在，但支撐科學(xué)進步的本質(zhì)從未改變。滿足科學(xué)研究的需要是HPC系統(tǒng)的唯一目標(biāo)。應(yīng)用的支撐是衡量的重要指標(biāo)無處不在的計算多元融合的計算模式、概念、技術(shù)和應(yīng)用科學(xué)計算數(shù)據(jù)密集型計算類腦計算量子計算終端計算邊緣計算人機物三元融合計算云計算網(wǎng)絡(luò)計算人工智能深度學(xué)習(xí)智能計算并行計算高性能計算計算機大型機小型機個人電腦智能手機超級計算模擬仿真神經(jīng)網(wǎng)絡(luò)服務(wù)器智慧計算無邊界計算認(rèn)知計算低功耗計算霧計算光子計算1實驗2理論3計算

模擬4大數(shù)據(jù)

研究疫苗研制高能物理氣候研2014年11月，“中科院先進計算技術(shù)創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟”正式成立中科院首個技術(shù)創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟，曙光作為理事長單位與研究所（特別是應(yīng)用類）緊密結(jié)合，重點面向國家在高性能計算、云計算、大數(shù)據(jù)等應(yīng)用領(lǐng)域的技術(shù)與裝備的需求，開展協(xié)同研發(fā)和產(chǎn)業(yè)化應(yīng)用推廣，建立成果孵化轉(zhuǎn)化平臺聯(lián)盟的成立，符合新時期國家深化科技體制改革的政策精神，是中科院深入推進《“率先行動”計劃》，服務(wù)國民經(jīng)濟主戰(zhàn)場的重要舉措，對中科院探索“兩鏈嫁接”的有效途徑和模式具有重要的示范意義——中國科學(xué)院院長白春禮中科院先進計算中心與產(chǎn)業(yè)聯(lián)盟2014年11月，“中科院先進計算技術(shù)創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟”正式曙光與中科院大氣所合資公司，布局生態(tài)環(huán)境大數(shù)據(jù)。曙光與中科院電子所合資企業(yè)，專注于地理空間大數(shù)據(jù)處理國內(nèi)領(lǐng)先的指靜脈生物識別技術(shù)廠商和身份認(rèn)證解決方案提供商。曙光與VMware首家合資企業(yè)，依托曙光多年自主研發(fā)基礎(chǔ)，保障云安全國標(biāo)審查。中科曙光發(fā)展思路曙光與中科院大氣所合資公司，布局生態(tài)環(huán)境大數(shù)據(jù)。曙光與中科院曙光高性能計算平臺曙光XData大數(shù)據(jù)計算平臺曙光深度學(xué)習(xí)計算平臺曙光ParaStor數(shù)據(jù)存儲平臺曙光EasyOP運維管理平臺曙光科學(xué)大數(shù)據(jù)引擎曙光高性能計算平臺曙光XData大數(shù)據(jù)計算平臺曙光深度學(xué)EasyOP在線運維服務(wù)機房基礎(chǔ)設(shè)施：機房、機柜、配電、空調(diào)等通用計算節(jié)點胖節(jié)點協(xié)處理器節(jié)點計算網(wǎng)絡(luò)存儲系統(tǒng)監(jiān)控管理網(wǎng)絡(luò)網(wǎng)絡(luò)安全集群功能節(jié)點HPC基礎(chǔ)軟件環(huán)境集群監(jiān)控管理軟件作業(yè)調(diào)度軟件應(yīng)用WebPortalHPC應(yīng)用：物理、化學(xué)、材料、生命科學(xué)、CAE、氣象、海洋、環(huán)境、遙感、天文、高能物理、石油物探、動漫渲染、金融…基礎(chǔ)設(shè)施層硬件資源層基礎(chǔ)軟件層應(yīng)用軟件層先進計算服務(wù)先進計算服務(wù)平臺（計算力）科技創(chuàng)新服務(wù)平臺（創(chuàng)新力）產(chǎn)業(yè)創(chuàng)新服務(wù)平臺（生態(tài)環(huán)）中科曙光HPC布局EasyOP機房基礎(chǔ)設(shè)施：機房、機柜、配電、空調(diào)等通用計算節(jié)圖：某超算中心計算資源在各學(xué)科的分布HPC應(yīng)用特征分析圖：某超算中心計算資源在各學(xué)科的分布HPC應(yīng)用特征分析主頻穩(wěn)定在2.8GHz（Base）AVX指令調(diào)用數(shù)4000-8000波動（HPL的1/10）性能大部分依賴高主頻，AVX有一定收益主頻內(nèi)存讀AVX指令集內(nèi)存寫內(nèi)存讀帶寬36GB/s，寫帶寬55GB/s內(nèi)存訪問密集，內(nèi)存帶寬敏感HPC應(yīng)用特征分析——材料計算主頻穩(wěn)定在2.8GHz（Base）性能大部分依賴高主頻，AV2個刀片（4顆CPU）共享1個100Gb/sMulti-HostInfiniBand刀片型號CX20-G30CPU2個IntelXeonE3-1200v6系列CPU內(nèi)存8個DDR4DIMM插槽硬盤2個本地2.5寸SATA/SSD硬盤或2個內(nèi)置M.2PCIeSSD網(wǎng)絡(luò)100Gb/sInfiniBand（2個刀片共享）PCIe3.0E3-1200v5刀片應(yīng)用測試結(jié)果高主頻直接性能提升，對AVX加速提供進一步補償Multi-host提供高性價比組網(wǎng)方案節(jié)約軟件license費用，充分發(fā)揮軟件license效能配套資源——高主頻計算資源M-ProBlade1CPU0Blade1CPU1Blade2CPU0Blade2CPU2100Gb/sMulti-HostIB2個刀片（4顆CPU）共享刀片型號CX20-G30CPU2M-Pro加速效果M-Pro加速效果以大批量串行（或小規(guī)模并行）任務(wù)為主要特性，任務(wù)量通常在數(shù)百以上通常開啟超線程運行，相比關(guān)閉狀態(tài)性能提升（內(nèi)存足夠情況下提升更明顯）內(nèi)存消耗較大，通常每線程4GB左右大批量任務(wù)、龐大的基因數(shù)據(jù)帶來存儲巨大壓力（帶寬和IOPS）高負(fù)荷生物信息應(yīng)用的存儲負(fù)載（分布式存儲）BWA應(yīng)用的4K小數(shù)據(jù)塊讀寫操作HPC應(yīng)用特征分析——生物信息以大批量串行（或小規(guī)模并行）任務(wù)為主要特性，任務(wù)量通常在數(shù)百以生物信息為代表的應(yīng)用，任務(wù)量大，需要足夠多的物理計算核心打開超線程可提升性能，不同于傳統(tǒng)hpc應(yīng)用（通常關(guān)閉）海量任務(wù)批次提交，瞬間提升存儲壓力生物信息、天文等海量數(shù)據(jù)存儲，數(shù)據(jù)密集型業(yè)務(wù)基于全新的Zen架構(gòu)，性能大幅提升單處理器最多32核心每顆處理器8個

內(nèi)存通道，雙路實測性能280GB/s需求驅(qū)動資源分區(qū)<——AMDParastor多核心大內(nèi)存超線程業(yè)務(wù)對存儲壓力大——>曙光A620-G30配套資源——AMD計算資源以生物信息為代表的應(yīng)用，任務(wù)量大，需要足夠多的物理計算核心基數(shù)據(jù)、元數(shù)據(jù)分離保障元數(shù)據(jù)性能全冗余配置保障系統(tǒng)高可用；支持透明分級存儲提升性價比；分布式鎖機制改善小文件讀寫；RDMA協(xié)議提供超高讀寫性能；配套存儲——分布式并行存儲Parastor數(shù)據(jù)、元數(shù)據(jù)分離保障元數(shù)據(jù)性能全冗余配置保障系統(tǒng)高可用；支持曙光Xmachine系列異構(gòu)計算節(jié)點、SuperBox深度學(xué)習(xí)平臺、圖形工作站人工智能——曙光視覺計算產(chǎn)品線X580-G30雙路SkylakeCPU;3UPI支持8個3.5”熱插拔盤位支持4個雙寬GPU加速卡額外支持2個PCIe3x16插槽(1+1)冗余2000W鈦金電源X740-G30雙路SkylakeCPU;3UPI支持8個2