國家超算中心建設(shè)的重大意義

1、浪潮天梭TS10000高性能服務(wù)器產(chǎn)品解決方案國家超算中心浪潮天梭TS10K高性能服務(wù)器 浪潮集團(tuán)有限公司2022年3月6日11國家超算中心浪潮天梭TS10K高性能服務(wù)器系統(tǒng)方案書目 錄1.前言21.1.國家超算中心建設(shè)的重大意義21.1.1.國家超算中心可提高國家經(jīng)濟(jì)競爭力31.1.2.國家超算中心可提升國家科研實力31.1.3.CAE行業(yè)需要超強(qiáng)計算能力的支持41.1.4.國家超算中心可提高國家在國際上的影響力41.1.5.國家超算中心提升行業(yè)高性能計算機(jī)應(yīng)用水平51.2.國家超算中心建設(shè)與運(yùn)營61.2.1.國家超算中心建設(shè)61.2.2.國家超算中心運(yùn)營91.2.3.項目售后服務(wù)方案10

2、1. 前言1.1. 國家超算中心建設(shè)的重大意義2014年11月，全球超級計算機(jī)TOP500排行正式放榜。中國高性能計算機(jī)載譽(yù)而歸，“天河二號”連續(xù)四次名列第一，創(chuàng)造了中國高性能計算機(jī)在全球的最佳成績，打破了美國對此項目的長期壟斷，實現(xiàn)了歷史性的突破。在500強(qiáng)榜單上，北美入圍的超級計算機(jī)數(shù)量最多，達(dá)到237個；歐洲國家有125個超級計算機(jī)入圍；亞洲已經(jīng)迎頭趕上有120個，其中中國達(dá)到61個。沙特目前有4套系統(tǒng)上榜，用于科研和工業(yè)的研究。區(qū)域數(shù)量份額Rmax（GF）Rpeak（GF）Australia and New Zealand91.80%4635447.68964921.5Eastern

3、Asia10420.80%800712034Eastern Europe122.40%5536204.88468577.76North America23747.40%138600751.4197449778.4Northern Europe438.60%20928331.1626941174.7South America40.80%10313651594903.6South-central Asia91.80%3137691.83912187.16South-eastern Asia10.20%201940.5401600Southern Europe51.00%6

4、629962.348559176Western Asia61.20%2329578.63605469Western Europe7014.00%45748035.856967743.88總計500100.00%308850512.1453502503.4高性能計算水平體現(xiàn)著一個國家的綜合實力，在當(dāng)今社會，高性能計算在一個國家的重要性越來越明顯，計算科學(xué)已經(jīng)成為21世紀(jì)最重要的技術(shù)領(lǐng)域之一，它在石油勘探、氣象預(yù)報、航空航天、信息研究、生命科學(xué)、材料工程和基礎(chǔ)科學(xué)研究、行業(yè)的信息化、數(shù)據(jù)大集中等方面都具有重要的意義，它對整個社會的進(jìn)步起著基礎(chǔ)性的作用。國家超算中心的建設(shè)對國家保持科學(xué)研究領(lǐng)導(dǎo)地位、

5、提高經(jīng)濟(jì)競爭力以及維護(hù)國土安全、提升國際地位發(fā)揮將會發(fā)揮重要作用。1.1.1. 國家超算中心可提高國家經(jīng)濟(jì)競爭力近日，由中國石油集團(tuán)東方地球物理勘探有限責(zé)任公司（BGP）與浪潮集團(tuán)合作完成CPU/GPU異構(gòu)并行疊前時間偏移地震信息處理軟件（PSTM）成功應(yīng)用于中石油國家站點(diǎn)，由浪潮提出的“CPU-GPU協(xié)同計算”的HPC計算架構(gòu)，成功打造了堅持應(yīng)用創(chuàng)新引領(lǐng)高性能發(fā)展的經(jīng)典案例，為中石油集團(tuán)參與國際競爭，提升中國在國際石油市場話語權(quán)奠定了堅實的基礎(chǔ)。國家近年來科研水平不斷提升，在科研的眾多方面都對計算能力有個強(qiáng)大的需求。通過建造這套國家高性能計算中心，可以廣泛的應(yīng)用于各行各業(yè)，尤其是石油勘探行業(yè)

6、，為國家經(jīng)濟(jì)發(fā)展帶來新的增長點(diǎn)。石油行業(yè)是高性能計算機(jī)（HPC）應(yīng)用最為廣泛的領(lǐng)域，為了了解和模擬出地下數(shù)千米的地質(zhì)構(gòu)造，需要通過地震波反射的方式來收集海量數(shù)據(jù)（一般二維數(shù)據(jù)1-2TB，三級數(shù)據(jù)高達(dá)幾百TB甚至PB級），然后進(jìn)行大量的密集計算和模擬，計算結(jié)果出來后還要轉(zhuǎn)換成直觀的可視畫面，方便專家對數(shù)據(jù)進(jìn)行解釋，為油氣鉆井定位提供參考。由于本身數(shù)據(jù)量和計算量過于巨大，同時為了尋找深層、隱伏和巖性油氣藏，對計算精度和實時性的要求越來越高。因此，石油行業(yè)對于計算能力的需求可謂是永無止境的。要知道今天打一口井的代價非常高昂，一般要花費(fèi)千萬元，而在有些地區(qū)動輒需要上億元，強(qiáng)大的高性能計算地震模擬可以幫

7、助專家縮小誤差，避免損失。通過國家超算中心千萬億次的集群系統(tǒng)，沙特可以充分發(fā)揮本國在石油勘探、石油開采等領(lǐng)域的實力，提高本國石油產(chǎn)品在國際上的競爭力。有了這套高性能系統(tǒng)，可以進(jìn)一步發(fā)揮國家在石油行業(yè)的優(yōu)勢，充分利用國內(nèi)的石油資源，提高國家經(jīng)濟(jì)競爭力。1.1.2. 國家超算中心可提升國家科研實力數(shù)值模擬與理論和實驗三位一體是促進(jìn)21世紀(jì)科學(xué)研究和技術(shù)開發(fā)的三大支柱。高性能計算正在變得與計算密集型應(yīng)用越來越密不可分，已成為石油勘探、量子力學(xué)物理、天氣預(yù)報、氣候研究、分子建模、物理仿真、密碼分析等領(lǐng)域的重要手段，而只有千萬億次級別的高性能計算系統(tǒng)才能幫助這些領(lǐng)域取得更加精湛的成就。1.1.3. 國家

8、超算中心提升CAE行業(yè)應(yīng)用實力CAE即計算機(jī)輔助工程設(shè)計，自二十世紀(jì)六十年代以來CAE技術(shù)得到飛速發(fā)展，其原動力是不斷增長的工業(yè)需求，其中航天航空、能源動力等領(lǐng)域是其發(fā)展的強(qiáng)大的推動力。目前在航空、航天、能源動力等工業(yè)領(lǐng)域，利用CAE進(jìn)行反復(fù)設(shè)計、分析、優(yōu)化已成為標(biāo)準(zhǔn)的必經(jīng)步驟和手段。如大型復(fù)雜飛行器結(jié)構(gòu)的流-固耦合計算，涉及計算空氣動力學(xué)、計算燃燒學(xué)、計算傳熱學(xué)、計算結(jié)構(gòu)力學(xué)等眾多學(xué)科。航空航天業(yè)是應(yīng)用CAE最為廣泛的行業(yè)。究其原因，主要是航空航天器結(jié)構(gòu)復(fù)雜（通常需要進(jìn)行十萬以上自由度的計算），力傳遞路線多，工作在多變的流體環(huán)境下（流體力學(xué)本身就需要大量的復(fù)雜計算），對可靠性、耐久性和損傷容

9、限的要求很高，以及實驗條件無法完全模擬真實環(huán)境（有的實驗甚至根本無法進(jìn)行）等。這些原因都使航空航天業(yè)的發(fā)展離不開CAE仿真，并且越來越依賴于CAE仿真。在航空航天領(lǐng)域，重大力學(xué)問題、高超聲速科技工程、大型飛機(jī)工程中，計算科學(xué)對復(fù)雜空氣流動力學(xué)原理的精細(xì)認(rèn)識、飛行器布局設(shè)計、機(jī)翼等關(guān)鍵部件的參數(shù)設(shè)計和性能優(yōu)化、氣動聲學(xué)和氣動光學(xué)、返回艙黑障區(qū)電磁耦合、流固耦合、發(fā)動機(jī)內(nèi)流、多學(xué)科設(shè)計優(yōu)化等方面，具有極其重要的支撐作用。在美國和歐盟大量采用高性能數(shù)值模擬提升飛行器設(shè)計能力的今天，體現(xiàn)核心競爭力的關(guān)鍵技術(shù)和優(yōu)化設(shè)計也必須依賴于計算科學(xué)。1.1.4. 國家超算中心可提高國家在國際上的影響力從世界超級計

10、算機(jī)Top500 分布情況來看，超級計算能力與一個國家（地區(qū)）經(jīng)濟(jì)社會發(fā)展水平密切相關(guān)。因此，美、歐、日等發(fā)達(dá)國家（地區(qū)）長期投入巨大的人力、財力、物力發(fā)展超級計算能力，并幾乎壟斷全球超級計算機(jī)研發(fā)和應(yīng)用。在沙特，在Top500榜單中，近三年共六期的排名中，共有4次進(jìn)入Top500中。在2014年11月，有4臺進(jìn)入Top500。榜單年份排名安裝地點(diǎn)名字安裝年份應(yīng)用領(lǐng)域201462Saudi AramcoFaris2014Industry201493King Abdulaziz City for Science and TechnologySANAM2012Research2014111Saud

11、i AramcoMakman2013Industry2014335King Abdullah University of Science and TechnologyShaheen2009Academic身處世界超級計算的激烈競爭中，面對國內(nèi)計算需求快速增長的局面，國家超算中心的建立，可以力爭成為行業(yè)計算能力最強(qiáng)的超級計算機(jī)，滿足為國家服務(wù)的同時，也可以大大提高國家在國際上面的影響力。1.1.5. 國家超算中心提升行業(yè)高性能計算機(jī)應(yīng)用水平在浪潮集團(tuán)為國家設(shè)計建設(shè)的國家超算中心過程中，浪潮集團(tuán)帶來的不僅是系統(tǒng)本身，更是和系統(tǒng)相關(guān)的技術(shù)和應(yīng)用經(jīng)驗，這也可以大幅度提升國家在高性能領(lǐng)域的技術(shù)實力，并且

12、能夠極大的提升在CAE行業(yè)的高性能計算應(yīng)用水平。目前，新技術(shù)層出不窮并飛速發(fā)展，在國防工業(yè)的各個領(lǐng)域（如航空、航天、車輛、船舶等）中，各學(xué)科（如工程力學(xué)、機(jī)械制造等）間通常要進(jìn)行跨行業(yè)、跨學(xué)科的交叉，因此工程師們要掌握多方面的知識，這也擴(kuò)展了不同學(xué)科運(yùn)用CAE的深度和廣度。很大一部分用戶已經(jīng)從使用CAE軟件進(jìn)行單一類型、單一學(xué)科的分析向使用軟件進(jìn)行綜合型分析轉(zhuǎn)變，有40%的受調(diào)查者正在用CAE軟件靈活地進(jìn)行多個類型、多個學(xué)科的仿真分析，以解決各種實際的工程問題。目前精通CAE的人才數(shù)量還很有限，很多老一代研究人員對CAE的接觸很少，而年輕人因為設(shè)計經(jīng)驗不足，對仿真條件的假設(shè)不準(zhǔn)確，因此分析出的

13、數(shù)據(jù)參考價值不高。有設(shè)計經(jīng)驗的人沒有CAE的操作使用經(jīng)驗；而有軟件操作經(jīng)驗者卻缺乏設(shè)計經(jīng)驗，這正是目前研發(fā)及工程領(lǐng)域的一個突出問題。建設(shè)一套百萬億次的超算中心，能夠讓年輕人借助有經(jīng)驗的設(shè)計人員的設(shè)計思想修正自己在CAE使用中可能產(chǎn)生的疏漏，對于沙特航空航天的人才培養(yǎng)起到了非常重要的意義。1.2. 國家超算中心建設(shè)與運(yùn)營1.2.1. 國家超算中心建設(shè)國家超算中心的建設(shè)是一個復(fù)雜的系統(tǒng)工程，需要一個完善的規(guī)劃和實施方案。浪潮集團(tuán)作為中國領(lǐng)先的高性能計算系統(tǒng)提供商，可以提供一整套完善的解決方案，包括計算系統(tǒng)、制冷系統(tǒng)、機(jī)房裝修等整個方案。浪潮天梭TS10000是一個技術(shù)含量高，結(jié)構(gòu)復(fù)雜的系統(tǒng)產(chǎn)品，專

14、業(yè)的服務(wù)與全面的技術(shù)培訓(xùn)對用戶是十分必要的，這將有助于用戶更好地應(yīng)用高性能計算機(jī)系統(tǒng)，更好的維護(hù)系統(tǒng)，保證業(yè)務(wù)的穩(wěn)定、高效運(yùn)行。由于此次項目的特殊性，系統(tǒng)能快速有效的建立并穩(wěn)定運(yùn)行、用戶使用方便好用、使用過程中得到浪潮及時有效的技術(shù)支持和相關(guān)服務(wù)，最后達(dá)到用戶滿意，我們對此項目制定專門的實施方案。詳細(xì)實施驗收方案根據(jù)浪潮集團(tuán)多年來高性能服務(wù)器系統(tǒng)的項目實施經(jīng)驗，結(jié)合本次項目的需求，實施部分從總體上為三個階段：n 山東濟(jì)南預(yù)安裝系統(tǒng)n 用戶現(xiàn)場實施n 用戶現(xiàn)場調(diào)優(yōu)階段每個階段都將作為一個獨(dú)立的子項目運(yùn)作，并且三個階段將有機(jī)的結(jié)合起來，最終完成整個項目的建設(shè)，達(dá)到用戶的建設(shè)目標(biāo)。1.1.1.1.

15、山東濟(jì)南預(yù)安裝為確保系統(tǒng)穩(wěn)定運(yùn)行，萬無一失，我們的貨物在發(fā)出前會在山東濟(jì)南先期組裝和試運(yùn)行，并進(jìn)行壓力測試，確保不產(chǎn)生意外。試運(yùn)行階段進(jìn)行各項測試，以便及早發(fā)現(xiàn)存在的問題，將其解決，使項目后期實施順利進(jìn)行。1.1.1.2. 用戶現(xiàn)場實施國內(nèi)試運(yùn)行階段完成后，將貨物發(fā)送至用戶，且隨貨發(fā)出的還有常見易損備件。等貨物到達(dá)后，我們將會派出專業(yè)的高性能團(tuán)隊到現(xiàn)場進(jìn)行安裝調(diào)試，并協(xié)助用戶完成應(yīng)用軟件的移植工作。具體安排根據(jù)與客戶協(xié)商結(jié)果確定。由于前期預(yù)安裝階段已經(jīng)配置好基本環(huán)境，在現(xiàn)場實施階段的工作重點(diǎn)是將整套系統(tǒng)重新組裝上架，硬件搭建，及客戶應(yīng)用軟件的移植和調(diào)優(yōu)工作。1.1.1.3. 用戶現(xiàn)場系統(tǒng)調(diào)優(yōu)為

16、了發(fā)揮系統(tǒng)潛力，浪潮在系統(tǒng)實施完成后，將根據(jù)系統(tǒng)特點(diǎn)以及客戶的應(yīng)用進(jìn)行系統(tǒng)級的調(diào)優(yōu)。調(diào)優(yōu)主要工作有：節(jié)點(diǎn)BIOS級調(diào)優(yōu)：1) 高性能計算中，為了充分利用CPU的計算資源，往往在BIOS里關(guān)掉超線程功能。2) 打開系統(tǒng)BIOS緩存：System BIOS Cacheable，也叫System BIOS Shadow (系統(tǒng)BIOS遮罩)，打開該功能，系統(tǒng)性能可以得到很大提高。3) 打開視頻BIOS遮罩：Video BIOS Shadow功能將把顯卡的基本BIOS功能存儲到內(nèi)存里，在任何時候都能被方便的調(diào)用，使CPU能以更高的速度讀取這些功能。打開該功能將在很大程度上提高系統(tǒng)性能。4) 關(guān)閉不必要

17、的IDE通道：Onboard IDE Controller，通過關(guān)閉不必要的IDE通道，可以提升系統(tǒng)IO效率。微架構(gòu)調(diào)優(yōu)：針對特定的處理器架構(gòu)做指令級優(yōu)化數(shù)據(jù)對齊、數(shù)據(jù)結(jié)構(gòu)，分支、高速緩存的使用等。微架構(gòu)優(yōu)化可實現(xiàn)非常顯著的性能提升在其他優(yōu)化手段完成后再實施，需要經(jīng)驗豐富的底層結(jié)構(gòu)優(yōu)化工程師，深入持續(xù)的支持。應(yīng)用程序?qū)诱{(diào)優(yōu)：確定圍繞關(guān)鍵執(zhí)行路徑的可優(yōu)化的代碼段。關(guān)鍵執(zhí)行路徑指耗用最長執(zhí)行時間的函數(shù)群。通過對下列常見問題區(qū)域的性能改善可以縮短關(guān)鍵路徑執(zhí)行時間，從而降低整體執(zhí)行時間：Ø 常見的可線程化區(qū)域Ø 線程數(shù)據(jù)交互和同步Ø 數(shù)據(jù)結(jié)構(gòu)的選擇Ø 循環(huán)例程和

18、系統(tǒng)API調(diào)用的結(jié)果Ø 在分散存儲的集群系統(tǒng)中MPI消息傳遞造成的應(yīng)用性能擴(kuò)展問題.系統(tǒng)層優(yōu)化：確認(rèn)由系統(tǒng)訪問延遲造成的性能限制。通?？紤]的系統(tǒng)性能因素包括磁盤IO、網(wǎng)絡(luò)IO、存儲訪問、處理器帶寬/利用率，總線帶寬/延遲。1.1.1.4. 用戶項目技術(shù)培訓(xùn)針對于本次集群項目，浪潮公司專門做出了一套完善的技術(shù)培訓(xùn)計劃。技術(shù)培訓(xùn)對高性能集群用戶是十分必要的，這將有助于用戶更好的維護(hù)系統(tǒng)，保證業(yè)務(wù)的穩(wěn)定運(yùn)行，更好地應(yīng)用高性能計算機(jī)系統(tǒng)。通過一系列的主題培訓(xùn)，使系統(tǒng)管理人員能較熟練的掌握集群系統(tǒng)的安裝、使用和維護(hù)，使整個系統(tǒng)能夠正常、安全的運(yùn)行；使系統(tǒng)使用人員能夠了解各種應(yīng)用的安裝、調(diào)試過程

19、，對并行程序的運(yùn)行、調(diào)優(yōu)有更加深入的認(rèn)識。我們將組織專門的培訓(xùn)人員和合作伙伴，集中力量根據(jù)用戶集群系統(tǒng)建設(shè)項目的應(yīng)用特點(diǎn)和用戶的實際情況編寫適合的培訓(xùn)教材。本次項目培訓(xùn)方式采用山東濟(jì)南集中授課培訓(xùn)、預(yù)安裝操作培訓(xùn)和用戶現(xiàn)場培訓(xùn)三種方式。l 集中授課培訓(xùn)本次培訓(xùn)對最終用戶進(jìn)行集中理論培訓(xùn)，教學(xué)采用課堂授課方式。通過集中授課培訓(xùn)，讓學(xué)員掌握硬件設(shè)備的架構(gòu)、原理，平臺技術(shù)、應(yīng)用選型和安全維護(hù)，以及常見故障的判斷分析；整體系統(tǒng)的架構(gòu)、平臺技術(shù)；各種操作系統(tǒng)、軟件系統(tǒng)、應(yīng)用軟件的基礎(chǔ)知識、原理介紹、系統(tǒng)調(diào)優(yōu)、應(yīng)用軟件遷移等知識。l 現(xiàn)場操作培訓(xùn)在預(yù)安裝階段，客戶可以安排人員參與我們的工作，我們將通過對整

20、個系統(tǒng)的安裝、調(diào)試，讓用戶管理員有一個感性的認(rèn)識，并能夠?qū)τ布O(shè)備進(jìn)行一般的操作、維護(hù)和常見故障的判斷分析。對軟件系統(tǒng)有深入的理解，可以自主使用應(yīng)用軟件功能。在上述的實踐培訓(xùn)和實際操作過程中，我們將和您一起分析遇到的問題，并對您進(jìn)行故障判斷、排除等方面的現(xiàn)場培訓(xùn)。l 用戶現(xiàn)場培訓(xùn)在用戶現(xiàn)場培訓(xùn)階段，我們的工程師將主要培訓(xùn)客戶如果管理和使用這套集群系統(tǒng)，尤其是集群管理，作業(yè)任務(wù)提交，系統(tǒng)維護(hù)等方面能夠熟練使用。在上述的實踐培訓(xùn)和實際操作過程中，我們將和您一起分析遇到的問題，并對您進(jìn)行故障判斷、排除等方面的現(xiàn)場培訓(xùn)。1.2.2. 國家超算中心運(yùn)營目前，隨著越來越多的高性能計算機(jī)的面世，超算中心關(guān)鍵

21、設(shè)施的運(yùn)營和維護(hù)（O&M）正受到與建設(shè)和設(shè)計這些復(fù)雜場所同等地位的對待。由于關(guān)鍵基礎(chǔ)設(shè)施變得更加復(fù)雜，提高了容錯性和并行維護(hù)能力，建立同等的O&M實踐管理這些設(shè)施的重要性變得日益明顯。研究顯示，有60%甚至更多的事故都與人類的活動相關(guān)，包括例行的維護(hù)和關(guān)鍵系統(tǒng)的重新配置，維護(hù)任務(wù)以及人為失誤。支持連續(xù)運(yùn)營的必要人員和程序必須在數(shù)據(jù)中心運(yùn)行第一天到位，這需要在數(shù)據(jù)中心開始運(yùn)營之前就做好這些準(zhǔn)備工作，最好在規(guī)劃和需求定義階段就開始準(zhǔn)備。用戶國家超算中心的建設(shè)是一個非常重大的項目，面對一個如此大規(guī)模的系統(tǒng)，后期的運(yùn)營和維護(hù)將是一個很大的挑戰(zhàn)。后期工作主要包括：n 維護(hù)超算系統(tǒng)穩(wěn)定高效運(yùn)行² .定期對超算系統(tǒng)進(jìn)行巡檢，發(fā)現(xiàn)問題及時排除。² 定期檢查用戶作業(yè)運(yùn)行情況，必要時進(jìn)行處理。n 負(fù)責(zé)超算中心擴(kuò)充建設(shè)² 適時擴(kuò)充超算平臺，滿足眾多用戶對超級運(yùn)算的需求。² 及時更新及新添編譯器、數(shù)學(xué)函數(shù)庫等，充分發(fā)揮性能。² 及時更新超算中心主頁，增加必要的文檔。n 負(fù)責(zé)受理超算用戶的開戶銷戶申請、辦理開戶銷戶手續(xù)² 確定