南京大學(xué)計算機(jī)學(xué)科HPCC平臺的構(gòu)建思路

精品文檔（可編輸） 值得下載精品文檔（可編輸） 值得下載精品文檔（可編輯） 值得下戦精品文檔（可編輯） 值得下戦南京大學(xué)計算機(jī)學(xué)科HPCC平臺的構(gòu)建思路一、為何選擇HPCC模式選擇HPCC模式主要基于以下原因：（1） 我校公共計算平臺與髙性能計算中心的服務(wù)對象不同，無法實(shí)現(xiàn)統(tǒng)一管理。（2） 有利于集中資金整合資源打造提供計算服務(wù)的公共大平臺，消除計算資源分散帶來的諸多問題。（3） 利用云計算的的特點(diǎn)，通過部署云計算管理平臺，將數(shù)據(jù)中心的硬件資源、軟件資源、數(shù)據(jù)資源整合。二、構(gòu)建思路HPCC平臺建設(shè)目標(biāo)（1）充分發(fā)揮投資效益，盡量提高設(shè)備使用效率1） 計算效率不只是高性能設(shè)備的堆砌，而是讓設(shè)備發(fā)揮出髙性能，讓應(yīng)用享用到髙性能，讓用戶體驗(yàn)到髙性能；優(yōu)化進(jìn)程/線程并行度獲得最優(yōu)加速比和處理器（核）載荷，優(yōu)化內(nèi)存利用率獲得最大內(nèi)存帶寬，優(yōu)化指令利用率獲得指令最大吞吐量。2） 管理效率最大化資源共享，減少設(shè)備獨(dú)占性；減緩資源忙閑不勻，提高設(shè)備利用率，減少設(shè)備空載，節(jié)約能耗；對資源的占用按需動態(tài)調(diào)節(jié)，不同用戶在同一組設(shè)備上靈活切換，并能合理重配資源，當(dāng)資源所剩無幾時，即使設(shè)備未增加，新用戶仍能提交作業(yè)；資源重復(fù)利用，新用戶可以分享老用戶釋放的資源，并保證老用戶能方便再度獲得資源且恢復(fù)到先前的運(yùn)行環(huán)境。HPCC平臺建設(shè)原則（1） 應(yīng)用為先（適用）綜合各研究方向需求，兼顧共性并盡可能考慮到個性化，選擇最適宜的軟硬件平臺，由應(yīng)用決定平臺，而不是由平臺限制應(yīng)用。選擇的方案需確保其跨越硬件架構(gòu)與操作系統(tǒng)平臺，兼顧虛擬資源分配與物理設(shè)備切換，支持多種編程模式，滿足各種應(yīng)用的不同需求。（2） 創(chuàng)新為體（夠用）在架構(gòu)設(shè)計時充分考慮高性能計算技術(shù)發(fā)展趨勢，采用先進(jìn)的產(chǎn)品和創(chuàng)新的思路，最大化利用現(xiàn)有投入，并考慮到今后擴(kuò)展的需求。絕不僅僅是一組高性能設(shè)備的建設(shè)，而是一個多功能、多應(yīng)用、多客戶的服務(wù)平臺，引入當(dāng)今先進(jìn)的云計算技術(shù)是適宜的（3） 效率為要（好用）堅持夠用原則，不追求超越實(shí)際需求的規(guī)模，不去比較沒有實(shí)質(zhì)意義的峰值運(yùn)算能力，即使Linpack測試指標(biāo)也精品文檔(可編輸) 值得下載精品文檔(可編輸) 值得下載不應(yīng)作為設(shè)備選型的單一依據(jù)，而是充分考慮總體架構(gòu)的合理性和資源管理調(diào)度等要素，實(shí)現(xiàn)一個高效率計算(HighProductivityComputing)的平臺。在多用戶、多應(yīng)用的使用場景下，我們不單單要考慮到整體設(shè)備的高性能，還需要考慮到系統(tǒng)在使用過程中，如何通過虛擬化、資源共享，自動化等手段來協(xié)調(diào)整個計算平臺的計算資源利用，即使物理分配也允許系統(tǒng)管理員切換用戶，提高整體利用率，實(shí)現(xiàn)一個綠色高效的計算環(huán)境計算基礎(chǔ)設(shè)施選擇策略注重計算節(jié)點(diǎn)性能配備高主頻處理器大內(nèi)存提髙計算處理能力。對于用戶提交只含有一個或少量幾個任務(wù)且耗時較多的作業(yè)，購置處理器主頻盡可能高的機(jī)架式服務(wù)器加速處理能力，且配置較大的內(nèi)存盡可能將進(jìn)程全部常駐內(nèi)存以消除Paging及Swapping節(jié)省時間開銷，且便于用戶動態(tài)切換。減輕I/O“瓶頸”現(xiàn)象，提升計算節(jié)點(diǎn)整機(jī)性能。對于頻繁訪問大批數(shù)據(jù)的計算任務(wù)而言，磁盤存取速度的提升跟不上處理器速度因工藝及多核技術(shù)而性能大幅度提升的步伐，是制約處理性能的關(guān)鍵因素，提升數(shù)據(jù)存儲設(shè)備的I0PS是其出路，比如選用光纖固態(tài)盤。選擇與計算任務(wù)相適應(yīng)的服務(wù)器體系結(jié)構(gòu)對于支持OpenMP自動編譯的并行計算作業(yè)，或者含有很多個任務(wù)的批作業(yè)或者同時提交一大批作業(yè)的場合，選用由眾多(8顆及以上)多核處理器構(gòu)成共享內(nèi)存的胖節(jié)點(diǎn)SMP架構(gòu)服務(wù)器。利用操作系統(tǒng)的可以將一個批作業(yè)或者多道作業(yè)中各個計算任務(wù)自動分配到各核創(chuàng)建進(jìn)程執(zhí)行的能力，實(shí)現(xiàn)作業(yè)級的同時處理或者批作業(yè)中不需要進(jìn)程間通信和同步的獨(dú)立任務(wù)平行計算。對于調(diào)用已內(nèi)嵌支持MPI并行機(jī)制的一些軟件包，實(shí)現(xiàn)并行計算且進(jìn)程間通信開銷不太大的作業(yè)，以及利用MapReduce并行機(jī)制搜索引擎、數(shù)字媒體服務(wù)等互聯(lián)網(wǎng)應(yīng)用，購置采用分布式內(nèi)存并行架構(gòu)的刀片式集群或者選擇專門面向高密集計算的融入了刀片技術(shù)的新型機(jī)架式服務(wù)器。經(jīng)過實(shí)際運(yùn)行對比，其計算效率比胖節(jié)點(diǎn)SMP架構(gòu)服務(wù)器要高。合理配備存儲資源對于物理分配的計算節(jié)點(diǎn)，選用大容量的髙吞吐率硬盤。因?yàn)樽非笃鋯螜C(jī)處理性能，用戶數(shù)據(jù)可直接本機(jī)存儲。對于虛擬化的計算節(jié)點(diǎn)，可選容量較小的髙吞吐率硬盤。為增強(qiáng)系統(tǒng)可靠性，對云存儲實(shí)時備份。節(jié)點(diǎn)互連鏈路的高速化與靈活性計算專用互連鏈路與互聯(lián)網(wǎng)信息通道共存。計算節(jié)點(diǎn)間及計算節(jié)點(diǎn)與存儲間配備專用互連鏈路，與互聯(lián)網(wǎng)隔離；多網(wǎng)卡技術(shù)，冗余鏈路增加吞吐率以及某些應(yīng)用的互聯(lián)網(wǎng)信精品文檔（可編輸） 值得下載精品文檔（可編輸） 值得下載道。性價比權(quán)衡，不同高速網(wǎng)絡(luò)鏈路協(xié)議共存。以千兆以太鏈路為主，個別特殊需求考慮更髙速技術(shù)。資源管理策略（1） 對大部分計算資源和存儲資源進(jìn)行虛擬化，分配給用戶的資源不再是物理服務(wù)器和物理存儲，而是經(jīng)過虛擬化的一組資源，具體使用那一臺物理設(shè)備則通常是用戶不必知曉的。（2） 用戶可以透明地使用計算資源和存儲資源，仍可像以前一樣自主構(gòu)建自己的運(yùn)行環(huán)境，該環(huán)境是可以被卸載到后臺或者需要時重新恢復(fù)。（3） 當(dāng)用戶暫時不再使用資源時，將其運(yùn)行環(huán)境保存到后臺，釋放虛擬計算資源再行調(diào)度和分配，當(dāng)用戶再次打算使用時，重新還原先前一樣的環(huán)境繼續(xù)使用，但可能物理的設(shè)備已與原來不一致了，也就比方是，同樣的節(jié)目可以在不同的舞臺上演。（4） 根據(jù)用戶對資源需求的變化，動態(tài)調(diào)正所需的處理器核數(shù)和存儲空間大小，資源可以動態(tài)在不同用戶之間調(diào)劑。（5） 根據(jù)特殊用戶的個性化需求，分配的虛擬化資源可以相對長期穩(wěn)定，以利于對比測試等科學(xué)實(shí)驗(yàn)需要。（6） 鑒于虛擬化帶來的性能開銷不可忽略，針對一些對性能要求很高的計算任務(wù)，可以考慮在不虛擬化的情況下進(jìn)行物理設(shè)備的分配和管理，而且可在不卸載本地硬盤上原用戶環(huán)境的前提下，通過遠(yuǎn)程引導(dǎo)的方式讓其他用戶使用高設(shè)備的處理器及內(nèi)存完成計算任務(wù)。參考架構(gòu)及解讀（1） 整合計算資源在圖1所示架構(gòu)中，底層的硬件資源釆用標(biāo)準(zhǔn)化、高性能、易擴(kuò)展的設(shè)計思路，根據(jù)應(yīng)用對硬件設(shè)備的不同需求,建立完善的服務(wù)器資源池、存儲資源池，由云計算管理平臺統(tǒng)一進(jìn)行管理。（2） 虛擬化技術(shù)在整體方案中，可以劃分一部分資源進(jìn)行虛擬化，從而提供一個共享的開發(fā)測試環(huán)境給用戶，便于用戶在正式提交作業(yè)之前進(jìn)行程序的調(diào)試和試運(yùn)行。在一些具體的應(yīng)用場景上，針對一些對性能要求很高的計算任務(wù)，虛擬化帶來的性能開銷不可忽略，因此可以考慮在不虛擬化的情況下進(jìn)行資源的分配和管理。（3） 統(tǒng)一管理平臺采用統(tǒng)一的云計算管理平臺來進(jìn)行整體資源管理和服務(wù)流程管理。通過管理平臺，可以提供硬件資源、軟件資源和操作系統(tǒng)等的按需調(diào)配。最終用戶或者管理員可以通過該系統(tǒng)對中心內(nèi)的計算資源進(jìn)行申請、批準(zhǔn)、調(diào)整和回收等等自動化操作。（4）服務(wù)接口最終用戶可以采用兩種服