高性能計算系統(tǒng)設(shè)計方案.doc

高性能計算系統(tǒng)方案設(shè)計第1章 需求分析1.1 高性能計算的和大規(guī)模數(shù)據(jù)處理的應(yīng)用高性能計算作為一種先進的科研手段，在國內(nèi)的應(yīng)用發(fā)展很快，得到了普遍的重視，近年來國家投入逐年加大。高性能計算的應(yīng)用條件已經(jīng)成熟，表現(xiàn)在：u 價格相對低廉的高性能機群系統(tǒng)為高性能計算應(yīng)用提供了物質(zhì)基礎(chǔ)；u 高性能計算應(yīng)用的技術(shù)門檻逐漸降低；u 國家鼓勵相關(guān)單位做高性能計算的研究，相關(guān)投入不斷加大；u 很多高校的科研人員使用高性能計算手段，取得了很好的成果。1.1.1 計算機架構(gòu)由于各學(xué)科高性能計算應(yīng)用軟件種類繁多，各種軟件的應(yīng)用特點也各不相同，對計算資源的需求存在差別，方案的設(shè)計需要充分考慮到實際應(yīng)用的特點。作為高性能計算基礎(chǔ)設(shè)施的核心，現(xiàn)代高性能計算機的發(fā)展從20世紀70年代的向量計算機開始，也已經(jīng)有了30年的發(fā)展歷程。先后出現(xiàn)了向量機、多處理器并行向量機、MPP大規(guī)模并行處理機、SMP對稱多處理機、DSM分布式共享存儲計算機、Constellation星群系統(tǒng)、Cluster集群系統(tǒng)、混和系統(tǒng)等多種主體的架構(gòu)，并分別在不同的時期占據(jù)著應(yīng)用的主流。開放的Cluster集群系統(tǒng)具有較多的優(yōu)勢，已經(jīng)占據(jù)了目前高性能計算機的主流位置，在TOP500中占據(jù)了約80%的份額，在中小規(guī)模的高性能計算系統(tǒng)中更是占據(jù)統(tǒng)治地位。1.1.2 軟件的并行特點按照應(yīng)用程序是否為并行程序，可以分為如下幾類：u 串行程序程序運行中只有一個進程或線程。串行程序不能利用高性能計算機多個處理器的并行特點，但可以同時運行程序的多個任務(wù)或算例。u 共享內(nèi)存并行程序程序運行中可以有多個進程或多個線程，可以使用多個處理器進行并行計算。但這種并行程序不能在分布式內(nèi)存的機群系統(tǒng)上運行。u 消息傳遞并行程序消息傳遞式并行程序可以在所有架構(gòu)的計算機上運行，可以同時使用數(shù)目很多的處理器，以加速程序的運行。在高性能集群系統(tǒng)上，各種程序都可以運行，可以使用集群系統(tǒng)的一個CPU，一個節(jié)點或多個節(jié)點。1.1.3 互連網(wǎng)絡(luò)高性能計算系統(tǒng)的互連網(wǎng)絡(luò)包括計算網(wǎng)絡(luò)，數(shù)據(jù)IO網(wǎng)絡(luò)，管理監(jiān)控網(wǎng)絡(luò)等。對于并行程序來說，進程之間的通信量也有著顯著差別。對于進程間通信量較小的程序來說，使用高性價比的千兆以太網(wǎng)就可以滿足需求。對于通信密集型的并行程序，多個進程之間數(shù)據(jù)交換頻繁，對互連網(wǎng)絡(luò)的性能要求很高，要求具有較高的帶寬和很低的延遲，千兆以太網(wǎng)就不能很好滿足要求，需要使用高速網(wǎng)絡(luò)，如Infiniband，其單向帶寬達到20Gb，延遲小于2微秒。 從2010 TOP500 排行榜中我們可以看到，千兆以太網(wǎng)和Infiniband網(wǎng)成為高性能計算機網(wǎng)絡(luò)互聯(lián)的主流，尤其從性能份額上來說，Infiniband網(wǎng)更是占據(jù)了絕大部分的份額，所以在國際主流的較大系統(tǒng)中，Infiniband計算網(wǎng)逐漸成為主流。高性能網(wǎng)絡(luò)的基本性能如下我們可以看到，對于千兆以太網(wǎng)，帶寬達到112MB/s，延時非常高，達到47.57us。而使用萬兆以太網(wǎng)，雖然帶寬和延時均有顯著提高，但是與Infiniband網(wǎng)相比，還是有較大差距。萬兆以太網(wǎng)使用TCP/IP協(xié)議，帶寬達到770MB，延時約為12us，使用Iwarp的RDMA協(xié)議，性能有一定提升，帶寬達到1046MB/s,延時達到7.68us。對于Infiniband網(wǎng)，DDR和QDR的帶寬有較大差距，但是延時比較接近，分別為1.6us 和1.3us。值得注意的是，QDR的IP over IB的性能有了大幅的提升。1.1.4 操作系統(tǒng)高性能計算的操作系統(tǒng)由最初的Unix操作系統(tǒng)為主，目前隨著集群架構(gòu)的逐漸廣泛和Linux操作系統(tǒng)的逐漸成熟，Linux操作系統(tǒng)逐漸成為高性能計算機的主流，占到80%以上的市場份額。為了使得集群系統(tǒng)有較好的兼容性，可以配置多種操作系統(tǒng)，如Linux（Redhat,Suse）,Windows HPC server等.第2章 系統(tǒng)方案設(shè)計2.1 方案總體設(shè)計2.1.1 系統(tǒng)配置表序號名稱技術(shù)規(guī)格單位數(shù)量1硬件部分1.1計算子系統(tǒng)刀片平臺TC4600標準19英寸5U機架式刀片機箱、可以支持14個計算刀片；1*管理模塊，集成遠程KVM和遠程虛擬媒體；2*千兆網(wǎng)絡(luò)交換模塊，提供6個RJ45千兆接口；4*冗余熱插拔散熱模塊；4*2000W電源（3+1冗余熱拔插）；臺5計算刀片CB60-G15帶FDR計算刀片2*IntelXeonE5-2660 八核處器(2.2GHz)；8*8GBDDR31333MHz；1*300G 2.5寸10000轉(zhuǎn)SAS硬盤；1*56GbInfiniband接口；2*1000M以太網(wǎng)接口； 片63管理/登錄節(jié)點曙光I620r-G102U機架式；2IntelXeonE5-2660 八核處器(2.2GHz)；84GBDDR31333MHz；1300G 2.5寸10000轉(zhuǎn)SAS硬盤；156GbInfiniband接口；21000M以太網(wǎng)接口； 1*冗余電源；1*超薄DVD-RW；1*上架導(dǎo)軌；臺21.2存儲子系統(tǒng)存儲系統(tǒng)曙光DS600-G10雙控FC3U ,16盤位,雙控制器，4個8Gb/s FC+8個1Gb ISCSI主機通道,雙鋰電池，2*2GB Cache；冗余電源；含4個SFP（8Gb）；Cache容量可升級為2*16GB；600G 15000轉(zhuǎn) 6Gb SAS硬盤*16塊套11.3網(wǎng)絡(luò)子系統(tǒng)計算網(wǎng)絡(luò)IB 交換機FDR Infiniband交換機，36 端口臺2Infiniband線纜MX MC2207310-005 56GB QSFP FDR 5M IB光纜根65管理網(wǎng)絡(luò)千兆交換機 48端口交換機，10/100/1000baseT銅接口臺2防火墻集群安全模塊TLFW-1000T 龍芯防火墻標配6個千兆電口，1U機架。并發(fā)連接數(shù)120萬，吞吐量1G，支持SSL VPN隧道數(shù)300配合Nikey智能密鑰*10：曙光精心打造的USB Key解決方案，內(nèi)置8位國產(chǎn)安全芯片，自主開發(fā)COS。硬件實現(xiàn)數(shù)字簽名，私鑰永不出Key。臺11.4機柜子系統(tǒng)機柜系統(tǒng)曙光天潮標準機柜標配2個PDU、雙側(cè)門，無電源箱，無監(jiān)控液晶觸摸一體機個3曙光天潮標準電源箱380V無監(jiān)控電源箱個1監(jiān)控系統(tǒng)曙光智能機柜監(jiān)控系統(tǒng)支持四臺機柜溫濕度遠程監(jiān)控套1曙光集群監(jiān)控中心監(jiān)控液晶觸摸一體機，含LCD、觸摸屏、監(jiān)控主機各1套，安裝在機柜前面板門上套1控制臺曙光集群控制臺1U手動伸縮控制臺(曙光17”液晶顯示器、鼠標、鍵盤、8口切換器等)套1視頻切換系統(tǒng)SKVMSKVM IV Over IP（包含鍵盤鼠標）臺1CIMKVM節(jié)點控制模塊個72軟件部分操作系統(tǒng)LinuxSuSELinux企業(yè)版套1集群管理系統(tǒng)曙光GridView 2.5GridView HPC版，支持系統(tǒng)部署、系統(tǒng)監(jiān)控、集群管理、數(shù)據(jù)報表、統(tǒng)一告警、作業(yè)調(diào)度。basic portal,包含serial 和 mpi，支持互動作業(yè)，作業(yè)故障自動切換重啟，文件傳輸，查看修改文件操作。套65Gridview ClusQuota 集群配額系統(tǒng)，可支持用戶機時配額管理，充值計費管理，用戶信用管理等功能。（可選）套1應(yīng)用門戶系統(tǒng)曙光Gridview Clusportal 系統(tǒng)包含F(xiàn)luent軟件作業(yè)調(diào)度套1應(yīng)用開發(fā)環(huán)境編譯器GNU編譯器，支持C/C+Fortran77/90Intel 編譯器，支持C/C+ Fortran套1數(shù)學(xué)庫MKL，BLAS、LAPACK、ScaLAPACK、FFTW套1MPI并行環(huán)境OpenMPI（支持Infiniband和以太網(wǎng)的MPI環(huán)境）套1MPICH2（支持千兆以太網(wǎng)的MPI環(huán)境）套12.1.2 系統(tǒng)拓撲圖2.1.3 系統(tǒng)方案說明u 計算系統(tǒng)CPU整體峰值性能達到17.7萬億次，可以擴展到500萬億次；u 主要產(chǎn)品都采用了冗余設(shè)計（電源、風(fēng)扇等），存儲系統(tǒng)采用冗余設(shè)計，系統(tǒng)的可靠性有較高保證；u 系統(tǒng)功耗（不含空調(diào)制冷系統(tǒng)）不超過為,150千瓦，電費可按此核算；u 曙光公司將為用戶提供完善的服務(wù)，包括安裝調(diào)試、系統(tǒng)優(yōu)化、用戶培訓(xùn)等，這些都不單獨收費，用戶不必考慮這些方面的費用；u 曙光公司提供5年免費上門服務(wù)，極大降低了用戶的運行維護費用；u 曙光公司是領(lǐng)先的專業(yè)高性能機算機及方案提供商，擁有較多的成功案例，包括百萬億次超級機算機的成功案例，產(chǎn)品的可靠性和穩(wěn)定性得到了充分驗證。2.1.4 需求相應(yīng)分析l 先進性本系統(tǒng)中，我們使用的刀片集群架構(gòu)，為目前高性能發(fā)展的先進趨勢。使用的最新一代Intel E5-2600處理器，為目前性能最高的X86處理器。使用的FDR網(wǎng)絡(luò)，也為目前最為先進的網(wǎng)絡(luò)技術(shù)。同時，系統(tǒng)中使用的并行文件系統(tǒng)、自動功耗管理系統(tǒng)和HPC應(yīng)用WEB potal，均代表著HPC的先進的發(fā)展方向。l 高可靠、高可用需求系統(tǒng)采用刀片服務(wù)器，冗余電源，雙控制器存儲系統(tǒng)、高級別RAID系統(tǒng)，以及關(guān)鍵節(jié)點的HA雙機，同時，高效管理監(jiān)控系統(tǒng)也是保證系統(tǒng)高可靠、高可用的保證。l 適合用戶應(yīng)用軟件需求用戶應(yīng)用軟件眾多，用戶眾多，對計算需求大，系統(tǒng)共配置101TFLOPS的計算能力。針對部分應(yīng)用對節(jié)點間網(wǎng)絡(luò)需求高，配置了高帶寬，低延時的FDR Infiniband網(wǎng)。帶寬達到56Gbps，延時小于1us。同時，海量計算時的IO并發(fā)讀寫量巨大，對存儲的容量和性能需求驚人，系統(tǒng)配置了并行存儲系統(tǒng)，能夠?qū)崿F(xiàn)所有存儲的統(tǒng)一地址和并發(fā)讀寫。l 易使用需求系統(tǒng)配置了HPC WEB Portal，可以有效降低用戶使用難度。同時，針對系統(tǒng)和應(yīng)用的專業(yè)培訓(xùn)，也能提高使用人員的使用水平。針對應(yīng)用軟件的安裝調(diào)試也大大降低了用戶的使用難度。l 可擴展性需求集群的架構(gòu)可以保證計算系統(tǒng)的良好擴展，同時，并行存儲的架構(gòu)也實現(xiàn)對存儲系統(tǒng)的擴展。l 易管理維護需求配置高效管理系統(tǒng)，支持監(jiān)控、告警、管理、報表等多項功能，解決管理員的后顧之憂，同時，對管理員的培訓(xùn)和對系統(tǒng)的運維支持，也能有效提高系統(tǒng)的管理水平。l 節(jié)能環(huán)保需求配置了刀片系統(tǒng)和高效節(jié)能系統(tǒng)，支持空載節(jié)點的自動待機，能夠有效降低能耗，幫助用戶節(jié)省運維成本。2.2 計算系統(tǒng)2.2.1 刀片集群系統(tǒng)共配置63個雙路8核刀片服務(wù)器，主頻2.2Ghz，雙精度峰值接近17萬億次。目前，開放的集群(Cluster)系統(tǒng)具有較多的優(yōu)勢，已經(jīng)占據(jù)了目前高性能計算機的主流位置，在TOP500中占據(jù)了80%以上的份額，在中小規(guī)模的高性能計算系統(tǒng)中更是占據(jù)統(tǒng)治地位。刀片式集群系統(tǒng)在計算密度、功耗散熱、運營成本、維護成本、可靠性等方面，都明顯優(yōu)于其它系統(tǒng)，且為系統(tǒng)的擴容升級提供了良好的基礎(chǔ)，刀片系統(tǒng)的優(yōu)勢主要體現(xiàn)在以下幾個方面。n 計算密度更高提高計算密度是刀片服務(wù)器發(fā)展的主要動力之一。對于大規(guī)模并行計算機來說，提高計算密度尤其重要，刀片式集群系統(tǒng)有效提高了計算密度。n 機房要求降低大規(guī)模高性能計算機將對機房空間提出較高的要求，并且要為系統(tǒng)的擴容升級留下空間。刀片式集群系統(tǒng)實現(xiàn)了較高的計算密度，并且有效降低了系統(tǒng)功耗，對系統(tǒng)空調(diào)等散熱系統(tǒng)的要求也相對降低。n 功耗散熱降低刀片服務(wù)器的功耗部件較少。刀片柜中的電源將由多個刀片共享，所以會使用高效率電源，減小了系統(tǒng)功耗，同時產(chǎn)生的熱量減少，減少了冷卻系統(tǒng)的耗電量。節(jié)能的設(shè)計體現(xiàn)在曙光刀片服務(wù)器的各個層面：1）根據(jù)實時功耗確定工作電源個數(shù)，使電源工作在最佳效率曲線上。2）修改計算刀片操作系統(tǒng)內(nèi)核，實現(xiàn)節(jié)能3）多計算刀片任務(wù)調(diào)整調(diào)度n 布線簡單在機架式服務(wù)器構(gòu)成的集群系統(tǒng)中，系統(tǒng)布線是一個很大的問題。系統(tǒng)的線纜可能包括高性能計算網(wǎng)絡(luò)（Infiniband，以太網(wǎng)等）、數(shù)據(jù)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、監(jiān)控網(wǎng)絡(luò)、電源網(wǎng)絡(luò)、KVM網(wǎng)絡(luò)等，這些線纜需要連接到每一個計算單元。尤其是在高密度、計算單元數(shù)目又比較多的情況下，系統(tǒng)布線是令設(shè)計人員頭疼的問題。刀片式集群系統(tǒng)可以大大減少系統(tǒng)布線的數(shù)量。多個刀片服務(wù)器可以共用冗余電源，內(nèi)置的交換機將高速網(wǎng)絡(luò)（Infiniband等）、數(shù)據(jù)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、KVM網(wǎng)絡(luò)集成在一起，只需要對刀片柜進行布線，刀片柜內(nèi)部的計算刀片通過背板連接，無需布線。根據(jù)計算，使用刀片式集群，可以節(jié)省85%以上的系統(tǒng)布線。n 可靠性提高曙光刀片服務(wù)器采用無源背板進行系統(tǒng)互連，與傳統(tǒng)的線纜連接方式相比，把可靠性提高到了一個數(shù)量級以上。刀片系統(tǒng)采取模塊化、冗余、熱插拔設(shè)計，進一步提高了系統(tǒng)的可靠性。n 管理方便曙光刀片服務(wù)器管理監(jiān)控高度集成：通過統(tǒng)一的監(jiān)控界面，監(jiān)控所有刀片資源，包括機箱電源、風(fēng)扇、計算刀片、背板、交換機。管理系統(tǒng)整合目前兩大監(jiān)控技術(shù)，即IPMI以及KVM (Over IP)，真正實現(xiàn)監(jiān)視控制一體化。同時，為實現(xiàn)方便快捷的刀片服務(wù)器管理，通過優(yōu)化的管理軟硬件設(shè)計，改善可管理性，增強部署和可服務(wù)性，這些將降低總的所有權(quán)成本。2.2.2 Intel E5-2600處理器性能優(yōu)勢2012年3月，Intel Xeon 處理器E5-2600發(fā)布，E5-2600處理器相比上代雙路服務(wù)器Xeon5600系列處理器在處理器架構(gòu)上進行了重大調(diào)整，從而帶來最高達到77%的性能提升。E5-2600相比上代5600處理器，在處理器核心數(shù)、流水線長度、內(nèi)存帶寬等多個方面都對做出了重大提升，所以導(dǎo)致了性能的巨大飛躍。對于最能衡量高性能計算處理能力的spec cpu2006 fp性能，相比上一代處理器，最多高達77%的性能提升。對于眾多高性能計算應(yīng)用，相比上代處理器，基本都超過50%以上的性能提升。通過調(diào)整流水線的長度和增加CPU核心數(shù)，相比上代處理器，linpack性能最多超過100%的性能提升。2.2.3 GPGPU計算節(jié)點系統(tǒng)共配置4臺GPGPU節(jié)點，該GPGPU節(jié)點配置4塊NVDIA C2075 GPU卡，共提供單精度峰值16TFLOPS，雙精度峰值8TFLOPS。GPGPU計算是指利用圖形卡來進行一般意義上的計算，而不是傳統(tǒng)意義上的圖形繪制。時至今日，GPU已發(fā)展成為一種高度并行化、多線程、多核的處理器，具有杰出的計算功率和極高的存儲器帶寬，如圖所示。CPU 和GPU的每秒浮點運算次數(shù)和存儲器帶寬CPU 和GPU之間浮點功能之所以存在這樣的差異，原因就在于GPU專為計算密集型、高度并行化的計算而設(shè)計，上圖顯示的正是這種情況，因而，GPU的設(shè)計能使更多晶體管用于數(shù)據(jù)處理，而非數(shù)據(jù)緩存和流控制，如圖所示。GPU中的更多晶體管用于數(shù)據(jù)處理目前，已經(jīng)有非常多的高性能應(yīng)用完成了在GPU系統(tǒng)上的移植。2.3 網(wǎng)絡(luò)系統(tǒng)本方案的網(wǎng)絡(luò)系統(tǒng)的設(shè)計從性能和可靠兩個原則出發(fā)，采用2套網(wǎng)絡(luò)。網(wǎng)絡(luò)配置都考慮了擴展余量，以便系統(tǒng)擴充。網(wǎng)絡(luò)方案設(shè)計充分考慮到了計算節(jié)點、存儲節(jié)點、網(wǎng)絡(luò)交換機的性能參數(shù)，在保證了系統(tǒng)穩(wěn)定的前提下，使每臺設(shè)備都能得到最大限度的利用。2.3.1 千兆管理網(wǎng)絡(luò)配置1臺高端千兆交換機，配合刀片機箱的管理模塊，連成千兆管理網(wǎng)絡(luò)。該交換機1U高，48個千兆端口，實現(xiàn)系統(tǒng)中所有節(jié)點的聯(lián)通。千兆管理網(wǎng)絡(luò)用于系統(tǒng)管理控制、系統(tǒng)監(jiān)控、作業(yè)的遞交、作業(yè)監(jiān)控管理等方面的數(shù)據(jù)通訊。2.3.2 Infiniband高速網(wǎng)系統(tǒng)配置2臺36端口 Infiniband FDR交換機，共同組成56GbpsFDR全線速網(wǎng)絡(luò)。單向56Gb的FDR Infiniband 網(wǎng)絡(luò)相比，相比上代單向40Gb的QDR Infiniband 網(wǎng)絡(luò)，性能得到了非常大的提升。這得益于三方面：1 FDR 網(wǎng)絡(luò)傳輸性能的提高，傳輸性能從QDR 的40Gb增加到FDR的56Gb。2 FDR 網(wǎng)絡(luò)編碼效率的提升，編碼效率從QDR 的 8/10 提高到 FDR 的 64/66。3 PCI-E 3.0 編碼效率的提升，編碼效率從 PCI-E 2.0的 8/10 提高到 PCI-E 3.0的 128/130。綜合起來，QDR網(wǎng)絡(luò)由于編碼效率的影響，帶寬僅能達到Bandwidth(QDR)=40Gbps*0.8*0.8/8=3.2GBps而FDR的帶寬可達到Bandwidth(QDR)=56Gbps*(64/66)*(128/130)/8=6.6GBps實際達到一倍以上的性能提升對于網(wǎng)絡(luò)密集型的高性能應(yīng)用，F(xiàn)DR網(wǎng)絡(luò)帶來的性能提升也是非常明顯，如下圖所示的分子動力學(xué)應(yīng)用NAMD，網(wǎng)絡(luò)設(shè)備升級成FDR后，性能和擴展性都得到大幅提升。2.4 存儲系統(tǒng)2.4.1 高性能集群存儲的需求特點高性能計算集群在多個節(jié)點進行大規(guī)模并行計算的同時，需要進行大量文件及數(shù)據(jù)訪問，對于系統(tǒng)的存儲性能也提出非常高的要求，系統(tǒng)對存儲要求主要歸結(jié)為以下幾點。n 全局文件的統(tǒng)一印象；高性能集群相比其它應(yīng)用而言，一個顯著的特點為保證參與計算的所有節(jié)點具有統(tǒng)一的文件印象，也就是說，在任何一個節(jié)點、對某一個文件的讀寫、修改都會在其它節(jié)點生效，實現(xiàn)這一個功能，往往需要通過網(wǎng)絡(luò)文件系統(tǒng)來實現(xiàn)，較為傳統(tǒng)的為nfs系統(tǒng)，當前，由于集群規(guī)模的增大和訪問性能的要求逐漸提高，并行文件系統(tǒng)在中大規(guī)模的高性能集群中使用越來越廣泛。n 全局文件的高速訪問；對于某些規(guī)模較大集群，或者某些高IO應(yīng)用集群，由于對存儲的訪問量很大，對共享存儲的訪問性能也提出了較高要求。通常，我們需要通過提高磁盤陣列的性能、存儲介質(zhì)的性能、磁盤陣列訪問接口的性能和IO節(jié)點的網(wǎng)絡(luò)性能來提高存儲的訪問性能。對于更高IO需求的系統(tǒng)，可以通過并行存儲系統(tǒng)來實現(xiàn)海量文件的并發(fā)讀寫。n 存儲系統(tǒng)的大容量；由于高性能集群的規(guī)模巨大、數(shù)據(jù)處理能力驚人，高性能集群集中存儲的容量也往往非常驚人，動輒達到數(shù)十TB，在某些對海量存儲需求的系統(tǒng)中，存儲往往達到上百TB，甚至PB量級。n 存儲系統(tǒng)的高可靠性；高性能集群承擔(dān)著重要的科研任務(wù)，用戶的數(shù)據(jù)具有極高的價值，同時，存儲為全局系統(tǒng)，一旦出現(xiàn)故障，將導(dǎo)致整個系統(tǒng)的不可用。所以在存儲系統(tǒng)中，無論IO節(jié)點、存儲交換機、還是存儲磁盤陣列，存儲介質(zhì)，每個環(huán)節(jié)都要盡可能的保證高可靠性和高可用性?？梢酝ㄟ^冗余電源、高級別raid、雙機熱備、數(shù)據(jù)備份等各種手段保證存儲系統(tǒng)的高可靠性。2.4.2 Parastor200并行存儲系統(tǒng)系統(tǒng)配置曙光Parastor200并行存儲系統(tǒng)，裸容量達到192TB，可用容量96T。曙光parastor200并行存儲系統(tǒng)采用多副本、全冗余技術(shù)，支持單一存儲命名空間、支持容量海量擴展，性能線性擴展，能夠滿足高性能計算中心海量文件并發(fā)讀寫需求。n Parastor200并行存儲技術(shù)特點1. 集群化并行存儲架構(gòu)，數(shù)據(jù)分布存儲，并發(fā)讀寫2. 容量、性能線性增長，資源配額和性能質(zhì)量保證，統(tǒng)一調(diào)度分配存儲空間3. 全局目錄、單一系統(tǒng)映像，虛擬存儲池，精簡配置4. 資產(chǎn)生命周期管理、帶寬分配管理、記賬計費，存儲空間租賃與管理5. 多企業(yè)、個人用戶，多訪問協(xié)議：CTDB、CIFS、FTP、RESP、SOAP6. 多副本、全冗余架構(gòu)，保證系統(tǒng)的可靠性與可用性n Parastor200 系統(tǒng)組成1. 管理控制器 - 提供命令行和圖形界面兩種接口 - 內(nèi)嵌并行存儲管理系統(tǒng)，對軟硬件進行一體化監(jiān)控管理 2. 索引控制器 - 管理存儲系統(tǒng)中所有元數(shù)據(jù)和命名空間 - 支持多副本，Active-Active運行方式3. 數(shù)據(jù)控制器 - 提供數(shù)據(jù)存儲空間，48TB裸容量 - 支持多副本容錯，自動處理磁盤失效4. 應(yīng)用服務(wù)器 - 向上應(yīng)用提供數(shù)據(jù)訪問接口 - 支持多種Linux內(nèi)核n Parastor 200體系架構(gòu)n Parastor200 統(tǒng)一管理界面2.4.3 DBstor 備份系統(tǒng)系統(tǒng)配置DBstor 備份系統(tǒng) 20TB，保證系統(tǒng)關(guān)鍵數(shù)據(jù)的安全。DBstor 支持重復(fù)數(shù)據(jù)刪除的SmartDisk技術(shù)，能有效備份數(shù)據(jù)的同時，大大節(jié)省存儲空間。曙光DBstor 備份系統(tǒng)具有如下特點：1) 為關(guān)鍵數(shù)據(jù)提供高速、基于備份時間點的恢復(fù)DBstor利用全線速的雙千兆數(shù)據(jù)傳輸鏈路、高速磁盤控制器組并行接收/發(fā)送應(yīng)用服務(wù)器的備份/恢復(fù)數(shù)據(jù)，保障數(shù)據(jù)備份/恢復(fù)的高效；在備份時，DBstor鎖定應(yīng)用服務(wù)器特定時間點的數(shù)據(jù)影像，并對影像做數(shù)據(jù)一致性對比校驗，保證備份集的絕對可用性，從而最終保證DBstor基于時間點恢復(fù)的可靠性2) 高速、高效、大容量的虛擬磁帶庫（VTL）功能DBstor采用獨特的磁盤介質(zhì)管理方式，在文件系統(tǒng)之上創(chuàng)建虛擬磁帶庫（VTL），保證備份數(shù)據(jù)在邏輯上保持連續(xù)，避免頻繁磁盤尋道帶來的時間損耗，最大限度的利用磁盤組的并行讀寫能力，從而提高備份與恢復(fù)速度；為充分利用DBstor的硬件性能，用戶可以根據(jù)實際情況定義虛擬磁帶庫的控制器數(shù)據(jù)、槽位、容量等，為支持更多客戶端并行的備份提供策略保障；DBstor支持10TB和20TB兩種VTL備份容量、滿足絕大部分關(guān)鍵數(shù)據(jù)備份場合的空間需求3) SmartDisk技術(shù)與重復(fù)數(shù)據(jù)刪除技術(shù)的有機結(jié)合DBstor支持VTL的同時，提供另外一種性價比更高的介質(zhì)管理技術(shù)SmartDisk，SmartDisk不等同于文件系統(tǒng)的磁盤管理技術(shù),SmartDisk以網(wǎng)絡(luò)服務(wù)的形式為DBstor提供磁盤存儲空間，并帶有高效的去重功能，可以實現(xiàn)高達數(shù)倍的存儲空間壓縮比；這樣既發(fā)揮磁盤存儲的高性能和高可用，又充分利用了存儲空間，可以大大節(jié)省客戶的投資4) 備份策略的自動化管理備份自動化：用戶可以根據(jù)自身的實際情況，定義自動執(zhí)行的備份策略和日程表，備份策略一旦制定，就可以按照規(guī)定動作在無人職守的情況化，自動完成備份任務(wù)；5) 報表生成自動化每天的備份任務(wù)執(zhí)行情況，DBstor會自動形成報表，詳細描述所有備份任務(wù)的招待情況，系統(tǒng)管理員可以選擇合適的方式進行通知，比如經(jīng)由Windows信使, SNMP，自動發(fā)送至管理人員的郵箱等6) 全面的Vmware集成主機的虛擬化使用日益廣泛，DBstor對典型的虛擬化環(huán)境Vmware提供了全方位的支持，用戶既可以通過DBstor對應(yīng)的client調(diào)用VCB來對虛擬機進行備份，也可以直接在虛擬機上對應(yīng)用數(shù)據(jù)進行備份，給虛擬機的備份提供靈活的選擇7) 配置管理易用性統(tǒng)一用戶圖形管理界面； 數(shù)據(jù)庫備份不需要編輯腳本，純圖形操作；在做設(shè)備檢測時，會自動發(fā)現(xiàn)和配置存儲設(shè)備，并集中管理所有業(yè)務(wù)服務(wù)器進行全自動備份8) 完善的介質(zhì)控制功能當備份數(shù)據(jù)過期時，備份介質(zhì)會自動回收以釋放存儲空間；對全備份及增量備份會自動合并，以產(chǎn)生新的全備份，并可以按照策略對數(shù)據(jù)格式轉(zhuǎn)換和加密9) 獨特的備份管理方式可以根據(jù)備份任務(wù)多少靈活配置驅(qū)動器數(shù)及磁帶數(shù)，DBstor支持自動數(shù)據(jù)庫數(shù)據(jù)導(dǎo)出并自動進行備份；對備份介質(zhì)和其中內(nèi)容進行自動分組管理；根據(jù)需要對所備份的數(shù)據(jù)進行自動恢復(fù)，且可以實現(xiàn)對不同時間的備份內(nèi)容有選擇的進行恢復(fù)10) 多應(yīng)用及異構(gòu)操作系統(tǒng)支持DBstor支持多種操作系統(tǒng)客戶端，對操作系統(tǒng)可以做到一鍵式的備份與恢復(fù)，支持Windows，linux，AIX等多平臺客戶端；對常見的數(shù)據(jù)庫，如ORACLE，SYBASE，SQL SERVER等可實現(xiàn)在線的數(shù)據(jù)庫備份，配合日志的備份，可以將數(shù)據(jù)庫恢復(fù)到最新時間點11) 優(yōu)異的硬件性能高性能的處理器和緩存以及RAID控制器，對于光纖SAN網(wǎng)絡(luò)，單臺服務(wù)器的備份效率可以達到200GB/小時；數(shù)據(jù)庫RAC在線備份效率可以達到200GB/小時2.5 管理調(diào)度系統(tǒng)2.5.1 管理/登陸節(jié)點系統(tǒng)配置2臺曙光天闊I620R-G雙路服務(wù)器，作為管理/登陸節(jié)點，實現(xiàn)雙機互備。管理節(jié)點主要用于運行集群管理軟件，Infiniband opensm服務(wù)，作業(yè)調(diào)度服務(wù)、時間同步服務(wù)器等系統(tǒng)級服務(wù)進程，管理節(jié)點對性能要求不高，但對可靠性要求很高。登錄節(jié)點主要用于用戶程序編譯、算例準備，文件上傳下載，作業(yè)提交控制等用戶交互作業(yè)。登錄節(jié)點的負載根據(jù)用戶的數(shù)量和操作有較大變化。由于登錄節(jié)點可能存在用戶的非法操作而導(dǎo)致系統(tǒng)宕機，所以只要預(yù)算允許的前提下，登錄節(jié)點和管理節(jié)點分開的方案能提高整個系統(tǒng)的可靠性。2.5.2 KVM系統(tǒng)KVM系統(tǒng)用于視頻切換，可以通過一套視頻輸出設(shè)備（顯示器，鍵盤，鼠標）實現(xiàn)對集群中所有的節(jié)點的視頻切換和鍵盤鼠標輸入操作。曙光SKVM over IP（Super Key Video Mouse）系統(tǒng)是大型機群管理、部署、維護和監(jiān)控不可或缺的設(shè)備，與傳統(tǒng)的集線器式的8口或16口的KVM切換器相比，基于CIM/USTS的曙光SKVM系統(tǒng)有著不可替代的優(yōu)點。SKVM采用普通網(wǎng)線傳輸，采用菊花鏈式連接，由CIM和USTS組成，每個USTS可以擴展999個節(jié)點，由于采用了信號轉(zhuǎn)換技術(shù)管理員可以在300m外進行KVM信號的切換，極大的方便了管理員的工作，并且在這距離上無需專門的傳輸線，采用普通的網(wǎng)線即可。為實現(xiàn)機群設(shè)備的監(jiān)控管理，曙光SKVM系統(tǒng), 可從單一控制臺(鍵盤/屏幕/鼠標)操作管理多臺服務(wù)器。單個USTS使用獨創(chuàng)的通信技術(shù), 控制多達999臺服務(wù)器, 不需傳統(tǒng)的KVM切換器及難以管理的電纜線，支持所有服務(wù)器管理高挑戰(zhàn)性的需求。2.5.3 GridView集群管理調(diào)度系統(tǒng)構(gòu)建一套大規(guī)模高性能集群系統(tǒng)涉及到三個層面的內(nèi)容：最底層的是硬件平臺，它是完成任務(wù)的最基礎(chǔ)設(shè)施；其次是OS平臺，包括節(jié)點機的操作系統(tǒng)以及集群操作系統(tǒng)；最后是應(yīng)用環(huán)境平臺，包括并行開發(fā)環(huán)境以及編譯環(huán)境。高效率的集群系統(tǒng)需要幾個層面的緊密耦合、協(xié)調(diào)工作。曙光TC4000的注重效率的設(shè)計思路貫穿到每一個細節(jié)，在每個層面上都做到性能最優(yōu)。尤其是OS平臺以及應(yīng)用環(huán)境平臺。曙光GridView大型機監(jiān)控管理系統(tǒng)繼承曙光DCMM2、DCAS等監(jiān)控管理產(chǎn)品的主要功能和技術(shù)特色，并增加多項優(yōu)秀功能開發(fā)而成的機群監(jiān)控管理系統(tǒng)產(chǎn)品。GridView提供統(tǒng)一的集中式監(jiān)控平臺，具備可擴展性、集成性、可靠性和易用性，提供對各種商用、自己研發(fā)的管理工具的集成接口，從而滿足同時對各不同廠家大型機的環(huán)境、硬件、軟件等各方面進行監(jiān)控的需求。集群監(jiān)控功能列表狀態(tài)監(jiān)測n 對服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備等各種設(shè)備的運行狀態(tài)進行實時監(jiān)測；圖 1.1 系統(tǒng)整體實時統(tǒng)計信息n 對各種應(yīng)用程序的運行狀態(tài)進行監(jiān)測；n 對運行大型機的機房環(huán)境及設(shè)備運行環(huán)境進行實時監(jiān)測；圖 1.2實時狀態(tài)監(jiān)測拓撲顯示n 支持機柜方式的物理拓撲方式，按設(shè)備實際位置和相應(yīng)尺寸顯示，使管理員對整個系統(tǒng)一目了然；圖 1.3物理機柜視圖告警管理n 實時告警圖形顯示及列表查詢；n 歷史告警列表查詢及統(tǒng)計分析；圖 1.4告警查詢n 通過多級告警分析，定位最終告警原因；圖 1.5告警分析報表分析Gridview有豐富的報表功能，這在很多同類的監(jiān)控產(chǎn)品中是不多見的。n 支持小時報、日報、月報、年報等多個時間段的報表生成；n 關(guān)聯(lián)報表，可以把多個設(shè)備的指標在一個報表中生成并進行多設(shè)備對比分析；也可以把一個設(shè)備的多個指標在一個報表中生成，從而進行多指標之間的關(guān)聯(lián)分析；n 報表可以導(dǎo)出成Pdf和Exel文件，方便用戶查看。圖 1.6報表接口規(guī)范n 采用標準接口，易于多套異構(gòu)系統(tǒng)的整合和統(tǒng)一監(jiān)控；集群管理功能列表n 管理授權(quán) 負責(zé)管理過程的授權(quán)控制，只有將管理節(jié)點的公鑰部署到被管理節(jié)點，才能執(zhí)行各種集群管理操作。n 用戶管理 負責(zé)管理集群系統(tǒng)中的用戶與組群，允許集群系統(tǒng)管理員查看集群系統(tǒng)中用戶與組的配置，并且可以完成對集群系統(tǒng)的用戶和組的增加，刪除，修改等功能。n 進程管理 顯示集群中運行的進程信息，在選定的節(jié)點組上運行特定進程，以及殺死特定進程，保存當前運行的進程信息等。n 服務(wù)管理 顯示集群中運行的服務(wù)信息，在選定的節(jié)點組上啟動、停止、禁用指定的系統(tǒng)服務(wù)n 文件管理 集群由少到幾個節(jié)點多到上百個節(jié)點組成，而管理集群中的文件則變成相當復(fù)雜的任務(wù)。DCMS的集群文件瀏覽器Spreader是用于集群文件管理的工具，界面風(fēng)格猶如微機Windows下Explorer，操作方便、直觀。n 網(wǎng)絡(luò)配置 支持集群網(wǎng)絡(luò)管理中最常見的幾種工作：維護系統(tǒng)hosts表，以及設(shè)置網(wǎng)絡(luò)設(shè)備的IP地址。n 并行終端 可在多節(jié)點并發(fā)執(zhí)行命令，并提供SSH終端對直接登陸至被管理節(jié)點執(zhí)行各種操作。n 關(guān)機管理 快速的對選定節(jié)點或整個集群進行關(guān)機/重啟/開進操作。集群用戶和組管理集群用戶組管理器（User and Group Manager）是管理集群系統(tǒng)中的用戶與組群的一個工具，負責(zé)完成集群系統(tǒng)的用戶和組的管理工作，集群系統(tǒng)管理員可以通過它查看集群系統(tǒng)中用戶與組的配置，以及完成對集群系統(tǒng)中的用戶和組的增加，刪除，修改等操作。圖2.1集群用戶管理界面組成進程管理n 顯示所選服務(wù)節(jié)點上的進程信息，包括進程名，運行參數(shù)，進程依賴關(guān)系，CPU使用率，運行時間，虛擬內(nèi)存大小等重要參數(shù)，并且支持中文信息的顯示。n 終止若干個節(jié)點上（可以是運行Linux或Windows 2000 系列操作系統(tǒng)的節(jié)點）的某個進程。對于運行Linux操作系統(tǒng)的節(jié)點，還可以向進程發(fā)送特定的信號，包括Terminate, Hangup, Interrupt等常見的信號。 圖 2.2進程列表集群系統(tǒng)hosts表hosts表最初的作用是提供從域名到IP地址的轉(zhuǎn)換，其作用類似現(xiàn)在的DNS系統(tǒng)。它出現(xiàn)于internet發(fā)展的初期，當時連到internet上的機器并不多，每臺機器都維護一個hosts文件以提供域名到IP地址的轉(zhuǎn)換。隨著internet的發(fā)展，聯(lián)網(wǎng)機器的數(shù)目增多，域名IP的變化也越來越頻繁，每臺聯(lián)網(wǎng)機器都維護一個hosts數(shù)據(jù)表的做法越來越不實際，于是就出現(xiàn)了DNS系統(tǒng)。雖然在功能上DNS已經(jīng)完全取代了hosts表，但hosts表仍然被廣泛的使用，因為它提供一種方便的名稱到IP的轉(zhuǎn)換。如讀者對hosts表的歷史信息感興趣可參考RFC952。Linux及Unix系統(tǒng)和Windows系統(tǒng)都提供hosts表功能，雖然在單機上手工直接修改系統(tǒng)的hosts表并不麻煩，但是在集群環(huán)境中，特別是大型集群或異構(gòu)集群，逐一修改維護集群中所有節(jié)點的hosts表是一件很繁重的工作。使用DCMS集群管理系統(tǒng)的hosts表管理模塊可以很輕松的維護管理整個集群的hosts表。圖 2.3 Hosts表管理IP管理IP管理模塊提供設(shè)置修改節(jié)點網(wǎng)絡(luò)設(shè)備IP地址及其它參數(shù)的功能， IP管理模塊的大部分功能都同時支持Linux（Unix）系統(tǒng)及Windows系統(tǒng)。通過IP管理模塊，系統(tǒng)管理員能夠很方便的修改集群系統(tǒng)中各個Linux節(jié)點的IP地址信息。圖 2.4 IP管理集群文件瀏覽器集群由少到幾個節(jié)點多到上百個節(jié)點組成，而瀏覽集群中的文件則變成相當復(fù)雜的任務(wù)。集群文件瀏覽器是用于集群文件瀏覽的工具，它可在集群內(nèi)完成文件目錄的瀏覽，新建，修改文件目錄名，刪除以及編輯文本文件等功能。集群并行命令集群并行命令終端可同時對多個被管理節(jié)點執(zhí)行相同的命令，并整理各節(jié)點執(zhí)行結(jié)果返回至客戶端，方便管理員對多個節(jié)點的并發(fā)管理，另外本系統(tǒng)還整合了通過SSH來登錄被管理節(jié)點的客戶端工具，管理員可直接登錄至被管理節(jié)點，執(zhí)行各種操作。系統(tǒng)部署 集群系統(tǒng)的安裝主要是指在各個結(jié)點上安裝操作系統(tǒng)、文件系統(tǒng)、并行程序運行庫、作業(yè)管理軟件和系統(tǒng)管理軟件等。它是集群系統(tǒng)投入應(yīng)用的前提，所以集群系統(tǒng)的安裝是一件非常重要的任務(wù)。系統(tǒng)主要功能特色：n 采用P2P技術(shù)對多節(jié)點同時快速部署，極大提高工作效率；n 支持樣板機模式，針對不同的節(jié)點分發(fā)不同的系統(tǒng)鏡像，在一個機群內(nèi)支持部署多種不同的系統(tǒng)軟件；n 采用B/S架構(gòu)，安裝后節(jié)點信息直接存儲在管理系統(tǒng)的數(shù)據(jù)庫中，方便管理配置。n 安裝過程中很少需要手動干預(yù)，唯一的干預(yù)是在部署的初始階段根據(jù)提示為節(jié)點輸入節(jié)點名稱。n 安裝完成的系統(tǒng)最終的ip地址和主機名為用戶安裝時指定，能自動適應(yīng)更大硬盤，各節(jié)點的軟硬件配置不必完全相同。n 支持多種Linux系統(tǒng),如Redhat Linux, Turbo Linux, Debian GNU/Linux，SUSE等.n 同時支持64位和32位cpu和操作系統(tǒng)圖3.1 集群部署2.5.4 Gridview Clusportal 應(yīng)用門戶模塊 高性能集群用戶的煩惱1 作業(yè)腳本很難寫，Linux命令很難學(xué)。 大部分的使用計算機的用戶均習(xí)慣windows的封閉提問操作和圖形界面的操作，對于基于Linux命令行操作和基于命令行操作的作業(yè)調(diào)度系統(tǒng)，往往難以習(xí)慣，導(dǎo)致用戶常常感覺自己無法適應(yīng)高性能計算作業(yè)的工作模式，需要長時間的培訓(xùn)和摸索才能逐漸掌握這一過程。2為什么我的作業(yè)等了3天了，還在排隊，別人的作業(yè)都算了好幾回了？ 由于用戶往往無法正確的了解現(xiàn)有系統(tǒng)資源，自己可訪問的權(quán)限和資源；而基于命令行的作業(yè)調(diào)度系統(tǒng)開放式操作又常常讓用戶無法準確的去根據(jù)自己可訪問的資源去申請資源，導(dǎo)致用戶在申請資源時常常申請錯誤，這樣用戶的作業(yè)就長時間處于排隊狀態(tài)了。3為什么我的作業(yè)等了2天才開始算，可是只用10幾秒就錯誤退出了？ 由于命令行操作的開放式操作，導(dǎo)致用戶往往在撰寫作業(yè)腳本或者算例文件時，很容易出現(xiàn)一些細微的錯誤，導(dǎo)致很不容易排到開始計算，往往一開始就錯誤退出了。 Clusportal 主要功能n 錯誤檢查功能p 對所有的申請的資源會設(shè)置最大值，并檢查配額，隊列設(shè)置，用戶設(shè)置等資源限制p 對應(yīng)用的輸入文件進行檢查p 自動轉(zhuǎn)化輸入文件UNIX格式n 功能齊全，與其它產(chǎn)品無縫融合p 支持文件上傳下載p 可視化作業(yè)p 文件格式轉(zhuǎn)化p 自動checkpoint/restart.文件上傳下載功能可視化互動作業(yè) n 通用性高、操作簡單p 一個portal頁面開放接口眾多，達到30個，可以滿足用戶的各種作業(yè)需求。p 默認值設(shè)置合理，90%的作業(yè)，用戶只需修改5個以內(nèi)的選項。p Portal種類多，超過30個，幾乎包含所有高性能應(yīng)用，同時可定制。p 具有2個基礎(chǔ)版portal，可以適用于所有串行程序，多線程程序、MPI程序。p 根據(jù)用戶輸入記憶，提高工作效率n 性能更高p 開啟了進程綁定、共享內(nèi)存通信等運行優(yōu)化選項，提高作業(yè)運行效率。n Clusportal 主要種類p basic（基礎(chǔ)） portal包含serial 和 mpi，支持互動作業(yè)，作業(yè)故障自動切換重啟，文件傳輸，查看修改文件操作。p CAE portal包含Ansys，F(xiàn)luent，Abiqus，CFX，Nastran，F(xiàn)ecko，James，Comsol共7個Portal。p Qchem（量子化學(xué)） Portal包含vasp，Gaussian，siesta，CPMD，abinit，PWSCF共5個Portal。p MD（分子動力學(xué)） Portal包含Namd，Gromacs，lammps，charmm，amber共5個portal。p BIO（生命科學(xué)）Portal包含mpiblast，dock共2個portal.2.5.5 Gridview Clusquota 集群配額模塊產(chǎn)品概述Sugon ClusQuota 1.2.0 集群計費業(yè)務(wù)系統(tǒng)，可實現(xiàn)計算資源的量化計費和用戶配額制，對各種計算資源(CPU、內(nèi)存、商業(yè)軟件License等)進行有效的統(tǒng)籌、分析和調(diào)度。Sugon ClusQuota 1.2.0 通過預(yù)充值和實時計費方式，集群管理員可及時掌握用戶對計算資源的使用情況，并為外部計費和內(nèi)部核算提供有力保證。產(chǎn)品特色 靈活的用戶配額制度傳統(tǒng)高性能集群的資源的分配方式比較粗放，用戶缺乏合理的引導(dǎo)、約束機制，導(dǎo)致計算資源的分配不均衡。ClusQuota 1.2.0采用統(tǒng)一的量化手段描述資源的數(shù)量，在高性能集群中引入配額策略，對用戶的可用資源進行預(yù)分配和實時計費，并可靈活控制用戶配額的有效期限，精確地記錄和控制用戶資源使用量，從而實現(xiàn)精細粒度的資源記賬和配額統(tǒng)籌。 直觀的資源配額查詢ClusQuota 1.2.0的“余額查詢”功能為集群用戶提供了直觀的配額信息，包括每個用戶當前可用的機時配額，以及目前由于正運行的作業(yè)而凍結(jié)的配額數(shù)量。ClusQuota 1.2.0可實現(xiàn)先充值、后使用(機時)的功能，在用戶提交作業(yè)時即從計費系統(tǒng)中做預(yù)授權(quán)，作業(yè)結(jié)束后根據(jù)實際使用情況結(jié)算，有效避免超額占用機時。 完善的賬號管理功能ClusQuota 1.2.0可以將多套集群都納入進來作為一個整體管理，提供全局統(tǒng)一的用戶配額策略。ClusQuota 1.2.0提供完善的計費賬號管理功能，可根據(jù)需要，自由設(shè)定每個計費賬號所對應(yīng)的集群用戶，以及相應(yīng)可訪問的集群資源。ClusQuota 1.2.0既可以實現(xiàn)一個集群用戶對應(yīng)一個計費賬號，專項專用，也可以實現(xiàn)多個集群用戶共同使用一個計費賬號，適于多個研究組共享計算資源。 詳盡的作業(yè)統(tǒng)計功能ClusQuota 1.2.0提供了詳細的作業(yè)統(tǒng)計列表，包括每個作業(yè)的用戶、所屬集群、所屬隊列、節(jié)點類型、并行規(guī)模、實際消費機時等信息。集群管理員根據(jù)作業(yè)記錄，可以對計算資源的使用情況實現(xiàn)全局的、綜合的、動態(tài)的、精細粒度的統(tǒng)計，并通過分析找出影響系統(tǒng)性能的資源瓶頸。 詳細的充值明細記錄ClusQuota 1.2.0針對每個計費賬號提供了詳細的充值明細記錄，任何一次充值操作均有據(jù)可查，方便集群管理員隨時核對記錄。 詳細的支出明細記錄ClusQuota 1.2.0針對每個計費賬號提供了詳細的支出明細記錄，每一次作業(yè)計費均記錄在案，為配額計費和內(nèi)部核算提供有力保證。ClusQuota 1.2.0使集群管理員對系統(tǒng)的整體運行狀態(tài)一目了然，能夠?qū)崟r動態(tài)地跟蹤、反映用戶對高性能計算機資源的使用情況，并能及時實施資源使用控制策略。 靈活多樣的自定義費率ClusQuota 1.2.0可靈活設(shè)置費率，針對不同的計算資源(節(jié)點、隊列、CPU速度等)實現(xiàn)區(qū)別計費。 2.6 集群基礎(chǔ)軟件環(huán)境2.6.1 編譯環(huán)境 GNU C/C+、GNU Fortran編譯器GNU CC（GNU Compiler Collection）是一個編譯器套件，是GNU推出的功能強大、性能優(yōu)越的多平臺編譯器，是GNU的代表作品之一。gcc是可以在多種硬件平臺上編譯出可執(zhí)行程序的超級編譯器，其執(zhí)行效率與一般的編譯器相比平均效率要高20%30%。它不僅能夠編譯C、Objective C和C+程序，而且還能編譯Fortran、Pascal等語言寫的程序。單就編譯器而言，它是目前公認編譯最快、效率最高的編譯器。 Intel編譯器Intel 編譯器(Intel Compiler)是由美國Intel公司開發(fā)，包括C/C+編譯器和Fortran編譯器適用于 Linux、Microsoft Windows 和 Mac OS X 操作系統(tǒng)。 Intel 編譯器的C語言編譯器為icc,C+編譯器為icpc,Fortran編譯器為ifort,支持Fortran 77,Fortran90/95標準.Intel 編譯器支持 IA-32、Intel 64、Itanium 2、Intel Atom 處理器和某些非 Intel 的兼容處理器（例如某些 AMD 處理器）,開發(fā)人員應(yīng)當檢查系統(tǒng)需求。適用于 IA-32 和 Intel 64 的 Intel C+ 編譯器的主要特點是自動向量化器，它能夠生成 SSE、SSE2 和 SSE3 的 SIMD 指令及其適用于 Intel 無線 MMX 和 MMX 2 的嵌入式變種。 Intel 編譯器 進一步支持 OpenMP 3.0 和適用于對稱多處理的自動并行化。借助于 Cluster OpenMP 的附加能力，編譯器還可為分布存儲多處理根據(jù) OpenMP 指示自動生成消息傳遞接口調(diào)用。 Intel 編譯器可以對程序進行眾多編譯優(yōu)化,最大限度地利用Intel處理器及其它一些處理器的優(yōu)化指令,使得程序性能獲得巨大的性能提升,隨著處理器的不斷更新，Intel編譯器也不斷的加入一些新的優(yōu)化指令，目前Intel編譯器的最新版本為12. PGI編譯器PGI 編譯器(PGI Compiler)是由波蘭PGI公司開發(fā)，包括C/C+編譯器和Fortran編譯器適用于 Linux和Microsoft Windows。 PGI 編譯器的C語言編譯器為pgcc,C+編譯器為pgCC,Fortran77編譯器為pgf77,Fortran90編譯器為pgf90.PGI 編譯器支持 AMD處理器和Intel處理器,可程序可以進行各種級別的編譯器優(yōu)化，包括內(nèi)聯(lián)函數(shù)、循環(huán)展開、向量化以及SSE2、SSE3等指令優(yōu)化。 PGI 編譯器 進一步支持 OpenMP 3.0 和適用于對稱多處理的自動并行化，支持按照OPENMP標準編寫的程序的編譯，滿足單節(jié)點內(nèi)程序的并行移植。PGI編譯器能夠有效簡化GPGPU程序的開發(fā)難度，其特有的accelerate模塊能夠使得GPGPU的程序的編寫類似于OPENMP，大大簡化GPGPU程序的移植難度。 圖