公共計算平臺的建設與管理 中國科技大學

公共計算平臺的建設與管理中國科大的公共效勞實驗體系理化科學實驗中心生命科學實驗中心信息科學實驗中心工程與材料科學中心高性能運算中心總體概況共有199個Itanium2(Madison)峰值計算能力11520億次浮點運算一臺64CPUCluster四臺32CPUSMP大型效勞器〔Superdome)外存3T高性能計算的需求 計算數(shù)學計算化學天文與空間物理計算與分析計算生物學高能物理計算機科學的研究一般的建設方式每個學科獨立建設計算中心，一般采用PC集群的方式規(guī)模較小平臺單一使用率低缺乏支持運算使用率總體使用率較為低下時間使用率運算資源的整合的優(yōu)點對應用的調查應用軟件類別自主開發(fā)開放代碼商業(yè)購置并行化情況MPI/PVM并行程序OPENMP并行程序多進程串行程序單進程串行程序對應用的調查運行操作系統(tǒng)開發(fā)環(huán)境編程語言數(shù)學庫調試器可恢復性與計算周期集群系統(tǒng)構成32臺HPrx2600,64個CPU用Myrinet交換機構成BeowulfClusterCPU是IntelItanium2，主頻１.5GhzL3Cache6M集群系統(tǒng)構成Itanium2芯片上共有４億４千萬個晶體管每周期可執(zhí)行４條浮點乘加指令(6發(fā)射〕采用EPIC(顯式并行指令運算〕－－在編譯時檢查相關性等，實現(xiàn)指令級高度并行操作系統(tǒng)為Linux,運行MPI程序集群系統(tǒng)軟件采用IntelFortranV8.0和C++(C)V8.0編譯器采用IntelMKLV6.0數(shù)學庫用性能分析器VTune優(yōu)化程序用Platform公司的LSFV6.0進行Job管理HPSuperdome系統(tǒng)構成四臺32個ItaniumCPU(主頻1.5GL3Cache6M)4個CPU用HPSX1000構成一個Cell8個Cell用交叉開關(CrossBar)構成32個CPU的SMP機器HPSuperdome軟件操作系統(tǒng)為HPUXV11.23既可運行OpenMP又可運行MPI程序采用HPC++(C)和Fortran編譯器HPSuperdome用HPMLib并行優(yōu)化數(shù)學庫用Caliper作為工具幫助用戶優(yōu)化程序用Glance監(jiān)控系統(tǒng)運行I/O為PCI-X用LVM進行磁盤統(tǒng)一管理Itanium2結構Itanium2芯片Crossbar12.8GB/sCellBoardCellControllerMEMORYItaniumItaniumItaniumItaniumMEMORY64GB

8xPCI2xor4xPCI4xI/OController…..PCIPCIASICASIC…...PCIPCIASICASIC4xPCI4xSuperdomeCellBoardI/OChassis12.8GB/sSystemPeakBandwidth/cell204GB/sin16Cellconfiguration2GB/sI/OPeakbandwidth32GB/sin16I/OChassisConfiguration8GB/sMemoryPeakbandwidth/unidirection128GB/sin16CellconfigurationItaniumOrmadisonCabinet1Cabinet0XBARXBARXBARXBARCELL0CELL1CELL2CELL3CELL4CELL5CELL6CELL7CELL8CELL9CELL10CELL11CELL12CELL13CELL14CELL15I/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisI/OChassisRemoteLinkRemoteLinkRemoteLinkRemoteLinkSuperdomeArchitecture背板64GB/s管理體系用戶管理滿足運算需求與教學需求運算需求用戶的管理滿足教學要求

用戶在網(wǎng)頁上提交開戶申請用戶管理員判斷開戶類別管理委員會審核申請非重點學科用戶提交重點學用戶管理員重點學科用戶系統(tǒng)管理員在系統(tǒng)上開設賬戶用戶管理員紀錄在案確認負責人

作業(yè)管理

科大超級計算中心使用LSF對通常作業(yè)進行自動管理采用fairshare的方式使各學科間在相對可計算的一段時間內(nèi)公平的使用CPU資源，對有特殊要求的作業(yè)逐個審批，符合要求的特大型題目可以利用限制外的更多的資源，必要的題目甚至可以使用全部的資源資源管理外部存儲空間的管理內(nèi)存使用量存儲器