上海超級計(jì)算中心三期作業(yè)調(diào)度系統(tǒng)軟件項(xiàng)目需求書

上海超級計(jì)算中心三期--作業(yè)調(diào)度系統(tǒng)軟件項(xiàng)目需求書一、項(xiàng)目概況上海超級計(jì)算中心三期配套工程項(xiàng)目是引進(jìn)峰值速度為200Tflops的高效能可信計(jì)算系統(tǒng)提供滿足其運(yùn)營和應(yīng)用的機(jī)房環(huán)境、網(wǎng)絡(luò)平臺、存儲系統(tǒng)、商業(yè)和半商業(yè)軟件、主機(jī)信息系統(tǒng)、綜合布線、系統(tǒng)安全建設(shè)、網(wǎng)格服務(wù)環(huán)境和網(wǎng)格應(yīng)用平臺、主機(jī)計(jì)算前后處理系統(tǒng)、培訓(xùn)等內(nèi)容，并繼續(xù)承擔(dān)國家863網(wǎng)格主結(jié)點(diǎn)建設(shè)任務(wù)。二、軟件技術(shù)指標(biāo)要求所采購作業(yè)調(diào)度系統(tǒng)，其配置滿足如下指標(biāo)要求：基本指標(biāo)安裝要求：可在上海超級計(jì)算中心三期200T主機(jī)系統(tǒng)全機(jī)范圍內(nèi)調(diào)度所有計(jì)算資源。高可靠性：具有大規(guī)模集群商業(yè)系統(tǒng)可靠運(yùn)營的成功案例，在國內(nèi)具有可靠運(yùn)營的大規(guī)模集群成功案例作業(yè)運(yùn)行正確性：在大規(guī)模集群的并行作業(yè)運(yùn)行環(huán)境中，作業(yè)調(diào)度和運(yùn)行正確性達(dá)到99.99%以上高可擴(kuò)展性：單一機(jī)群具有可管理5000個(gè)以上節(jié)點(diǎn)、10000個(gè)以上CPU的能力；可同時(shí)支持1000個(gè)以上作業(yè)并行運(yùn)行良好的可操作性：可支持系統(tǒng)管理員根據(jù)實(shí)際需求變化，在線動態(tài)調(diào)整系統(tǒng)配置參數(shù)，不影響作業(yè)運(yùn)行和用戶使用，同時(shí)確保作業(yè)運(yùn)行統(tǒng)計(jì)準(zhǔn)確性多集群管理能力：可以同時(shí)在同一作業(yè)管理系統(tǒng)下管理多個(gè)物理或邏輯分割的集群系統(tǒng)，作業(yè)可以在不同集群間根據(jù)條件自動遷移統(tǒng)一的系統(tǒng)級管理平臺：提供系統(tǒng)監(jiān)控、計(jì)費(fèi)、作業(yè)調(diào)度等功能的統(tǒng)一管理平臺，可通過web方式管理，并可同時(shí)管理多個(gè)集群Linux及windows混合機(jī)群的支持：具備統(tǒng)一管理單一機(jī)群中的WINDOWS服務(wù)器、LINUX服務(wù)器以及其它UNIX服務(wù)器等混合異構(gòu)平臺的能力多路多核CPU的調(diào)度和支持：支持自定義調(diào)度策略，支持應(yīng)用程序在多路多核CPU上運(yùn)行的情況，可自動擴(kuò)展調(diào)度策略處理作業(yè)控制能力：可對作業(yè)的運(yùn)行時(shí)間、CPU時(shí)間、內(nèi)存大小、數(shù)據(jù)區(qū)大小、CPU數(shù)量、文件大小等進(jìn)行設(shè)置和控制支持并行文件系統(tǒng)，并可根據(jù)并行文件系統(tǒng)的技術(shù)架構(gòu)特點(diǎn)靈活部署：支持如Lustre、PVFS、CXFS、GPFS、PFS等主流并行文件系統(tǒng)。WebPortal開發(fā)支持：支持二次開發(fā)與用戶自行開發(fā)，可根據(jù)用戶需求進(jìn)行二次開發(fā)尼基于XW多indow鹽s的交互式吳圖形支持：慰提供基于X渣Wind桑ows的交見互式作業(yè)的議提交和管理悔，且具有實(shí)謙際成熟客戶涂案例便動態(tài)服務(wù)器球（即無須重辛啟服務(wù)）：帶支持服務(wù)器地對調(diào)度規(guī)則械的手工、自捐動移出或者本加入，而無唯須重啟服務(wù)絹或配置，操奶作不影響實(shí)驅(qū)際業(yè)務(wù)運(yùn)行全支持網(wǎng)格計(jì)六算環(huán)境，如囑863國家堂網(wǎng)格環(huán)境的帝Globu曲s網(wǎng)格計(jì)算批平臺：支持胞主流網(wǎng)格計(jì)犬算平臺，提霞供詳細(xì)技術(shù)恥規(guī)范要求。健支持同構(gòu)、內(nèi)異構(gòu)機(jī)群系鍬統(tǒng)互相提交陵作業(yè)：支持燕在同一的機(jī)邀群內(nèi)具有不踐同的操作系唐統(tǒng)的機(jī)器統(tǒng)診一調(diào)度。用花戶可根據(jù)情有況，從Li曾nux提交亞作業(yè)到wi丑ndows胞機(jī)器上執(zhí)行斷或者相反。謹(jǐn)與主機(jī)廠商億建立良好合跑作關(guān)系；剃支持并提供仰與如下系統(tǒng)似軟件及商業(yè)使應(yīng)用軟件的劫集成接口：態(tài)仿真分析領(lǐng)換域：ANS暑YS、St裝artC火D/Sta菠rtNet盤、FLUE差NT、Ab莊aqus、桐LS-DY具NA、NA弓STRAN晃、ISIG副HT、PA毛TRAN、戴PAM-C塊RASH、覆Analy想sisM擠anage丸r、MAR戲C、FEK精O、Hyp撕erWor我ks、IC肉EM-CF是D、AI*勿ENVIR句ONMEN敢T、GEF垃EP-P、燒CADEM風(fēng)-P等溫生命科學(xué)領(lǐng)辮域：SRS脫、Masc籠ot、Qi猴cProp拌、Macr礎(chǔ)omode好l、Imp豎act、G鋒lide、閉Pipel占ineP逆ilot等耽石油物探領(lǐng)粒域：Par啟adigm岡、CGG、膊Omega面、FOCU芒S、Pro股MAX、G工risys境、JASO團(tuán)N、Ecl腎ipse、特VIP。季科學(xué)計(jì)算領(lǐng)聚域：Amb碼er、Ga較ussia拿n03、D即ock、V期ASP、N供WCHEM挖、matl椒ab、CP密MD、EG并O、DOC堵K、BLA刮ST、WI咳EN20搖00、NA咐MD、AB回INIT、姓MM5、W處RF、AR董PS、GR拌APES、埋FDS。杠電子設(shè)計(jì)行影業(yè)：ADS悄、@Ver束ifier蟲、Crea課tive鹿Geniu先s、Exp斥lorer捧、Taur唉us-Wo吵rkben猜ch、Hs牽pice、避Xcite耳、SPW、衡NC-VH脆DL、Ve壺rifau泛lt、NC脖-Veri誘log、N近C-Sim頌、Anal腹ogAr扒tist、催Ambit仇B(yǎng)uil黨dgate錯(cuò)s、Mer甚cury河&Mer腔curyP至lus、M誤MAV啊調(diào)度策略指蹤標(biāo)妄調(diào)度系統(tǒng)提遷供的所有調(diào)楚度策略均可臺進(jìn)行一定程敞度的自由組坡合，且都可愁以對某個(gè)隊(duì)器列進(jìn)行單獨(dú)撇控制，包括淹：廈先來先服務(wù)購FCFS：摩最基本、常勿用調(diào)度策略丸，可配置成月單一的調(diào)度魯策略。額公平調(diào)度及潤份額控制F裳a(bǔ)irs投hare：妨對主機(jī)資源指進(jìn)行公平競硬爭。也可對堤用戶資源進(jìn)喉行一定的預(yù)換分配，保證潑某些資源對叮特定用戶的腫需求。寧搶占式調(diào)度妥Pree修mptio某n：用戶按肺照不同的權(quán)租限可進(jìn)行對陵主機(jī)資源的浸搶占式調(diào)度旱。尤其可采土用搶占的計(jì)做算資源來滿濕足特定需求堆（工程商業(yè)博軟件）的用表戶使用。紗輸獨(dú)占式調(diào)度交Excl倒usive斜：需支持區(qū)主機(jī)公平調(diào)祖度Hos歲tPar振ation督：需支持捉資源預(yù)約調(diào)王度Reso垮urce池Reser貞vatio察n：需支持擇高級處理器療預(yù)約Ad胞vance睬Rese汗rvati弄on：需支盡持疫提供作業(yè)控龜制能力：對尚作業(yè)的運(yùn)行安時(shí)間、CP跑U時(shí)間、泊內(nèi)存大小、貓數(shù)據(jù)區(qū)大小神、CPU數(shù)帖量、文件大吵小等進(jìn)行控壩制?？蜍浖S可證或管理指標(biāo)扭許可證可預(yù)后約：應(yīng)用程蓋序啟動前，冬可預(yù)約程序棕所需的許可剪證，避免互暈相沖突。頸許可證搶占艙式調(diào)度：高位優(yōu)先級的作齊業(yè)可搶占低誠優(yōu)先級作業(yè)包正在使用的高許可證。而喂低優(yōu)先級作箏業(yè)將被掛起換直到有許可腿證可用為止流。剪許可證所有愉權(quán)控制：用抱戶可保留自盆己的許可證疑，確保需要炒時(shí)能立即獲店得所需要的然許可證。被使用份額控督制：每個(gè)用哥戶可使用所慌分配的許可淡證份額。掛統(tǒng)計(jì)報(bào)表分務(wù)析指標(biāo)驅(qū)作業(yè)管理系令統(tǒng)可查詢所混有計(jì)算節(jié)點(diǎn)誤和許可證的屑運(yùn)行和使用拘信息，并將陶所有運(yùn)行數(shù)訂據(jù)收集起來雨，通過數(shù)據(jù)在庫管理，同嘆時(shí)充分考慮建所有數(shù)據(jù)的蕩備份與容災(zāi)薯。及（1）、統(tǒng)命計(jì)報(bào)表程a)提供系陰統(tǒng)各種資源湯（CPU、蝕內(nèi)存、許可頸證等）的全拳面使用情況們統(tǒng)計(jì)報(bào)表弦b)對各種滔硬件性能（揉nice值況）的統(tǒng)計(jì)插c)具有誠權(quán)限管理:秒對每種報(bào)壯表，可規(guī)定隨用戶權(quán)限，僻只有滿足權(quán)樸限的用戶才陽能查看該報(bào)輛表，用戶權(quán)吸限支持至少懸三級：系統(tǒng)陳管理員、主堡管領(lǐng)導(dǎo)、用胃戶且（2）、偏分析報(bào)表稻A、軟件許估可證分析叉在商業(yè)軟件搖licen恥se昂貴的遭前提下，確材保調(diào)度系統(tǒng)紋具有軟件許劣可證分析能剖力，確保使擱用合理化、吹最優(yōu)化，解校決許可證的嫌無效占用，把獲得最大的貸投資回報(bào)。饞在提供各種販分析報(bào)表的駝同時(shí)，系統(tǒng)渠支持分析報(bào)蓮表定制。盡許可證使用拔分析，包括險(xiǎn)峰值、平均動值、利用率牽等情況：可淹按具體Fe雨ature朱統(tǒng)計(jì)的許可蔽證統(tǒng)計(jì)使用針情況，包括誠平均使用、交峰值使用、慈平均利用率僅、峰值利用凈率和有效數(shù)顏目咽許可證利用鍋率峰值分析臂:可根據(jù)遼許可證利用燥率峰值排行傳榜分析。樓許可證拒絕稱分析：可根頂據(jù)許可證、昆服務(wù)器、用撐戶統(tǒng)計(jì)的許對可證拒絕統(tǒng)盯計(jì)分析感按具體Fe論ature儉統(tǒng)計(jì)的許可作證使用情況隔按具體Fe洋ature絡(luò)統(tǒng)計(jì)的各用宏戶、部門使辦用情況捉按用戶統(tǒng)計(jì)撞的許可證使釘用情況丙B、機(jī)群工框作負(fù)載分析棍基于機(jī)群的窗工作負(fù)載分艷析猴基于項(xiàng)目的付工作負(fù)載分海析僚基于用戶的軋工作負(fù)載分矛析壞基于主機(jī)的酬工作負(fù)載分殃析管基于隊(duì)列的傳工作負(fù)載分貼析甩基于資源使脾用的負(fù)載分蔬析解用戶和項(xiàng)目風(fēng)的作業(yè)統(tǒng)計(jì)疲分析孩計(jì)費(fèi)系統(tǒng)指褲標(biāo)線作業(yè)調(diào)度系塑統(tǒng)具有以各鉛種指標(biāo)進(jìn)行沫計(jì)費(fèi)，尤其鏈?zhǔn)翘峁┽槍π踯浖S可證三進(jìn)行統(tǒng)計(jì)計(jì)悉費(fèi)的功能，捏同時(shí)具有靈燈活方便的管婆理賬單工具雁或者平臺，杏可以WEB雀界面方式進(jìn)華行費(fèi)率設(shè)定卵、費(fèi)用查詢桑、賬單生成注?？筛鶕?jù)不把同需求設(shè)定衫不同費(fèi)率；偽根據(jù)的許可盜證的不同價(jià)納格設(shè)定相應(yīng)悅費(fèi)率，體現(xiàn)逮出不同的計(jì)傭算資源以及隊(duì)軟件的不同鴨進(jìn)行收費(fèi)。憂所有計(jì)費(fèi)數(shù)偏據(jù)形成可定劉制報(bào)表，并澆以電子或紙腐質(zhì)方式輸出攝。痛以用戶使用殊計(jì)算資源進(jìn)關(guān)行計(jì)費(fèi)相以CPU時(shí)古間進(jìn)行計(jì)費(fèi)軍以運(yùn)行時(shí)間搭進(jìn)行計(jì)費(fèi)挖以CPU數(shù)忌目進(jìn)行計(jì)費(fèi)占以作業(yè)隊(duì)列蹈進(jìn)行計(jì)費(fèi)浩以存儲資源螞進(jìn)行計(jì)費(fèi)楚以商業(yè)軟件扣許可證資源硬進(jìn)行計(jì)費(fèi)忌web管理緣平臺指標(biāo)菊基于WEB峽技術(shù)所提供紋的易用性，妖為系統(tǒng)管理治員及用戶提風(fēng)供可視化的肯、統(tǒng)一的w枯eb管理平壞臺以及訪問曉接口，同時(shí)裝根據(jù)要求進(jìn)腸行不同的用躍戶授權(quán)。衡（1）、系繳統(tǒng)管理員遠(yuǎn)瞎程管理和控蘇制視為系統(tǒng)管理快員提供主機(jī)偶系統(tǒng)的we沫b遠(yuǎn)程管理議和控制：影系統(tǒng)監(jiān)控：舞包括整個(gè)機(jī)夠群運(yùn)行狀況蒙實(shí)時(shí)監(jiān)視以院及單個(gè)計(jì)算居節(jié)點(diǎn)的實(shí)時(shí)所監(jiān)視。省用戶管理：蘆可對用戶信由息，權(quán)限等糠以及所使用紗的主機(jī)資源議進(jìn)行管理。株隊(duì)列管理：厚可對隊(duì)列資帶源進(jìn)行管理尚作業(yè)管理：淚用戶作業(yè)的償在線監(jiān)視、供查詢，殺除命、監(jiān)控等啟節(jié)點(diǎn)管理：箭支持對節(jié)點(diǎn)臂的狀態(tài)等監(jiān)簽測及配置鵝軟件管理：冤支持對軟件養(yǎng)集成的配置粥、調(diào)整等耀軟件許可證阿的監(jiān)視和管令理：通過W孟EB方式實(shí)脖時(shí)監(jiān)視各商齒業(yè)軟件許可兇證的使用情炎況，包括最遙大許可證數(shù)沉目和當(dāng)時(shí)實(shí)么際使用數(shù)量協(xié)，以及使用相用戶及具體廣節(jié)點(diǎn)。厘計(jì)算資源使券用統(tǒng)計(jì)分析者：姿軟件許可證律使用統(tǒng)計(jì)分嬸析復(fù)計(jì)費(fèi)管理：擊以通過We鍵b界面進(jìn)行三：費(fèi)率設(shè)定瓦、費(fèi)用查詢腳、賬單生變成等鬧用戶使用及錦收費(fèi)查詢：素根據(jù)不同的夏主機(jī)資源進(jìn)細(xì)行查詢社（2）、用靈戶遠(yuǎn)程使用汽基本功能充為用戶提供折高性能計(jì)算橡資源使用基洞本功能：良用戶作業(yè)的閱提交和管理巨：實(shí)現(xiàn)We濃b方式作業(yè)隊(duì)的提交和管驕理道用戶作業(yè)查驕詢、殺除、冤監(jiān)控等：提微供用戶在作欠業(yè)運(yùn)行中的紐在線操作標(biāo)XWin薄dows交店互作業(yè)的提塊交、管理：過支持基于X再Wind屈ows的交沙互式作業(yè)的定提交和管理吸，且具有實(shí)馬際成熟客戶叨采用。咸XWin騾dows的挨交互式作業(yè)呀許可證調(diào)度薦和管理：包雁括份額控制盛、公平調(diào)度與、許可證所銹有權(quán)調(diào)度、扎優(yōu)先級控制屬、強(qiáng)占式調(diào)棉度等檢用戶數(shù)據(jù)管搞理綿用戶作業(yè)統(tǒng)賊計(jì)與查詢：弓用戶可以通載過Web界晚面進(jìn)行統(tǒng)計(jì)服與查詢二次開發(fā)呀在主機(jī)系統(tǒng)電整體安裝前生后，根據(jù)上似海超級計(jì)算蹤中心實(shí)際需四求對調(diào)度系循統(tǒng)的部分模議塊進(jìn)行二次勺開發(fā)，并在錦實(shí)際運(yùn)行中夾，根據(jù)業(yè)務(wù)金需求，配合噴上海超級計(jì)庸算中心進(jìn)行巨開發(fā)。敘1、基本模鄰塊的開發(fā)與蛙定制東胞1）在主桃機(jī)采用作業(yè)司調(diào)度軟件后罩可根據(jù)實(shí)際宇的需求變化介對整個(gè)繞系統(tǒng)的定制屈調(diào)整以及根貝據(jù)安全可定辱制開發(fā)，完結(jié)善和提高系探統(tǒng)架構(gòu)的健壯性。部氏2）對提欠供的管理平承臺可根據(jù)實(shí)違際需求進(jìn)行殖改造、開發(fā)遠(yuǎn)定制。俯優(yōu)3）根據(jù)脂多核、多C捧PU、網(wǎng)絡(luò)黃通信等硬件老結(jié)構(gòu)的特點(diǎn)諒，對基本侄功能的優(yōu)化葡開發(fā)。栗2、調(diào)度策薦略的開發(fā)定揉制需1）錦自定義調(diào)度房策略的開發(fā)劈和定制：允末許根據(jù)用戶型需求進(jìn)行定底制開發(fā)調(diào)度石策略。詢同時(shí)隨著實(shí)擁際業(yè)務(wù)的運(yùn)帶行的需求不妖斷改變提供泛不同的定制歲與開發(fā)。航2）惕多路多核C孫PU的調(diào)度漲和支持蛾：可以根據(jù)依硬件（多核情、多CPU前、催網(wǎng)絡(luò)通信等陜）以及應(yīng)用咽軟件的情況婦開發(fā)專用的保、有針對性嗽的調(diào)度策略游。邁3、棉軟件集成玩優(yōu)化與診許可證管理律1）招定期對主要供商業(yè)應(yīng)用軟否件版本升級段提供集成、霜策略制定和拼優(yōu)材化開發(fā)：可錢根據(jù)商業(yè)軟肚件版本的升蛙級，及時(shí)對搶新版本進(jìn)行槍集成、優(yōu)化騎等工作源。針2）根據(jù)不母同軟件的特竿點(diǎn)提供卷許可證管理睡監(jiān)控、調(diào)度貍、統(tǒng)計(jì)、計(jì)蒼費(fèi)等，根據(jù)稀需求定制開惰發(fā)。項(xiàng)4、排統(tǒng)計(jì)報(bào)表釀與倉計(jì)費(fèi)途1）冷統(tǒng)計(jì)報(bào)表的津定制：列提供方便的川擴(kuò)展機(jī)制，刻從而可以根盒據(jù)用戶大需要狹定制屯相應(yīng)的統(tǒng)計(jì)泥報(bào)表。老2）倚計(jì)費(fèi)系統(tǒng)開沈發(fā)：包括基辮于許可證、訴CPU、存網(wǎng)儲份額等進(jìn)陡行開焦發(fā)，并根據(jù)韻用戶實(shí)際業(yè)己務(wù)需求開發(fā)晴基于某些計(jì)吵算資源的計(jì)烈費(fèi)系統(tǒng)蒼。鈴5、簡web管理被平臺指標(biāo)艇基于WEB辯技術(shù)所提供糠的易用性，低為系統(tǒng)管理叮員及用戶提抬供可視化的巖、統(tǒng)一的w多eb管理平未臺以及訪問畜接口，同時(shí)茫根據(jù)要求進(jìn)字行不同的用坐戶授權(quán)名。踏1）可根據(jù)膝實(shí)際業(yè)務(wù)特騾點(diǎn)管理定制郊web平臺岸，方便使用鴨。包括系膀統(tǒng)管理、用講戶管理、系付統(tǒng)監(jiān)控、隊(duì)蘿列管理、軟穩(wěn)件管理、犧許可證的監(jiān)閥視和管理緞等。飛2）根據(jù)用變戶應(yīng)用以及督業(yè)務(wù)流程，擔(dān)定制不同行召業(yè)軟件的提乳交方式。生允許根據(jù)用嫌戶實(shí)際需求眉定制抽web綠統(tǒng)計(jì)報(bào)表兩。拿技術(shù)支持指托標(biāo)嬸提供免費(fèi)技膜術(shù)支持服務(wù)虛：此期間保盟證技術(shù)支持貸服務(wù)質(zhì)量，海配備專門的尋技術(shù)支持團(tuán)妹隊(duì)，保證技積術(shù)支持力度勵和響應(yīng)速度蒙，具有快速洋解決問題的靠能力。狐提供調(diào)度系綿統(tǒng)運(yùn)行主、抄備服務(wù)器、膨licen園se管理服盟務(wù)器、報(bào)表嬌分析計(jì)費(fèi)主繩、備服務(wù)器皂各一臺，并燙提供相關(guān)維浙保桃7x24的箭或者郵斃件技術(shù)支持統(tǒng)現(xiàn)場響應(yīng)：護(hù)有緊急救援滑現(xiàn)場支持服遣務(wù)，對于緊午急情況可以粥在2小時(shí)內(nèi)仇到達(dá)現(xiàn)場處滋置