搭建PC機(jī)群不等于高性能計(jì)算機(jī)研究

搭建PC機(jī)群不等于高性能計(jì)算機(jī)研究丁一平

當(dāng)前，中國學(xué)術(shù)界、企業(yè)界搭建PC機(jī)群成為流行，對用戶不失為是好事，但對高性能計(jì)算機(jī)的研究帶來一些錯誤理解，不利于作為國家戰(zhàn)略制高點(diǎn)的高性能計(jì)算機(jī)的長期發(fā)展。1．Beowulf機(jī)群不是真正的超級計(jì)算機(jī)十年前，會做386PC是件了不起的事，現(xiàn)在IBM、HP、Compaq、Dell、聯(lián)想等傳統(tǒng)PC廠商早都在驚呼“后PC時(shí)代”的來臨，要進(jìn)行轉(zhuǎn)型，導(dǎo)致這種變化的“商品化”和“標(biāo)準(zhǔn)化”趨勢這把雙刃劍，也深刻地影響著高性能計(jì)算機(jī)。商品化趨勢是指組成計(jì)算機(jī)系統(tǒng)的部件（如CPU、內(nèi)存、網(wǎng)絡(luò)、存儲、電源、管理軟件）越來越商品化，這些大量生產(chǎn)的，大量使用的部件的性能越來越接近高性能計(jì)算機(jī)系統(tǒng)的專用部件，且價(jià)格低廉，這就打破了以IBM為代表的封閉系統(tǒng)的模式。標(biāo)準(zhǔn)化趨勢是指計(jì)算機(jī)系統(tǒng)的部件有了許多工業(yè)標(biāo)準(zhǔn)，在開放系統(tǒng)架構(gòu)下大家可以互相聯(lián)合，組成高性能的系統(tǒng)。這兩個(gè)趨勢使得研制高性能系統(tǒng)的門檻降低，這也是中國出的系統(tǒng)能接近西方水平的基礎(chǔ)來源。Beowulf系統(tǒng)是這兩種趨勢的一種極端表現(xiàn)。Beowulf的定義是：將一堆商品化的硬件和下載的開放源碼的軟件組裝成“個(gè)人超級計(jì)算機(jī)”。說是PersonalSupercompter是因?yàn)樗嘤缮贁?shù)用戶使用，由用戶象PC那樣管理。有時(shí)也會加入一些開發(fā)的邊緣性的軟件，大多數(shù)系統(tǒng)是由系統(tǒng)使用者、或企業(yè)以PC機(jī)群的形式搭建。所以我們不必奇怪人們會在短時(shí)間內(nèi)做出TFLOPS級系統(tǒng)，也不必詫異某個(gè)物理或化學(xué)專業(yè)的研究生也能在一個(gè)月內(nèi)做出很好地滿足他的需求的超級計(jì)算機(jī)。這些事件在五年前還是天方夜談。在國際上的大學(xué)、學(xué)術(shù)機(jī)構(gòu)里，已經(jīng)形成潮流，有一些書、網(wǎng)站教你如何搭建BeowulfPC機(jī)群，一些企業(yè)也開始涉足期間，ADS（一家石油軟件公司）、Dell就是例子。PC機(jī)群形式的Beowulf系統(tǒng)可以說是高性能計(jì)算機(jī)的一種，在它面前，人們也很容易將高性能計(jì)算機(jī)等同于運(yùn)算峰值，但“TFLOPS決不等于HPC”。2．一個(gè)典型Beowulf機(jī)群下面是教科書上的搭建BeowulfPC機(jī)群的典型例子，一些企業(yè)的產(chǎn)品也同樣采用。l

結(jié)點(diǎn)：IA架構(gòu)的1U或2U機(jī)架式PC服務(wù)器l

網(wǎng)絡(luò)：MyricomMyrinet/DolphinSCI/Ethernetl

操作系統(tǒng)：RedhatLinuxl

編譯器：GNUGCC/G77l

數(shù)學(xué)庫：FreeScalapackl

通信軟件：FreeMyricomGMl

并行開發(fā)環(huán)境：FreeMPICH-GM，PVM-GMl

作業(yè)管理：GNUOpenPBSl

系統(tǒng)管理：GNUSCMSl

監(jiān)控管理：GNUOSCARl

文件系統(tǒng)：NFSl

可選的商品化軟件：編譯器PGI、并行開發(fā)環(huán)境WulfkitScaliMPI，MPI性能分析工具Vampir、性能分析工具Vtune等3．誰需要Beowulf機(jī)群BeowulfPC機(jī)群對推廣并行計(jì)算，拓寬并行計(jì)算應(yīng)用領(lǐng)域，提升基礎(chǔ)研究的科研平臺，教育用戶等方面有好處，Beowulft同時(shí)也壓縮了純計(jì)算密集應(yīng)用的系統(tǒng)的增值空間，所以可以類似地說現(xiàn)在是“后Cluster時(shí)代”。Beowulf的最大特點(diǎn)是廉價(jià)和flops密集，所以最需要BeowulfPC機(jī)群是大學(xué)、科研機(jī)構(gòu)中追求flops運(yùn)算能力（也可稱Linpack）的用戶，他們的需求大多是純計(jì)算密集型，他們的應(yīng)用對Cache、內(nèi)存、I/O、可管理性、穩(wěn)定性沒有要求，應(yīng)用都是自己開發(fā)的，希望把每一分錢投到CPU上、投到每秒多少億次上（Gflops）。許多科研人員自己就是搭建和管理Beowulf的高手。這里解釋一下Linpack，它是計(jì)算機(jī)運(yùn)行線性方程組求解應(yīng)用時(shí)的性能，它的來源是早期計(jì)算機(jī)的性能非常低，達(dá)到每秒一億次運(yùn)算都十分困難，運(yùn)算能力是追求的目標(biāo)，所以人們以此作為標(biāo)志，計(jì)算機(jī)的Top500排名也延用了Linpack?，F(xiàn)在，Linpack的意義已不大，一是獲得萬億次Linpack對大多數(shù)用戶和企業(yè)都相當(dāng)容易、便宜（成本RMB1000-1200萬），二是它只能反映系統(tǒng)CPU的浮點(diǎn)指令密集型應(yīng)用的運(yùn)算能力，這樣的應(yīng)用在科學(xué)計(jì)算領(lǐng)域內(nèi)也很少；另外，日本的向量機(jī)的Linpack效率可到80%（與峰值相比），SUN/SGI的共享存儲系統(tǒng)可達(dá)70%，IBM機(jī)群可達(dá)60%，PC機(jī)群可達(dá)50%，但應(yīng)用的效率多在5-10%之間，向量機(jī)能高一些。所以，片面追求Linpack會讓高性能計(jì)算機(jī)研究和企業(yè)走向誤區(qū)。BeowulfPC機(jī)群對用戶和高性能計(jì)算機(jī)領(lǐng)域是好事，對企業(yè)也是一種可取的市場行為，滿足部分用戶的需求。但我們應(yīng)有正確的認(rèn)識，不要得出高性能計(jì)算機(jī)很容易做、許多企業(yè)都會做的結(jié)論。以現(xiàn)在的技術(shù)，搭建10Tflops（5TflopsLinpack）的BeowulfPC機(jī)群都不是什么難事，美國政府最近在ASCI等計(jì)劃中加大對高性能計(jì)算機(jī)的投入，說明高性能計(jì)算機(jī)仍然是高技術(shù)的制高點(diǎn)之一。4．Beowulf機(jī)群的缺點(diǎn)BeowulfPC機(jī)群在一體化軟件、性能、穩(wěn)定性、管理性等諸多方面先天不足，不可能替代真正的超級計(jì)算機(jī)，更不適合做數(shù)據(jù)密集型、企業(yè)級計(jì)算應(yīng)用。這里以IBMSP為例，說明Beowulf機(jī)群與超級計(jì)算機(jī)的差距。l

Free軟件：Beowulf系統(tǒng)大量采用的自由軟件的升機(jī)、維護(hù)沒有保障，用戶有新要求時(shí)，也很難滿足；所以企業(yè)界很少使用Beowulf機(jī)群。大量看到的還是IBMCluster1300這樣的PC機(jī)群（注意，PC機(jī)群不等同于Beowulf系統(tǒng)）。l

重疊：這些軟件之間功能重疊、混亂，許多用戶需要的功能卻沒有，如果我們比較IBMSP的軟件系統(tǒng)與Beowulf機(jī)群的軟件，就會發(fā)現(xiàn)差距是多么巨大。l

RAS特性：Beowulf機(jī)群幾乎不具有或很差RAS特性，即可靠性、可用性、可服務(wù)性，比較一下IBMSP的平均無故障時(shí)間、系統(tǒng)管理員工作時(shí)間就可得知，而RAS對服務(wù)器、高性能計(jì)算機(jī)是十分重要的?？梢哉fBeowulf機(jī)群的性能價(jià)格比好，因?yàn)榛ㄍ瑯拥腻X，Beowulf可以買到多得多的flops，而總擁有性能價(jià)格比很差，即用戶在它的使用周期內(nèi)能拿到的應(yīng)用飽和性能很差。l

知識產(chǎn)權(quán)：Beowulf機(jī)群幾乎不擁有知識產(chǎn)權(quán)，一些工程、外觀類小軟件、小專利無足輕重，如果企業(yè)以此作為產(chǎn)品競爭，唯一的出路就是拼價(jià)格，事實(shí)證明用戶也不會認(rèn)可這類系統(tǒng)的高技術(shù)、高增值，用戶一種形象的說法可以是“按堆買PC”。l

應(yīng)用飽和性能：Beowulf機(jī)群一般使用Intel架構(gòu)的PC服務(wù)器作為結(jié)點(diǎn)，IA架構(gòu)的最大特點(diǎn)是主頻高，如P4可以到2.4GHz，而IBMPower4才1.3GHz，對于主要依賴主頻的應(yīng)用效果很好。但應(yīng)用需要數(shù)據(jù)，而數(shù)據(jù)要從內(nèi)存?zhèn)鬏數(shù)紺ache，從Cache在傳輸?shù)郊拇嫫鳎鴶?shù)據(jù)的運(yùn)算還依賴多個(gè)運(yùn)算部件的協(xié)同（稱為superscalar），依賴指令的處理過程（稱為super-pineline），依賴指令字長，這些都是IA架構(gòu)CPU的弱點(diǎn)。此外，內(nèi)存的容量和性能、編譯器的性能、庫函數(shù)的性能等兩者也有巨大差距。所以，按Linpack計(jì)算，IntelP4Xeon2.0GHz的性能比IBMSPPower3375MHz快2.5倍，但以FFT應(yīng)用為例，兩者的應(yīng)用飽和性能相當(dāng)。l

應(yīng)用面：Beowulf機(jī)群的應(yīng)用多是用戶自己編寫的科學(xué)計(jì)算應(yīng)用，在應(yīng)用的范圍，尤其是商業(yè)應(yīng)用（由應(yīng)用軟件廠商開發(fā)）上，要差很多。5．應(yīng)用對高性能計(jì)算機(jī)新的需求機(jī)群是九十年代發(fā)展起來的高性能計(jì)算機(jī)體系結(jié)構(gòu)，在未來有長遠(yuǎn)的生命力，基于Intel架構(gòu)的PC機(jī)群也越來越得到用戶的青睞，一方面是廉價(jià)，另一方面在Internet應(yīng)用、Web應(yīng)用、視頻應(yīng)用等新領(lǐng)域也有它的優(yōu)勢，作為系統(tǒng)的領(lǐng)先者IBM也大力推出LinuxPC機(jī)群系統(tǒng)Cluster1300，將S390、SP的技術(shù)下移，甚至華爾街的用戶也接受了這種系統(tǒng)，但它們與Beowulf機(jī)群完全不同，除了用IA架構(gòu)結(jié)點(diǎn)和Linux外，全是SP的超級計(jì)算機(jī)的技術(shù)。高性能計(jì)算機(jī)的應(yīng)用變得更加多樣，對高性能計(jì)算機(jī)提出了新的需求。傳統(tǒng)的科學(xué)研究計(jì)算密集型應(yīng)用依然存在，象石油勘探這樣的計(jì)算類數(shù)據(jù)密集型應(yīng)用，要求更快的數(shù)據(jù)通道和設(shè)備共享能力；石油、氣象等應(yīng)用提出定制和優(yōu)化的專用系統(tǒng)的要求；Internet應(yīng)用為代表的網(wǎng)絡(luò)處理密集型應(yīng)用，要求有強(qiáng)大的IP包處理能力；數(shù)據(jù)庫、事務(wù)處理為代表的數(shù)據(jù)處理密集型應(yīng)用，要求數(shù)據(jù)管理能力和可擴(kuò)展數(shù)據(jù)庫；ERP、CRM、電子商務(wù)等企業(yè)IT系統(tǒng)應(yīng)用，要求系統(tǒng)和應(yīng)用有應(yīng)用布署、資源定位、自治管理能力；生物信息處理、信號處理等應(yīng)用還要求高性能專用系統(tǒng)，如密集型刀片機(jī)群系統(tǒng)，等等。以信息安全，國防安全，資源安全為代表的國家安全上的應(yīng)用，還要求有新的技術(shù)，如“數(shù)據(jù)密集”共性技術(shù)，包括存儲數(shù)據(jù)密集技術(shù)，I/O吞吐量密集技術(shù)，Internet數(shù)據(jù)接入密集技術(shù)，系統(tǒng)間數(shù)據(jù)互傳密集技術(shù)，數(shù)據(jù)處理密集技術(shù)等等。網(wǎng)格計(jì)算是高性能計(jì)算機(jī)和下一代Internet應(yīng)用的發(fā)展方向，幾乎所有的高性能計(jì)算機(jī)研究團(tuán)隊(duì)和企業(yè)都涉獵其中。網(wǎng)格強(qiáng)調(diào)資源共享與協(xié)同工作，強(qiáng)調(diào)新的應(yīng)用服務(wù)模式，所以能有效支持網(wǎng)格的高性能計(jì)算機(jī)與傳統(tǒng)的系統(tǒng)在體系結(jié)構(gòu)、網(wǎng)絡(luò)通信、系統(tǒng)軟件等方面有很大區(qū)別。需要研究的新的問題很多，如面向網(wǎng)格的高性能計(jì)算機(jī)的體系結(jié)構(gòu)，基于網(wǎng)格服務(wù)的機(jī)群操作系統(tǒng)，網(wǎng)格通信協(xié)議，網(wǎng)格文件訪問協(xié)議，網(wǎng)格應(yīng)用瀏覽器，網(wǎng)格應(yīng)用服務(wù)器，網(wǎng)格應(yīng)用服務(wù)協(xié)議，網(wǎng)格計(jì)算機(jī)模型，網(wǎng)格應(yīng)用訪問控制模型，網(wǎng)格監(jiān)控模型等等。網(wǎng)格的需求對高性能計(jì)算機(jī)研究提出新的挑戰(zhàn)。6．中國面臨的挑戰(zhàn)從五十年代的109機(jī)、八十年代銀河一號、到九十年代的神威一號，中國經(jīng)過多少代人，多少年的奮斗，在高性能計(jì)算機(jī)科研和市場上取得了接近西方和國際大企業(yè)的成就。以美國為首的西方再也不能限制出口中國的計(jì)算機(jī)的運(yùn)算能力，國際大企業(yè)再也不能壟斷市場，在中國賺取超額利潤了，現(xiàn)在國際大企業(yè)數(shù)萬億次的主流超級計(jì)算機(jī)也以相當(dāng)?shù)土膬r(jià)格在中國出售。但西方對中國在技術(shù)和市場上的擠壓依然十分厲害，IBM可以用94