集群技術(shù)及其教育科研應(yīng)用

1、集群技術(shù)及其教育科研應(yīng)用【摘要】集群技術(shù)是一種較新的技術(shù)，通過(guò)集群技術(shù)，可以在付出較低本錢的情況下獲得在性能、可靠性、靈敏性方面的相對(duì)較高的收益。本文力圖對(duì)集群技術(shù)做一個(gè)簡(jiǎn)單的介紹。本文首先給出了集群的定義，闡述了采用集群技術(shù)的意義，對(duì)幾種常見的集群類型進(jìn)展了介紹，并在此根底上給出了一個(gè)集群在教育科研中的應(yīng)用實(shí)例。【關(guān)鍵字】集群集群技術(shù)科學(xué)計(jì)算負(fù)載平衡HALBLUSTER一、集群的定義廣義上說(shuō)，互相獨(dú)立的一些系統(tǒng)構(gòu)成了一個(gè)組就是集群。一個(gè)客戶與集群互相作用時(shí)，集群的行為像是一個(gè)獨(dú)立的系統(tǒng)一樣。從狹義上講，集群是一些互相獨(dú)立的計(jì)算機(jī)，這些計(jì)算機(jī)作為一個(gè)整體對(duì)外提供效勞。對(duì)于客戶來(lái)說(shuō)，這些計(jì)算機(jī)的

2、行為就好似一個(gè)計(jì)算機(jī)一樣，但是其處理才能、可靠性、I才能都得到了大幅的提升。二、采用集群的目的采用集群技術(shù)的目的可以概括為以下幾個(gè)方面：進(jìn)步性能.一些計(jì)算密集型應(yīng)用，如：天氣預(yù)報(bào)，核試驗(yàn)?zāi)M等，需要計(jì)算機(jī)要有很強(qiáng)的運(yùn)算處理才能，現(xiàn)有的技術(shù)，即使普通的大型機(jī)其計(jì)算也很難勝任，這時(shí)，一般都使用計(jì)算機(jī)集群技術(shù)，集中幾十臺(tái)甚至上百臺(tái)計(jì)算機(jī)的運(yùn)算才能來(lái)滿足要求。進(jìn)步處理性能一直是集群技術(shù)研究的一個(gè)重要目的之一。降低本錢.通常一套象樣的群集配置，其軟硬件開銷要超過(guò)$100,000。但與價(jià)值上百萬(wàn)美元的專用超級(jí)計(jì)算機(jī)相比已經(jīng)相當(dāng)廉價(jià)。在到達(dá)同樣性能的條件下，采用計(jì)算機(jī)集群比采用同等運(yùn)算才能的大型計(jì)算機(jī)具有更

3、高的性價(jià)比。進(jìn)步規(guī)模擴(kuò)展性Salabilitry.目前，方案擴(kuò)展系統(tǒng)才能的用戶必須購(gòu)置昂貴的最新的效勞器，才能獲得額外所需的PU，驅(qū)動(dòng)器和內(nèi)存。假如該效勞系統(tǒng)采用集群技術(shù)，那么只需要將新的效勞器參加集群中即可，對(duì)于客戶來(lái)看，效勞無(wú)論從連續(xù)性還是性能上都幾乎沒(méi)有變化，好似系統(tǒng)在不知不覺中完成了晉級(jí)。增強(qiáng)可靠性.據(jù)統(tǒng)計(jì)每年由于系統(tǒng)停運(yùn)，全美國(guó)損失40億美元。在零售業(yè)，平均每次停運(yùn)損失140000美元，保安業(yè)每次停運(yùn)平均損失450000美元，集群技術(shù)使系統(tǒng)在故障發(fā)生時(shí)仍可以繼續(xù)工作，將系統(tǒng)停運(yùn)時(shí)間減到最校集群系統(tǒng)在進(jìn)步了系統(tǒng)的可靠性的同時(shí)，也大大減小了故障損失。三、集群類型最常見的三種群集類型包括高

4、性能科學(xué)群集、負(fù)載平衡群集和高可用性群集。1、科學(xué)群集科學(xué)集群是并行計(jì)算的基矗通常，科學(xué)群集涉及為群集開發(fā)的并行應(yīng)用程序，以解決復(fù)雜的科學(xué)問(wèn)題?？茖W(xué)集群對(duì)外就好似一個(gè)超級(jí)計(jì)算機(jī)，這種超級(jí)計(jì)算機(jī)內(nèi)部由十至上萬(wàn)個(gè)獨(dú)立處理器組成。但它卻使用商業(yè)系統(tǒng)，并且在公共消息傳遞層上進(jìn)展通信以運(yùn)行并行應(yīng)用程序。我們常常聽說(shuō)又有一種廉價(jià)的Linux超級(jí)計(jì)算機(jī)問(wèn)世了。這種超級(jí)計(jì)算機(jī)實(shí)際上是一個(gè)計(jì)算機(jī)群集，其處理才能與真的超級(jí)計(jì)算機(jī)相仿，但是硬件以及運(yùn)行維護(hù)費(fèi)用要比真正的超級(jí)計(jì)算機(jī)低很多，具有極高的性價(jià)比。并行群集系統(tǒng)之所以可以到達(dá)如此高的帶寬和低延遲，是因?yàn)樗鼈兺ǔ＠@過(guò)使用網(wǎng)絡(luò)協(xié)議，如TP/IP。雖然網(wǎng)際協(xié)議對(duì)于廣

5、域網(wǎng)很重要，但它包含了太多的開銷，而這些開銷在節(jié)點(diǎn)互相的封閉網(wǎng)絡(luò)群集中是不必要的。節(jié)點(diǎn)之間可以使用直接內(nèi)存訪問(wèn)(DA)來(lái)進(jìn)展通訊，它類似于圖形卡和其它外圍設(shè)備在一臺(tái)機(jī)器中的工作方式。因此橫跨群集，可以通過(guò)任何節(jié)點(diǎn)上的任何處理器直接訪問(wèn)分布式共享內(nèi)存。同樣也可以使用低開銷的消息傳遞系統(tǒng)，在節(jié)點(diǎn)之間進(jìn)展通信。消息傳遞接口(PI)是并行群集系統(tǒng)間消息傳遞層的最常見實(shí)現(xiàn)。PI存在幾種衍生版本，但在所有情況下，它為開發(fā)者訪問(wèn)并行應(yīng)用程序提供了一個(gè)公共API，這樣開發(fā)者就不必手工解決如何在群集的節(jié)點(diǎn)之間分發(fā)代碼段。2、負(fù)載平衡群集負(fù)載平衡群集為企業(yè)需求提供了更實(shí)用的系統(tǒng)。如名稱所暗示的，負(fù)載平衡群集使負(fù)載

6、可以在計(jì)算機(jī)群集中盡可能平均地分?jǐn)偺幚怼Ｘ?fù)載通常包括應(yīng)用程序處理負(fù)載和網(wǎng)絡(luò)流量負(fù)載。這樣的系統(tǒng)非常合適向使用同一組應(yīng)用程序的大量用戶提供效勞。每個(gè)節(jié)點(diǎn)都可以承當(dāng)一定的處理負(fù)載，并且可以實(shí)現(xiàn)處理負(fù)載在節(jié)點(diǎn)之間的動(dòng)態(tài)分配，以實(shí)現(xiàn)負(fù)載平衡。對(duì)于網(wǎng)絡(luò)流量負(fù)載，當(dāng)網(wǎng)絡(luò)效勞程序承受了太多入網(wǎng)流量，以致無(wú)法迅速處理，這時(shí)，網(wǎng)絡(luò)流量就會(huì)發(fā)送給在其它節(jié)點(diǎn)上運(yùn)行的網(wǎng)絡(luò)效勞程序。同時(shí)，還可以根據(jù)每個(gè)節(jié)點(diǎn)上不同的可用資源或網(wǎng)絡(luò)的特殊環(huán)境來(lái)進(jìn)展優(yōu)化。與科學(xué)計(jì)算集群一樣，負(fù)載平衡群集也在多節(jié)點(diǎn)之間分發(fā)計(jì)算處理負(fù)載。他們之間的最大區(qū)別在于缺少跨節(jié)點(diǎn)運(yùn)行的單并行程序。大多數(shù)情況下，負(fù)載平衡群集中的每個(gè)節(jié)點(diǎn)都是運(yùn)行單獨(dú)軟件的獨(dú)

7、立系統(tǒng)。但是，不管是在節(jié)點(diǎn)之間進(jìn)展直接通信，還是通過(guò)中央負(fù)載平衡效勞器來(lái)控制每個(gè)節(jié)點(diǎn)的負(fù)載，在節(jié)點(diǎn)之間都有一種公共關(guān)系。通常，使用特定的算法來(lái)分發(fā)該負(fù)載。網(wǎng)絡(luò)流量負(fù)載平衡是一個(gè)過(guò)程，它檢查到某個(gè)群集的入網(wǎng)流量，然后將流量分發(fā)到各個(gè)節(jié)點(diǎn)以進(jìn)展適當(dāng)處理。它最合適大型網(wǎng)絡(luò)應(yīng)用程序，如eb或FTP效勞器。負(fù)載平衡網(wǎng)絡(luò)應(yīng)用效勞要求群集軟件檢查每個(gè)節(jié)點(diǎn)的當(dāng)前負(fù)載，并確定哪些節(jié)點(diǎn)可以承受新的作業(yè)。這最合適運(yùn)行如數(shù)據(jù)分析等串行和批處理作業(yè)。那些系統(tǒng)還可以配置成關(guān)注某特定節(jié)點(diǎn)的硬件或操作系統(tǒng)功能,這樣，群集中的節(jié)點(diǎn)就沒(méi)有必要是一致的。3、高可用性群集可用性(availability)當(dāng)集群中的一個(gè)系統(tǒng)發(fā)生故障時(shí)

8、，集群軟件迅速做出反映，將該系統(tǒng)的任務(wù)分配到集群中其它正在工作的系統(tǒng)上執(zhí)行。考慮到計(jì)算機(jī)硬件和軟件的易錯(cuò)性，高可用性群集的的目的主要是為了使群集的整體效勞盡可能可用。假如高可用性群集中的主節(jié)點(diǎn)發(fā)生了故障，那么這段時(shí)間內(nèi)將由次節(jié)點(diǎn)代替它。次節(jié)點(diǎn)通常是主節(jié)點(diǎn)的鏡像，所以當(dāng)它代替主節(jié)點(diǎn)時(shí)，它可以完全接收其身份，并且因此使系統(tǒng)環(huán)境對(duì)于用戶是一致的。高可用性(HA)群集致力于使效勞器系統(tǒng)的運(yùn)行速度和響應(yīng)速度盡可能快。它們經(jīng)常利用在多臺(tái)機(jī)器上運(yùn)行的冗余節(jié)點(diǎn)和效勞，用來(lái)互相跟蹤。假如某個(gè)節(jié)點(diǎn)失敗，它的替補(bǔ)將在幾秒鐘或更短時(shí)間內(nèi)接收它的職責(zé)。因此，對(duì)于用戶而言，群集永遠(yuǎn)不會(huì)停機(jī)。某些HA群集也可以維護(hù)節(jié)點(diǎn)間冗

9、余應(yīng)用程序。因此，用戶的應(yīng)用程序?qū)⒗^續(xù)運(yùn)行，即使他或她使用的節(jié)點(diǎn)出了故障。正在運(yùn)行的應(yīng)用程序會(huì)在幾秒之內(nèi)遷移到另一個(gè)節(jié)點(diǎn)，而所有用戶只會(huì)發(fā)覺到響應(yīng)略微慢了一點(diǎn)。但是，這種應(yīng)用程序級(jí)冗余要求將軟件設(shè)計(jì)成具有群集意識(shí)的，并且知道節(jié)點(diǎn)失敗時(shí)應(yīng)該做什么。HA群集也可以執(zhí)行負(fù)載平衡，但通常主效勞器運(yùn)行作業(yè)，而系統(tǒng)使輔助效勞器保持閑置。輔助效勞器通常是主效勞器操作系統(tǒng)設(shè)置的鏡像，盡管硬件本身稍有不同。輔助節(jié)點(diǎn)對(duì)主效勞器進(jìn)展活動(dòng)監(jiān)控或心跳觀察，以查看它是否仍在運(yùn)行。假如心跳計(jì)時(shí)器沒(méi)有接收到主效勞器的響應(yīng)，那么輔助節(jié)點(diǎn)將接收網(wǎng)絡(luò)和系統(tǒng)身份。在群集的這三種根本類型之間，經(jīng)常會(huì)發(fā)生混合與交雜。可以發(fā)現(xiàn)高可用性群集

10、也可以在其節(jié)點(diǎn)之間平衡用戶負(fù)載。同樣，也可以從要編寫應(yīng)用程序的群集中找到一個(gè)并行群集，它可以在節(jié)點(diǎn)之間執(zhí)行負(fù)載平衡。從這個(gè)意義上講，這種集群類別的劃分是一個(gè)相對(duì)的概念，不是絕對(duì)的。四、集群的教育科研應(yīng)用1、科學(xué)群集與并行計(jì)算科學(xué)集群是并行計(jì)算的根底，在科研領(lǐng)域，如：天氣預(yù)報(bào)，核試驗(yàn)?zāi)M等領(lǐng)域，科學(xué)集群獲得了廣泛的應(yīng)用。因?yàn)榭茖W(xué)集群涉及為解決特定的問(wèn)題而設(shè)計(jì)的應(yīng)用程序，需要有一定的學(xué)科背景知識(shí)，所以這里不作詳細(xì)介紹。2、負(fù)載平衡群集的遠(yuǎn)程網(wǎng)絡(luò)教育應(yīng)用對(duì)于教育應(yīng)用來(lái)說(shuō)，負(fù)載平衡集群是應(yīng)用面最廣，最有開展?jié)摿Φ募簯?yīng)用形式。隨著網(wǎng)絡(luò)教育的開展，網(wǎng)絡(luò)教育系統(tǒng)的用戶將成幾何方式增長(zhǎng)。由此而導(dǎo)致教育類網(wǎng)站

11、的訪問(wèn)量大幅增長(zhǎng)。由于教育網(wǎng)絡(luò)資源很多是多媒體素材，包括音頻、視頻、動(dòng)畫等，這就會(huì)產(chǎn)生極大的網(wǎng)絡(luò)流量負(fù)載以及額外的處理負(fù)載。在這種情況下，單機(jī)的處理才能很快得到飽和，一種方案就是晉級(jí)系統(tǒng)。晉級(jí)系統(tǒng)的方法會(huì)導(dǎo)致效勞器工作在降級(jí)形式下或效勞器關(guān)機(jī)，對(duì)于客戶來(lái)說(shuō)，其效果和效勞器遭受DS攻擊時(shí)的效果時(shí)一樣的。舉個(gè)簡(jiǎn)單的例子，許多網(wǎng)站在晉級(jí)的過(guò)程中，比方(中國(guó)同學(xué)錄)，會(huì)不能訪問(wèn)或者有個(gè)提示：系統(tǒng)晉級(jí)中，請(qǐng)稍后再訪問(wèn)。這個(gè)稍后的概念通常是半天左右；而大家也可以注意到，象ggle這樣的網(wǎng)站，在比(中國(guó)同學(xué)錄)的客戶訪問(wèn)量上要大很多的情況下也幾乎沒(méi)有出現(xiàn)這種情況，原因就在于ggle采用的是集群效勞器。Ggl

12、e系統(tǒng)晉級(jí)在后臺(tái)進(jìn)展的時(shí)候，其處理和I負(fù)載被自動(dòng)分發(fā)到集群中的其他效勞器上，所以對(duì)于用戶而言，幾乎感覺不到在響應(yīng)時(shí)間方面的差異。另外一種方案就是添置新的效勞器，但是在網(wǎng)絡(luò)上，一臺(tái)機(jī)器唯一的對(duì)應(yīng)于一個(gè)IP地址，一個(gè)IP唯一的與一個(gè)域名綁定，客戶需要在訪問(wèn)一個(gè)URL的時(shí)候得到一樣的響應(yīng)，而不是來(lái)自不同主機(jī)的不同響應(yīng)。這就要求新添置的效勞器和原有的效勞器應(yīng)該對(duì)外看起來(lái)就像一臺(tái)效勞器一樣，而不是多臺(tái)效勞器。而這正是集群所產(chǎn)生的效果。當(dāng)教育網(wǎng)站的處理才能和I才能超出單機(jī)的負(fù)載才能時(shí)，考慮性價(jià)比、運(yùn)維本錢、可靠性等多方面因素，集群技術(shù)就成為最正確的選擇。下面給出一個(gè)集群技術(shù)在教育科研網(wǎng)中的應(yīng)用實(shí)例。五、實(shí)

13、際應(yīng)用方案舉例方案名稱：寧波市教委教育與科研網(wǎng)絡(luò)整體系統(tǒng)按照寧波市教委的意見，要求在2022年根本上實(shí)現(xiàn)全市范圍內(nèi)老師、學(xué)生、家長(zhǎng)共同使用互聯(lián)網(wǎng)進(jìn)展教學(xué)與管理。根據(jù)寧波市經(jīng)濟(jì)開展的總體程度與增長(zhǎng)趨勢(shì)，這個(gè)目的經(jīng)過(guò)努力，是完全可以實(shí)現(xiàn)的。由此，教科網(wǎng)的構(gòu)建成為整個(gè)目的的關(guān)鍵一環(huán)，其中包括了教育與科研網(wǎng)主干、教委辦公系統(tǒng)、教委網(wǎng)上平臺(tái)、網(wǎng)上學(xué)校、學(xué)習(xí)資源、內(nèi)部E-AIL等局部。而基于Turblinux的整體教育解決方案以其出眾的性價(jià)比、高可靠性和可擴(kuò)展性，出色的擔(dān)當(dāng)了這一重任。1、工程背景1999年寧波市共有各級(jí)各類學(xué)校含幼兒園3078所，在校生95。28萬(wàn)人，教職工5。72萬(wàn)人。是年，全市新增了

14、公安海警高等?？茖W(xué)校等5所學(xué)校，使全市普通高校和成人高?？倲?shù)到達(dá)11所，在校生超過(guò)3萬(wàn)人。全市共有11185名學(xué)生升入全日制高校，高等教育毛入學(xué)率到達(dá)10。5。與全國(guó)平均程度持平。普通中等專業(yè)學(xué)校24所。成人中專22所，在校生4。2萬(wàn)人，有普通中學(xué)326所，在校生25.12萬(wàn)人；初中畢業(yè)生升入高中段學(xué)習(xí)的比例為78。81，據(jù)全省第一，普職招生比例保持在4.1：5.9，城區(qū)已經(jīng)根本普及高中段教育。小學(xué)1195所，在校生43.38萬(wàn)人。幼兒園2024所，在園幼兒15.05萬(wàn)人，幼兒園入園率到達(dá)93.64。全市根本普及九年義務(wù)教育，義務(wù)教育人口覆蓋率為100?？梢钥吹剑瑢幉ㄊ械慕逃隣顩r走到了全國(guó)領(lǐng)先

15、的地步，而整個(gè)教育系統(tǒng)的上網(wǎng)也就提上了日程。2、業(yè)務(wù)挑戰(zhàn)寧波教科網(wǎng)由于組成局部多，多功能需求也就比擬復(fù)雜，大體包含以下局部。2.1大容量電子郵件根據(jù)規(guī)劃，需要將市教委直屬機(jī)關(guān)、寧波市區(qū)所有學(xué)校的老師和學(xué)生的電子信箱集中放在教育和科研網(wǎng)絡(luò)中心的電子函件效勞器中。因此電子郵件效勞器的容量估計(jì)需要10萬(wàn)。而且，今后可以根據(jù)需要擴(kuò)大。2.2LDPA;為了保證整個(gè)網(wǎng)站的一致性和平安性，需要采用LDPA認(rèn)證。2.3支持ebail：為了方便使用，必須支持ebail，用戶只要使用閱讀器就可以完成所有的郵件操作。2.4eb寧波市教委網(wǎng)站市一個(gè)為全市3000所中小學(xué)提供網(wǎng)上效勞的平臺(tái)。該平臺(tái)應(yīng)該以方便使用為目的，

16、各個(gè)中小學(xué)、教委機(jī)構(gòu)通過(guò)注冊(cè)用戶發(fā)布自己的網(wǎng)上信息。網(wǎng)管中心負(fù)責(zé)整個(gè)網(wǎng)站系統(tǒng)的平安和穩(wěn)定工作2.5辦公自動(dòng)化系統(tǒng)A教委辦公信息系統(tǒng)的實(shí)現(xiàn)市整個(gè)教科網(wǎng)的應(yīng)用軟件實(shí)現(xiàn)的第一步，所以它不僅要在功能上能符合如今教委業(yè)務(wù)的需要，而且在整個(gè)體系構(gòu)造上必須和以后要實(shí)現(xiàn)的學(xué)校辦公系統(tǒng)，教委義務(wù)管理系統(tǒng)、學(xué)校業(yè)務(wù)管理系統(tǒng)之間有很好的接口。另外在市教委系統(tǒng)和各縣市。區(qū)教委系統(tǒng)之間有較好的接口。2.6網(wǎng)上學(xué)校包括課件、老師、學(xué)生、練習(xí)、答疑、討論、點(diǎn)播、交互等多個(gè)局部2.7教育資源包括各種音頻、視頻、文本、動(dòng)畫等資源3.工程施行3.1eb系統(tǒng)通過(guò)Turblinuxserver和turblusterserver構(gòu)建e

17、bServer集群。實(shí)現(xiàn)eb、FTP等效勞的負(fù)載平衡和高可用性方案。ebServer為Apahe。對(duì)于基于BS構(gòu)造的A系統(tǒng)。可以通過(guò)此接口為用戶提供可靠的效勞。3.2數(shù)據(jù)庫(kù)系統(tǒng)通過(guò)TurblinuxDataServerrale8i和TurbHA構(gòu)建Database集群，提供高可用性的數(shù)據(jù)庫(kù)方法，數(shù)據(jù)庫(kù)為rale8i，通過(guò)TurbHA實(shí)現(xiàn)雙擊熱備份功能。對(duì)于A系統(tǒng)，可以提供可靠的數(shù)據(jù)庫(kù)效勞3.3ail系統(tǒng)通過(guò)TurblinuxServer和TurbHA為ail系統(tǒng)提供穩(wěn)定的系統(tǒng)平臺(tái)3.4A系統(tǒng)根據(jù)詳細(xì)需求合作開發(fā)，使用TurblinuxDataServer+rale8i為開發(fā)工具，該軟件提供構(gòu)建

18、復(fù)雜的網(wǎng)站的開發(fā)、部署、效勞等全套方案。系統(tǒng)硬件平臺(tái)采用基于intel至強(qiáng)處理器的效勞器。4.效果評(píng)價(jià)該系統(tǒng)構(gòu)建已經(jīng)完成，預(yù)期的功能都已經(jīng)得到很好的實(shí)現(xiàn)。對(duì)于寧波教委的日常工作、網(wǎng)上教育有了極大的促進(jìn)作用。當(dāng)然，這只是整個(gè)教科網(wǎng)構(gòu)建的第一步，而寧波市教委也正在大力推廣應(yīng)用Turblinux教育解決方案的經(jīng)歷，爭(zhēng)取早日實(shí)現(xiàn)全市全校網(wǎng)上教學(xué)的宏偉目的。六、完畢語(yǔ)集群技術(shù)是一種通用的技術(shù)，其目的是為理解決單機(jī)運(yùn)算才能的缺乏、I才能的缺乏、進(jìn)步效勞的可靠性、獲得規(guī)?？蓴U(kuò)展才能，降低整體方案的運(yùn)維本錢運(yùn)行、晉級(jí)、維護(hù)本錢。只要在其他技術(shù)不能到達(dá)以上的目的，或者雖然可以到達(dá)以上的目的，但是本錢過(guò)高的情況下，就可以考慮采用集群技術(shù)?？蒲蓄I(lǐng)域一直是集群技術(shù)，特別是并行計(jì)算技術(shù)