《分布式計算應(yīng)用》PPT課件.ppt

1、我們身邊的分布式計算,2012年2月27日,分布式計算專家韋伯教授曾說： 信息的惡性增長使各個領(lǐng)域都布滿了吞噬巨大計算力的黑洞，但這并不可怕，真正可怕的是我們總是想用為數(shù)不多的幾塊巨石而不是取之不盡的泥土去填平它,巨人搬不動的石頭，動用成千上萬只螞蟻也許就能搬動它,人人都可參與分布式計算項目,科學(xué)研究的前沿領(lǐng)域和持久感趣的方面： 地外文明 生命起源,人人都可參與分布式計算項目,目前分布式計算項目已經(jīng)有很多： 天文學(xué) 生命科學(xué) 數(shù)學(xué)、密碼學(xué) 計算機科學(xué),多數(shù)項目，只要你有興趣，就可以參與進(jìn)去,人人都可參與分布式計算項目,幾個經(jīng)典的項目,尋找外星人：SETIhome,尋找梅森素數(shù),Google：M

2、ajestic-12,幾款應(yīng)用軟件,Napster,BitTorrent (BT,SETIhome是Search for Extraterrestrial Intelligence at Home的縮寫，為“在家里搜索地外文明”之意。 這個項目由美國加州大學(xué)伯克利分?！八褜さ厍蛲庵悄堋?SETI)研究小組發(fā)起，旨在利用因特網(wǎng)中不計其數(shù)的計算機的閑置時間進(jìn)行SETI計算，以期從海量的信號中搜尋到地外文明的蛛絲馬跡,首先由位于波多黎哥群山之中的巨型射電望遠(yuǎn)鏡Arecibo收集地外信號，然后將每天約35 GB的數(shù)據(jù)傳送到SETIhome項目管理中心。SETIhome管理中心將數(shù)據(jù)進(jìn)行分解處理，劃分成

3、合適的大小，然后通過因特網(wǎng)將它們分發(fā)到全球成千上萬志愿者的電腦中。 SETIhome程序在志愿者的個人計算機上，通常在屏幕保護模式下或以后臺模式運行。它利用的是多余的處理器資源，不影響用戶正常使用計算機。當(dāng)一個信號單元分析完畢，客戶端程序?qū)⒂袃r值的信號送回SETIhome項目管理中心并自動下載新的數(shù)據(jù)。 如果志愿者送回的處理結(jié)果經(jīng)確認(rèn)屬重大發(fā)現(xiàn)，那么志愿者將同SETI home項目組共同分享“發(fā)現(xiàn)者”的榮譽,SETIhome簡介,工作原理,SETI home運行時的樣子,成果,SETIhome項目自1999年5月17日開始正式運行。 至2004年5月，該項目在世界各地?fù)碛薪?00萬參與者，積累

4、了近200萬年的CPU運行時間，進(jìn)行了近 51021次浮點運算，處理了超過13億個數(shù)據(jù)單元，無疑是非常成功的分布式計算試驗項目。 截至 2005 年關(guān)閉之前，它已經(jīng)吸引了 543 萬用戶，這些用戶的電腦累積工作 243 萬年，分析了大量積壓數(shù)據(jù)，但是項目沒有發(fā)現(xiàn)外星文明的直接證據(jù),尋找梅森素數(shù)，贏十萬美元大獎,GIMPS（Great Internet Mersenne Prime Search）因特網(wǎng)梅森素數(shù)大搜索，是一個數(shù)學(xué)領(lǐng)域的分布式計算項目。由于“電子邊界基金”(Electronic Frontier Foundation)宣布將向第一個找到超過1000萬位梅森素數(shù)的個人或機構(gòu)頒發(fā)十萬美

5、元的獎金，使它成為為數(shù)不多的有獎金的項目，令志愿者趨之若鶩,簡介,高階的梅森素數(shù)具有可怕的長度，要驗證一個這樣的大數(shù)是否是素數(shù)，計算量大得驚人，同著名的大數(shù)質(zhì)因子分解的難度有一比，而后者恰是現(xiàn)代公開密鑰技術(shù)RSA的數(shù)學(xué)基礎(chǔ)。經(jīng)過幾百年來的努力，人們才發(fā)現(xiàn)41個梅森素數(shù)，而其中就有7個是GIMPS項目的成果。目前最大梅林素數(shù)也是通過GIMPS項目找到的,梅森素數(shù)計算界面,GIMPS的工作原理與SETIhome類似，也是將龐大的數(shù)據(jù)量分成小塊，再通過為數(shù)眾多的客戶端進(jìn)行計算。 GIMPS客戶端程序可在網(wǎng)上下載。在首次運行時，需要輸入用戶ID、電腦ID，并對CPU占用率、內(nèi)存占用率以及開放的計算時間

6、等選項進(jìn)行設(shè)置，一般選默認(rèn)值即可。 之后程序開始對電腦進(jìn)行測試，以確定該電腦是否適合參加GIMPS項目。這個測試費時頗多，需要參加者有些耐心。 測試完成后，便開始從服務(wù)下載數(shù)據(jù)片斷進(jìn)行計算。一個片斷計算完后，GIMPS客戶端程序會自動到服務(wù)器上下載新片斷。 如果你的運氣實在好，新的梅森素數(shù)恰在你計算的片斷內(nèi)，那么你不僅能得一大筆錢，而且還能青史留名。當(dāng)然，中獎概率肯定比摸中500萬體彩大獎還要低得多，所以也不必特別在意是否可以贏取獎金，權(quán)當(dāng)了回國際義工,工作原理,搜索成就了因特網(wǎng)的老大Google，也吸引了許多公司對搜索的狂熱追捧。作為未來因特網(wǎng)世界的重要構(gòu)建者，分布式計算沒有理由不染指其中，

7、何況從原理上說，分布式搜索引擎比現(xiàn)在的各種搜索引擎更為強大，因為它可有無數(shù)個信息“鉆探機”。 Majestic-12就是這樣一個基于分布式計算原理的因特網(wǎng)搜索引擎研究項目(Distributed Search Engine Project)，它在客戶端使用一種名為“crawls”(爬行者)的技術(shù)來監(jiān)視指定的網(wǎng)站，以便及時了解這些站點內(nèi)容的變化情況，以便隨時更新存放于項目服務(wù)器上的查尋索引文件。目前，該項目已對10億 多個 URL 地址建立了完善的索引，其搜索容量已直逼一些著名的搜索引擎,打造分布式Google: Majestic-12,Majestic-12客戶端程序,如果你樂意在搜索上做點事

8、情的話，不妨參加這個研究性質(zhì)的項目。它不僅可以使你了解被某些廠商宣傳得有些神秘的搜索內(nèi)幕，而且你還可以分享到在許多方面并不亞于Google的搜索結(jié)果，而這些結(jié)果也許恰是你的計算機搜羅和整理的。 近日，Majestic-12項目組推出了可利用Majestic-12成果的Firefox 搜索插件，看來可能會對Google形成威脅的新一代搜索引擎就要從地下冒出來了,這是一款可以在網(wǎng)絡(luò)中下載自己想要的MP3文件的軟件名稱.它同時能夠讓自己的機器也成為一臺服務(wù)器，為其它用戶提供下載。在這個網(wǎng)絡(luò)中，Napster本身并不提供MP3文件的下載，它實際上提供的是整個Napster網(wǎng)絡(luò)的MP3文件“目錄”，而M

9、P3文件分布在網(wǎng)絡(luò)中的每一臺機器中，隨時供你選擇取用，我們下載都是直接連到另外一臺機器。傳輸速度也相當(dāng)驚人。 Napster具有強大的搜索功能，可以將在線用戶的MP3音樂信息進(jìn)行自動搜尋并分類整理，以備其他用戶查詢，只要知道你喜歡歌曲的名稱或演唱者的名稱，就可以和全世界樂迷共享豐盛的音樂大餐。你可以選擇自己要與其他人在網(wǎng)上共享的音樂文件的目錄，并且可以與喜歡同樣風(fēng)格音樂的人聊天、在論壇討論，互相交流,Napster 簡介,什么是分布式計算(Distributed Computing)呢,分布式計算是計算機科學(xué)的一個重要分支，主要研究如何把一個需要巨大的計算能力才能解決的問題分解成許多小的部分，

10、然后把這些部分分配給許多計算機進(jìn)行處理，最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。這是一個比較狹窄的定義。一般認(rèn)為，凡是基于分布式計算原理的所有應(yīng)用，都應(yīng)歸于分布式計算的范疇，包括許多完全或部分?jǐn)[脫了客戶/服務(wù)器模式的新型網(wǎng)絡(luò)軟件，尤其是當(dāng)下十分流行的P2P文件交換軟件。 提示:P2P是一種不依賴服務(wù)器的通訊方式，與網(wǎng)絡(luò)分布式計算如影隨形，然而它并非分布式計算的要件，也就是說，使用了P2P技術(shù)的軟件并非都屬于分布式計算范疇。只有那些主要計算工作在客戶端完成而僅使用P2P作為通訊手段的軟件，才可以歸到網(wǎng)絡(luò)分布式計算程序類中,分布式計算已在我們身邊,Napster和BT都是典型的網(wǎng)絡(luò)分布式計算程序

11、。如果從廣義的分布式計算的定義來看，我們經(jīng)常使用的QQ、MSN等即時通訊工具，雖然采用的是傳統(tǒng)的客戶/服務(wù)器架構(gòu)，但它在音頻視頻的播放和文件的傳輸上，使用的卻是P2P技術(shù)，因此僅就此點而論，QQ等也算半個分布式計算程序,1993年，DEC系統(tǒng)研究中心的研究員Lenstra和Manasse召集了600名志愿者，利用分布式計算方法參與由著名的美國RSA研究所發(fā)起的RSA-129密碼破譯活動，并在很短的時間內(nèi)成功破譯密鑰。這次活動使人們見識到分布式計算的威力，此后對它的研究空前活躍起來。 1995年，分布式計算再接再厲，一舉攻破了RSA-130。這是一個130位加密算法，這次活動開啟了分布式計算和因

12、特網(wǎng)結(jié)合的大門，使分布式網(wǎng)絡(luò)計算成為主流的研究方向，并最終導(dǎo)致網(wǎng)格的誕生。 1996年，著名的GIMPS(互聯(lián)網(wǎng)梅森素數(shù)大搜索)項目開始啟動。近十年來，通過它已發(fā)現(xiàn)多個梅森素數(shù)。 1999年，著名的尋找外星智能生命信息的SETIhome項目正式推出，它以無比的神秘感吸引了因特網(wǎng)上數(shù)百萬名志愿者，成為目前參加人數(shù)最多的分布式計算項目。 2000年，19歲的大學(xué)生Shawn Fanning開發(fā)出Napster，在網(wǎng)上掀起網(wǎng)絡(luò)音樂交換熱潮，催生了一個龐大的在線音樂市場。 2001年，IBM公司宣布自己的網(wǎng)格研究計劃，并將為此投資40億美元。 2002年，由Bram Cohen開發(fā)的分布式下載工具BitTorrent(BT)橫空出世，以革命性的面目改變了傳統(tǒng)的網(wǎng)絡(luò)交換方式。 2003年，IBM發(fā)起史上最大網(wǎng)格運算計劃，共有1000萬臺電腦連入其中,分布式計算的發(fā)展史,分布式計算的未來,如何動員和利用社會中豐富的計算能力，始終是一個充滿挑戰(zhàn)性的問題。 可以預(yù)見，純粹的分布式計算項目將會越來越多，它將為那些需要強大的計算能力的領(lǐng)域提供服務(wù)，同時它也會在網(wǎng)絡(luò)安全和軍事方面得到更多應(yīng)用，甚至能成為信息戰(zhàn)的超級武器,網(wǎng)絡(luò)分布式計算將繼續(xù)成為熱點 從主要應(yīng)用于音樂和軟件交換擴散到視頻共享、 網(wǎng)