云計算趨勢介紹

1、云計算趨勢介紹一、導致云計算的大背景二、云計算熱點分析三、云計算對信息產業(yè)的影響四、搭建開源Hadoop云平臺一、導致云計算的大背景從圖靈計算到網絡計算的演化Everything is over I P V4 V6 WEB Web1.0 WEB ServicesWeb2.0WWW1989Mosaic1993Packet Switching 1964ARPANET1969TCP/IP1974Internet1984Hypertext1965eCommerce1995Semantic Web1999Utility Computing2000CloudComputing2007 圖靈論文 74年 （

2、1936年） 計算機 66年 （1944年） 鼠標交互式計算 46年 （1964年） 互聯(lián)網 26年 （1984年） 萬維網 21年 （1989年） 網絡科學 12年 （1998年） 維基百科 9年 （2001年）技 術 路 線 圖Wiki2001ServicesWeb 3.0mouse1964互聯(lián)網環(huán)境軟件作為服務 催生云計算的大背景大眾參與計算5互聯(lián)網環(huán)境軟件作為服務 云計算就是互聯(lián)網環(huán)境下，軟件作為服務的大眾計算大眾參與計算蒸發(fā)：服務的發(fā)布水氣凝結成云滴降水：按需即取Cloud Ecosystem云滴聚集成云水庫：“云數據中心”陽光：用戶需求云滴：服務云：服務的聚合類比水的生態(tài)循環(huán)，水流

3、云在，看基于網絡的信息服務和信息流動?；ヂ?lián)網是什么？互聯(lián)網成為人人感知和認知不可或缺的裝備，人的感知能力和認知能力掙脫了時間和距離的束縛，得到極大地延伸；互聯(lián)網成為人與人之間溝通的不可或缺的裝備，人與人之間、人與社會之間溝通質量和效率得到極大地提升；互聯(lián)網正在向物聯(lián)網滲透(CPS)?；ヂ?lián)網是什么？互聯(lián)網是人類二十世紀最偉大的發(fā)明，它改變了人類的生活方式、工作方式和休閑方式，改變了社會的民主、教育、經濟、商務、健康與娛樂機制；它還顯示了適應甚至激勵技術和應用轉變的巨大能力，已經成為推動社會變革和技術創(chuàng)新的最強大的發(fā)動機。 from NetSE Agenda, NSF, Sept 2009互聯(lián)網

4、世界上最大的計算機互聯(lián)網 圖靈機互聯(lián)網不是什么？云計算的定義 云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據需要獲取計算力、存儲空間和信息服務。云計算到底是什么？ 云計算有什么特點？在動態(tài)、多機構參與的虛擬組織中協(xié)同共享資源和求解問題 同時使用多種計算資源解決計算問題的過程 將需要巨大計算能力的問題分成許多小部分進行處理，最后綜合結果分布式計算 并行計算網格計算 云計算云計算特點目標功能超大規(guī)模 虛擬化高可靠性 通用性 高可伸縮性 按需服務 極其廉價云計算服務類型SaaS0302PaaS01IaaS將硬件設備等基礎資源封裝成服務供用戶使用 對資源的

5、抽象層次更進一步，提供用戶應用程序運行環(huán)境 針對性更強，它將某些特定應用軟件功能封裝成服務 1、歐盟第七框架計劃（FP7）2、歐盟視覺云（Vision）項目3、英國政府云（G-Cloud）1、十二五戰(zhàn)略新興產業(yè)2、云計算創(chuàng)新發(fā)展試點示范工作3、“中國云”國家規(guī)劃即將推出 韓國云計算全面振興計劃 日本總務省云計算特區(qū)程 澳大利亞政府：出臺云計算戰(zhàn)略1、美國能源部麥哲倫（Magellan）項目2、美國航天局（Nebula）項目研發(fā)了彈性計算云EC2（Elastic Computing Cloud）和簡單存儲服務S3（Simple Storage Service）為企業(yè)提供計算和存儲服務 收費的服務

6、項目包括存儲空間、帶寬、CPU資源以及月租費 誕生不到兩年的時間內，Amazon的注冊用戶就多達44萬人，其中包括為數眾多的企業(yè)級用戶 Google搜索引擎建立在分布在30多個站點、超過200萬臺服務器構成的云計算設施的支撐之上，這些設施的數量正在迅猛增長Google的一系列成功應用，包括Google地球、地圖、Gmail、Docs等也同樣使用了這些基礎設施目前，Google已經允許第三方在Google的云計算中通過Google App Engine運行大型并行應用程序Hadoop模仿了Google的實現(xiàn)機制IBM在2007年11月推出了“改變游戲規(guī)則”的“藍云”計算平臺，為客戶帶來即買即用的

7、云計算平臺。IBM正在與17個歐洲組織合作開展名為RESERVOIR云計算項目，以“無障礙的資源和服務虛擬化”為口號。歐盟提供了1.7億歐元作為部分資金。IBM 已在全球范圍內建立了 13個云計算中心，并且已幫助數個客戶成功部署了云計算中心 微軟于2008年10月推出了Windows Azure操作系統(tǒng)。Azure(譯為“藍天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉型。微軟在2010年10月的PDC大會上，公布了Windows Azure云計算平臺的未來藍圖，跳出單純的基礎架構作服務的框架，將Windows Azure定位為平臺作服務 中國2008年，IBM先后在無錫和北京建

8、立了兩個云計算中心阿里巴巴成立了阿里云公司。還有許多公司觸云：騰訊、盛大、廣達、 800APP、世紀互聯(lián)中國移動研究院已經建立起1024個CPU的云計算試驗中心；中國電信、中國聯(lián)通都有相應動作。華為、中興都轉入了云計算研發(fā)作為云計算技術的一個分支，云安全技術通過大量客戶端的參與和大量服務器端的統(tǒng)計分析來識別病毒和木馬，取得了巨大成功 2008年11月25日，中國電子學會專門成立了云計算專家委員會 2009年5月22日，中國電子學會隆重舉辦首屆中國云計算大會，1200多人與會，盛況空前。2010年5月，將舉辦第二屆，規(guī)模將達3000人; 2009年12月，舉辦中國首屆云計算學術會議 2010年至

9、今每年5月，已連續(xù)舉辦六屆中國云計算大會二、云計算熱點分析云里霧里看不清？熱點一：虛擬計算通過超算中心獲得虛擬計算能力23 Virtualization is a term that refers to the abstraction of computer resources. (Wikipedia)什么是虛擬化？虛擬化技術早就存在操作系統(tǒng)是運用虛擬化技術弱化軟件運行環(huán)境與硬件平臺之間的依賴，甚至完全隔離中間件是運用虛擬化技術弱化應用軟件與軟件運行環(huán)境之間的依賴， 甚至完全隔離無需關心計算中心的地理位置計算資源的虛擬化在網絡時代迅速發(fā)展無需關心計算平臺的操作系統(tǒng)以及軟件環(huán)境配置與管理無需關心

10、特定應用軟件的服務方式（如是否被他人同時租用） 軟件工程向需求工程傾斜，互聯(lián)網環(huán)境下軟件作為服務，使得用戶以更自然的交互方式，表達要求得到的個性化服務：服務器托管的時代已近尾聲：身邊的云計算網絡搜索服務網絡Office多租賃的CRM計算能力的標準化租用：虛擬PC虛擬機如何實現(xiàn)要求的計算服務?虛擬機在物理機上的再分布問題是一個NP（非確定性多項式）難題高性能計算機能否服務虛擬計算？虛擬服務器超算中心負荷的自動調節(jié)要求超算功能的專一化，綠色計算的要求迫使高功耗、高性能計算機向高效用計算中心發(fā)展會不會有萬能的虛擬機？互聯(lián)網計算資源的虛擬化，使得端產品 iX擺脫了傳統(tǒng)的胖配置帶來的系統(tǒng)升級開銷，端產品

11、 iX更加簡潔、靈活、多樣。28熱點二 云存儲 面向存儲服務的超儲中心如何看待虛擬計算資源？ 以提供CPU計算能力為主 以提供存儲能力為主， 以提供通信帶寬能力為主30面向存儲服務的超儲中心云存儲：改變傳統(tǒng)的“隸屬于主機的存儲設備”，把超儲中心作為重要節(jié)點直接聯(lián)到互聯(lián)網，通過虛擬存儲管理，實現(xiàn)面向互聯(lián)網大眾用戶的存儲服務，構成個性化虛擬存儲。存儲內容的多樣性和異構性面向存儲服務的超儲中心虛擬存儲管理的重點在于海量存儲資源的動態(tài)調度、存儲區(qū)遷移和多用戶存取控制。熱點三 云計算標準 云計算的出現(xiàn)并不顛覆現(xiàn)有標準 也不存在云計算的專用標準Web服務基礎標準Web服務特性：可描述、可分布、可查找、可調

12、用、可綁定、可組合SOAP：簡單對象訪問協(xié)議WSDL: Web服務描述語言UDDI: 服務注冊與發(fā)現(xiàn)協(xié)議互操作標準是云計算的主要標準35網絡互連：TCP/IP服務互操作：MFI信息互通：HTTP、HTML等WWW對互操作的要求：普適、易懂、易用互聯(lián)網環(huán)境下的軟件服務，以松耦合的互操作方式實現(xiàn)隨需而變36服務服務服務服務服務36面向領域，服務聚合，滿足社區(qū)需要用戶和服務之間互操作可松可緊37規(guī)范化表達互操作的元模型框架（MFI，Metamodel Framework for Interoperability） 用戶服務需求的元描述用RGPS表示角色服務目標流程通過R G P S描述的互操作元模型

13、框架38RR 角色對接 需求方服務方特定用戶簡單服務我是誰？想做什么？我為誰？能做什么特定用戶要求簡單服務的情況目標對接 GG通過R G P S描述的互操作元模型框架39RR 角色對接 需求方服務方用戶群簡單服務我們是誰？想做什么？我為誰？能做什么用戶群要求簡單服務的情況目標對接 GG中國在MFI系列標準的研制中發(fā)揮了領導作用40標準制定由中國、日本、韓國和英國承擔，美國、加拿大、澳大利亞、德國等23國參與討論，12個國家參與投票英國&日本: MFI-1（ISO已正式發(fā)布）日本&韓國: MFI-2 （未正式發(fā)布）日本&加拿大：MFI-4 （未正式發(fā)布）中國 &日本：MFI-3 （ISO/IEC

14、 19763已正式發(fā)布），中國：MFI-5、MFI-7、MFI-8和MFI-9（正在研制）41Metamodel for Ontology RegistrationMetamodel for Model MappingRegistration ProcedureISO/IEC 19763 (MFI)RGPS-based On-Demand Model SelectionMetamodel for P model RegistrationMetamodel for S model RegistrationMetamodel for R/G RegistrationMFI-3MFI-9MFI-8M

15、FI-5MFI-7MFI-4MFI-6MFI-2MFI-1Reference ModelCore Model中國主持研制通過R G P S描述的互操作元模型框架42RR 角色對接 需求方服務方我是誰？想做什么？我為誰？能做什么特定用戶要求組合服務的情況目標對接 GG服務3服務2服務1服務流程流程對接 如何做？用什么做？PP服務對接 SS黃色框表示可缺省，也可是服務方P和S中的子集通過R G P S描述的互操作元模型框架43RR 角色對接 需求方服務方我們是誰？想做什么？我為誰？能做什么用戶群要求組合服務的情況目標對接 GG服務3服務2服務1服務流程流程對接 如何做？用什么做？PP服務對接 SS

16、黃色框表示可缺省，也可是服務方P和S中的子集通過R G P S描述的互操作元模型框架44RR 角色對接 需求方服務方我是誰？想做什么？我為誰？能做什么需求方是服務，要求得到組合服務的情況目標對接 GG服務3服務2服務1服務流程流程對接 如何做？用什么做？PP服務對接 SS服務熱點四 云安全云計算本身安全不安全？云計算為改善安全能做出什么貢獻？因為有社會服務的需求，信息才上網。否則不必上網！云計算不是專門為了解決安全問題的新式武器，它不能避免軟件中出現(xiàn)漏洞，網絡上出現(xiàn)病毒等。云計算把安全作為服務的形式（SECaaS），實現(xiàn)安全服務的專業(yè)化、社會化，改變當前人人都在打補丁、個個都在殺病毒的狀況還可

17、以把備份作為服務的形式，實現(xiàn)專門的云備份服務人們普遍關心的云安全，實際上是云計算中的信任管理。如何理解可信任？信任是個社會問題 信任是個技術問題 X社會問題可以通過技術協(xié)助解決 基本理念互聯(lián)網也好，云計算也好，只要在網絡中存在有人機交互，存在有社區(qū)，安全和可信就成為它的一項品質，是社區(qū)和社區(qū)演化所累積出來的品質。身邊的事實人們普遍認為：淘寶網比QQ可信，支付寶又比淘寶網可信 有人認為：瑞士銀行比工商銀行可信，工商銀行又比地下錢莊可信 云安全：云計算中的信任管理圖靈機時代以正確性為核心的軟件理論、方法、技術和機制，不足以構造出適應互聯(lián)網的開放、動態(tài)環(huán)境下的信任管理，圖靈機無法描述交互式計算。信任

18、不是一次性測試出來的，也不是依靠一套固定指標測出來的，它是社區(qū)運作過程中累積出來的品質，是消除一個個不可信要素的過程，如維基百科中參與者的信任管理互聯(lián)網與傳統(tǒng)媒體的差別，在于其民主性所形成的由下而上的力量！這種力量是建立信譽的最基本、最重要的保證數據著色和云水印數據擁有方和存儲服務方之間形成一定的數據使用約定，通過雙方的信譽和雙約束的手段，共同解決數據的合理使用。通過云水印對用戶數據進行著色，特定的顏色為特定的用戶所有，保證用戶對數據的所有權，又不影響數據的有效使用。EnForwardCloudGeneratorVirtual StorageUser Data Data Coloring Co

19、lored Data Color MatchingColored Data cloud dropsBackwordCloudGeneratorEnExHeCloud Drops ExtractingExHeService providerDataownerConfirmation通過云水印進行數據著色流程圖Negotiation熱點五 云計算平臺云計算平臺的架構從一個繞口令談起如何理解SaaS,PaaS,and IaaS云計算平臺如何架構對SaaS的更深理解SaaS 是軟件工程的大轉身，從面向實現(xiàn)轉為面向服務的大轉身所有服務都可以是自治的、跨平臺的、位置不敏感的、不依存特定用戶的、可再綁定的S

20、aaS、PaaS、IaaS 不構成層次關系，SaaS是根本, 因為SaaS，才有PaaS和IaaS云計算平臺的架構服務的規(guī)模化、集約化和專門化導致互聯(lián)網上出現(xiàn)各種各樣的云計算平臺當前，云計算平臺以服務器集群為主服務器平臺的典型架構eSOA從SOA到SOC 服務計算導致用戶只為自己所得到的服務付費。服務高度綜合、集中、并專業(yè)化。一方面，龍頭服務企業(yè)凸顯；另一方面，又能夠滿足無窮無盡社區(qū)表現(xiàn)出的長尾市場的多樣化需求。三、云計算對信息產業(yè)的影響大量的中小企業(yè)軟件開發(fā)商面臨著工作平臺、工作對象、工作方式的重組:在云計算的大潮中要么做大做強服務，成為“大款” ；要么“傍大款”，依附發(fā)展；否則被淘汰。影響

21、一：信息產業(yè)面臨重新洗牌面向單機面向網絡面向軟件面向服務軟件工程需求工程工作平臺：工作對象：工作方式： 如同電力時代高壓傳輸問題解決之后大規(guī)模甚至超大規(guī)模核電廠的建立一樣，信息時代做大做強了的大規(guī)模甚至超大規(guī)模的數據中心、存儲中心、軟件中心、計算中心、媒體中心、娛樂中心、安全中心的建立，勢必成為未來云計算的基本要素。云計算使得信息服務的社會化成為可能，改變并精細化了大眾需求，催生新的市場和新的服務業(yè)；軟件產業(yè)結構發(fā)生變化，基于內容的信息服務業(yè)所占比重越來越大：單機的系統(tǒng)軟件和中間件所占比重逐漸減小，軟件依附于應用；嵌入式軟件更加個性化、柔性化。 影響二：軟件產業(yè)結構面臨調整2009年我國軟件產

22、值構成分析如：詩詞消費群體，My MP3，個人匹配興趣搜索引擎等 用戶只為自己所得到的服務付費。基于內容的服務（如音樂服務、視頻服務、交通服務、客戶關系管理服務、安全服務等）在高度綜合、集中、專業(yè)化的同時，又高度分化、碎片化、精細化。一方面，龍頭服務企業(yè)凸顯；另一方面，又能夠滿足無窮無盡社區(qū)表現(xiàn)出的長尾市場的多樣化需求。基于內容的服務高度精細化、碎片化舞劇服務中心歌劇服務中心京劇服務中心地方劇服務中心二人轉服務中心趙本山文藝作品服務中心出現(xiàn)各種各樣開源、開放的軟件合作開發(fā)社區(qū)。淡化軟件產品的生命周期，軟件在線更新，貼近用戶新需求，強調軟件的演化。軟件頻繁地被重用和重組，在第一時間滿足客戶需求。

23、影響三：軟件開發(fā)的組織方式面臨變革移動互聯(lián)網的帶寬迅速增長移動互聯(lián)網的實時性、交互性、低成本、個性化和位置感知能力，形成移動用戶迅速增長的服務需求云計算是物聯(lián)網的基礎影響四：移動互聯(lián)網上云計算來得更快68以網絡購物的信譽評價為例。萬維網上的知名服務吸引了大眾普通參與開發(fā)，確保了服務質量，擴大了應用覆蓋范圍，如維基百科。影響五：大眾普遍參與形成群體智慧網絡環(huán)境下泛在的計算手機、游戲機、數碼相機、電視機、上網本、筆記本電腦等功能交叉，差別細微，出現(xiàn)更多四不像的產品端產品 iX 更加簡潔、多樣，個性化對于端設備制造商而言：通過I/O接口連接網絡的端設備必須具備靈活的功能，能方便地進行功能的柔性重組，

24、解決廣義的“最后一公里”問題。影響六：網絡端設備多元化個性化云計算在中國：服務提振經濟四、搭建開源HADOOP云平臺Hadoop簡介 HadoopApache開源組織的一個分布式計算框架，可以在大量廉價的硬件設備組成的集群上運行應用程序，為應用程序提供了一組穩(wěn)定可靠的接口，旨在構建一個具有高可靠性和良好擴展性的分布式系統(tǒng) Hadoop云計算系統(tǒng)Google云計算系統(tǒng)Hadoop HDFSGoogle GFSHadoop MapReduceGoogle MapReduceHadoop HBaseGoogle BigtableHadoop ZooKeeperGoogle ChubbyHadoop

25、PigGoogle SawzallHadoop云計算系統(tǒng)與Google云計算系統(tǒng) Hadoop簡介開源項目Lucene：Java開發(fā)的開源高性能全文檢索工具包 開源項目Nutch：第一個開源的Web搜索引擎 Hadoop Hadoop簡介Hadoop項目組成 （1）Hadoop Common（2）Avro（3）Chukwa（4）HBase（5）HDFS（6）Hive（7）MapReduce（8）Pig（9）ZooKeeper Hadoop優(yōu)點 （1）可擴展（2）經濟（3）可靠（4）高效設計前提與目標 設計前提與目標硬件錯誤是常態(tài)而不是異常 流式數據訪問 超大規(guī)模數據集 簡單一致性模型 移動計算

26、比移動數據更簡單 異構軟硬件平臺間的可移植性 體系結構 HDFS主從結構體系NameNode：主控制服務器，負責維護文件系統(tǒng)的命名空間（Namespace）并協(xié)調客戶端對文件的訪問，記錄命名空間內的任何改動或命名空間本身的屬性改動 DataNode：負責它們所在的物理節(jié)點上的存儲管理 保障可靠性的措施 1冗余備份每個文件存儲成一系列數據塊（Block），默認塊大小為64MB（可配置）。為了容錯，文件的所有數據塊都會有副本（副本數量即復制因子，可配置） 2副本存放采用機架感知（Rack-aware）的策略來改進數據的可靠性、可用性和網絡帶寬的利用率 復制因子為3時數據塊分布情況 保障可靠性的措施

27、 3.心跳檢測NameNode周期性地從集群中的每個DataNode接受心跳包和塊報告，收到心跳包說明該DataNode工作正常 4.安全模式系統(tǒng)啟動時，NameNode會進入一個安全模式。此時不會出現(xiàn)數據塊的寫操作 5.數據完整性檢測 HDFS客戶端軟件實現(xiàn)了對HDFS文件內容的校驗和（Checksum）檢查 保障可靠性的措施 6.空間回收 文件被用戶或應用程序刪除時，先把它移動到/trash目錄里；只要還在這個目錄里，文件就可以被迅速恢復 7.元數據磁盤失效NameNode可以配置為支持維護映像文件和事務日志的多個副本，任何對映像文件或事務日志的修改，都將同步到它們的副本上 8.快照 快照

28、支持存儲某個時間的數據復制，當HDFS數據損壞時，可以回滾到過去一個已知正確的時間點。HDFS目前還不支持快照功能 邏輯模型MapReduce處理的任務基本要求：待處理的數據集可以分解成許多小的數據集，而且每一個小數據集都可以完全并行地進行處理 映射階段，用戶輸入的數據分割為M個片斷，對應M個Map任務。每一個Map操作的輸入是數據片斷中的鍵值對集合，Map操作調用用戶定義的Map函數，輸出一個中間態(tài)的鍵值對 集合。接著，按照中間態(tài)的K2將輸出的數據集進行排序，并生成一個新的元組，按照K2的范圍將這些元組分割為R個片斷 化簡階段，每一個Reduce操作的輸入是一個片斷，Reduce操作調用用戶

29、定義的Reduce函數，生成用戶需要的鍵值對進行輸出 實現(xiàn)機制 實現(xiàn)機制1分布式并行計算2本地計算3任務粒度4Combine（連接）5Partition（分區(qū)）6讀取中間結果7任務管道在Linux系統(tǒng)中安裝Hadoop 1安裝環(huán)境配置1）安裝Linux虛擬機 安裝軟件VMware Workstation v7.1.3 2）安裝SSH $ sudo apt-get install ssh3）安裝Java $ cd /usr/java/ $ /mnt/hgfs/share/jdk-6u24-linux-i586.bin4）解壓Hadoop安裝包 $ tar zxvf /mnt/hgfs/share

30、/hadoop-0.20.2.tar.gz5）編輯conf/hadoop-env.sh文件$ vi conf/hadoop-env.sh2安裝步驟 1）單機模式 默認情況下，Hadoop被配置成一個以非分布式模式運行的獨立Java進程，適合開始時做調試工作WordCount實例 $ mkdir input $ cd input $ echo hello world test1.txt $ echo hello hadoop test2.txt $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount input output 查看

31、執(zhí)行結果 $ cat output/*在Linux系統(tǒng)中安裝Hadoop 2安裝步驟 2）偽分布式模式 用不同的Java進程模擬分布式運行中各類節(jié)點 （1）Hadoop配置 在Linux系統(tǒng)中安裝Hadoop core-site.xml配置文檔hdfs-site.xml配置文檔mapred-site.xml配置文檔 （2）免密碼SSH設置 生成密鑰對 $ ssh-keygen -t rsa 一直按【Enter】鍵，按照默認的選項將生成的密鑰對保存在.ssh/id_rsa文件中 進入.ssh目錄 $ cp id_rsa.pub authorized_keys 執(zhí)行$ ssh localhost，

32、可以實現(xiàn)用SSH 連接并且不需要輸入密碼 在Linux系統(tǒng)中安裝Hadoop 將密鑰對保存在.ssh/id.rsa文件中 在Linux系統(tǒng)中安裝Hadoop （3）Hadoop運行 （a）格式化分布式文件系統(tǒng) $ bin/hadoop namenode format （b）啟動Hadoop守護進程 $ bin/start-all.sh 成功執(zhí)行后將會在本機上啟動NameNode、DataNode、JobTracker、TaskTracker和Secondary NameNode 5個新的Java進程 （c）運行WordCount實例 $ bin/hadoop dfs copyFromLocal

33、 input in $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount in out 查看Hadoop分布式文件系統(tǒng)上數據處理的結果 $ bin/hadoop dfs -cat out/* 把輸出文件從Hadoop分布式文件系統(tǒng)復制到本地文件系統(tǒng)查看 $ bin/hadoop dfs -get out output $ cat output/* （d） 停止Hadoop守護進程。最后需要停止Hadoop守護進程 $ bin/stop-all.sh3）完全分布式模式 （1）配置NameNode和DataNode （2）在所有的

34、機器上建立相同的用戶grid $ useradd -m grid $ passwd grid （3）SSH配置 在所有機器上建立.ssh目錄 $ mkdir .ssh 在ubuntunamenode上生成密鑰對 $ ssh-keygen -t rsa在Linux系統(tǒng)中安裝Hadoop 配置ubuntunamenode的/etc/hosts ubuntudata1和ubuntudata2的hosts配置 （3）SSH配置 然后一直按【Enter】鍵，就會按照默認的選項將生成的密鑰對保存在.ssh/id_rsa文件中 $cd /.ssh $cp id_rsa.pub authorized_keys $scp authorized_keys ubuntudata1:/home/grid/.ssh $scp authorized_keys ubuntudata2:/home/grid/.ssh 最后進入所有機器的.ssh目錄，改變authorized_keys文件的許可權限 $chmod 644 authorized_keys（4）在所有機器上配置Hadoop 在ubuntunamenode上配置 （a）編輯core-site.xml、hdfs-si