虛擬化與云計算實驗報告.doc

1、WORD格式實驗報告課程名稱虛擬化與云計算學院計算機學院專業(yè)班級11級網(wǎng)絡工程3 班學號3211006414XX李彩燕指導教師孫為軍專業(yè)資料整理WORD格式2021年 12 月 03日專業(yè)資料整理WORD格式EXSI 5.1.0安裝安裝準備安裝 VSPHERE HYPERVISOR SEVEREXSI 5.1.0需要準備：無操作系統(tǒng)的機器如有系統(tǒng)，安裝過程中會格式化掉，需切換到光盤啟動模式。BOIS中開啟虛擬化設置virtualization 設置成 enableVMware vSphere Hypervisor自啟動盤安裝過程1.安裝 VMware vSphere Hypervisor 確保

2、機器中無操作系統(tǒng)，并且設置BIOS到光盤啟動模式2.插入光盤，引導進入安裝界面。3.選擇需要安裝在硬盤專業(yè)資料整理WORD格式4.選擇 keyboard 類型，默認US DEFAULT專業(yè)資料整理WORD格式5. 設置 ROOT的密碼專業(yè)資料整理WORD格式6. 安裝完畢后，請注意彈出光盤。然后重啟。7. F2 進入系統(tǒng)配置界面。專業(yè)資料整理WORD格式8.選擇到 Configure management network去配置網(wǎng)絡。專業(yè)資料整理WORD格式9.配置完畢后，注意重啟網(wǎng)絡以使設置生效，點擊設置是否正確，點test management networkrestart manageme

3、nt network。至此， sever 端安裝完畢。，測試網(wǎng)絡專業(yè)資料整理WORD格式配置1. 添加機器名：在 DNS效勞器上添加相關正反解析設置。2. License 設置： Vsphere client 登陸后，清單配置已獲許可的功能編輯輸入 license專業(yè)資料整理WORD格式3. 時間與 NTP 效勞設置： Vsphere client 登陸后，清單配置時間配置屬性鉤選上 NTP 客戶端專業(yè)資料整理WORD格式選項中，NTP設置設添加NTP效勞器，然后在常規(guī)中開啟NTP 效勞專業(yè)資料整理WORD格式確定后等待5-10MIN ，時間會與NTP 效勞器同步。Hadoop 安裝專業(yè)資料整

4、理WORD格式Hadoop 是一個易于安裝易于使用的系統(tǒng)，他既適用于云計算的新人學習，也適用于對云計算已經(jīng)有一定研究的人深入學習包括網(wǎng)格計算，并行計算等等。Hadoop 源于nutch ，專業(yè)資料整理WORD格式hadoop 的兩位創(chuàng)始人想開發(fā)一款開源的網(wǎng)絡搜索引擎，但是在管理大量計算機時遇到了問題。后來 google 發(fā)表了關于GFS與 MapReduce 的論文，他們把論文中的思想應用到了Nutch中。最初他們把系統(tǒng)應用與20 臺機器上，但是很快他們發(fā)現(xiàn)為了處理互聯(lián)網(wǎng)上的數(shù)據(jù)，他們需要上千臺機器，這個問題超出了兩個人能解決的程度。這是yahoo 對 hadoop 產(chǎn)生了興趣并成立開發(fā)小組幫

5、助他們將這局部內(nèi)容從nutch 中別離出來，成為一個獨立的系統(tǒng)，取名hadoop 。Nutch 也是 hadoop 的頂級工程之一，hadoop源于nutch，也獨立于nutch 。雖然兩者專業(yè)資料整理WORD格式已經(jīng)互相獨立，但是還有很嚴密的聯(lián)系。與此類似，hadoop也并不是一個單獨的工程，hadoop內(nèi)出了最根本的hadoop common 外，還有 hdfs， mapreduce ，zookeeper 。同時也有一些相關工程，比方avro， chukwa ， hbase， hive， mahout ， pig這些工程中很多都是從hadoop的子工程升級為apache 的頂級工程的，由此

6、可見hadoop 的熾熱。對于新手，我們推薦按照默認方式安裝hadoop ，即同時安裝 hadoop common ， hadoophdfs， hadoop mapreduce 。目前， Hadoop 可以運行在 linux ， unix，windows系統(tǒng)上。實際上 hadoop 是為在 linux平臺上使用而開發(fā)出來的。但是 hadoop 在一些主流的unix 版本甚至包括 Mac OS X也運行良好。對于windows ，這個問題有些復雜。如果你想在windows 上運行 hadoop ，那么你必須先安裝 Cygwin 以模擬 linux 環(huán)境，然后再安裝hadoop 。安裝 hadoo

7、p 前，你需要先安裝java6 與 ssh，java6 必須是 sun 公司的 jdk ，這是 hadoop編譯運行的需要， ssh 推薦安裝 openssh免費的 ，安裝 ssh 是因為 hadoop 需要通過 ssh 協(xié)議來啟動各個節(jié)點上的守護進程。專業(yè)資料整理WORD格式Hadoop安裝過程專業(yè)資料整理WORD格式安裝 hadoop 的過程很簡單，首先，需要在每臺機器上安裝hadoop jdk1.6的使用也很簡單，同時也很靈活。和 openssh專業(yè)資料整理WORD格式一安裝 jdk1.6：安裝 JDK是一個很簡單的過程，以ubuntu 為例。第一步：確?？梢赃B接到互聯(lián)網(wǎng)，輸入命令：su

8、do apt-get install sun-java6-jdk ，輸入密碼。在接下來的三個確認中輸入或點擊Yes或 ok，你就可以安裝java 了。這里先解釋一下 sudo 這個命令， sudo 這個命令能夠允許普通用戶執(zhí)行某些或全部root 權(quán)限命令，sudo命令提供了詳盡的日志，可以記錄下每個用戶使用它做了什么；同時sudo 也提供了靈活的管理方式，可以限制用戶使用的命令；他的配置文件為/etc/sudoers 。Apt 全稱為 the Advanced Packaging Tool，是 ubuntu 的軟件包管理軟件，通過它你可以無需考慮軟件依賴關系，直接安裝你所需要的軟件，而apt

9、會自動下載有依賴關系的包，并按順序安裝，在 ubuntu 中安裝有他的一個圖形化界面程序synaptic中文譯名為“新立得，有興趣的話也可以使用這個程序來安裝你所需要的軟件。如果你想了解更多可以查看一下關于 debian 方案的資料第二步，配置環(huán)境變量：輸入命令： sudo gedit /etc/profile ，輸入密碼，翻開profile 文件。在最下面輸入如下內(nèi)容：#set Java Environment專業(yè)資料整理WORD格式export JAVA_HOME=你的java安裝位置，一般為專業(yè)資料整理WORD格式/usr/lib/jvm/java-6-sunexport CLASSPA

10、TH=".:$JAVA_HOME/lib:$CLASSPATH"export PATH="$JAVA_HOME/:$PATH"這一步的意義是配置環(huán)境變量，使你的系統(tǒng)可以找到java。第三步 :驗證 java 是否安裝成功。新建文件Helloworld.java輸入如下內(nèi)容：public class Helloworldpublic static void main(String args)專業(yè)資料整理WORD格式System.out.println( Hello World );專業(yè)資料整理WORD格式輸入命令：專業(yè)資料整理WORD格式javac Hel

11、loworld.java;生成編譯文件專業(yè)資料整理WORD格式java Helloworld專業(yè)資料整理WORD格式如果出現(xiàn)“HelloWorld 說明java 程序可以運行，也即java 已經(jīng)安裝成功。專業(yè)資料整理WORD格式二安裝 openssh:同樣的，以ubuntu 為例，用戶名為u：第一步，確認已經(jīng)連接上互聯(lián)網(wǎng)，輸入命令：sudo apt-get install ssh第二步，配置可以無密碼登陸本機:首先查看在u 用戶下是否存在.ssh 文件夾注意 ssh 前面有“ .，這是一個隱藏文件夾，輸入命令： ls a /home/u 。一般來說，安裝ssh 時會自動在當前用戶下創(chuàng)立這個隱藏

12、文件夾，如果沒有的，可以手動創(chuàng)立一個。接下來，輸入命令：專業(yè)資料整理WORD格式ssh-keygen -t dsa -P ''f /.ssh/id_dsa專業(yè)資料整理WORD格式在 ubuntu 中 ,代表當前用戶文件夾，這里即/home/u 。這個命令會在.ssh 文件夾下創(chuàng)立兩個文件id_dsa 及 id_dsa.pub ，這是 ssh 的一對私鑰和公鑰，類似于鑰匙及鎖，把id_da.pub 公鑰追加到授權(quán)的key 里面去，輸入命令：專業(yè)資料整理WORD格式cat /.ssh/id_dsa.pub >> /.ssh/authorized_keys至此無密碼登陸本

13、機以安裝完成。第三步，驗證 ssh 已安裝成功及無密碼登陸本機，輸入命令：ssh localhost如果可以登錄，說明已經(jīng)安裝成功第四步，將 authorized_keys 拷貝到其他主機實際上，在hadoop 的安裝過程中，是否無密碼登陸不是必須的，但是如果不配置無密碼登陸的話，每次啟動 hadoop ，都需要輸入密碼以登陸到每臺 daotanode ，考慮到一般的 hadoop 集群動輒數(shù)十數(shù)百臺機器，因此一般來說都會配置 ssh 的無密碼登陸。專業(yè)資料整理WORD格式三安裝hadoop：專業(yè)資料整理WORD格式在安裝 hadoop 前，我們需要先修改主機的幾個配置文件：在下面這個文件，添

14、加你的主機需要識別的主機名及其對應的ip 地址專業(yè)資料整理WORD格式/etc/hosts:專業(yè)資料整理WORD格式localhost專業(yè)資料整理WORD格式 master slave slave2在下面這個文件修改你的主機名/etc/hostname:專業(yè)資料整理WORD格式你的主機名如master， slave1等專業(yè)資料整理WORD格式同時根據(jù)需要，我們要在/home/ 你的用戶名這個文件夾下創(chuàng)立tmp 文件夾作為的存儲文件夾。hdfs專業(yè)資料整理WORD格式在 master 上，下載 hadoop-0

15、.20.2.tar.gz 并將其解壓，這里將其解壓到用戶目錄下，一般為 /home/ 你的用戶名 / ，這里假設用戶名為u，進入 conf 文件夾，修改配置文件：專業(yè)資料整理WORD格式conf/Hadoop-env.sh:專業(yè)資料整理WORD格式export JAVA_HOME=“你的java安裝地址專業(yè)資料整理WORD格式指定java 位置專業(yè)資料整理WORD格式conf/core-site.xml:<?xml version="1.0"?>專業(yè)資料整理WORD格式<?xml-stylesheettype="text/xsl"hre

16、f="configuration.xsl"?>專業(yè)資料整理WORD格式<!- Put site-specific property overrides in this file. -><configuration><property><name></name><value>hdfs:/master:9000</value></property><property><name>hadoop.tmp.dir</name

17、><value>/home/u/tmp</value></property></configuration>這是 hadoop 核心的配置文件，這里配置的是 hdfs hadoop 的分布式文件系統(tǒng)的地址及端口號，后一項配置為 hdfs 的存儲文件夾，這個文件夾需要你自己創(chuàng)立。conf/hdfs-site.xml:<?xml version="1.0"?>專業(yè)資料整理WORD格式<?xml-stylesheettype="text/xsl"href="configurati

18、on.xsl"?>專業(yè)資料整理WORD格式<!- Put site-specific property overrides in this file. -><configuration><property><name>dfs.replication</name><value>2</value></property><property><name>.dir</name><value>/home/u/hdfs/name<

19、;/value></property><property><name>dfs.data.dir</name><value>/home/u/hdfs/data</value></property>專業(yè)資料整理WORD格式</configuration>這是 hadoop 中 hdfs 的配置，配置的備份方式，默認為3。conf/mapred-site.xml:<?xml version="1.0"?>專業(yè)資料整理WORD格式<?xml-stylesheett

20、ype="text/xsl"href="configuration.xsl"?>專業(yè)資料整理WORD格式<!- Put site-specific property overrides in this file. -><configuration><property><name>mapred.job.tracker</name><value>master:9001</value></property></configuration>這是 ha

21、doop 中 mapreduce 的配置文件，配置的是jobtracker 的地址及端口conf/masters:master這個文件指明了誰是master ，也可以填寫ip 地址，填寫主機名是為了便于區(qū)分。conf/slaves:slave1slave2這個文件指明了誰是slave，同樣也可以填寫ip 地址。需要注意的是，如果安裝的是0.20之前的版本，那么只有一個配置文件，即為hadoop-site.xml 。另一個需要注意的是 hadoop 的配置不僅僅這幾項， hadoop 在啟動時，會用這幾項的配置去修改默認配置，也就是說， hadoop 有完整的默認配置，你在這里進展配置只是相當于

22、修改 hadoop 的默認配置，這種做法既可以保證程序的平安性，不易出錯，對于用戶來說，這種做法也很方便。如果你想查看hadoop 的默認配置，可以到 docs 中查看 core-default.html,專業(yè)資料整理WORD格式hdfs-default.html, 和 mapred-default.html修改完這幾個文件之后，通過scpslave2，用戶名為u這三個文件0.20 版本 .命令將hadoop 文件夾發(fā)送到其他節(jié)點上slave1，專業(yè)資料整理WORD格式scpscpr /home/u/hadoop slave1:/home/u/r /home/u/hadoop slave2:/

23、home/u/專業(yè)資料整理WORD格式至此， hadoop 就可以說是安裝完成了啟動 hadoop 前，需格式化hadoop 的文件系統(tǒng)hdfs這點與windows分區(qū)后的卷總是需要格式化的，在 master 上，進入hadoop 文件夾輸入命令： bin/hadoop namenode format格式化文件系統(tǒng)，接下來，啟動hadoop ，輸入命令：是一樣的，重新專業(yè)資料整理WORD格式bin/start-all.sh全部啟動最后，驗證hadoop 是否安裝成功。翻開瀏覽器，分別輸入網(wǎng)址專業(yè)資料整理WORD格式:/localhost:50030 (mapreduce的web頁面 )專業(yè)資料

24、整理WORD格式:/localhost:50070 (hdfs的web頁面 )專業(yè)資料整理WORD格式如果都能查看，說明hadoop 已經(jīng)安裝成功。對于 hadoop 來說， mapreduce 及 hdfs 都是必須的，但是如果有必要的話，你依然可以只啟動 hdfs start-dfs.sh 或 mapreduce start-mapred.sh 如果你的 hadoop 并沒有正常工作，那你可查看 log 文件加下的日志內(nèi)容一查看哪里出現(xiàn)問題。五向 hadoop 集群添加新的節(jié)點Hadoop 的管理機制很靈活，你可以動態(tài)的添加節(jié)點，配置新添加的三個節(jié)點，我們先給他們分配 ip 地址10.37

25、.128.5slave,datanode,tasktrackerslave3主機名slave,datanode,tasktrackerslave4主機名slave,datanode,tasktrackerslave5主機名專業(yè)資料整理WORD格式同樣的，在新添加的節(jié)點上安裝jdk1.6 及 openssh。同樣進展 hadoop 的配置，當然你也可以直接從master 拷貝，修改masters 及件經(jīng)測試，如果不修改，也可以連接上，但是你下次啟動時需要再次手動連入集群輸入以下命令：slaves 文。專業(yè)資料整理WORD格式bin/hadoop-dae

26、mon.sh -config ./conf start datanodebin/hadoop-daemon.sh -config ./conf start tasktracker這樣就可以把新的節(jié)點聯(lián)入集群中。從上面這個你可以很明顯的看出，第一步是啟動datanode ，第二步是啟動tasktracker 。這里在介紹兩個命令，就是重啟壞死的節(jié)點，排除問題后，在壞死的節(jié)點上輸入命令：bin/hadoop-daemon.sh start datanodebin/hadoop-daemon.sh start jobtracker其實，參照上例，你可以看出，這個命令就是重啟節(jié)點，也就是說，在重啟的節(jié)

27、點上輸入啟動命令，就可以把節(jié)點重新聯(lián)入hadoop 集群。以上就是我們配置hadoop 及日常使用時遇到的一些小問題。同時我們搭建了一個用于專業(yè)資料整理WORD格式mapreduce編程的，你可以在上面練習編寫 。現(xiàn)在開放注冊。想要學習mapreduce程序，的地址是mapreduce 編程的朋友可以先到這個專業(yè)資料整理WORD格式上練習一下。專業(yè)資料整理WORD格式你對云計算的感想以及認識認識：云計算Cloud Computing 是網(wǎng)格計算 Grid Computing、分布式計算 DistributedComputing 、并行計算 Parallel Computing、效用計算 Utility Com puting、網(wǎng)絡存儲 Network Storage Technologies 、虛擬化 Virtualization、負載均衡 LoadBalance 等傳統(tǒng)計算機技術和網(wǎng)絡技術開展融合的產(chǎn)物。它旨在通過網(wǎng)絡把多個本錢相對較低的計算實體整合成一個具有強大計算能力的完美系統(tǒng)，并借助SaaS、PaaS、 IaaS 、MSP等先進的商業(yè)模式把這強大的計算能力分布到終端用戶手中。Cloud Computing的一個核心理念就是通過不斷提高“云的處理能力，進而減少用戶終端的處理負擔，最終使用戶終端簡化成一個單純的輸入輸出設備，并能按需享受“云的強大