虛擬化與云計(jì)算實(shí)驗(yàn)報(bào)告.doc

1、WORD格式實(shí)驗(yàn)報(bào)告課程名稱虛擬化與云計(jì)算學(xué)院計(jì)算機(jī)學(xué)院專業(yè)班級(jí)11級(jí)網(wǎng)絡(luò)工程3 班學(xué)號(hào)3211006414XX李彩燕指導(dǎo)教師孫為軍專業(yè)資料整理WORD格式2021年 12 月 03日專業(yè)資料整理WORD格式EXSI 5.1.0安裝安裝準(zhǔn)備安裝 VSPHERE HYPERVISOR SEVEREXSI 5.1.0需要準(zhǔn)備：無(wú)操作系統(tǒng)的機(jī)器如有系統(tǒng)，安裝過(guò)程中會(huì)格式化掉，需切換到光盤啟動(dòng)模式。BOIS中開啟虛擬化設(shè)置virtualization 設(shè)置成 enableVMware vSphere Hypervisor自啟動(dòng)盤安裝過(guò)程1.安裝 VMware vSphere Hypervisor 確保

2、機(jī)器中無(wú)操作系統(tǒng)，并且設(shè)置BIOS到光盤啟動(dòng)模式2.插入光盤，引導(dǎo)進(jìn)入安裝界面。3.選擇需要安裝在硬盤專業(yè)資料整理WORD格式4.選擇 keyboard 類型，默認(rèn)US DEFAULT專業(yè)資料整理WORD格式5. 設(shè)置 ROOT的密碼專業(yè)資料整理WORD格式6. 安裝完畢后，請(qǐng)注意彈出光盤。然后重啟。7. F2 進(jìn)入系統(tǒng)配置界面。專業(yè)資料整理WORD格式8.選擇到 Configure management network去配置網(wǎng)絡(luò)。專業(yè)資料整理WORD格式9.配置完畢后，注意重啟網(wǎng)絡(luò)以使設(shè)置生效，點(diǎn)擊設(shè)置是否正確，點(diǎn)test management networkrestart manageme

3、nt network。至此， sever 端安裝完畢。，測(cè)試網(wǎng)絡(luò)專業(yè)資料整理WORD格式配置1. 添加機(jī)器名：在 DNS效勞器上添加相關(guān)正反解析設(shè)置。2. License 設(shè)置： Vsphere client 登陸后，清單配置已獲許可的功能編輯輸入 license專業(yè)資料整理WORD格式3. 時(shí)間與 NTP 效勞設(shè)置： Vsphere client 登陸后，清單配置時(shí)間配置屬性鉤選上 NTP 客戶端專業(yè)資料整理WORD格式選項(xiàng)中，NTP設(shè)置設(shè)添加NTP效勞器，然后在常規(guī)中開啟NTP 效勞專業(yè)資料整理WORD格式確定后等待5-10MIN ，時(shí)間會(huì)與NTP 效勞器同步。Hadoop 安裝專業(yè)資料整

4、理WORD格式Hadoop 是一個(gè)易于安裝易于使用的系統(tǒng)，他既適用于云計(jì)算的新人學(xué)習(xí)，也適用于對(duì)云計(jì)算已經(jīng)有一定研究的人深入學(xué)習(xí)包括網(wǎng)格計(jì)算，并行計(jì)算等等。Hadoop 源于nutch ，專業(yè)資料整理WORD格式hadoop 的兩位創(chuàng)始人想開發(fā)一款開源的網(wǎng)絡(luò)搜索引擎，但是在管理大量計(jì)算機(jī)時(shí)遇到了問(wèn)題。后來(lái) google 發(fā)表了關(guān)于GFS與 MapReduce 的論文，他們把論文中的思想應(yīng)用到了Nutch中。最初他們把系統(tǒng)應(yīng)用與20 臺(tái)機(jī)器上，但是很快他們發(fā)現(xiàn)為了處理互聯(lián)網(wǎng)上的數(shù)據(jù)，他們需要上千臺(tái)機(jī)器，這個(gè)問(wèn)題超出了兩個(gè)人能解決的程度。這是yahoo 對(duì) hadoop 產(chǎn)生了興趣并成立開發(fā)小組幫

5、助他們將這局部?jī)?nèi)容從nutch 中別離出來(lái)，成為一個(gè)獨(dú)立的系統(tǒng)，取名hadoop 。Nutch 也是 hadoop 的頂級(jí)工程之一，hadoop源于nutch，也獨(dú)立于nutch 。雖然兩者專業(yè)資料整理WORD格式已經(jīng)互相獨(dú)立，但是還有很嚴(yán)密的聯(lián)系。與此類似，hadoop也并不是一個(gè)單獨(dú)的工程，hadoop內(nèi)出了最根本的hadoop common 外，還有 hdfs， mapreduce ，zookeeper 。同時(shí)也有一些相關(guān)工程，比方avro， chukwa ， hbase， hive， mahout ， pig這些工程中很多都是從hadoop的子工程升級(jí)為apache 的頂級(jí)工程的，由此

6、可見hadoop 的熾熱。對(duì)于新手，我們推薦按照默認(rèn)方式安裝hadoop ，即同時(shí)安裝 hadoop common ， hadoophdfs， hadoop mapreduce 。目前， Hadoop 可以運(yùn)行在 linux ， unix，windows系統(tǒng)上。實(shí)際上 hadoop 是為在 linux平臺(tái)上使用而開發(fā)出來(lái)的。但是 hadoop 在一些主流的unix 版本甚至包括 Mac OS X也運(yùn)行良好。對(duì)于windows ，這個(gè)問(wèn)題有些復(fù)雜。如果你想在windows 上運(yùn)行 hadoop ，那么你必須先安裝 Cygwin 以模擬 linux 環(huán)境，然后再安裝hadoop 。安裝 hadoo

7、p 前，你需要先安裝java6 與 ssh，java6 必須是 sun 公司的 jdk ，這是 hadoop編譯運(yùn)行的需要， ssh 推薦安裝 openssh免費(fèi)的 ，安裝 ssh 是因?yàn)?hadoop 需要通過(guò) ssh 協(xié)議來(lái)啟動(dòng)各個(gè)節(jié)點(diǎn)上的守護(hù)進(jìn)程。專業(yè)資料整理WORD格式Hadoop安裝過(guò)程專業(yè)資料整理WORD格式安裝 hadoop 的過(guò)程很簡(jiǎn)單，首先，需要在每臺(tái)機(jī)器上安裝hadoop jdk1.6的使用也很簡(jiǎn)單，同時(shí)也很靈活。和 openssh專業(yè)資料整理WORD格式一安裝 jdk1.6：安裝 JDK是一個(gè)很簡(jiǎn)單的過(guò)程，以u(píng)buntu 為例。第一步：確?？梢赃B接到互聯(lián)網(wǎng)，輸入命令：su

8、do apt-get install sun-java6-jdk ，輸入密碼。在接下來(lái)的三個(gè)確認(rèn)中輸入或點(diǎn)擊Yes或 ok，你就可以安裝java 了。這里先解釋一下 sudo 這個(gè)命令， sudo 這個(gè)命令能夠允許普通用戶執(zhí)行某些或全部root 權(quán)限命令，sudo命令提供了詳盡的日志，可以記錄下每個(gè)用戶使用它做了什么；同時(shí)sudo 也提供了靈活的管理方式，可以限制用戶使用的命令；他的配置文件為/etc/sudoers 。Apt 全稱為 the Advanced Packaging Tool，是 ubuntu 的軟件包管理軟件，通過(guò)它你可以無(wú)需考慮軟件依賴關(guān)系，直接安裝你所需要的軟件，而apt

9、會(huì)自動(dòng)下載有依賴關(guān)系的包，并按順序安裝，在 ubuntu 中安裝有他的一個(gè)圖形化界面程序synaptic中文譯名為“新立得，有興趣的話也可以使用這個(gè)程序來(lái)安裝你所需要的軟件。如果你想了解更多可以查看一下關(guān)于 debian 方案的資料第二步，配置環(huán)境變量：輸入命令： sudo gedit /etc/profile ，輸入密碼，翻開profile 文件。在最下面輸入如下內(nèi)容：#set Java Environment專業(yè)資料整理WORD格式export JAVA_HOME=你的java安裝位置，一般為專業(yè)資料整理WORD格式/usr/lib/jvm/java-6-sunexport CLASSPA

10、TH=".:$JAVA_HOME/lib:$CLASSPATH"export PATH="$JAVA_HOME/:$PATH"這一步的意義是配置環(huán)境變量，使你的系統(tǒng)可以找到j(luò)ava。第三步 :驗(yàn)證 java 是否安裝成功。新建文件Helloworld.java輸入如下內(nèi)容：public class Helloworldpublic static void main(String args)專業(yè)資料整理WORD格式System.out.println( Hello World );專業(yè)資料整理WORD格式輸入命令：專業(yè)資料整理WORD格式j(luò)avac Hel

11、loworld.java;生成編譯文件專業(yè)資料整理WORD格式j(luò)ava Helloworld專業(yè)資料整理WORD格式如果出現(xiàn)“HelloWorld 說(shuō)明java 程序可以運(yùn)行，也即java 已經(jīng)安裝成功。專業(yè)資料整理WORD格式二安裝 openssh:同樣的，以u(píng)buntu 為例，用戶名為u：第一步，確認(rèn)已經(jīng)連接上互聯(lián)網(wǎng)，輸入命令：sudo apt-get install ssh第二步，配置可以無(wú)密碼登陸本機(jī):首先查看在u 用戶下是否存在.ssh 文件夾注意 ssh 前面有“ .，這是一個(gè)隱藏文件夾，輸入命令： ls a /home/u 。一般來(lái)說(shuō)，安裝ssh 時(shí)會(huì)自動(dòng)在當(dāng)前用戶下創(chuàng)立這個(gè)隱藏

12、文件夾，如果沒(méi)有的，可以手動(dòng)創(chuàng)立一個(gè)。接下來(lái)，輸入命令：專業(yè)資料整理WORD格式ssh-keygen -t dsa -P ''f /.ssh/id_dsa專業(yè)資料整理WORD格式在 ubuntu 中 ,代表當(dāng)前用戶文件夾，這里即/home/u 。這個(gè)命令會(huì)在.ssh 文件夾下創(chuàng)立兩個(gè)文件id_dsa 及 id_dsa.pub ，這是 ssh 的一對(duì)私鑰和公鑰，類似于鑰匙及鎖，把id_da.pub 公鑰追加到授權(quán)的key 里面去，輸入命令：專業(yè)資料整理WORD格式cat /.ssh/id_dsa.pub >> /.ssh/authorized_keys至此無(wú)密碼登陸本

13、機(jī)以安裝完成。第三步，驗(yàn)證 ssh 已安裝成功及無(wú)密碼登陸本機(jī)，輸入命令：ssh localhost如果可以登錄，說(shuō)明已經(jīng)安裝成功第四步，將 authorized_keys 拷貝到其他主機(jī)實(shí)際上，在hadoop 的安裝過(guò)程中，是否無(wú)密碼登陸不是必須的，但是如果不配置無(wú)密碼登陸的話，每次啟動(dòng) hadoop ，都需要輸入密碼以登陸到每臺(tái) daotanode ，考慮到一般的 hadoop 集群動(dòng)輒數(shù)十?dāng)?shù)百臺(tái)機(jī)器，因此一般來(lái)說(shuō)都會(huì)配置 ssh 的無(wú)密碼登陸。專業(yè)資料整理WORD格式三安裝hadoop：專業(yè)資料整理WORD格式在安裝 hadoop 前，我們需要先修改主機(jī)的幾個(gè)配置文件：在下面這個(gè)文件，添

14、加你的主機(jī)需要識(shí)別的主機(jī)名及其對(duì)應(yīng)的ip 地址專業(yè)資料整理WORD格式/etc/hosts:專業(yè)資料整理WORD格式localhost專業(yè)資料整理WORD格式 master slave slave2在下面這個(gè)文件修改你的主機(jī)名/etc/hostname:專業(yè)資料整理WORD格式你的主機(jī)名如master， slave1等專業(yè)資料整理WORD格式同時(shí)根據(jù)需要，我們要在/home/ 你的用戶名這個(gè)文件夾下創(chuàng)立tmp 文件夾作為的存儲(chǔ)文件夾。hdfs專業(yè)資料整理WORD格式在 master 上，下載 hadoop-0

15、.20.2.tar.gz 并將其解壓，這里將其解壓到用戶目錄下，一般為 /home/ 你的用戶名 / ，這里假設(shè)用戶名為u，進(jìn)入 conf 文件夾，修改配置文件：專業(yè)資料整理WORD格式conf/Hadoop-env.sh:專業(yè)資料整理WORD格式export JAVA_HOME=“你的java安裝地址專業(yè)資料整理WORD格式指定java 位置專業(yè)資料整理WORD格式conf/core-site.xml:<?xml version="1.0"?>專業(yè)資料整理WORD格式<?xml-stylesheettype="text/xsl"hre

16、f="configuration.xsl"?>專業(yè)資料整理WORD格式<!- Put site-specific property overrides in this file. -><configuration><property><name></name><value>hdfs:/master:9000</value></property><property><name>hadoop.tmp.dir</name

17、><value>/home/u/tmp</value></property></configuration>這是 hadoop 核心的配置文件，這里配置的是 hdfs hadoop 的分布式文件系統(tǒng)的地址及端口號(hào)，后一項(xiàng)配置為 hdfs 的存儲(chǔ)文件夾，這個(gè)文件夾需要你自己創(chuàng)立。conf/hdfs-site.xml:<?xml version="1.0"?>專業(yè)資料整理WORD格式<?xml-stylesheettype="text/xsl"href="configurati

18、on.xsl"?>專業(yè)資料整理WORD格式<!- Put site-specific property overrides in this file. -><configuration><property><name>dfs.replication</name><value>2</value></property><property><name>.dir</name><value>/home/u/hdfs/name<

19、;/value></property><property><name>dfs.data.dir</name><value>/home/u/hdfs/data</value></property>專業(yè)資料整理WORD格式</configuration>這是 hadoop 中 hdfs 的配置，配置的備份方式，默認(rèn)為3。conf/mapred-site.xml:<?xml version="1.0"?>專業(yè)資料整理WORD格式<?xml-stylesheett

20、ype="text/xsl"href="configuration.xsl"?>專業(yè)資料整理WORD格式<!- Put site-specific property overrides in this file. -><configuration><property><name>mapred.job.tracker</name><value>master:9001</value></property></configuration>這是 ha

21、doop 中 mapreduce 的配置文件，配置的是jobtracker 的地址及端口conf/masters:master這個(gè)文件指明了誰(shuí)是master ，也可以填寫ip 地址，填寫主機(jī)名是為了便于區(qū)分。conf/slaves:slave1slave2這個(gè)文件指明了誰(shuí)是slave，同樣也可以填寫ip 地址。需要注意的是，如果安裝的是0.20之前的版本，那么只有一個(gè)配置文件，即為hadoop-site.xml 。另一個(gè)需要注意的是 hadoop 的配置不僅僅這幾項(xiàng)， hadoop 在啟動(dòng)時(shí)，會(huì)用這幾項(xiàng)的配置去修改默認(rèn)配置，也就是說(shuō)， hadoop 有完整的默認(rèn)配置，你在這里進(jìn)展配置只是相當(dāng)于

22、修改 hadoop 的默認(rèn)配置，這種做法既可以保證程序的平安性，不易出錯(cuò)，對(duì)于用戶來(lái)說(shuō)，這種做法也很方便。如果你想查看hadoop 的默認(rèn)配置，可以到 docs 中查看 core-default.html,專業(yè)資料整理WORD格式hdfs-default.html, 和 mapred-default.html修改完這幾個(gè)文件之后，通過(guò)scpslave2，用戶名為u這三個(gè)文件0.20 版本 .命令將hadoop 文件夾發(fā)送到其他節(jié)點(diǎn)上slave1，專業(yè)資料整理WORD格式scpscpr /home/u/hadoop slave1:/home/u/r /home/u/hadoop slave2:/

23、home/u/專業(yè)資料整理WORD格式至此， hadoop 就可以說(shuō)是安裝完成了啟動(dòng) hadoop 前，需格式化hadoop 的文件系統(tǒng)hdfs這點(diǎn)與windows分區(qū)后的卷總是需要格式化的，在 master 上，進(jìn)入hadoop 文件夾輸入命令： bin/hadoop namenode format格式化文件系統(tǒng)，接下來(lái)，啟動(dòng)hadoop ，輸入命令：是一樣的，重新專業(yè)資料整理WORD格式bin/start-all.sh全部啟動(dòng)最后，驗(yàn)證hadoop 是否安裝成功。翻開瀏覽器，分別輸入網(wǎng)址專業(yè)資料整理WORD格式:/localhost:50030 (mapreduce的web頁(yè)面 )專業(yè)資料

24、整理WORD格式:/localhost:50070 (hdfs的web頁(yè)面 )專業(yè)資料整理WORD格式如果都能查看，說(shuō)明hadoop 已經(jīng)安裝成功。對(duì)于 hadoop 來(lái)說(shuō)， mapreduce 及 hdfs 都是必須的，但是如果有必要的話，你依然可以只啟動(dòng) hdfs start-dfs.sh 或 mapreduce start-mapred.sh 如果你的 hadoop 并沒(méi)有正常工作，那你可查看 log 文件加下的日志內(nèi)容一查看哪里出現(xiàn)問(wèn)題。五向 hadoop 集群添加新的節(jié)點(diǎn)Hadoop 的管理機(jī)制很靈活，你可以動(dòng)態(tài)的添加節(jié)點(diǎn)，配置新添加的三個(gè)節(jié)點(diǎn)，我們先給他們分配 ip 地址10.37

25、.128.5slave,datanode,tasktrackerslave3主機(jī)名slave,datanode,tasktrackerslave4主機(jī)名slave,datanode,tasktrackerslave5主機(jī)名專業(yè)資料整理WORD格式同樣的，在新添加的節(jié)點(diǎn)上安裝jdk1.6 及 openssh。同樣進(jìn)展 hadoop 的配置，當(dāng)然你也可以直接從master 拷貝，修改masters 及件經(jīng)測(cè)試，如果不修改，也可以連接上，但是你下次啟動(dòng)時(shí)需要再次手動(dòng)連入集群輸入以下命令：slaves 文。專業(yè)資料整理WORD格式bin/hadoop-dae

26、mon.sh -config ./conf start datanodebin/hadoop-daemon.sh -config ./conf start tasktracker這樣就可以把新的節(jié)點(diǎn)聯(lián)入集群中。從上面這個(gè)你可以很明顯的看出，第一步是啟動(dòng)datanode ，第二步是啟動(dòng)tasktracker 。這里在介紹兩個(gè)命令，就是重啟壞死的節(jié)點(diǎn)，排除問(wèn)題后，在壞死的節(jié)點(diǎn)上輸入命令：bin/hadoop-daemon.sh start datanodebin/hadoop-daemon.sh start jobtracker其實(shí)，參照上例，你可以看出，這個(gè)命令就是重啟節(jié)點(diǎn)，也就是說(shuō)，在重啟的節(jié)

27、點(diǎn)上輸入啟動(dòng)命令，就可以把節(jié)點(diǎn)重新聯(lián)入hadoop 集群。以上就是我們配置hadoop 及日常使用時(shí)遇到的一些小問(wèn)題。同時(shí)我們搭建了一個(gè)用于專業(yè)資料整理WORD格式mapreduce編程的，你可以在上面練習(xí)編寫 ?，F(xiàn)在開放注冊(cè)。想要學(xué)習(xí)mapreduce程序，的地址是mapreduce 編程的朋友可以先到這個(gè)專業(yè)資料整理WORD格式上練習(xí)一下。專業(yè)資料整理WORD格式你對(duì)云計(jì)算的感想以及認(rèn)識(shí)認(rèn)識(shí)：云計(jì)算Cloud Computing 是網(wǎng)格計(jì)算 Grid Computing、分布式計(jì)算 DistributedComputing 、并行計(jì)算 Parallel Computing、效用計(jì)算 Utility Com puting、網(wǎng)絡(luò)存儲(chǔ) Network Storage Technologies 、虛擬化 Virtualization、負(fù)載均衡 LoadBalance 等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)開展融合的產(chǎn)物。它旨在通過(guò)網(wǎng)絡(luò)把多個(gè)本錢相對(duì)較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的完美系統(tǒng)，并借助SaaS、PaaS、 IaaS 、MSP等先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶手中。Cloud Computing的一個(gè)核心理念就是通過(guò)不斷提高“云的處理能力，進(jìn)而減少用戶終端的處理負(fù)擔(dān)，最終使用戶終端簡(jiǎn)化成一個(gè)單純的輸入輸出設(shè)備，并能按需享受“云的強(qiáng)大