虛擬化與云計算實驗報告

虛擬化與云計算目錄一、實驗目的錯誤!未定義書簽。二、實驗內(nèi)容錯誤!未定義書簽。三、實驗原理錯誤!未定義書簽。TOC\o"1-5"\h\z\o"CurrentDocument"四、實驗步驟及實驗結(jié)果5\o"CurrentDocument"五、實驗遇到的問題及其解決方法9\o"CurrentDocument"六、實驗結(jié)論10一、實驗目的實驗一：掌握在Linux上配置iSCSItarget服務的方法。掌握在不同的操作系統(tǒng)平臺上使用iSCSIinitiator的方法。實驗三：掌握在集群上（使用虛擬機模擬）安裝部署Hadoop-HDFS的方法。掌握在HDFS運行MapReduce任務的方法理解MapReduce編程模型的原理，初步使用MapReduce模型編程。二、實驗內(nèi)容實驗一：配置和使用SAN存儲，設置連接IPSAN設備；實驗三：安裝、部署、使用Hadoop-HDFS和配置運行MapReduce程序，使用MapReduce編程。三、實驗原理實驗一：SAN（StorageAreaNetwork，存儲局域網(wǎng)絡）的誕生，使存儲空間得到更加充分的利用以及管理更加有效。SAN是一種將存儲設備、連接設備和接口集成在一個高速網(wǎng)絡中的技術。SAN本身就是一個存儲網(wǎng)絡，承擔了數(shù)據(jù)存儲任務，SAN網(wǎng)絡與LAN業(yè)務網(wǎng)絡相隔離，存儲數(shù)據(jù)流不會占用業(yè)務網(wǎng)絡帶寬。在SAN網(wǎng)絡中，所有的數(shù)據(jù)傳輸在高速、高帶寬的網(wǎng)絡中進行，SAN存儲實現(xiàn)的是直接對物理硬件的塊級存儲訪問，提高了存儲的性能和升級能力。早期的SAN采用的是光纖通道（FC，F(xiàn)iberChannel）技術，所以，以前的SAN多指采用光纖通道的存儲局域網(wǎng)絡，到了iSCSI協(xié)議出現(xiàn)以后，為了區(qū)分，業(yè)界就把SAN分為FCSAN和IPSAN。iSCSI（互聯(lián)網(wǎng)小型計算機系統(tǒng)接口）是一種在TCP/IP上進行數(shù)據(jù)塊傳輸?shù)臉藴省Ｋ怯蒀isco和IBM兩家發(fā)起的，并且得到了各大存儲廠商的大力支持。iSCSI可以實現(xiàn)在IP網(wǎng)絡上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行快速的數(shù)據(jù)存取備份操作。iSCSI標準在2003年2月11日由IETF(互聯(lián)網(wǎng)工程任務組)認證通過。iSCSI繼承了兩大傳統(tǒng)技術：SCSI和TCP/IP協(xié)議。這為iSCSI的發(fā)展奠定了堅實的基礎。基于iSCSI的存儲系統(tǒng)只需要不多的投資便可實現(xiàn)SAN存儲功能，甚至直接利用現(xiàn)有的TCP/IP網(wǎng)絡。相對于以往的網(wǎng)絡存儲技術，它解決了開放性、容量、傳輸速度、兼容性、安全性等問題，其優(yōu)越的性能使其備受關注與青睞。在實際工作時，是將SCSI命令和數(shù)據(jù)封裝到TCP/IP包中，然后通過IP網(wǎng)絡進行傳輸，具體的工作流程如下：iSCSI系統(tǒng)由SCSI適配器發(fā)送一個SCSI命令；命令封裝到TCP/IP包中并送入到以太網(wǎng)絡；接收方從TCP/IP包中抽取SCSI命令并執(zhí)行相關操作；把返回的SCSI命令和數(shù)據(jù)封裝到TCP/IP包中，將它們發(fā)回到發(fā)送方；系統(tǒng)提取出數(shù)據(jù)或命令，并把它們傳回SCSI子系統(tǒng)。實驗三：1.HDFS指的是Hadoop分布式文件系統(tǒng)，是根據(jù)Google的GFS的論文，由DougCutting使用Java開發(fā)的開源項目°HDFS本身是Hadoop項目的一部分，為Hadoop提供了底層的數(shù)據(jù)存儲，以供上層的各種實際應用使用(如Map/Reduce)oHDFS是典型的Master/Slave集群架構，由一個NameNode和多個DataNode組成，NameNode只能是一個，扮演著Master的角色，負責對具體存儲塊的元數(shù)據(jù)進行保存，如某個存儲塊具體保存在哪個DataNode上；DataNode可以為多個，扮演著Slave的角色，負責對具體的存儲塊進行保存，一個相同的存儲塊根據(jù)配置可以保存到多個DataNode上，以保持數(shù)據(jù)的高可用性?？蛻舳伺cHDFS交互時，典型的，會先詢問NameNode具體的存儲塊在哪個DataNode上，然后客戶端會直接聯(lián)系相應的DataNode，來獲取或?qū)懭霐?shù)據(jù)。各個DataNode會定時發(fā)送心跳至NameNode，以便NameNode了解DataNode的可用狀態(tài)及存儲狀態(tài)，這樣可以保證某一個DataNode掛掉，NameNode可以做相應處理，以保證數(shù)據(jù)的高可用性。HDFS的目標就是使用大量的廉價PC機，來維護海量的大數(shù)據(jù)塊，并且保證數(shù)據(jù)的高可用性，并且HDFS集群會隨著更多PC機的加入，而提高數(shù)據(jù)的存儲量（當然這與具體環(huán)境的硬盤相關）與吞吐量（當然這與具體環(huán)境的網(wǎng)卡帶寬相關），單個Hadoop集群一般最大可達2000個節(jié)點。2.MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（化簡）"，和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。當前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。四、實驗步驟及實驗結(jié)果實驗一：實驗場景：Linux環(huán)境（本次實驗使用的是Ubuntu11.04操作系統(tǒng)）安裝iSCSIinitiator軟件實驗方式：兩人一組，我在小組中擔任客戶端角色。實驗詳細步驟見實驗一手冊，下面為實驗關鍵結(jié)果截圖和實驗中的新發(fā)現(xiàn):登錄到iSCSItarget上root甲ubuntu：-#iscsiadm-mdiscovery-tst-p192.16B.1.1S404:3260,1iqn.2001-0+.com.example:myroot(aubuntu：~#iscsiadm-mnode04:3269,1.example:my檢查硬盤情況，此時應該增加了一塊新的硬盤宓心-（結(jié)果）raar|)uhLntu:-i】虹值占di-n--tar^ftnaatiiqii.2M1-S4.CH.exi!iplEJk|--fHrtjl1.161--Lo^inlogginginto[ifscei柑tirjetiiqfl.ZWLU.cga.ticaaple^y.porUl:1W.1U.1.1M132HILoqdfltoiiT&ce：dcfMilt,lar^ct：up.ZNL-H.tM.Ntaaplc：iy,portal：l^.UB.l.iNjSSMli：wu?bfulrOT【MuntuTNisk1吐訓21.S只網(wǎng)叫怔持5峋％a相的葉jt瑚虹瀚caIWiunih?QtindtrjH1滿5■512-ennho呷t虹坍h+「d,nVralRWi^lffibw微蚌f5U職群jUM'n^hif擊tymbiskMaOerIkSMIIM預期實驗結(jié)果和實際結(jié)果相同，增加了一塊新的硬盤，只是中間在連接時出現(xiàn)了問題，后通過修改節(jié)點信息解決了問題，把之前的絕對路徑改為簡單的字符串，即圖中的my。Fa-rfle-tltq-n-H.CM..C:ayLH"Ldw?i料ier*.r"Lg/nsew-rlie-,,四互?。?ppsr"ril^L?JhlsavLim1^v.i■□n?&實驗三：實驗場景：Linux環(huán)境（本次實驗使用的是Ubuntu11.04操作系統(tǒng)）JDK、Openssh-Cilent、Openssh-server、Hadoop、eclipse和hadooppluginforeclipse實驗方式：兩人一組，部署多機Hadoop-HDFS,并且兩人之間變換Master、Slaver角色。實驗詳細步驟見實驗三手冊，下面為實驗關鍵結(jié)果截圖和實驗中的新發(fā)現(xiàn)：配置SSH之后發(fā)現(xiàn)無法互聯(lián)，通過查詢從網(wǎng)上搜到一些相關的文檔，操作如下:1>胃砒功:玲5;功電15■wcic:-c-|：Jft4*fil;>narrHine-^afH'il|BHh|A--l^.￡?l±Jiriiim?nod?4D!dBrtianc>riki：rMIjZ-*i正;KJE頃'PT做在"hetwIE聽加:州】口宙5：以：2_偵隘日\弓#1￥斯*3?1土g-興缺■芯母5并4--6^mIodpi^|i?v4n^iirtlg^lbPfhId"ijiqrlVms4rsyn^>JHKhMLialkslmll-d/RKlaruNl.i?irl4rhl*?T贏十■『EMf/飾州呼?皿1|巾徊殆"Cri"HWLS>n-!fi!!HriM^iXg^nb-Dh*日.n//IQ■世W也MHP~F■+Hf.iL1.1fltCl■■■<ftTlJ-：-SjflW1f--?C,i~biJhiU=fCPwm?Ewd呻幅上胸XSj-■■/.Rulh'Ccip!hlnui.fiiiiilQ^iuIho-rl7?hIk-nv^//nukmvin-nd-n^l-^ifl-■?/.AijwlnJhiialHsrlr?i￡li_lKnY'>?<1hicjiV-i￡i.iMijfchIJL:/Ihsfiha,/qihlmy/.mhlb//^ririirawiiici-ila!ii^|Pl夫糟砰H3KPfifl曲<?￥ln心做.心UMn位m土■鳥"aw*與mutftfKHz/.W時?■a；”pbiii1-03-.1Eilf:/?H>itbu/^iiiihrv7酷|4“獨m.ldl_Fflrf.pWllFflEJVi■在iruirTgnEcilFr…F.&aK/VaiEdJiRAIbarftH1!tf|dpi|t|9i.l?fe_rHJi.pBhl33->Mliilllnr<bFilXflCll?lE0：Ya世時訝以無至趴■札NM?始云，不僅解決了成員互聯(lián)問題，而且可以設置驗證碼，完善了功能。2.安裝部署單機偽分布式模式Hadoop-HDFS格式化HDFS并啟動Hadoop，啟動后可使用命令jps查看已啟動進程jps結(jié)果如下圖所示roat@ubijntu：-#jps14946NiaineNade15723TaskTracker15175DataNode1542BSecoridaryNameNode166B7Jps15499JobTrackerroot^ubuntu；-#■3.在單機偽分布模式下運行wordcount例子（結(jié)果1）將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看XHU］的冗，■：）?麗日?加勘*鋁cn.癡蛆I由內(nèi)岫H#?淞'陋"t*41-2144*■加狷.相炳taiZwU盤iWmH?■瞞8頑"Crt：蟲WwMFl.??陶『B-tBISfil.1阿1I備網(wǎng)1陋1XW.CJ,L1H.UII.MlhilCWllfLWKIKW1IKI岑EMILLMlllMlI迎1KtuniviI.MILEa^hiRrII.氏rEI.I1Mi-frlJtnrIi4.安裝部署多機Hadoop-HDFS（2-3人為一組，每人需要變換Master、Slaver角色，假設2臺機器組成集群，Master節(jié)點為namenode，Slaver節(jié)點為datanode）首先簡要地介紹集群環(huán)境集群環(huán)境中有兩個結(jié)點，其中1個namenode相當于Master，1個datanode相當于Slaver，它們之間分布在局域網(wǎng)中，相互之間可以ping通。具體的IP地址為:namenode：5datanode：30實驗開始我是作為datanode，之后互換角色為namenode，為了節(jié)省篇幅，下面

將兩次的配置歸并在一起，既包括namenode的配置也包括datanode的配置。配置jobtrackermasters文件配置：30（加入namenode的IP地址）slaves文件配置：5（加入datanode的IP地址）在多機模式下運行wordcount例子，結(jié)果和單機偽并行一樣，可參照單機的結(jié)果。5.安裝eclipse和hadooppluginforeclipse建立wordcount工程，編譯示例程序wordcount.java，打包相關class文件，在Hadoop分布式環(huán)境下（偽分布模式或者多機模式均可）運行自己打包的wordcount，結(jié)果如下（結(jié)果2）：TOC\o"1-5"\h\z4鼻IVO,1?ECCM?1UTS）14■■■114223.可書115DCD2.C.1P1fl174*.15F1HJ.^.IiH'Ep:./*/www.ihms-x?cuaflw.ur3.ArimJn■■.!-r?+dnn1Apach?1Mtl-UHt1E1X-S3.RijiiWCernmtret-1Cornmadi-'hyHCEKTil：rElL1編寫的MapReduce程序執(zhí)行結(jié)果如下（結(jié)果3）：，=fl-）fgd?EfHitI：m”IgJ^inn：r—-HiIII....—IgJ^inn：r—-HiIII....—dKjfaF-tiivnnna■■TH+ricH「to幽j虹七康di-b血!嘍E虹供M迪#Jji]n.-44.coii.4ihip>.ELiy、同代姓媽L1端.1」由-1剛圳in出[jfwc^觀firtLt”訓”iqn.W-McMi.tcoAple；^',portal:皿咆.1,1找』歡|L甥rHoliUiff：oefauLi,targei：psrtil：LS1.I6L]JiMjawi：財心頃ml『理樹收^7MM40瀏Mtvji由：甚上甌山”劫但的洗他Z35-hciJOS.峪SKtDTS/trMX,2SM匚貝妙偉Mlts■cylUrtrsGf1MB5-512n做若碰bfitshewg【峰例U網(wǎng)如U；域m群f地場牌5l/osl!?lalniwucpEiul^#2b*K/5Ub牲賂DiskMat&fiCf：8NML1M2實現(xiàn)了客戶端和服務端共享存儲。頁面2（來自實驗三）：Zfl4￡-yuiifi)SBI^IH岸5rtirn蜒⑥Ll<Eh￡￡dtrfc^LafijleihlW.jardtrb>Lacale2^l'1iJi.jardej岬Zfl4￡-yuiifi)SBI^IH岸5rtirn蜒⑥Ll<Eh￡￡dtrfc^LafijleihlW.jardtrb>Lacale2^l'1iJi.jardej岬La￡Jle[?iJ：jdFdertyLacjle_|l.jjrdertfLacalcfr-jarderb^LaLa'Ie^P^ER.|arderbyLacj'kkoIH.|arderbjiclient.jardejbylg尊」"derb|LaLa'le_;偵MEim]dtrb^Lacalfl^1dtrb/Lflca'l<_j婦協(xié)Lg】Wde-rby：jar-婦bfEca】虛/dtrbqfMl]4?derb?nincjiirdtrbf>vvrreqliiir.jirjnat?.1111H"fcPt頑L炒bu匝班可ha命帽■?韓]KK=-3B4KE-315KB3ESK33L2K3INKS

33HK57mWC&35111L513.3^5mg’s第.納591.1g]0e.JKB/5K.4JQ/5]Q^.SKB/s：M#.]KB/53B3.3K3/S313.SKB/SEB.JHBT5]1*.4W591.7WB/S2.JM&/S9J.WE/SZM.TO/3].4ra/sW.WWSJ.4WSf.W5爵的隨前齡盼盼盼盼眸藤隙嘩眸贛暉贛WWWWM場阪或&ee.ee.ee.電ee.66.66.66.國國即翌即鈾仙OTwgOT-盼頁面3（來自實驗三）:噂0辱怙頃VbuMU;,Qi*dp砰。網(wǎng)點隊。iftiF}■珞目曹W魅也陣54江1第的也11/1B/2G21:69:333NFOCDBKffi.Storage:UagcfiLeofsizeLB9s<mdinBMcands.21:69:333NF0caMOh-StDragezStoragedlirECtary/1iD>aE/lJBb/tHp/df5-/NMhas-beensuccessfullyll/U/2621：iM:33INFOnaHwde.HaK??k:SHUIDM_NgG:y■IIEXXX3111I'EXXXTII111XXXXHI：I：HEXXX±CEECE±±±±EEEEE±XX±EEEES±±SrtnnowhNSfi：$hutt峋dwnKw枷Matubuni^vl^ibuntM^/hadQ^-SJO.bln/5-tanaU-stiiHmnoderwlnghpncess網(wǎng)I.￡1*LtTlrs-t-222.34.21■??：startingddtwde,imiAgto/inm/lab^hMop-e.itJ63.e/blA?../iwyiadoop-UA-datw四■洲』1.S5；$刑Unmmw*running姑pwm22M.StapItriret.je^trackerruiningaproum13S3.itfirst.[^22^,21.23^85腳MmZ22J9.21.234:startingta^nackgr,lowingte/lim/laite^iaduw-?../loqs/hatefi-lablaft^jbunW：-/fiadQop-e.255&Sjps&345NEaryNm田gt23S3JobTracker2S2SHaiieH?3141Jpslafe0ubun1uj-/TiadD[￥)-8-2B.2EB.$&||H圈曰C4FVIIX器圍司滯E叫對lai朝jim加河餉m2JP5廁iK^n^tr調(diào)睥加傾；、$|在namenode中執(zhí)行jps,分別列出JobTracker、Jps、SecondaryNamenode和Namenode的對應進程號；

在datanode中執(zhí)行jps,分別列出Datanode、Jps和TaskTracker的進程號。頁面4（來自實驗三）：L，峻m『即*.2vrtiwflsjXKR&ME.cktMpur1.3沖*的1叩M^wp噸M洲，&iHrVhMWjsrhiifb^p-fimp^h：-4用??.4.j^rwnjcwarLnwt?ulHtL，峻m『即*.2vrtiwflsjXKR&ME.cktMpur1.3沖*的1叩M^wp噸M洲，&iHrVhMWjsrhiifb^p-fimp^h：-4用??.4.j^rwnjcwarLnwt?ulHtL1HU/3&33:14:frTDirbanfufc.FlUnrwMtrDrnn-t:TcrliiLjnipirlp*1hEtcprs4ii:]L^W26刀：拘：時LWIGfMH:也：嶂LlfU/Sib21:M：nLXIBfZB23"14:34L^Wib21：i^：JS□mmL】門HEA23:34:39LVW26”：加：株成血^m也：孫Li^ijsiy]^皿風?L”lBfZB23:14:19L1/W26L"1財gH：村：卻UE.*33:M:】PLl^ULfZbn:珂?L3/UY24”也：用口沖叫“：N：晰LS/lBi'^e-23"14:WLW他了娘上!l：拘：粘UE.mLi/uirzB-L*L皈出加L3/lBi*2e-成地幫L邛皿mwiBue*23:M:W21■:W：]?時：Mli$214Mi?E9iNi?mgw23:14：19IHF0gmrDmrDEHFOPFPDimEDiFflMFbDIMDiFb[AFQmromrDDiFflHFOEHFD皿L"F。mromrcDiH>HFODIF口皿[H而DIFDmrDfl&prtd.jMniwfr：fred皿mwilrupr?d.Jd>￡llam:MpMd_JVClLHfl：:OipgSflftClLmlIn>pr?d.JlaiaC'luaM:n*r&^fedleni|rupr?d.-UbClIwviiMpMd.JVtLLfeM：:*lfrpred.>n￡ll#YT:rupr^lJflftCltminapr-HaJ^C'li?y1:ftcp'ttl.JMC1I.W1:n*red>ACIlf^llMfrrW.JHiC.UMil.:*itpr?.>HCliwrr：Mpr?d"irupr?d.JkAC'llianl:Mpfri.JWCUMfl：n*red對rumiiruprHMUTHntlUllfM.JHACUjBM：:土舊.加1115：frfMHllW|rupr?d.^At'llanl:AApiM.JMCllWil:RuM&F4|4b:睛4fl部■epftrffccc網(wǎng)■ip3DMrvdjcv4M.Up]D?nIloijCLLWljcbcgbeE：jfittMLL」岬嶼L4MLfwitrrf；KJQ4ContHFILMiwitdreduce口妹心simmiLis知IsdaLeImipwYitrfb1Lrx|jc?BvaLtanq,?”?rmMrvLancLacx(m|"&i^ulrl^vjpMibtHLfl.qMj/力村eCatiLMIWZflbpTMKA：IQgLgL?w1E1>LSLEmKIU.1&rUDUCEt-UITLrilenutpurro^iC4ufiicriijieswlttw^]3WF1L購傾ZflstEr3L￡BhTEEUJC?LSmm只m廠kj^-l#3：FauE_i*TE5_*nTffl-4?yHDH；HYTE5HUguitp-nitsiMm9g心=J3Mr?FnwwprtHi；*?bnulwp4?t|>i!!uTe^hUiedb/WAlSStwcpvrmewnh=lHHaplbputrK3Fth"l]lUdLK.-!iTH