虛擬化與云計算實驗報告

虛擬化與云計算實驗報告目錄一、實驗目的 一、實驗目的實驗一:1.掌握在Linux上配置iSCSItarget服務的方法。2.掌握在不同的操作系統(tǒng)平臺上使用iSCSIinitiator的方法。實驗三：1.掌握在集群上（使用虛擬機模擬）安裝部署Hadoop-HDFS的方法。2.掌握在HDFS運行MapReduce任務的方法3.理解MapReduce編程模型的原理，初步使用MapReduce模型編程。二、實驗內容實驗一:配置和使用SAN存儲，設置連接IPSAN設備；實驗三:安裝、部署、使用Hadoop-HDFS和配置運行MapReduce程序，使用MapReduce編程。三、實驗原理實驗一:SAN(StorageAreaNetwork，存儲局域網絡)的誕生，使存儲空間得到更加充分的利用以及管理更加有效。SAN是一種將存儲設備、連接設備和接口集成在一個高速網絡中的技術。SAN本身就是一個存儲網絡，承擔了數據存儲任務，SAN網絡與LAN業(yè)務網絡相隔離，存儲數據流不會占用業(yè)務網絡帶寬。在SAN網絡中，所有的數據傳輸在高速、高帶寬的網絡中進行，SAN存儲實現(xiàn)的是直接對物理硬件的塊級存儲訪問，提高了存儲的性能和升級能力。早期的SAN采用的是光纖通道(FC，F(xiàn)iberChannel)技術，所以，以前的SAN多指采用光纖通道的存儲局域網絡，到了iSCSI協(xié)議出現(xiàn)以后，為了區(qū)分，業(yè)界就把SAN分為FCSAN和IPSAN。iSCSI(互聯(lián)網小型計算機系統(tǒng)接口)是一種在TCP/IP上進行數據塊傳輸的標準。它是由Cisco和IBM兩家發(fā)起的，并且得到了各大存儲廠商的大力支持。iSCSI可以實現(xiàn)在IP網絡上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網上進行快速的數據存取備份操作。iSCSI標準在2003年2月11日由IETF(互聯(lián)網工程任務組)認證通過。iSCSI繼承了兩大傳統(tǒng)技術：SCSI和TCP/IP協(xié)議。這為iSCSI的發(fā)展奠定了堅實的基礎。基于iSCSI在實際工作時，是將SCSI命令和數據封裝到TCP/IP包中，然后通過IP網絡進行傳輸，具體的工作流程如下：iSCSI系統(tǒng)由SCSI適配器發(fā)送一個SCSI命令；命令封裝到TCP/IP包中并送入到以太網絡；接收方從TCP/IP包中抽取SCSI命令并執(zhí)行相關操作；把返回的SCSI命令和數據封裝到TCP/IP包中，將它們發(fā)回到發(fā)送方；系統(tǒng)提取出數據或命令，并把它們傳回SCSI子系統(tǒng)。實驗三:1.HDFS指的是Hadoop分布式文件系統(tǒng)，是根據Google的GFS的論文，由DougCutting使用Java開發(fā)的開源項目。HDFS本身是Hadoop項目的一部分，為Hadoop提供了底層的數據存儲，以供上層的各種實際應用使用（如Map/Reduce）。HDFS是典型的Master/Slave集群架構，由一個NameNode和多個DataNode組成，NameNode只能是一個，扮演著Master的角色，負責對具體存儲塊的元數據進行保存，如某個存儲塊具體保存在哪個DataNode上；DataNode可以為多個，扮演著Slave的角色，負責對具體的存儲塊進行保存，一個相同的存儲塊根據配置可以保存到多個DataNode上，以保持數據的高可用性?？蛻舳伺cHDFS交互時，典型的，會先詢問NameNode具體的存儲塊在哪個DataNode上，然后客戶端會直接聯(lián)系相應的DataNode，來獲取或寫入數據。各個DataNode會定時發(fā)送心跳至NameNode，以便NameNode了解DataNode的可用狀態(tài)及存儲狀態(tài)，這樣可以保證某一個DataNode掛掉，NameNode可以做相應處理，以保證數據的高可用性。HDFS的目標就是使用大量的廉價PC機，來維護海量的大數據塊，并且保證數據的高可用性，并且HDFS集群會隨著更多PC機的加入，而提高數據的存儲量（當然這與具體環(huán)境的硬盤相關）與吞吐量（當然這與具體環(huán)境的網卡帶寬相關），單個Hadoop集群一般最大可達2000個節(jié)點。2.MapReduce是一種編程模型，用于大規(guī)模數據集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（化簡）"，和他們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下,將自己的程序運行在分布式系統(tǒng)上。當前的軟件實現(xiàn)是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。四、實驗步驟及實驗結果實驗一：實驗場景：Linux環(huán)境（本次實驗使用的是Ubuntu11.04操作系統(tǒng)）安裝iSCSIinitiator軟件實驗方式：兩人一組，我在小組中擔任客戶端角色。實驗詳細步驟見實驗一手冊，下面為實驗關鍵結果截圖和實驗中的新發(fā)現(xiàn)：1.登錄到iSCSItarget上2.檢查硬盤情況，此時應該增加了一塊新的硬盤:fdisk–l（結果）預期實驗結果和實際結果相同，增加了一塊新的硬盤,只是中間在連接時出現(xiàn)了問題，后通過修改節(jié)點信息解決了問題，把之前的絕對路徑改為簡單的字符串，即圖中的my。實驗三：實驗場景：Linux環(huán)境（本次實驗使用的是Ubuntu11.04操作系統(tǒng)）JDK、Openssh-Cilent、Openssh-server、Hadoop、eclipse和hadooppluginforeclipse實驗方式：兩人一組,部署多機Hadoop-HDFS,并且兩人之間變換Master、Slaver角色。實驗詳細步驟見實驗三手冊，下面為實驗關鍵結果截圖和實驗中的新發(fā)現(xiàn)：1.配置SSH之后發(fā)現(xiàn)無法互聯(lián)，通過查詢從網上搜到一些相關的文檔，操作如下：不僅解決了成員互聯(lián)問題，而且可以設置驗證碼，完善了功能。2.安裝部署單機偽分布式模式Hadoop-HDFS格式化HDFS并啟動Hadoop，啟動后可使用命令jps查看已啟動進程jps結果如下圖所示3.在單機偽分布模式下運行wordcount例子（結果1）將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看4.安裝部署多機Hadoop-HDFS（2-3人為一組，每人需要變換Master、Slaver角色，假設2臺機器組成集群，Master節(jié)點為namenode，Slaver節(jié)點為datanode）首先簡要地介紹集群環(huán)境集群環(huán)境中有兩個結點，其中1個namenode相當于Master，1個datanode相當于Slaver，它們之間分布在局域網中，相互之間可以ping通。具體的IP地址為：namenode：5datanode：30實驗開始我是作為datanode，之后互換角色為namenode，為了節(jié)省篇幅，下面將兩次的配置歸并在一起，既包括namenode的配置也包括datanode的配置。配置jobtrackermasters文件配置：30（加入namenode的IP地址）slaves文件配置：5（加入datanode的IP地址）在多機模式下運行wordcount例子，結果和單機偽并行一樣，可參照單機的結果。5.安裝eclipse和hadooppluginforeclipse建立wordcount工程，編譯示例程序wordcount.java，打包相關class文件，在Hadoop分布式環(huán)境下（偽分布模式或者多機模式均可）運行自己打包的wordcount，結果如下（結果2）：編寫的MapReduce程序執(zhí)行結果如下（結果3）：選取頁面介紹頁面1(來自實驗一)：實現(xiàn)了客戶端和服務端共享存儲。頁面2（來自實驗三）：Master(namenode)和Slaver(datanode)在建立連接之后，Master向Slaver復制數據。頁面3（來自實驗三）：在namenode中執(zhí)行jps，分別列出JobTracker、Jps、SecondaryNamenode和Namenode的對應進程號；在datanode中執(zhí)行jps，分別列出Datanode、Jps和TaskTracker的進程號。頁面4（來自實驗三）：運行Hadoop自帶的wordcount例子實驗一預期花費時間3h，實際花費時間5h實驗三預期花費時間6h，實際花費時間12h五、實驗遇到的問題及其解決方法實驗一：客戶端在連接iSCSItarget時失敗，之后服務端通過修改/etc/iet/ietd.conf文件中節(jié)點的信息，把之前的絕對路徑改為簡單的字符串就解決了問題。實驗三：1.在部署單機偽分布式模式Hadoop-HDFS時，通過JPS指令未發(fā)現(xiàn)DataNode，通過上網查詢資料了解到，原因是由于進行操作時使用的是Root身份，系統(tǒng)默認會加上-jvm指令導致錯誤，可以通過切換至普通用戶或修改/bin/hadoop文件來解決問題。2.小組兩人無法通過SSH無密碼方式訪問對方，通過查詢上網查閱資料，發(fā)現(xiàn)對密鑰的指令認識不夠全面，學習了一些新的指令操作，在解決問題之外還學會了設置用戶驗證的方法，增強了訪問的安全性。3.我和同學經過很多方法之后始終無法部署多機Hadoop-HDFS，后來發(fā)現(xiàn)原因是在之前的操作中，我們是通過新建一個共同的用戶名來保證所有參與集群的機器有相同的用戶名，但是實際上我們應該在安裝Ubuntu時設置同一用戶名，這樣所有的集群部署問題就迎刃而解了。4.在設計mapreduce程序時，遇到無法將key值按從大到小輸出以及無法將key和value交換位置輸出的問題，后來是通過InverseMapper.class可以交換key和value,并修改IntWritable.Comparator使得可以按從大到小輸出<key，value>對。六、實驗結論實驗感想：實驗一相對而言步驟比較簡單，但是通過進行實驗一的操作，復習了linux的常用指令，為進行實驗三打下了基礎。實驗三的步驟比較復雜，實現(xiàn)的模塊和功能也比較多，因此在操作中遇到了很多問題。由于對于實驗內容大家都不是特別了解，所以解決問題的方式主要是通過上網查閱資料。但是在嘗試不同解決方案后，導致系統(tǒng)出現(xiàn)混亂，使得已經完成的結果也無法顯示，最后不得不重