《云平臺(tái)實(shí)踐》任務(wù)書(shū)

1、云平臺(tái)實(shí)踐實(shí)驗(yàn)任務(wù)書(shū)一、課程安排使學(xué)生通過(guò)48學(xué)時(shí)的課程實(shí)踐過(guò)程，了解云計(jì)算虛擬化概念，大數(shù)據(jù)存儲(chǔ)和處理以及 幾種主要的云計(jì)算應(yīng)用平臺(tái) oogle的云計(jì)算平臺(tái)和Amazon的AWS。本課程學(xué)習(xí)結(jié)束后，學(xué)生應(yīng)能自行用vmware workstation和KVM配置安裝虛擬機(jī)，能 進(jìn)行Hadoop HDFS分布式文件系統(tǒng)的安裝、配置和管理，利用MapReduce思想進(jìn)行海量數(shù) 據(jù)的處理。學(xué)會(huì)使用云計(jì)算的仿真工具CloudSim，在中CloudSim模擬器中創(chuàng)建數(shù)據(jù)中心， 主機(jī)，虛擬機(jī)，任務(wù)等。應(yīng)用調(diào)度算法進(jìn)行虛擬機(jī)分配等。注：本實(shí)驗(yàn)任務(wù)書(shū)包含三部分內(nèi)容（虛擬化部分，大數(shù)據(jù)部分，云計(jì)算模擬部分），每

2、 部分16學(xué)時(shí)。共48學(xué)時(shí)內(nèi)容，32學(xué)時(shí)課程可選做其中兩部分內(nèi)容。二、基本要求虛擬化部分：（1）掌握利用vmware workstation安裝虛擬機(jī)；（2）掌握虛擬機(jī)實(shí)現(xiàn)上網(wǎng)的三種模式：橋接模式，host-only模式，NAT模式;（3）為虛擬機(jī)配置雙網(wǎng)卡不同網(wǎng)段的IP地址（4）掌握用KVM建立虛擬磁盤(pán)并在虛擬磁盤(pán)上安裝虛擬機(jī)。大數(shù)據(jù)部分（1）掌握Hadoop HDFS的偽分布模式和完全分布模式的安裝、配置與管理（2）掌握Hadoop提交作業(yè)以及查詢作業(yè)運(yùn)行情況理解Map-Reduce原理，能書(shū)寫(xiě)Map-Reduce程序理解HDFS原理，能熟練地對(duì)HDFS中的文件進(jìn)行管理掌握Hbase的安裝

3、和配置（6）掌握Hbase的原理并能進(jìn)行簡(jiǎn)單的shell操作云計(jì)算模擬部分（1）掌握云計(jì)算的基本概念和相關(guān)技術(shù)（2）掌握主要的云計(jì)算應(yīng)用平臺(tái)，如Google的云計(jì)算平臺(tái)和Amazon的AWS等（3）掌握云計(jì)算平臺(tái)的通用體系結(jié)構(gòu)，以及其中的技術(shù)原理（4）掌握云計(jì)算的仿真工具CloudSim的架構(gòu)，原理以及安裝配置。（5）在仿真工具CloudSim上設(shè)計(jì)調(diào)度算法，并評(píng)估模擬結(jié)果。三、任務(wù)要求及學(xué)時(shí)安排:工作進(jìn)程內(nèi)容課時(shí)備注技術(shù)手段講解與下達(dá)任務(wù)書(shū)2指導(dǎo)教師將自己聯(lián)系 方式QQ、電子郵箱等 告知學(xué)生以便答疑。虛擬化部分主要任務(wù)：掌握利用vmware workstation安裝虛擬機(jī)；掌握虛擬機(jī)實(shí)現(xiàn)上

4、網(wǎng)的三種模式:橋接模式，host-only 模式，NAT 模式；為虛擬機(jī)配置雙網(wǎng)卡不同網(wǎng)段的IP地址；掌握用KVM建立虛擬磁盤(pán)并在虛擬磁盤(pán)上 安裝虛擬機(jī)。6學(xué) 時(shí)大數(shù)據(jù)部分主要任務(wù)及步驟：一.Hadoop偽分布模式安裝和運(yùn)行，偽分布式模式的安裝和配置步驟下載并解壓Hadoop安裝包(建議選用了 1.0.0 版本)進(jìn)入 Hadoop的解壓目錄，編輯 conf/hadoop-env.sh文件(注意不同版的配置文件 的位置有所不同)編輯 conf 目錄下 core-site.xml、hdfs-site.xml 和mapred-site.xml三個(gè)核心配置文件配置ssh,生成密鑰，使到ssh可以免密碼

5、連接 localhost格式化HDFS使用 bin/start-all.sh 啟動(dòng) Hadoop使用 bin/stop-all.sh 關(guān)閉 Hadoop創(chuàng)建兩個(gè)簡(jiǎn)單的文本文件，運(yùn)行Hadoop系 統(tǒng)自帶的單詞計(jì)數(shù)程序wordcount程序，進(jìn)行文本 文件中不同單詞出現(xiàn)次數(shù)的統(tǒng)計(jì)。熟悉主要的HDFS文件操作命令：列出HDFS下的文件上傳文件到HDFS將HDFS的文件復(fù)制到本地刪除HDFS下的文檔查看HDFS下某個(gè)文件的內(nèi)容查看HDFS基本統(tǒng)計(jì)信息進(jìn)入和退出安全模式8學(xué) 時(shí)一.Hadoop完全分布式安裝和運(yùn)行配置hosts文件建立hadoop運(yùn)行賬號(hào)配置ssh免密碼連入下載并解壓hadoop安裝包

6、配置namenode，修改site文件配置 hadoop-env.sh配置 masters 和 slaves 文件向各節(jié)點(diǎn)復(fù)制hadoop格式化 namenode啟動(dòng) hadoop用jps檢驗(yàn)各后臺(tái)進(jìn)程4學(xué) 時(shí)三.Hadoop API 開(kāi)發(fā) MapReduce 程序Hadoop Eclipse環(huán)境安裝：把Hadoop安裝目 錄下的 contrib/eclipse-plugin文件復(fù)制到eclipse安裝目錄的plugins目錄下采用MapReduce編程思想，編寫(xiě)一個(gè)數(shù)據(jù)篩 選程序：對(duì)一個(gè)路由日志文件，提取出MAC地址 和時(shí)間，刪去其它內(nèi)容。采用MapReduce編程思想，編寫(xiě)一個(gè)倒排索 引程

7、序：有一批電話通信清單，記錄了用戶A撥 打用戶B的記錄，編寫(xiě)程序?qū)崿F(xiàn)一個(gè)倒排索引， 記錄撥打給用戶B的所有用戶A。8學(xué) 時(shí)四.完全分布模式Hbase安裝和配置下載并解壓Hbase安裝包修改conf/hbase-env.sh文件，設(shè)置環(huán)境變量編輯hbase-site.xml進(jìn)行配置編輯 regionservers 文件復(fù)制Hbase到其它節(jié)點(diǎn)啟動(dòng) Hbase驗(yàn)證Hbase已經(jīng)啟動(dòng)命令行模式下管理操作Hbase4學(xué) 時(shí)周掌握云計(jì)算的基本概念和相關(guān)技術(shù)掌握主要的云計(jì)算應(yīng)用平臺(tái)，如Google的云 計(jì)算平臺(tái)和Amazon的AWS等掌握云計(jì)算平臺(tái)的通用體系結(jié)構(gòu)，以及其中 的技術(shù)原理掌握云計(jì)算的仿真工具C

8、loudSim的架構(gòu)， 原理以及安裝配置。在仿真工具CloudSim上設(shè)計(jì)調(diào)度算法，并 評(píng)估模擬結(jié)果。16學(xué) 時(shí)通過(guò)自主學(xué)習(xí)、教師 指導(dǎo)和答疑的方式課 下完成云計(jì)算實(shí)踐設(shè) 計(jì)通過(guò)錄像軟件，錄制 典型的設(shè)計(jì)調(diào)試過(guò)程、 系統(tǒng)功能模塊的操作 過(guò)程，制作成動(dòng)畫(huà)短片 視頻以供檢查時(shí)候演 示。周現(xiàn)場(chǎng)評(píng)測(cè)：放映本次設(shè)計(jì)相關(guān)演示視頻動(dòng)畫(huà)；介紹設(shè)計(jì)的思路與方法；對(duì)教師提出的相關(guān)問(wèn)題進(jìn)行回答。提交內(nèi)容：動(dòng)畫(huà)演示視頻文檔。 報(bào)告以電子文檔的形式進(jìn)行提交。現(xiàn)場(chǎng)評(píng)測(cè)由實(shí)驗(yàn)課老 師進(jìn)行檢查。四、成績(jī)?cè)u(píng)定： TOC o 1-5 h z 1、實(shí)習(xí)表現(xiàn)(紀(jì)律及考勤情況)20分2、現(xiàn)場(chǎng)評(píng)測(cè)50分3、實(shí)習(xí)報(bào)告30分五、報(bào)告格式：電

9、子文檔目錄1、題目。2、背景知識(shí)3、詳細(xì)設(shè)計(jì)過(guò)程4、模擬測(cè)試結(jié)果5、心得體會(huì)。六、提交方式提交報(bào)告電子文檔與系統(tǒng)運(yùn)行錄像。系統(tǒng)運(yùn)行錄像應(yīng)包含設(shè)計(jì)結(jié)果預(yù)覽及由設(shè)計(jì)部分生 成運(yùn)行部分的過(guò)程，系統(tǒng)運(yùn)行演示，整個(gè)錄像時(shí)間5-10分鐘?？墒褂肧nagit、屏幕錄像專 家、Adobe Captivate等屏幕錄像軟件進(jìn)行錄制，如果添加音頻解說(shuō)可加分。七、參考實(shí)驗(yàn)內(nèi)容虛擬化部分: HYPERLINK /developerworks/cn/linux/l-linux-kvm/inde /developerworks/cn/linux/l-linux-kvm/index.html HYPERLINK /supp

10、ort/knowledgecenter/linuxonibm/ /support/knowledgecenter/linuxonibm/ liaai/kvminstall/liaaikvminstallstart.htm?lang=en HYPERLINK /page/Main_Page /page/Main Page HYPERLINK /products/workstation/ /products/workstation/大數(shù)據(jù)部分： HYPERLINK / /實(shí)戰(zhàn)Hadoop -開(kāi)啟通向云計(jì)算的捷徑劉鵬主編 電子工 業(yè)出版社Hadoop權(quán)威指南(中文版)Tom White著 曾大耳冉

11、周傲 英譯清華大學(xué)出版社Hadoop實(shí)戰(zhàn) Chuck Lam著 韓冀中譯 人民郵電出版社CloundSim參考題目：CloundSim實(shí)例化主機(jī)的實(shí)驗(yàn)做了實(shí)例化主機(jī)的實(shí)驗(yàn)對(duì)云計(jì)算環(huán)境進(jìn)行測(cè)試，評(píng)估CloundSim效率。首先設(shè)置一個(gè)單一 的數(shù)據(jù)中心，一個(gè)數(shù)據(jù)中心代理和一個(gè)用戶。每次實(shí)驗(yàn)，數(shù)據(jù)中心的主機(jī)數(shù)量從100到100000 個(gè)，來(lái)測(cè)試云模擬基礎(chǔ)設(shè)施的運(yùn)算能力(不考慮用戶的工作量)。這里主要測(cè)試完全實(shí)例化 并加載CloudSim環(huán)境時(shí)實(shí)驗(yàn)計(jì)算機(jī)的物理內(nèi)存的使用總量。CloundSim模擬 Min-Min 作業(yè)調(diào)度作業(yè)調(diào)度是通過(guò)有效的手段合理的調(diào)度作業(yè)，充分利用網(wǎng)絡(luò)資源，提高資源利用率。 作業(yè)

12、調(diào)度問(wèn)題是云計(jì)算研究中的關(guān)鍵問(wèn)題之一。它的實(shí)質(zhì)就是一個(gè)由m個(gè)需要調(diào)度的任務(wù)， n個(gè)可用的任務(wù)執(zhí)行單元(主機(jī)或集群)，k個(gè)數(shù)據(jù)存儲(chǔ)單元構(gòu)成云計(jì)算環(huán)境，把m個(gè)任務(wù) T=t1,t2,.,以合理的方式調(diào)度到n個(gè)主機(jī)H=h1,h2,，婦上去，目的是得到盡可能小的 總執(zhí)行時(shí)間1%】m個(gè)任務(wù)在n個(gè)不同機(jī)器上的預(yù)測(cè)執(zhí)行時(shí)間ETC(Expected Time to Compute) 是一個(gè)mXn的矩陣。矩陣中的每一行代表某一個(gè)任務(wù)在n臺(tái)機(jī)器上的不同執(zhí)行時(shí)間，每一 列代表在同一臺(tái)機(jī)器上m個(gè)任務(wù)的不同執(zhí)行時(shí)間。在云計(jì)算環(huán)境下的作業(yè)調(diào)度算法中,Min-Min算法是目前調(diào)度算法的研究中最多的一種 算法，它的算法步驟為：判斷任務(wù)集合M是否為空，不為空，執(zhí)行(2)；否則跳到步驟(7)。對(duì)于任務(wù)集中的所有任務(wù)，求出它們映射到所有可用機(jī)器上的最早完成時(shí)間烏。根據(jù)(2)的結(jié)果，找出最早完成時(shí)間最小的那個(gè)任務(wù)m.和