云計算實驗報告

1、云計算原理課程 期末實踐報告 題目：Linux 集群、MapReduce 禾口 CloudSim 實踐 成績： 學號： 姓名：羅滔 登錄郵箱： 任課老師：許娟 2016年11月12日 目錄 實驗一：AWS身份與訪問管理(P2P11) 實驗二：AmazonRelationalDatabaseService (P11P20) 實驗三：Hadoop實驗報告(P21) AWS管理控制臺 使用qwikLABS登錄AWS管理控制臺 印II靭 IS-i - i i =- B 丁回 曲 ； 2 Hf -T時郎5 f|WlKUB3 他常羽IB事 AWS IAM向介 fikBttr iUrriT 耳占冋出嘏曷再節(jié)

2、性丹旳事書軸 6. 在AWS!理控制臺中，單擊【 服務(wù)/Services】，然后單擊【IAM或身份與訪問管理/ lAMorlde ntity1u tie nt Is not authorized to pei X User: am:aws-cn.iamz:56335502S625.usaws Etude nt i s no1 authorized Io pei 測試對S3的訪問權(quán)限 您在本實驗中使用的awsstudent ”用戶所擁有的權(quán)限寥寥無幾，例如，您可以訪問S3儀表板，但無法查看 其中的存儲桶。立即對此進行測試： 25. 在主AWS空制臺上，單擊【服務(wù) /Services】，然后單擊【

3、S3】。 26. 您應(yīng)該會看到三個存儲桶。嘗試單擊存儲桶以查看其內(nèi)容-您將無法查看其內(nèi)容。 28. 在主IAM儀表板上，在【歡迎使用身份識別和訪問管理 /WelcometoldentityandAccessManagement 】 下方，您將看到IAM用戶登錄鏈接。復制此URL然后將其粘貼到臨時記事本文件中。 30.現(xiàn)在，您的記事本文件中應(yīng)包含登錄URL完整的userthree ”登錄名和密碼。在新的瀏覽器中，使用這 些信息以userthree ”的身份登錄。 31.您應(yīng)該會看到標準的AWS空制臺。但是，在右上角，您的用戶名不再是 awsstude nt ，而是 乍 TAM Managemen

4、tx + kA* 申4尼 迅睡理“ g 1迅蕾迷電黑“,B卒人申心.一 qls-31277-0C57Oddlaa2556c. * qk-3l277-8c57Odd1aO255Sc3-LJ5erthree-7AMZJXGPHUUE 58335202662= 入門S 請參閱我門的艾檔或查看我們的培訓以了 嚴吏多有黃AWS的信息。 “ userthree ”。 32.現(xiàn)在，訪問S3服務(wù)儀表板。您可以看到之前的三個存儲桶，但現(xiàn)在，作為“S3admi6 組的一部分，您可以查看這些存儲桶、復制文件、創(chuàng)建新的存儲桶和文件等。 實驗二：Amazo nRelatio nalDatabaseService(P12

5、P21) 1. 登錄AWS管理控制臺 登錄之后，返回qwikLAB? 2. 創(chuàng)建RelationalDatabaseService(RDS) 實例要開始創(chuàng)建第？一個AmazonRD實例，您需要 訪問Amazor管理控制臺上的 AmazonRD圖標，然后使？RelationalDatabaseService 向?qū)А?7. 單擊？首頁上的AmazonRD圖標并轉(zhuǎn)到該控制？面板。 8. 單擊“ LaunchaDatabaselnstanee /啟動數(shù)據(jù)庫實例”按鈕來啟動 RDS向?qū)А?9. 單擊MySQ數(shù)據(jù)庫引擎類型對？面的“ Select /選擇”按鈕。 10. 看到該數(shù)據(jù)庫是否？用于？生產(chǎn)？目的

6、的詢問時，選擇“開發(fā)測試”單選按鈕，然后單擊 “ NextStep /下？一步”。 您是否 出屯將此數(shù)據(jù)陣用于生產(chǎn)目的？ 退毎引軍 粧建斗： M/5QI 創(chuàng)逢此期?m特夢可用國卻 S fufftH iops行儒用作割認 開覽嫌M o M/5QI 上t冥側(cè)特甘 用. .專毎相F：丘口呂寺門 11.在接下來 的“DBInstanceDetails /指定數(shù)據(jù)庫詳細信息”屏幕上，按以下內(nèi)容進 ？行設(shè)置： /數(shù)據(jù)庫實例類 /多可？用區(qū)部署 /分配的存儲空間:5 /數(shù)據(jù)庫實例標識符：RDSLab :/主？用戶名AWSMaster /主密碼:AWS12345 12. 單擊“ NextStep /下？一步”

7、。 13. 在接下來的“ AdditionalConfig /配置？高級設(shè)置”屏幕上，按以下內(nèi)容進 ？行設(shè)置：/ 數(shù)據(jù)庫名稱:RDSLab /公開訪問：否 /VPC安全組：選擇包含？文本“ qlstack ”的安全組 14. 在備份中，選擇備份保留期為0天。 15. 單擊“ LaunchDBInstanee /啟動數(shù)據(jù)庫實例”。 從亞馬遜系統(tǒng)映像(AMI)創(chuàng)建AmazonLinux實例 要開始創(chuàng)建第？一個Amazon實例，您需要訪問 Amazon管理控制臺上的AmazonEC圖標，然 后使?用向?qū)?16. 返回AWS管理控制臺(它在瀏覽器中仍是打開的)。 17. 單擊AWS管理控制臺？首頁上的

8、EC2圖標。 18. 單擊“ Instances 實例”鏈接來創(chuàng)建實例。 19. 單擊“ LaunchInstance 啟動實例”按鈕來開始該過程。 20. 在第？一個對話窗?. 口中，步驟1:選擇？一個Amazon系統(tǒng)映像，然后單擊該 AMI旁邊的 “Select /選.”來選擇 AmazonLinuxAMI實例。 注意:確認是 64位的映像。 21. 步驟2：使實例類型保留默認設(shè)置，即。要繼續(xù)，則單擊“ Next:ConfigurelnstanceDetails /下?一 步：配置實例詳細信息”。 22. 步驟 3： ConfigureInstanceDetails /配置實例詳細信息，我

9、們將保留所有默認選項， 并單擊“ Next: AddStorage/下？一步：添加存儲”。 23. 步驟4： AddStorage/添加存儲，保留默認虛擬擬硬。單擊“ Next:TagInstanee /下？一 步：標簽實例”。 注意：您可以在此輕松增加更多虛擬硬盤或更改硬盤?大 ?小。 24. 步驟 5： TagInstance /標. 實例，使?標簽實例界 ?面為實例命名。您將注意到左邊 ?文本 框填充了標簽的名字為Name右邊文本框為空。在空？文，鍵？入名稱，例如“ EC2FreeLab 并單擊“ Next:Configure SecurityGroup /下?一步：配置安全組。 25.

10、 步驟 6： ConfigureSecurityGroup /配置安全組， 接受默認安全組， 因為它允許通過端 ? 口 22(SSH)從任意位置連接此 Linux實例，單擊“ ReviewandLaunch/審核和啟. 26. 步驟7：通過“ Review In sta nceLau nch /審核和啟.動”，您可以獲取全部設(shè)置的概覽。 單擊“ Launch/啟動”以繼續(xù)。 27. QwikLab?自動.您？生成的密鑰.應(yīng).自動填第？二個下拉框。 28. 單擊“ acknowledgement/確認”復選框，聲明。 29. 現(xiàn)在，單 . “LaunchInstance /啟 . 實例。 30.

11、 單擊“ ViewInstances /查看實例。 40.將ec2-user鍵?入HostName字段，然后將您復制到剪貼板板的 連接字符串粘貼到42. 單擊單詞“ Auth ”選擇“ Auth ”類（？而不是單詞“ Auth ”旁邊的+符號） 43. 單擊“ Browse”。 44. 瀏覽到您稍早在本實驗中保存.ppk?文件的位置 45. 選擇您下載的.ppk?文件。 46. 單擊“ Oper” 。 47. 在 PuTTY客戶端，單擊“ Operf。 48. 出現(xiàn)提？示時，單擊“ Yes”允許PuTTY緩存服務(wù)器的主機鍵。 您已成功登錄了 Linux主機! PuTTY Configurati

12、on 3 Session Logging j Terrmnai -Keytjoand 陰I Features 白 Window .Appearance -Behaviour -Trar slation -Selection Ca lours S- Connection - Data Pnoxy .Telnet -Rlfigin i+ SSH Serial Load. save or delete a stored session Saved SessonE ose window or exit - AlwaysNever . Only on clean ext Category； Basic

13、options for your PuTTY session Specify the destination you want to connect to Host Marne (cr IP addness)Port ec2-Liser(?e c2-?并檢查結(jié)果。 54. 您現(xiàn)在已將MySQ客戶端連接到您新創(chuàng)建的 RDS實例。恭喜您！ Hadoop云計算實驗報告（P21-） 1、實驗?zāi)康?在虛擬機Ubuntu上安裝Hadoop單機模式和集群； 編寫一個用Hadoop處理數(shù)據(jù)的程序，在單機和集群上運行程序。 2、實驗環(huán)境 虛擬機：VMware9 操作系統(tǒng)： Hadoop 禾口 Jdk 禾口 Ec

14、lipse Hadoop 集群：一臺 n ame node 主機 master，一臺 data node 主機 salve ， 3、主要設(shè)計思路 在ubuntu操作系統(tǒng)下，安裝必要軟件和環(huán)境搭建，使用eclipse編寫程序代碼。實現(xiàn)大數(shù)據(jù)的統(tǒng)計。 本次實驗是統(tǒng)計軟件代理系統(tǒng)操作人員處理的信息量，即每個操作人員出現(xiàn)的次數(shù)。 4、算法設(shè)計 該算法首先將輸入文件都包含進來，然后交由map程序處理，map程序?qū)⑤斎胱x入后切出其中的用戶名， 并標記它的數(shù)目為 1，形成 的形式， 然后交由 reduce 處理， reduce 將相同 key 值( 也就是 word) 的 value 值收集起來，形成 的形

15、式，之后再將這些 1 值加起來，即為用戶名出現(xiàn)的個數(shù)， 最后將這個對以TextOutputFormat 的形式輸出到 HDFS中。 5、安裝實驗環(huán)境 安裝 ubuntu 操作系統(tǒng) 1) 打開 VMware,在 Hometab 中單擊CreateaNewVirtualMachine ， 2) 選擇custom，選擇虛擬硬件版本，選擇 ios文件，next， 3) 錄入目標操作系統(tǒng)信息 ，包括Full name、Uername和Password， n ext， 4) 選擇默認的選項，一般不做更改，最后確認信息， Finish ， 5) 安裝成功后，會看到如下畫面， 安裝配置 Samba 安裝sam

16、ba主要為了實現(xiàn)與 windows操作系統(tǒng)的通訊，由于 server版本的ubuntu沒有自帶圖形操 作界面，所以下載資料等操作不太方便，這也是安裝samba的目的之一。 1) 安裝samba,輸入如下命令： 2) 安裝 vim 3) 創(chuàng)建共享目錄,并修改權(quán)限 4) 配置samba。修改samba的配置文件/etc/samba/ ，將security=share，并在文件的末尾追加如 下內(nèi)容, 5) 測試。在 windows 實機中,通過 ip 訪問 ubuntu 虛擬機,可以見到 share 文件夾 安裝配置 JDK 首先，下載java開發(fā)工具包JDK在本次試驗中，我們下載的版本是。解壓安裝

17、到/usr/lib/jvm/ 目錄下,更名為 java-7-sun 。 配置環(huán)境變量 /etc/environment , 使配置生效 測試安裝配置結(jié)果 在單節(jié)點(偽分布式)環(huán)境下運行 HADOOP 1) 添加 Hadoop 用戶并賦予 sudo 權(quán)限 2) 安裝配置 SSH 切換至 hadoop 用戶， 配置密鑰，使得 hadoop用戶能夠無須輸入密碼，通過SSH訪問localhost , 測試結(jié)果： 3) 安裝配置 Hadoop 列舉。 首先下載Hadoop,解壓縮到/opt/hadoop 目錄下,更改目錄名稱為 hadoop。 修改與 hadoop 相關(guān)的配置文件(在 /opt/hado

18、op/conf 目錄下)，分別是 , 。在此不 4) 運行 Hadoop 首先格式化 HDFS， 啟動單節(jié)點集群， 通過 jps 查看， master slave 停止單節(jié)點集群， 在多節(jié)點(分布式)環(huán)境下運行 HADOOP 1) 設(shè)置 /etc/hosts 文件 2) 設(shè)置節(jié)點之間無密碼SSH登陸 驗證配置SSH是否正確 3) 修改集群配置文件 修改 master 的 masters 、slaves ，修改所有節(jié)點的 , ，在此不一一列出。 4) 在 master 上格式化 HDFS 5) 啟動和停止集群 啟動集群， 在master上啟動HDFS后，jps結(jié)果如下: master slave

19、 在 master 上啟動 mapreduce 后，jps 結(jié)果如下： master slave 停止集群 6、運行程序 1. 在單機上運行程序 （1）在 Eclipse 下，新建 map/reduce 工程 （2）新建一個java類UserNameCount,編寫代碼 （3）運行程序，結(jié)果如下： （4）在eclipse中編譯好源代碼后，導出程序的jar包，供在集群上使用。 2. 在集群上運行程序 （1）啟動集群，通過jps命令查看master， slave上啟動的服務(wù)列表，結(jié)果如下: radoor-Subunttihadooi?/bins 2S5fi Jps 丄btn 的ai3S 201B

20、from l:adcjap iLunt-li ： - E jp s lb2b lasKLracker 1444 DaaNode |丄竝乩Jo, （2）在集群環(huán)境下運行該程序jar包（），結(jié)果如下： （3）查看集群環(huán)境下啟動程序生成的結(jié)果，即output文件，結(jié)果如下: （4）數(shù)據(jù)統(tǒng)計結(jié)果在part-r-00000中，具體內(nèi)容如下， 7、源代碼: packagehadoop; import import import import import import import import import import import import import import publicclassUserNameCount publicstaticclassUserNam