云計(jì)算實(shí)驗(yàn)報(bào)告

1、云計(jì)算原理課程期末實(shí)踐報(bào)告題目：Linux集群、MapReduce和CloudSim實(shí)踐成績(jī)：學(xué)號(hào)：姓名：羅滔任課老師：許娟2016年11月12日錄實(shí)驗(yàn)一：AWSt份與訪(fǎng)問(wèn)管理（P2P11）實(shí)驗(yàn).:AmazonRelationalDatabaseService（P11P20）實(shí)驗(yàn)三：Hadoop實(shí)驗(yàn)報(bào)告（P21）AWSf理控制臺(tái)使用qwikLABS登錄AW若理控制臺(tái)6 .在AWSf理控制臺(tái)中，單擊【服務(wù)/Services，然后單擊【IAM或身份與訪(fǎng)問(wèn)管理/lAMorldentity&AccessManagement】。7 .在IAM控制臺(tái)的左側(cè)面板中，單擊【用戶(hù)/Users】。8 .找

2、到“userone”，然后單擊其名稱(chēng)以顯示有關(guān)該用戶(hù)的詳細(xì)信息。在用戶(hù)詳細(xì)信息中，找到有關(guān)該用戶(hù)的以下三方面的信息：a.已向該用戶(hù)分配了一個(gè)密碼b.該用戶(hù)不屬于任何組c.目前沒(méi)有任何策略與該用戶(hù)關(guān)聯(lián)（“附加到”該用戶(hù)）創(chuàng)建新用戶(hù)用戶(hù)操作 用戶(hù)名：組密碼最A(yù) awsstudent0201OqlS-31262-B4f1f14784e.。*從彳LqlS-31262-S4f1f14784,qk-mi2b284f1f14784f4JaUEer口ng*&JB54【MK5QY卜 qls-31262-B4f1f147&4eT.0從彳root-qwkl0201我們?cè)谔幚砟恼?qǐng)求時(shí)遇到以不錯(cuò)誤：X

3、Userarn:aws-cfi:iam:623208120798:usefJaws&tudentisnotautriorizedtoperform:ism.ListXUser:arnaws-cniam:62220815C78e：u£erJawsstudentisnotauttiorizedtoperforin：iam：Li£tXUserarn:aws-cn:iam:6232QS120788:user/awsstudentisnolauttiorizedtopeifcrni:iamList9 .現(xiàn)在，單擊左側(cè)導(dǎo)航窗格中的【組/Groups】。本實(shí)驗(yàn)的CloudForm

4、ation模板還創(chuàng)建了三個(gè)組。在IAM控制臺(tái)中的【用戶(hù)/Users】?jī)x表板中可以看到，自動(dòng)化CloudFormation腳本在創(chuàng)建這些組時(shí)為其提供了唯一的名稱(chēng)。這些唯一名稱(chēng)包含以下字符串：“EC2support”“EC2admin”“S3admin”完整組名的格式如下所示：EC2support-GA9LGREA7X4S從現(xiàn)在開(kāi)始，我們?cè)诒緦?shí)驗(yàn)中將使用上面這些簡(jiǎn)寫(xiě)名稱(chēng)來(lái)指代這些組。您可以在【組/Groups】?jī)x表板中搜索子字符串，以便為后續(xù)實(shí)驗(yàn)操作確定正確的組。10 .單擊“EC2support”對(duì)應(yīng)的組名。其格式應(yīng)與上面的類(lèi)似。11 .向下滾動(dòng)至組詳細(xì)信息頁(yè)面中的【權(quán)限/Permissions

5、】部分后，在【內(nèi)聯(lián)策略/InlinePolicies】部分,可以看到一個(gè)名稱(chēng)為"EC2supportpolicy”的策略與該組關(guān)聯(lián)。在策略中，您可以規(guī)定將允許或拒絕對(duì)特定AW酶源執(zhí)行哪些操作。您可以使用自定義策略，或通過(guò)選才IAWS6管策略來(lái)使用一組預(yù)定義的權(quán)限。12 .雖然我們不會(huì)更改此策略，但請(qǐng)單擊【編輯策略/EditPolicy，使其顯示在一個(gè)窗口中，以便您進(jìn)行查看和滾動(dòng)。請(qǐng)留意IAM策略中語(yǔ)句的基本結(jié)構(gòu)?！癆ction”部分指定了該服務(wù)內(nèi)的AWS艮務(wù)和功能?！癛esource”部分定義了該策略規(guī)則所涵蓋的實(shí)體范圍，而“Effect”部分則定義了所需結(jié)果。更多有關(guān)定義IAM策略

6、的信息，請(qǐng)?jiān)L問(wèn)“AWSIdentityandAccessManagement:權(quán)限和策略”文檔頁(yè)面13 .單擊另外兩個(gè)組(“EC2admin”和“S3admin”)，查看附加到這兩個(gè)組的策略。您現(xiàn)在能否識(shí)別出附加到這些組的策略所允許的權(quán)限？第出廂工下物目同倆限*有關(guān)由江向電營(yíng)白的伯息.Q史密男唐南平曲翔瓶逑第*者后vuitn。*eci:Tenamcx"-"default'*，口：I，匕UnT)”，q"Wlilg11.Nl4)BDUrC«"：l"iM1：MM-!Cn：iK2JW：11Hli1fc"nrfect"

7、;：""Ail.LiHRifiOurrcfi，a!,1PJEffect-5'Allc-u-R尚不硼砒Ttl幽簞跟E臉記慎用18.完成后，再次單擊左側(cè)面板中的【組/Groups】O各組的【用戶(hù)/Users】列中應(yīng)顯示“1”，表示各組中的用戶(hù)數(shù)。設(shè)置自定義密碼替換和設(shè)置自定義密碼22.為“userone”設(shè)置一個(gè)密碼，然后在臨時(shí)的記事本文件中記下該密碼。24.重復(fù)上述步驟，為"usertwo"和"userthree"設(shè)置密碼創(chuàng)建新用戶(hù)用戶(hù)名,組密碼-awsstudent0qis-312T7-6c570ddiaO.13匚qlS-31

8、277-8c570dd1a0.0VQlls-31277-6c57Cdd1aO.0叱-rool-qwkl0我們?cè)谔幚砟恼?qǐng)求時(shí)遇到以F錯(cuò)星：XUseram:awscn-iarn75B3352O20&25-user,;awsstudentisnotauthorizedtopeiXUser:arn:aws-cn:iam:5B3352026625:us&r/awsstudentisnotauthorizedIopelXUserarn:aws-cn.iiam:.583352026625.Lis&rZajws5tdaenlisnotauthorizedlopeiXUser:am：a

9、ws-cn：iam:.563355026625.us&rawsstudentisnotauthcrizedtopelXUser:am:aw5-cn:iam:583352026625:user.;aw3studentisno1authorizedtopel測(cè)試對(duì)S3的訪(fǎng)問(wèn)權(quán)限您在本實(shí)驗(yàn)中使用的“awsstudent”用戶(hù)所擁有的權(quán)限寥寥無(wú)幾，例如，您可以訪(fǎng)問(wèn)S3儀表板，但無(wú)法查看其中的存儲(chǔ)桶。立即對(duì)此進(jìn)行測(cè)試：25 .在主AWS空制臺(tái)上，單擊【服務(wù)/Services，然后單擊【S3】。26 .您應(yīng)該會(huì)看到三個(gè)存儲(chǔ)桶。嘗試單擊存儲(chǔ)桶以查看其內(nèi)容-您將無(wú)法查看其內(nèi)容。28.在主IAM儀表板上

10、，在【歡迎使用身份識(shí)別和訪(fǎng)問(wèn)管理/WelcometoIdentityandAccessManagement下方，您將看到IAM用戶(hù)登錄鏈接。復(fù)制此URL然后將其粘貼到臨時(shí)記事本文件中。30 .現(xiàn)在，您的記事本文件中應(yīng)包含登錄URL完整的“userthree”登錄名和密碼。在新的瀏覽器中，使用這些信息以"userthree”的身份登錄。31 .您應(yīng)該會(huì)看到標(biāo)準(zhǔn)的AWS空制臺(tái)。但是，在右上角，您的用戶(hù)名不再是"awsstudent",而是?TAMManagementx+翻.：羲：,歌.K*Hj®金金H迅雷迷電高山S個(gè)人中也-j手機(jī)底值qls-31277-8C

11、57Oddla02556c.*支持qls-3l277-8c57Odd1aO255Sc3-iJserthree-7AMZJXGPHUUE58335202662=共虺入門(mén)3請(qǐng)參閱我們的文檔或查看戲們的培訓(xùn)，以了解更多有關(guān)AWS的信息。"userthree”。32 .現(xiàn)在，訪(fǎng)問(wèn)S3服務(wù)儀表板。您可以看到之前的三個(gè)存儲(chǔ)桶，但現(xiàn)在，作為“S3admin組的一部分，您可以查看這些存儲(chǔ)桶、復(fù)制文件、創(chuàng)建新的存儲(chǔ)桶和文件等。實(shí)驗(yàn)二：AmazonRelationalDatabaseService(P12P21)1 .登錄AW潴理控制臺(tái)登錄之后，返回qwikLAB?軻2 .創(chuàng)建RelationalDat

12、abaseService(RDS)實(shí)例要開(kāi)始創(chuàng)建第？一個(gè)AmazonRDS例，您需要訪(fǎng)問(wèn)Amazon#理控制臺(tái)上的AmazonRD圖標(biāo)，然后使？RelationalDatabaseService向?qū)А? .單擊？首頁(yè)上的AmazonRDS標(biāo)并轉(zhuǎn)到該控制？面板。8 .單擊“LaunchaDatabaseInstance/啟動(dòng)數(shù)據(jù)庫(kù)實(shí)例”按鈕來(lái)啟動(dòng)RDSJ導(dǎo)。9 .單擊MySQ數(shù)據(jù)庫(kù)引擎類(lèi)型對(duì)？面的“Select/選擇”按鈕。10 .看到該數(shù)據(jù)庫(kù)是否？用于？生產(chǎn)？目的的詢(xún)問(wèn)時(shí)，選擇“開(kāi)發(fā)測(cè)試”單選按鈕，然后單擊“NextStep/下？一步”。您是否汁包將此數(shù)據(jù)庫(kù)用于生產(chǎn)目的7k 步牌t送擇引隼貨通

13、工生產(chǎn)？蘇理？指定贊，據(jù)庫(kù)許咽信總棄置電配罡專(zhuān)魂設(shè)掠生文M/5QI創(chuàng)娃此次冽時(shí).特多可用區(qū)部 餐和預(yù)貴IOPS有信用作里£認(rèn) 值.開(kāi)發(fā)，測(cè)試Q M/5QI 丁賣(mài)得將" 用.，號(hào)值相F：同口守定舊11.在接下來(lái)的“DBInstanceDetails/指定數(shù)據(jù)庫(kù)詳細(xì)信息”屏幕上，按以下內(nèi)容進(jìn)a.DBInstanceClass/數(shù)據(jù)庫(kù)實(shí)例類(lèi)b.Multi-AZDeployment/多可？用區(qū)部署c.AllocatedStorage/分配的存儲(chǔ)空間：5d.DBInstanceldentfier/數(shù)據(jù)庫(kù)實(shí)例標(biāo)識(shí)符：RDSLabe.MasterUsername:/主？用戶(hù)名AWSMas

14、terf.MasterPassword/主密碼：AWS1234512 .單擊“NextStep/下？一步”。13 .在接下來(lái)的“AdditionalConfig/配置？高級(jí)設(shè)置”屏幕上，按以下內(nèi)容進(jìn)？行設(shè)置:a.DatabaseName/數(shù)據(jù)庫(kù)名稱(chēng)：RDSLabb.PublicallyAccessible/公開(kāi)訪(fǎng)問(wèn)：否c.VPCSecurityGroup/VPCS全組：選擇包含？文本“qlstack”的安全組14 .在備份中，選擇備份保留期為0天。15 .單擊“LaunchDBInstance/啟動(dòng)數(shù)據(jù)庫(kù)實(shí)例”。從亞馬遜系統(tǒng)映像（AMI）創(chuàng)建AmazonLinux實(shí)例要開(kāi)始創(chuàng)建第？一個(gè)Amaz

15、on®例，您需要訪(fǎng)問(wèn)Amazon管理控制臺(tái)上的AmazonEC2B標(biāo)，然后使?用向?qū)А?6 .返回AW箔理控制臺(tái)(它在瀏覽器中仍是打開(kāi)的)。17 .單擊AW箔理控制臺(tái)？首頁(yè)上的EC2圖標(biāo)。18 .單擊“Instances實(shí)例”鏈接來(lái)創(chuàng)建實(shí)例。19 .單擊“LaunchInstance啟動(dòng)實(shí)例”按鈕來(lái)開(kāi)始該過(guò)程。20. 在第？一個(gè)對(duì)話(huà)窗？.口中，步驟1:選擇？一個(gè)Amazo僚統(tǒng)映像，然后單擊該AMI旁邊的“Select/選.”來(lái)選擇AmazonLinuxAMI實(shí)例。注意：確認(rèn)是64位的映像。21. 步驟2：使實(shí)例類(lèi)型保留默認(rèn)設(shè)置，即t2.micro。要繼續(xù)，則單擊“Next:Confi

16、gureInstanceDetails下?一步：配置實(shí)例詳細(xì)信息”。22. 步驟3：ConfigureInstanceDetails配置實(shí)例詳細(xì)信息，我們將保留所有默認(rèn)選項(xiàng)，并單擊“Next:AddStorage/下？一步：添加存儲(chǔ)”。23. 步驟4：AddStorage/添加存儲(chǔ)，保留默認(rèn)虛擬擬硬。單擊“Next:TagInstance/下？一步：標(biāo)簽實(shí)例”。注意：您可以在此輕松增加更多虛擬硬盤(pán)或更改硬盤(pán)?大?小。24. 步驟5：TagInstance標(biāo).實(shí)例，使?標(biāo)簽實(shí)例界?面為實(shí)例命名。您將注意到左邊?文本框填充了標(biāo)簽的名字為Name右邊.文本框?yàn)榭?。在空？文，鍵？入名稱(chēng)，例如“EC2F

17、reeLab'并單擊“Next:ConfigureSecurityGroup下?一步：配置安全組。25. 步驟6：ConfigureSecurityGroup配置安全組，接受默認(rèn)安全組，因?yàn)樗试S通過(guò)端?口22(SSH)從任意位置連接此Linux實(shí)例，單擊“ReviewandLaunch/審核和啟.26. 步驟7：通過(guò)“ReviewInstanceLaunch審核和啟.動(dòng)”，您可以獲取全部設(shè)置的概覽。單擊“Launch/啟動(dòng)”以繼續(xù)。27. QwikLab?自動(dòng).您？生成的密鑰.應(yīng).自動(dòng)填第？二個(gè)下拉框。28. 單擊“acknowledgement/確認(rèn)”復(fù)選框，聲明。29. 現(xiàn)在，單

18、.“LaunchInstance啟.實(shí)例。30. 單擊“ViewInstances查看實(shí)例。40.將ec2-user鍵？入HostName?段，然后將您復(fù)制到剪貼板板的連接字符串粘貼到42.單擊單詞“Auth”選擇“Auth”類(lèi)（？而不是單詞“Auth”旁邊的+符號(hào)）。43 .單擊“Browse”。44 .瀏覽到您稍早在本實(shí)驗(yàn)中保存.ppk?文件的位置。45 .選擇您下載的.ppk?文件。46 .單擊“Open。47 .在PuTTYg戶(hù)端，單擊“Oped'。48 .出現(xiàn)提？示時(shí)，單擊“Yes”允許PuTTY緩存服務(wù)器的主機(jī)鍵。您已成功登錄了Linux主機(jī)!ZLECVI/50.回至IRD

19、SM?面，選中并展開(kāi)之前創(chuàng)建的RD豉例50 .記錄下Endpoint/終端節(jié)點(diǎn)名字，？比如：51 .回到LinuxEC2主機(jī)的終端，輸？入以下命令：$mysql-h<endpoint>-p-uAWSMaster52 .在密碼的提？示符下輸？入AWS1234553 .然后在mysql>提？示符下輸？入showdatabases;?并檢查結(jié)果。54 .您現(xiàn)在已將MySQ喀戶(hù)端連接到您新創(chuàng)建的RDSS例。恭喜您!Hadoop云計(jì)算實(shí)驗(yàn)報(bào)告（P21-）1、實(shí)驗(yàn)?zāi)康脑谔摂M機(jī)Ubuntu上安裝Hadoop單機(jī)模式和集群；編寫(xiě)一個(gè)用Hadoop處理數(shù)據(jù)的程序，在單機(jī)和集群上運(yùn)行程序。2、實(shí)

20、驗(yàn)環(huán)境虛擬機(jī)：VMware9操作系統(tǒng)：ubuntu-12.04-server-x64Hadoop和Jdk和EclipseHadoop集群：一臺(tái)namenode主機(jī)master,一臺(tái)datanode主機(jī)salve,3、主要設(shè)計(jì)思路在ubuntu操作系統(tǒng)下，安裝必要軟件和環(huán)境搭建，使用eclipse編寫(xiě)程序代碼。實(shí)現(xiàn)大數(shù)據(jù)的統(tǒng)計(jì)。本次實(shí)驗(yàn)是統(tǒng)計(jì)軟件代理系統(tǒng)操作人員處理的信息量，即每個(gè)操作人員出現(xiàn)的次數(shù)。4、算法設(shè)計(jì)該算法首先將輸入文件都包含進(jìn)來(lái)，然后交由map程序處理，map程序?qū)⑤斎胱x入后切出其中的用戶(hù)名，并標(biāo)記它的數(shù)目為1，形成<word,1>的形式，然后交由reduce處理，re

21、duce將相同key值(也就是word)的value值收集起來(lái)，形成<word,listof1>的形式，之后再將這些1值加起來(lái)，即為用戶(hù)名出現(xiàn)的個(gè)數(shù)，最后將這個(gè)<key,value>對(duì)以TextOutputFormat的形式輸出到HDFS43。5、安裝實(shí)驗(yàn)環(huán)境5.1 安裝ubuntu操作系統(tǒng)1)打開(kāi)VMware,在Hometab中單擊“CreateaNewVirtualMachine,2) 選擇custom，選擇虛擬硬件版本W(wǎng)orkstation9.0，選擇ios文件，next，3) 錄入目標(biāo)操作系統(tǒng)信息，包括Fullname、Uername和Password,next

22、,4) 選擇默認(rèn)的選項(xiàng)，一般不做更改，最后確認(rèn)信息，F(xiàn)inish，5) 安裝成功后，會(huì)看到如下畫(huà)面，5.2 安裝配置Samba安裝samba主要為了實(shí)現(xiàn)與windows操作系統(tǒng)的通訊，由于server版本的ubuntu沒(méi)有自帶圖形操作界面，所以下載資料等操作不太方便，這也是安裝samba的目的之一。1)安裝samba,輸入如下命令：2) 安裝vim3) 創(chuàng)建共享目錄，并修改權(quán)限4) 配置samba。修改samba的配置文件/etc/samba/smb.conf,將security=share,并在文件的末尾追加如下內(nèi)容，5) 測(cè)試。在windows實(shí)機(jī)中，通過(guò)ip訪(fǎng)問(wèn)ubuntu虛擬機(jī)，可以見(jiàn)

23、到share文件夾5.3安裝配置JDK首先，下載java開(kāi)發(fā)工具包JDK)在本次試驗(yàn)中，我彳門(mén)下載的版本是jdk-7u80-linux-x64.gz。解壓安裝到/usr/lib/jvm/目錄下，更名為java-7-sun。配置環(huán)境變量/etc/environment，使配置生效測(cè)試安裝配置結(jié)果5.4 在單節(jié)點(diǎn)（偽分布式）環(huán)境下運(yùn)行HADOOP1）添加Hadoop用戶(hù)并賦予sudo權(quán)限2） 安裝配置SSH切換至hadoop用戶(hù)，配置密鑰，使得hadoop用戶(hù)能夠無(wú)須輸入密碼，通過(guò)SSH訪(fǎng)問(wèn)localhost,測(cè)試結(jié)果：3） 安裝配置Hadoop首先下載Hadoop,解壓縮到/opt/hadoop

24、目錄下,更改目錄名稱(chēng)為hadoop。修改與hadoop相關(guān)的配置文件（在/opt/hadoop/conf目錄下），分別是core-site.xml,hadoop-env.sh,hdsf-site.xml,mapred-site.xml。在此不一一列舉。4） 運(yùn)行Hadoop首先格式化HDFS，啟動(dòng)單節(jié)點(diǎn)集群，通過(guò)jps查看，masterslave停止單節(jié)點(diǎn)集群，5.5在多節(jié)點(diǎn)（分布式）環(huán)境下運(yùn)行HADOOP1）設(shè)置/etc/hosts文件2）設(shè)置節(jié)點(diǎn)之間無(wú)密碼SSH登陸驗(yàn)證配置SSH是否正確3） 修改集群配置文件修改master的masters、slaves，修改所有節(jié)點(diǎn)的core-site.

25、xml,hdsf-site.xml,mapred-site.xml，在此不一一列出。4） 在master上格式化HDFS5） 啟動(dòng)和停止集群?jiǎn)?dòng)集群，在master上啟動(dòng)HDFS后,jps結(jié)果如下:masterslave在master上啟動(dòng)mapreduce后，jps結(jié)果如下：masterslave停止集群6、運(yùn)行程序1 .在單機(jī)上運(yùn)行程序(1) 在Eclipse下，新建map/reduce工程(2) 新建一個(gè)java類(lèi)UserNameCount,編寫(xiě)代碼(3) 運(yùn)行程序，結(jié)果如下：(4) 在eclipse中編譯好源代碼后，導(dǎo)出程序的jar包，供在集群上使用。2 .在集群上運(yùn)行程序(1) 啟動(dòng)

26、集群，通過(guò)jps命令查看master,slave上啟動(dòng)的服務(wù)列表，結(jié)果如下:2556Jpa2221laskTra3ker1929Se&andarvNameKodeihadoorubufitti:/oDT：/hadotiD/bin£sshslaeKe1aaine.Uhuntu12.0LTSCJTU/Linuie3.2.023-gtn&ri&，Docuiaenta-ion：n'Dps:/nsip.ubuntu,ccn/Mewrelease11-5.04.2LTS*available.Run'do-releaBe-upcrade*taup-grade

27、toir.iLadt:_1仃寸皿：SatMiyL23i3:3S2015fromIldducri：G.iLuatu：-0ib2blasjcrrasker1444DaaNode(2) 在集群環(huán)境下運(yùn)行該程序jar包(UserNameCount.jar),結(jié)果如下:(3) 查看集群環(huán)境下啟動(dòng)程序生成的結(jié)果，即output文件，結(jié)果如下：(4) 數(shù)據(jù)統(tǒng)計(jì)結(jié)果在part-r-00000中，具體內(nèi)容如下，7、源代碼：packagehadoop;importimportimportimportimportimportimportimportimportimportimportimportimportimpo

28、rtpublicclassUserNameCountpublicstaticclassUserNameCountMapextendsMapper<LongWritable,Text,Text,IntWritable>privatefinalIntWritableone=newIntWritable(1);privateTextword=newText();publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedExceptionStringline=value.toString();StringTokenizertoken=newStringTokenizer(line);whil