云計(jì)算實(shí)驗(yàn)報(bào)告2

1、本文格式為word版，下載可任意編輯云計(jì)算實(shí)驗(yàn)報(bào)告2 太 原 科 技 大 學(xué) 實(shí) 驗(yàn) 報(bào) 告 2021年 10 月14 日 試驗(yàn)時(shí)間：16 時(shí) 00分至18 時(shí)00 分 專(zhuān)業(yè) 姓名 學(xué)號(hào) 班級(jí) 課程名稱(chēng) 試驗(yàn)名稱(chēng) hadoop 平臺(tái)安裝試驗(yàn) 2 同組者 指導(dǎo)老師 成果 一、試驗(yàn)?zāi)繕?biāo)： 在大數(shù)據(jù)時(shí)代，存在許多開(kāi)源的分布式數(shù)據(jù)采集、計(jì)算、存儲(chǔ)技術(shù)，本試驗(yàn)將熟識(shí)并搭建幾種常用的大數(shù)據(jù)采集、處理分析技術(shù)環(huán)境。 試驗(yàn)二需要在筆記本上搭建 hadoop 集群，試驗(yàn)報(bào)告依據(jù)教程對(duì)筆記本上創(chuàng)建虛擬機(jī)搭建 hadoop 集群的步驟進(jìn)行了說(shuō)明。包含全部需要安裝的軟件與服務(wù)的版本，安裝路徑，安裝方法等。 二、試驗(yàn)原

2、理： 1.單機(jī)模式：hadoop 默認(rèn)模式、即非分布式模式(本地模式)、無(wú)需進(jìn)行其他配置即可運(yùn)行非分布式，即 java 單進(jìn)程，便利進(jìn)行調(diào)試。 2.偽分布式模式： hadoop 在單節(jié)點(diǎn)上以偽分布式的方式運(yùn)行，hadoop 進(jìn)程以分別的 java進(jìn)程來(lái)運(yùn)行，節(jié)點(diǎn)既作為 namenode 也作為 datanode，同時(shí)，讀取的是 hdfs 中的文件。 3.分布式模式：使用多個(gè)節(jié)點(diǎn)構(gòu)成集群環(huán)境來(lái)運(yùn)行 hadoop。 三、試驗(yàn)內(nèi)容： 以偽分布式模式安裝 hadoop 平臺(tái) 四、試驗(yàn)設(shè)備： 個(gè)人筆記本電腦 虛擬街軟件：vmware workstation 系統(tǒng) centos-7-x86_64-ever

3、ything-2021.iso 阿里云 contos-7 鏡像站點(diǎn)： 五、試驗(yàn)步驟： l 將 hadoop-2.7.3.tar.gz，拷貝到 centos 中的/software 名目下 1、將 hadoop 壓縮包，解壓縮到用戶(hù)主名目的 dt 名目下； $ cd $ mkdir dt $ cd dt $ tar -zxvf /software/hadoop-2.7.3.tar.gz 2、打開(kāi)/etc/profile 配置文件，配置 hadoop 環(huán)境變量: export hadoop_home=/home/hduser/dt/hadoop-2.7.3 export path=$hadoop_

4、home/bin:$hadoop_home/sbin:$path 3、保存。然后執(zhí)行/etc/profile 文件(讓配置生效)： $ source /etc/profile l 配置 hadoop: 1、配置$hadoop_home/etc/hadoop/名目中如下的配置文件： 1) hadoop-env.sh 兩個(gè)文件中都做： export java_home=/usr/local/jdk1.8.0_162 2) core-site.xml 注：假如沒(méi)有 hddata/tmp 名目，要先在磁盤(pán)上創(chuàng)建。 configuration property namefs.defaultfs/name

5、 valuehdfs:/localhost:8020/value /property property namehadoop.tmp.dir/name value/home/hduser/dt/hddata/tmp/value /property /configuration 3) hdfs-site.xml 注：假如沒(méi)有 hddata/name 名目和 hddata/data 名目，要先在磁盤(pán)上創(chuàng)建。 configuration property .dir/name value/home/hduser/dt/hddata/name/value /pr

6、operty property namedfs.datanode.data.dir/name value/home/hduser/dt/hddata/data/value /property !-設(shè)置 hdfs 文件系統(tǒng)塊的復(fù)制份數(shù)，默認(rèn)是 3。偽分布模式要設(shè)為 1- property namedfs.replication/name value1/value /property /configuration 4) mapred-site.xml 注：默認(rèn)沒(méi)有這個(gè)文件，從 mapred-site.xml.template 復(fù)制一份并改名。 $ cp mapred-site.xml.templa

7、te mapred-site.xml # 配置內(nèi)容如下： configuration property /name valueyarn/value /property property namemapreduce.jobhistory.address/name valuelocalhost:10020/value /property property namemapreduce.jobhistory.webapp.address/name valuelocalhost:19888/value /property /configuratio

8、n 5) yarn-site.xml configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.aux-services.mapreduce_shuffle.class/name valueorg.apache.hadoop.mapred.shufflehandler/value /property property nameyarn.resourcemanager.hostname/name

9、 valuelocalhost/value /property /configuration 2、格式化 hdfs(僅需執(zhí)行格式化一次)。在終端窗口，執(zhí)行命令: $ hdfs namenode -format l 安裝 ssh 服務(wù)，實(shí)現(xiàn)集群中 ssh 無(wú)密碼連接(從主節(jié)點(diǎn)到從節(jié)點(diǎn)的無(wú)密碼登錄)： 1、在終端下，執(zhí)行如下的命令：(注:centos 已自帶 ssh 服務(wù)，略過(guò)此步) $ sudo yum -y install ssh sudo apt-get install ssh $ ls -a 2、本地 ssh 登錄： $ ssh localhost $ exit 3、查看.ssh 名目： $ ls -a 4、進(jìn)入.ssh 名目： $ cd .ssh 5、生成公私鑰： $ ssh-keygen -t rsa 然后一路回車(chē) 6、將公鑰加入到授權(quán)文件： $ ssh-copy-id hduserlocalhost 7、測(cè)試 ssh 無(wú)密碼登錄： $ ssh localhost $ exit l 運(yùn)行 pi 程序： $ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 20 六、試驗(yàn)結(jié)果： 這次試驗(yàn)完成了 hadoop 的安裝和環(huán)境變量的配置，使得程序可以運(yùn)行，為下一次的