課程環(huán)境搭建cdh5.3.6集群

1、北風(fēng)網(wǎng)大數(shù)據(jù)實(shí)戰(zhàn)培訓(xùn)課程環(huán)境搭建：CDH 5.3.6集群搭建講師：中華石杉Spark大型項目實(shí)戰(zhàn)：電商用戶行為分析大數(shù)據(jù)平臺1、使用課程提供的hadoop-2.5.0-cdh5.3.6.tar.gz，上傳到虛擬機(jī)的/usr/local目錄下。（ ）2、將hadoop包進(jìn)行解壓縮：tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz3、對hadoop目錄進(jìn)行重命名：mv hadoop-2.5.0-cdh5.3.6 hadoop4、配置hadoop相關(guān)環(huán)境變量vi /.bashrcexport HADOOP_HOME=/usr/local/hadoopexport PATH

2、=$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /.bashrc5、創(chuàng)建/usr/local/data目錄 安裝hadoop包 hdfs:/sparkproject1:9000 修改core-site.xml .dir /usr/local/data/namenode dfs.data.dir /usr/local/data/datanode dfs.tmp.dir /usr/local/data/tmp dfs.replication 2 修改hdfs-site.xml mapreduce.framework

3、.name yarn 修改mapred-site.xml yarn.resourcemanager.hostname sparkproject1 yarn.nodemanager.aux-services mapreduce_shuffle 修改yarn-site.xmlsparkproject2sparkproject3 修改slaves文件1、使用如上配置在另外兩臺機(jī)器上搭建hadoop，可以使用scp命令將sparkproject1上面的hadoop安裝包和/.bashrc配置文件都拷貝過去。（scp -r hadoop rootsparkproject2:/usr/local）2、要記

4、得對.bashrc文件進(jìn)行source，以讓它生效。3、記得在sparkproject2和sparkproject3的/usr/local目錄下創(chuàng)建data目錄。 在另外兩臺機(jī)器上搭建hadoop1、格式化namenode：在sparkproject1上執(zhí)行以下命令，hdfs namenode -format2、啟動hdfs集群：start-dfs.sh3、驗證啟動是否成功：jps、50070端口sparkproject1：namenode、secondarynamenodesparkproject2：datanodesparkproject3：datanode4、hdfs dfs -put hello.txt /hello.txt 啟動hdfs集群1、啟動yarn集群：start-yarn.sh2、驗證啟動是否成功：jps、8088端口sparkproject1：resourcemanager、nodemanagers