hadoop啟動模式、基本配置、啟動方式

Local(Standalone)ModeMapReduce□□□□□□□,□□jvm啟動本地模式：1、配置hadoop-env.sh配置文件中的java_home路徑2、在hadoop□□□□□：mkdirinput3、在input□□□□□□□□□4、統(tǒng)計(jì)input□□□□□□□□□□□□□□□：bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jarwordcountinputoutputPseudo-DistributedMode1、配置etc/hadoop/core-site.xml:##配置namenode所在主機(jī)<configuration><property><name>fs.defaultFS</name><value>hdfs://bxp:8020</value></property></configuration>##配置文件臨時(shí)目錄<configuration><property><name>hadoop.tmp.dir</name><value>/usr/lib/hadoop-2.5.0-cdh5.3.6/data/tmp</value></property></configuration>2、配置etc/hadoop/hdfs-site.xml:##配置文件備份數(shù)量<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>3、格式化文件系統(tǒng)bin/hdfsnamenode-format4、啟動namenodesbin/hadoop-daemon.shstartnamenode4、啟動datanodesbin/hadoop-daemon.shstartdatanode5、瀏覽器訪問：http://bxp:50070,查看hdfs6、命令行創(chuàng)建hdfs文件目錄：bin/hdfsdfs-mkdir-p/user/bxp/mapreduce/wordcount/input7、命令行查看hdfs□□□□□□□□：bin/hdfsdfs-ls-R/8、上傳文件到hdfs文件系統(tǒng)：bin/hdfsdfs-putinput/test/user/bxp/mapreduce/wordcount/input（下載的命令為get,查看為cat）9、運(yùn)行bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jarwordcount/user/bxp/mapreduce/wordcount/input/user/bxp/mapreduce/wordcount/output10、查看運(yùn)行結(jié)果：bin/hdfsdfs-cat/user/bxp/mapreduce/wordcount/output/part-r-00000此時(shí)運(yùn)行的結(jié)果和本地啟動時(shí)運(yùn)行的結(jié)果相同，不同的是輸入的數(shù)據(jù)源一個(gè)是在本地，一個(gè)是在hdfs□□□□□□當(dāng)在etc/hadoop/core-site.xml中配置文件系統(tǒng)時(shí)，回去尋找文件系統(tǒng)，當(dāng)沒有進(jìn)行配置，默認(rèn)會去尋找本地文件系統(tǒng)（HYPERLINKfile:///）:YARNonSingleNode1、在etc/hadoop/yarn-env.sh中配置JAVA_HOME2、配置etc/hadoop/yarn-site.xml:<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property></configuration>3、在etc/hadoop/slaves文件中配datanode和nodemamager□□□□□□□□或ip1默認(rèn)datanode和nodemanager□□□□□□□□localhost4、啟動yarnsbin/yarn-daemon.shstartresourcemanagersbin/yarn-daemon.shstartnodemanager5、瀏覽器查看yarn□□□□□：80886、接下來進(jìn)行將mapreduce程序運(yùn)行在yarn□□□□.7、配置etc/hadoop/mapred-env.sh中的JAVA_HOME8、重命名mapred-site.xml.template為mapred-site.xml并配置etc/hadoop/mapred-site.xml#將mapreduce運(yùn)行在yarn□，□□□□local<configuration><property><name></name><value>yarn</value></property></configuration>9、運(yùn)行bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jarwordcount/user/bxp/mapreduce/wordcount/input/user/bxp/mapreduce/wordcount/output10、查看運(yùn)行結(jié)果：bin/hdfsdfs-cat/user/bxp/mapreduce/wordcount/output/part-r-00000□□□□□□□□，□□□□□□□mapreduce□□□□□□□，□□□mapreduce□□□□□yarn上Fully-DistributedMode啟動mapreduce歷史服務(wù)器sbin/mr-jobhistory-daemon.shstarthistoryserver配置yarn日志的聚集□：□□□□□□□□，□□□□□□□□HDFS□□□□□在etc/hdoop/yarn-site.xml中增加屬性###配置日志聚集<property><name>yarn.log-aggregation-enable</name><value>true</value></property>###配置日志在文件系統(tǒng)中存放的秒數(shù)（604800為7天）<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>□□□□□□□resourcemanager和mapreduce□□□□□□□□□□□□sbin/yarn-daemon.shstopresourcemanagersbin/yarn-daemon.shstopnodemanagersbin/mr-jobhistory-daemon.shstophistoryserversbin/yarn-daemon.shstartresourcemanagersbin/yarn-daemon.shstartnodemanagersbin/mr-jobhistory-daemon.shstarthistoryserverHadoop配置文件□□□□□□，在share/hadoop□□□□□□□□jar包中core-default.xmlhdfs-default.xmlyarn-default.xmlmapred-default.xml自定義配置文件,在etc/hadoopcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml\□□□□□□□□□,□□□□□□□jar包，讀取jar包中的默認(rèn)配置，之后才會讀取用戶自定義配置，用戶自定義配置會覆蓋默認(rèn)配置。一般在配置的時(shí)候，會在官方文檔和默認(rèn)配置文件中查找配置信息，默認(rèn)配置中會有對配置屬性的描述。配置HDFS垃圾回收時(shí)間1分鐘）在core-site.xml□□□□□□□□□□□<property><name>erval</name><value>7*24*60</value></property>hadoop啟動的三種方式各個(gè)服務(wù)組建逐個(gè)啟動ohdfshadoop-daemon.shstart|stopnamenode|datanode|secondarynamenodeoyarnyarn-daemon.shstart|stopresourcemanager|nodemanageromapreducemr-jobhistory-daemon.shstart|stophistoryserver?□□□□□□□□ohdfsstart-dfs.shstop-dfs.shoyarnstart-yarn.shstop-yarn.shomapreducemr-historyserver-daemon.shstart|stophistoryserver分模塊啟動，他的啟動方式是：啟動命令在主結(jié)點(diǎn)上運(yùn)行，然后通過ssh協(xié)議去鏈接自己和相關(guān)將要啟動的從結(jié)點(diǎn)，從而逐個(gè)啟動。使用ssh協(xié)議時(shí)每次都需要輸入密碼。□□□□□□ssh無密鑰登陸。配置無密鑰登陸：（客戶端生成公鑰和私鑰，將公鑰給將要鏈接的機(jī)器）1、客戶端生成密鑰。□□□□□□□□□□□.ssh目錄中使用命令：ssh-keygen-trsa，回車4下2、copy公鑰使用命令ssh—copy—idhostname（將要拷貝到的機(jī)器的hostname）□□□□□□□□□□□□□□□□□□□□□.ssh目錄下authorized_key。?全部啟動ostart-allostop-all□□□□□,□□□□□namenode和resourcemanager在相同□□□,□□□□□□□□□,namenode和resourcemanager在不同的主機(jī)上。細(xì)節(jié)回顧namenode□□□□□□etc/hadoop/core-site.xml中<property><name>fs.defaultFS</name><value>hdfs://bxp:8020</value></property>

指定了HDFS文件系統(tǒng)，其中主機(jī)代表的就是指定了HDFS文件系統(tǒng)，其中主機(jī)代表的就是namenode□□□□□□slaves□□□□□□□datanode和noderesource所在的主機(jī)secondarynamenode結(jié)點(diǎn)通過在hdfs-site.xml□□□□□□□□□□□,默認(rèn)就是本機(jī)<property><name>node.secondary.http-address</name><value>:50090</value></property>resourcemanager□□□□□,□yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property>MapReduceHistoryServer在mapred-site.xml中,□□□□□<property><name>mapreduce.jobhistory.address</name><value>:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>:19888