在多宿主網(wǎng)絡(luò)中部署HDFS和YARN

主講：侯磊目錄01在多宿主網(wǎng)絡(luò)中部署HDFS和YARN在多宿主網(wǎng)絡(luò)中部署HDFS和YARN1在多宿主網(wǎng)絡(luò)中部署HDFS和YARN在默認(rèn)情況下，可以將HDFS端點(diǎn)指定為特定的IP地址或主機(jī)名，這意味著HDFS守護(hù)程序?qū)⒔壎ǖ絾蝹€(gè)P地址。出于安全或性能原因，可以通過一些設(shè)置將集群節(jié)點(diǎn)連接到多個(gè)網(wǎng)絡(luò)接口。這樣安全性得到增強(qiáng)，因?yàn)榭梢詫⒐?jié)點(diǎn)之間的流量限制在與集群網(wǎng)絡(luò)流量所用網(wǎng)絡(luò)不同的網(wǎng)絡(luò)。諸如InfiniBand或光纖通道之類的高帶寬互連增強(qiáng)了網(wǎng)絡(luò)性能。支持多個(gè)網(wǎng)絡(luò)接口，我們稱之為多宿主網(wǎng)絡(luò)。還可以通過讓節(jié)點(diǎn)使用多個(gè)網(wǎng)絡(luò)適配器連接到單個(gè)網(wǎng)絡(luò)來實(shí)現(xiàn)冗余，以防止網(wǎng)絡(luò)適配器發(fā)生故障。在多宿主網(wǎng)絡(luò)中部署HDFS和YARN不能將多宿主網(wǎng)絡(luò)與NIC綁定混淆，NIC綁定僅向客戶端提供單個(gè)邏輯網(wǎng)絡(luò)。通過多宿主網(wǎng)絡(luò)，可以從多個(gè)網(wǎng)絡(luò)連接到HDFS守護(hù)程序。在默認(rèn)情況下，將HDFS端點(diǎn)指定為主機(jī)名或IP地址，這意味著HDFS主機(jī)始終綁定到單個(gè)IP地址。為了使守護(hù)程序從其他網(wǎng)絡(luò)可訪問,必須強(qiáng)制將服務(wù)器端點(diǎn)綁定到通配符IP地址INADDR_ANY()。我們不需要使用規(guī)范的端口號(hào)。需要在hdfs-site.xml文件中配置以下參數(shù)，因此它們的值均為.:在多宿主網(wǎng)絡(luò)中部署HDFS和YARNnode.rpc.bind-hostnode.servicerpc-bind.Hostnode.http-bind-hostnode.https-bind.host在多宿主網(wǎng)絡(luò)中部署HDFS和YARN可以為多宿主環(huán)境配置YARN?？梢钥刂苽鬟f給Java套接字偵聽器的綁定參數(shù)，因此可以強(qiáng)制監(jiān)聽除客戶端的端點(diǎn)地址指向的接口以外的接口?？梢酝ㄟ^將bind-host參數(shù)設(shè)置為全通配符值來強(qiáng)制YARN服務(wù)監(jiān)聽所有多宿主主機(jī)的接口。不用指定端口號(hào)，因?yàn)榫唧w的端口基于為該服務(wù)配置的端口或者使用代碼默認(rèn)值。例如，如果將yarn.resourcemanager.bind.host參數(shù)的值設(shè)置為，并將yarn.resourcemanager.address配置為ernal:9999，則ResourceManager將監(jiān)聽所有端口9999上的主機(jī)地址。在多宿主網(wǎng)絡(luò)中部署HDFS和YARN通過以下方式配置bind-host參數(shù)（在yarn-site.xml文件中)，可以確保所有ResourceManager服務(wù)和Web應(yīng)用程序都監(jiān)聽多宿主網(wǎng)絡(luò)中的所有接口。<property><name>yarn.resourcemanager.bind-host</name><value>.</value></property>在多宿主網(wǎng)絡(luò)中部署HDFS和YARN同樣，也可以將yarn.nodemanager.bind-host（在yarn-site.xml文件中）和mapreduce.jobhistory.bind-host參數(shù)(在mapred-site.xml文件)配置為，以確保主要的YARN和MapReduce守護(hù)進(jìn)程監(jiān)聽多宿主集群的所有地址和