《大數(shù)據(jù)平臺部署與運維》課件-NameNode單節(jié)點故障的風險預(yù)防

《大數(shù)據(jù)平臺部署與運維》《大數(shù)據(jù)平臺部署與運維》課程組NameNode單節(jié)點故障的風險預(yù)防

NameNode單節(jié)點故障的風險預(yù)防

單節(jié)點故障常規(guī)解決方案就是建立高可用的Hadoop，系統(tǒng)中存在2個以上的NameNode節(jié)點，能夠有效NameNode單節(jié)點故障。單節(jié)點故障解決方案

NameNode單節(jié)點故障的風險預(yù)防需要三臺虛擬機：master1、master2、slave。三臺虛擬機之間Zookeeper已經(jīng)安裝成功。三臺虛擬機之間的Hadoop集群模式已經(jīng)部署完畢。1.準備工作

高可用模式搭建之前的清理工作。停止集群模式Hadoop：在master1主機中執(zhí)行stop-all.sh命令。刪除master2、slave主機的Hadoop系統(tǒng)目錄。刪除master1主機Hadoop系統(tǒng)的tmp目錄，并重建tmp目錄。NameNode單節(jié)點故障的風險預(yù)防在master1虛擬機上編寫高可用模式(HA)的配置文件。NameNode單節(jié)點故障的風險預(yù)防在master1虛擬機上編寫高可用模式(HA)的配置文件。NameNode單節(jié)點故障的風險預(yù)防編輯core-site.xml文件（3個屬性值）。NameNode單節(jié)點故障的風險預(yù)防編輯mapred-site.xml文件（3個屬性值）。NameNode單節(jié)點故障的風險預(yù)防編輯yarn-site.xml文件（8個屬性值）。NameNode單節(jié)點故障的風險預(yù)防編輯slaves文件。hadoop-env.sh、yarn-env.sh、mapred-env.sh三個配置文件中設(shè)置JAVA_HOME的值，增加以下語句。（=號后面的內(nèi)容以實際情況為準）exportJAVA_HOME=/usr/local/jdkNameNode單節(jié)點故障的風險預(yù)防在master1虛擬機上分發(fā)文件到其它虛擬機。NameNode單節(jié)點故障的風險預(yù)防將master1上的~/.bashrc文件分發(fā)到master2、slave，并加載。NameNode單節(jié)點故障的風險預(yù)防初始化集群（首次啟動）。NameNode單節(jié)點故障的風險預(yù)防在master1虛擬機上執(zhí)行格式化命令。在master1虛擬機上啟動namenode進程。在master2虛擬機上同步master1上namenode的元數(shù)據(jù)。NameNode單節(jié)點故障的風險預(yù)防在master1虛擬機上停止namenode進程。在master1虛擬機上啟動三臺虛擬機的datanode進程。NameNode單節(jié)點故障的風險預(yù)防在master1虛擬機上初始化zkfc。在master1、master2虛擬機上單步啟動zkfc。在master1、master2虛擬機上單步啟動namenode。在master1、master2虛擬機上單步啟動resourcemanage進程。自此，初始化工作完成，最后，檢查三臺虛擬機的進程。重啟高可用模式Hadoop停止命令：在master1主機上執(zhí)行stop-all.sh。單獨停止master2主機上的resourcemanage進程。啟動高可用Hadoop集群。執(zhí)行命令：start-all.sh檢查三臺虛擬機的進程。查看master1與master2的web界面。手工停止master2主機的namenod