2021年大數(shù)據(jù)技術(shù)-大數(shù)據(jù)平臺(tái)部署文檔

大數(shù)據(jù)平臺(tái)部署手冊(cè)編寫:日期:檢査:日期:審核:日期:批準(zhǔn):日期:文檔變更記錄序號(hào)變更(+/-)說(shuō)明作者版本號(hào)日期批準(zhǔn)12TOC\o"1-5"\h\z.引言 3編寫目的和范圍 3術(shù)飴表 3參考資料 3使用的文字處理和繪圖工具 3\o"CurrentDocument".平臺(tái)通用說(shuō)明 4\o"CurrentDocument"平臺(tái)所用系統(tǒng)說(shuō)明 4\o"CurrentDocument"平臺(tái)所使用的用戶說(shuō)明 4\o"CurrentDocument"平臺(tái)所使用的安裝目錄說(shuō)明 4\o"CurrentDocument"平臺(tái)組件部署說(shuō)明 4\o"CurrentDocument"拷貝安裝包到指定目錄 4\o"CurrentDocument".Hadoop部署 4Linux環(huán)境配置 5修改主機(jī)名 5\o"CurrentDocument"關(guān)閉防火墻 10\o"CurrentDocument"關(guān)閉selinux 12\o"CurrentDocument"配置ntp時(shí)間同步 13\o"CurrentDocument"配置網(wǎng)絡(luò)環(huán)境 19酉己置hosts歹!）表 20\o"CurrentDocument"安裝JDK 21\o"CurrentDocument"免秘鑰登陸配置 23Zookeeper安裝部署 28\o"CurrentDocument"解壓安裝包 28\o"CurrentDocument"配置環(huán)境變量 29\o"CurrentDocument"修改配置文件 29部署到其他機(jī)器上: 32\o"CurrentDocument"啟動(dòng)、停止服務(wù)和查看服務(wù)的狀態(tài) 33\o"CurrentDocument"驗(yàn)證 33Hadoop女裝部署 34\o"CurrentDocument"解壓安裝包 34\o"CurrentDocument"配置環(huán)境變量 34\o"CurrentDocument"修改配置文件 35部署集群 43\o"CurrentDocument"啟動(dòng)及驗(yàn)證 44.引言編寫目的和范圍說(shuō)明寫這份詳細(xì)設(shè)計(jì)說(shuō)明書的目的。本詳細(xì)設(shè)計(jì)說(shuō)明書編寫的目的是說(shuō)明程序模塊的設(shè)計(jì)考慮,包括程序描述、輸入/輸出、算法和流程邏輯等,為軟件編程和系統(tǒng)維護(hù)提供基礎(chǔ)。本說(shuō)明書的預(yù)期讀者為系統(tǒng)設(shè)計(jì)人員、軟件開發(fā)人員、軟件測(cè)試人員和項(xiàng)目評(píng)審人員。術(shù)語(yǔ)表定義系統(tǒng)或產(chǎn)品中涉及的重要術(shù)語(yǔ),為讀者在閱讀文檔時(shí)提供必要的參考信息。序號(hào)術(shù)語(yǔ)或縮略語(yǔ)說(shuō)明性定義1PMProjectManagerJ項(xiàng)目經(jīng)理2參考資料列出有關(guān)資料的名稱、作者、文件編號(hào)或版本等。參考資料包括:a.需求說(shuō)明書、架構(gòu)設(shè)計(jì)說(shuō)明書等;b.本項(xiàng)目的其他已發(fā)表的文件;c,引用文件、資料、軟件開發(fā)標(biāo)準(zhǔn)等。資料名稱作者文件編號(hào)、版本資料存放地點(diǎn)使用的文字處理和繪圖工具文字處理軟件:[編寫設(shè)計(jì)文檔使用的文字處理軟件,如RedOffice]繪圖工具:[使用的UML工具,如Rose、Jude、Visio].平臺(tái)通用說(shuō)明平臺(tái)所用系統(tǒng)說(shuō)明所用系統(tǒng)都以CenlOs-6為例平臺(tái)所使用的用戶說(shuō)明該大數(shù)據(jù)平臺(tái)的所有的安裝部署以root用戶為例。平臺(tái)所使用的安裝目錄說(shuō)明將以下所有安裝的軟件統(tǒng)一安裝到指定目錄,創(chuàng)建指定目錄如下所示:mkdir/opt/software注:所有該平臺(tái)所有安裝的安裝的軟件都安裝在/〇pt/soflware平臺(tái)組件部署說(shuō)明平臺(tái)組件的部署分布如下圖所示:主機(jī)名安裝組件Gn-MOIJdk、Hadoop（免秘鑰ssh>ntp時(shí)間同步）、Flume、 >ElasticSearch>Redis（主節(jié)點(diǎn)）、MySQL（主節(jié)點(diǎn)）Gn-M01Jdk、Hadoop（免秘鑰ssh、ntp時(shí)間同步）、Flume、 、ElasticSearchRedis（從節(jié)點(diǎn)）、MySQL（從節(jié)點(diǎn)）Gn-S01Jdk、Hadoop（免秘鑰ssh>ntp時(shí)間同步）、Flume> ヽElasticSearch注：每ー種組件以不同顏色進(jìn)行標(biāo)示拷貝安裝包到指定目錄將平臺(tái)所需的所有軟件都拷貝到指定目衆(zhòng)/。pt/software,以便于下面各組件的安裝。.Hadoop部署注：Hadoop安裝的操作都在root用戶下操作Linux環(huán)境配置修改主機(jī)名Gn-M01節(jié)點(diǎn)使用vi編輯主機(jī)名:vi/etc/sysconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME這一屬性,這個(gè)屬性若為你想要配置的主機(jī)名,這不不需要配置;否則,修改為Gn-MOl（或者你想要配置的屬性）：修改后保存退出（:wq）修改后生效命令,如下所示:hostnameGn-MOl（或者你所配置的主機(jī)名）檢測(cè)主機(jī)名是否修改成功,在操作之前需關(guān)閉當(dāng)前終端,重新打開另ー個(gè)終端:hostname執(zhí)行完hostname命令后，出現(xiàn)下圖所示，說(shuō)明修改成功:

Gn-M02節(jié)點(diǎn)使用vi編輯主機(jī)名:vi/etc/sysconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME這一屬性,這個(gè)屬性若為你想要配置的主機(jī)名,這不不需要配置;否則，修改為Gn-M02（或者你想要配置的屬性）：

修改后保存退出（:wq）修改后生效命令,如下所示:hostnameGn-M02（或者你所配置的主機(jī)名）檢測(cè)主機(jī)名是否修改成功,在操作之前需關(guān)閉當(dāng)前終端,重新打開另ー個(gè)終端:hostname執(zhí)行完hostname命令后,出現(xiàn)下圖所示,說(shuō)明修改成功:

Gn-S01節(jié)點(diǎn)使用vi編輯主機(jī)名:vi/etc/sysconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME這一屬性,這個(gè)屬性若為你想要配置的主機(jī)名,這不不需要配置;否則，修改為Gn-M01（或者你想要配置的屬性）：

修改后保存退出（:wq）修改后生效命令,如下所示:hostnameGn-S01（或者你所配置的主機(jī)名）檢測(cè)主機(jī)名是否修改成功,在操作之前需關(guān)閉當(dāng)前終端,重新打開另ー個(gè)終端:hostname執(zhí)行完hostname命令后,出現(xiàn)下圖所示,說(shuō)明修改成功:

關(guān)閉防火墻注:Gn-M01,Gn-MO2、Gn-SOl三臺(tái)服務(wù)器關(guān)閉防火墻這ー操作步驟一致我們以Gn-M01為例:(1)查看防火墻狀態(tài),命令如下:serviceiptablesstatus

這說(shuō)明防火墻是開啟狀態(tài)。(2)關(guān)閉防火墻臨時(shí)關(guān)閉防火墻,命令如ド所示:serviceiptablesstop設(shè)置開機(jī)后自動(dòng)關(guān)閉防火墻,命令如下所示:chkconfig-listIgrepiptableschkconfigiptablesoff

I[root0Gn-MOl[root0Gn-MOl#chkconfigーー!istIgrepiptablesiptables1f *.Q/w'?八?O:offl:off，*—X—ヽ?2J 12:on3:on4:on5:on6:off|[root&Gn—MQ1[root0Gn-MOl[root0Gn-MOl-jfcnjccoHLig uxirtchkconfigーー!istIgrepiptablesiptablesO:offl:off■12:off3:off4:off57off6:off|[root0Gn-MOl-]?1 出現(xiàn)上圖效果,說(shuō)明服務(wù)器開機(jī)后自動(dòng)關(guān)閉防火墻。注:Gn-M02、Gn-S01上操作和Gn-MOl一致,按照上面步驟進(jìn)行操作即可。關(guān)閉selinux注:Gn-M01,Gn-M02,Gn-SOl三臺(tái)服務(wù)器關(guān)閉selinux這ー操作步驟一致我們以Gn-M02為例(1)查看selinux狀態(tài)，命令如下:sestatusenabled-]/selinuxenforcingenforcing24targetedenabled-]/selinuxenforcingenforcing24targetedSELinuxfsmount:Currentmode:Modefromconfigfile:Policyversion:Policyfromconfigfile:[root0Gn-MOl~]i|說(shuō)明selinux狀態(tài)為enabled,處于開啟狀態(tài)。⑵修改selinux配置文件用vi編輯器selinux配置文件,命令如下:vi/etc/selinux/config將selinux狀態(tài)修改為disabled?具體修改如下圖所示;（3）selinux修改后生效檢測(cè)selinux是否關(guān)閉成功,需要先重啟服務(wù)器,然后執(zhí)行以下命令查看selinux命令:sestatusLastlogin:SunJul1922:48:182015from[root0Gn-MOl-]?[root8Gn-M01?]*[root8Gn-M01?J#sestatusSELinuxstatus: disabledrfoot^Gif-Hor^rrl-出現(xiàn)上圖所示的,說(shuō)明selinux關(guān)閉成功。注:Gn-M02、Gn-S01的selinux的操作和Gn-M01的操作一致,執(zhí)行以上操作即可。3.1.4配置ntp時(shí)間同步配置部署的思路:將集群中的其中一臺(tái)服務(wù)作為ntp時(shí)間服務(wù)器（注:這臺(tái)時(shí)間服務(wù)器可以和網(wǎng)絡(luò)時(shí)間進(jìn)行同步）,其他的機(jī)器作為從服務(wù)器（客戶端）,讓其他這些服務(wù)器去同步之前已經(jīng)選好的nip時(shí)間服務(wù)器，這樣就能是實(shí)現(xiàn)整個(gè)集群的時(shí)間一致。我們將Gn-M01作為ntp時(shí)間服務(wù)器,首先讓Gn-M01這臺(tái)服務(wù)器與網(wǎng)絡(luò)時(shí)間進(jìn)行同步，然后，再讓Gn-M02、Gn-SOl同步Gn-M01的時(shí)間，這樣就實(shí)現(xiàn)了三臺(tái)服務(wù)器的時(shí)間一致。部署分布如下表所示:主機(jī)名角色Gn-M01時(shí)間服務(wù)（要與網(wǎng)絡(luò)時(shí)間進(jìn)行同步）Gn-M02要同步的服務(wù)器（客戶端）Gn-S01要同步的服務(wù)器（客戶端）注:時(shí)間同步時(shí),從服務(wù)器（客戶端）的ntp服務(wù)是停止的,因?yàn)閺姆?wù)公用ー個(gè)ntp時(shí)間服務(wù)器說(shuō)的更通俗就是Gn-M02、Gn-S01公用Gn-MOI的ntp時(shí)間服務(wù)器Gn-M01節(jié)點(diǎn)查看ntp服務(wù)器狀態(tài)servicentpdstatus[root8Gn-M01-]?servicentpdstatusntpdisstopped[root8Gn-M01~]t|說(shuō)明服務(wù)是停止的。查看時(shí)間date[root0Gn-MOl#dateMonJul2001:03:47PDT2015[rooteGn-MOl**]?|Windows下的實(shí)際時(shí)間:16:04星期ー?

2015/7/20|所以兩個(gè)圖的時(shí)間對(duì)比后，說(shuō)明時(shí)間和網(wǎng)絡(luò)時(shí)間不一致。ntp時(shí)間服務(wù)與網(wǎng)絡(luò)時(shí)間同步命令如下所示：ntpdate/r/[rootgCn-MOl*]#[root0Gn-MOl-]#ntpdate/r/20Jul01:08:26Xaprianp[ク￡ック]]adju9atitinpserver2offset0.145726sec[root6Gn-M01_dateMonJul20j16:15:1?"CST2015[rooteGn-MOl-|windows下實(shí)際時(shí)間:16:15星明一中2015/7/20.(4)酉己置ntpserver用vi編輯器編輯ntp服務(wù)器配置文件,命令如下:vi/etc/ntp.conf修改mp服務(wù)的配置文件:將restrictdefaultkodnomodifynotrapnopeernoquery改成:restrictdefaultnomodify同時(shí)添加兩行:serverprefer#localclockfudgestratum1將server0.centos,iburstserver1.centos,iburstserver2.centos,iburstserver3.centos,iburst注釋掉。

(5)啟動(dòng)nip服務(wù)cd/etc/init.d/啟動(dòng)ntp服務(wù):servicentpdstart將時(shí)間服務(wù)器開機(jī)啟動(dòng):chkconfigntpdon如有錯(cuò)誤信息可查看錯(cuò)誤日志:tail/var/log/messageI丄57しC?DI】ーCU丄j>[root0Gn-MOl~]t|3ervioe-ntpdstart|Startingntpd: [OK][root0Gn-MOl-]?servicentpdstatusntpd(pid2971)isrunninq.?,I[rcx)t8Gn-M01-]#|tail_-r_7vaf/rog7niessages 1Jul2001:35:08 on2loTOP123Jul2001:35:08Gn-MOlntpd[2971]:Listennormallyon3ethO48UDP12；JJul2001:35:08Gn-MOlntpd[2971]:Listennormallyon4lo::1TOP123Jul2001:35:08Gn-MOlntpd[2971]:Listennormallyon5ethOfe80::20c:29ff:fea9:c25eIJDP123Jul2001:35:08Gn-MOlntpd[2971]:peersrefreshedJul2001:35:08Gn-MOlntpd[2971]:Listeningonroutingsocketonfd#22forinterfaceupdatesJul2001:35:08Gn-MOlntpd[2971]:c01606restartJul2001:35:08Gn-MOlntpd[2971]:c01202freq_setkernel0.000PPMJul2001:35:08Gn-MOlntpd[2971]:cOll01freq_not_setJul2001:35:09Gn-MOlntpd[2971]:c51404freq_mode出現(xiàn)上圖說(shuō)明配置正確,并啟動(dòng)成功。觀察啟動(dòng)端口:netstat-tlunp|grepntp[root0Gn-MOlInetstat-tlunpIgrepntp1udp0048:123 :*2971/ntpdudp00:123 ：*2971/ntpdudp00:123 :*2971/ntpdudp00fe80::20c:29ff:fea9:c25e:123:::*2971/ntpc1udp00::1:123 :::*2971/ntpdudp00：：：123 ：：:*2971/ntpd1[root0Gn-MOl-]#|1（6） 同步上層時(shí)間服務(wù)由于把本機(jī)作為時(shí)間服務(wù)器則很快就可以同步時(shí)間服務(wù)器ntpstat[root0Gn-MOl-]#ntpstatsynchronisedtolocalnetatstratum2timecorrecttowithin11mspollingserverevery64s[root0Gn-MOl?]t|顯示ntp服務(wù)器與上層服務(wù)器狀態(tài):ntpq-p

[rcx)t0Gn-MOl-]#ntpq-premoterefidsttwhenpollreachdelayoffsetjitterremote?LOCAL(0) .LOCL.[root0Gn-MOl~]*?LOCAL(0) .LOCL.[root0Gn-MOl~]*|(該配置完成后需要重啟服務(wù)器生效)Gn-M02節(jié)點(diǎn)配置時(shí)間服務(wù)器客戶端(1)查看ntp服務(wù)器狀態(tài)servicentpdstatus[rcx)t0Gn-MO2?servicentpdstatuskitpdissspped"[rcx>t6Gn^4O2|(2)同步Gn-MOl的ntp服務(wù)器手動(dòng)同步:ntpdate48(Gn-MOl的IP地址)[root0Gn-MO2~]キntpdate4820Jul17:03:17ntpdate[2988]:steptimeserver48offset2.949908sec[root0Gn-MO2-]?dateMonJul2017:03:23CST2015[root0Gn-MO2|自動(dòng)同步:crontab-e添加以下內(nèi)容,進(jìn)行沒五分同步一次時(shí)間*/5****/usr/sbin/ntpdate4イン，1Gn-M012Gn-M023Gn-S01*/5****/usr/sbin/ntpdate4§[root0Gn-MO2-]#crontab-1*/5****/usr/sbin/ntpdate48[root0Gn-MO2~]#|Gn-S01節(jié)點(diǎn)配置時(shí)間服務(wù)器客戶端

注:Gn-S01的操作與Gn-M02的操作一致,詳細(xì)配置參見Gn-M023.1.5配置網(wǎng)絡(luò)環(huán)境配置網(wǎng)絡(luò)的目的是要保證集群的間的網(wǎng)絡(luò)能夠互通注:Gn-M01,Gn-M02,Gn-SOl的操作一致以Gn-M01為例ifconfig[rcx)teGn-M01?]#ifconfigethOLinkencap:EthernetHWaddr00:0C:29:A9:C2:5Einetaddr:48Beast:55Mask:inet6addr:fe80::20c:29ff:fea9:c25e/64Scope:LinkUPBROADCASTRUNNINGMULTICASTMTU:1500Metric:1RXpackets:15797errors:0dropped:0overruns:0frame:0TXpackets:6909errors:0dropped:0overruns:0carrier:0collisions:?txqueuelen:1000RXbytes:10421441(9.9MiB)TXbytes:441871(431.5KiB)lo Linkencap:LocalLoopbackinetaddr:Mask:inet6addr:::1/128Scope:HostUPLOOPBACKRUNNINGMTU:16436Metric:1RXpackets:19errors:0dropped:0overruns:0frame:0TXpackets:19errors:0dropped:0overruns:?carrier:?collisions:0txqueuelen:0RXbytes:2564(2.5KiB)TXbytes:2564(2.5KiB)[root8Gn-M0I?]#|分別pingGn-M02,Gn-SOl的IP地址[root0Gn-MOl-]?ping49IIIPING49(1^.160.^19.149)56(84)bytesofdata.TOC\o"1-5"\h\z64bytes from 49: icn?しseq=l ttl=64 time=0.291 ms64bytes from 49: icnp_seq=2 ttl=64 time=0.508 ms64bytes from 49: ici5しseq=3 ttl=64 time=0.391 mspc 49pingstatistics 3packetstransmitted,3received,0%packetloss,time2385msrttmin/avg/max/mdev^^_0.291/0.396/0.508/0.091ms[root8Gn-M01-]#ping50PING50(1W.168.219.150)56(84)bytesofdata.64bytesfrom50:icmp_seq=lttl=64time=79.9ms64bytesfrom50:icmp_seq=2ttl=64time-0.648ms 50pingstatistics 2packetstransmitted,2received,0%packetloss,time1458msrttmin/avg/max/mdev=0.648/40.304/79.960/39.656ms[root0Gn-MOl|ping通即可。注:Gn-M02>Gn-S01的網(wǎng)絡(luò)的配置和Gn-M01配置一致,詳細(xì)配置重復(fù)以上操作即可配置hosts列表注:配置hosts列表來(lái)解析主機(jī)名,Gn-M01,Gn-M02、Gn-S01的操作一致以Gn-M01為例進(jìn)行操作用vi編輯主機(jī)名列表，命令如下所示:vi/etc/hosts（建議填寫所有的集群主機(jī)名映射）注:IP地址要和主機(jī)名對(duì)應(yīng),并且是IP地址在前,主機(jī)名在后驗(yàn)證是否配置成功:pingGn-M01pingGn-M02pingGn-S01

出現(xiàn)上圖說(shuō)明配置成功,通過(guò)IP地址解析了主機(jī)名。注:Gn-M02、Gn-SOI的主機(jī)名解析的配置和Gn-M01配置一致,詳細(xì)配置事復(fù)以上操作即可安裝JDK安裝JDK的目的是用來(lái)為程序的運(yùn)行提供java環(huán)境由于所有的軟件包都安裝在/〇pt/software進(jìn)入安裝目錄:cd/opt/software[rcx)teGn-M01-]?cd/opt/software/[root0Gn-MOlsoftware]fpwd/opt/software[root6Gn-M01software]?Isapache-flume-1.5.2-bin.tar.gzhbase-1.0.0-bin.tar.gzzookeeper-3.4.6.tar.gzelasticsearch-1.4.4.tar.gz jdkl.フ?071.ziphadoop-2.6.0.tar.gz redis-3.0.2.tar.gz[root0Gn-MOlsoftware]<ロ軟件版本version1.7.0_71downloadhttp:〃www.oracle,com/technetwork/java/javase/downloads/index,html備注Gn-M0kGn-M02、Gn-SOI都配置JDKJava解壓JDK安裝包unzipjdk1.7.0_7l.zip[root0Gn-MOIsoftware]tIsapache-flume-1.5.2-bin.tar.qzhbase-1,0.0-bin.tar.gzredis-3.0.2.tar.gzelasticsearch-l.4.4.tar.gz zookeeper-3.4.6.tar.gzhado(^)-2.6.0.tar.gz jdkl.7.071.zip[root0Gn-MOIsoftware]i|解壓之后出現(xiàn)jdkl.7.0_71目錄說(shuō)明解壓成功,然后進(jìn)入jdkl.7.0_71目錄:cdjdkl.7.0_71[root0Gn-MOlsoftware]#cdjdkl.7.0_71[root0Gn-MOljdkl.7.071]#pwdpopt/software/jdkl.7.0_71[root0Gn-MOljdkl.7.0_71]#配置環(huán)境變量用vi編輯/etc/profile,命令如下所示:vi/etc/profile配置環(huán)境變量?jī)?nèi)容如下:#setjavaenvironmentexportJAVAHOME=/opt/software/jdk1.7.071exportPATHペPATH:$JAVA_HOME/binforiin/etc/profile.d/*.sh;doif[-r;thenif[!?ソ--];then??丄else.6">/dev/null>&fifidoneunsetiunset-fpathmungeexportJAVA_HOME=/opt/software/jdkl..0_71exportPATH——:二一;/bi息82,32 Bot修改之后保存退出（:wq）配置生效及驗(yàn)證配置完環(huán)境變量,使得環(huán)境變量生效的命令如下所示:source/etc/profile驗(yàn)證配置是否成功:javajavacjava-version[root@Gn-M01jdkl.7.0_71]?java-versionjavaversionw1.7.0_71"IJava(TM)SERuntimeEnvironment(build1.7.0_71-bl4)JavaHotSpot(TM)64-BitServerVM(build24.71-b01rmixedmode)(root8Gn-M01jdkl.7.0_71]?|出現(xiàn)上圖所示說(shuō)明JDK部署成功。注:Gn-M02、Gn-S01的JDK的配置和Gn-M01配置?致,詳細(xì)配置重復(fù)以上操作即可3.1.8免秘鑰登陸配置免秘鑰登陸是通過(guò)sshd這個(gè)服務(wù)，通過(guò)命令ssh-keygen-trsa來(lái)生成服務(wù)器自己的公鑰和私鑰，實(shí)現(xiàn)免秘鑰就是將一臺(tái)機(jī)器（如:Gn-M01）的公鑰復(fù)制到另一臺(tái)機(jī)器（Gn-M02）的?/.ssh目錄下，就可以實(shí)現(xiàn)提供公鑰的那臺(tái)機(jī)器（Gn-M01）免秘鑰登陸復(fù)制到的那臺(tái)機(jī)器（Gn-M02）上。在hadoop的HA集群上（集群上機(jī)器的分布有2個(gè)管理節(jié)點(diǎn)和n個(gè)數(shù)據(jù)節(jié)點(diǎn)）要實(shí)現(xiàn)ー種免秘鑰的方式就是2臺(tái)管理節(jié)點(diǎn)要實(shí)現(xiàn)互相免秘鑰登陸，同時(shí)管理節(jié)點(diǎn)要免秘鑰登陸n個(gè)數(shù)據(jù)節(jié)點(diǎn)。Hadoop的HA（管理節(jié)點(diǎn)：Gn-M01>Gn-M02i數(shù)據(jù)節(jié)點(diǎn)：Gn-S01）注：ssh面秘鑰登陸配置是要注意用戶，在那個(gè)用戶下安裝hadoop,就在那個(gè)用戶下配置，我們是在root用戶下安裝hadoop,那么，我們就以root用戶為例：Gn-M01節(jié)點(diǎn)在終端上生成秘鑰，命令如下（一路點(diǎn)擊回車生成秘鑰）ssh-keygen-trsa生成的秘鑰在?/.ssh目錄下如下圖所示:

[root0Gn-MOl-]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/id_rsa.Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.Thekeyfingerprintis:ae:37:27:0a:64:d9:87:f3:af:32:a2:87:d6:8b:ld:ecroot0Gn-MOlThekey*srandomartimageis:+——[RSA2048] +++S+=o+oO++OO.+..?ooEoo?.=.[rooteGn-MOl-J#復(fù)制公鑰文件,命令如下所示:cat-*/.ssh/id_rsa.pub?-*/.ssh/authorized_keys[root0Gn-MOl?]*cat-/.33h/id_rsa.pub?-/.3sh/authorized_keys[root0Gn-MOl-]#[root0Gn-MOl-]?[root0Gn-MOl-]tcd-/.ssh/[root0Gn-MOl.ssh]111total16-rw-r-r-1rootroot393Jul2020:26author!zed_keys-rw 1rootroot1671Jul2020:22id_rsa-rw-r-r--1rootroot393Jul2020:22idrsa.pub-rw-r--r--1rootroot1212Jul2020:02knownhosts[rooteGn-MOl.ssh]#|修改authorized_keys文件的權(quán)限,命令如下:chmod600-*/.ssh/authorized_keys[root0Gn-MOl[root0Gn-MOltotal16-rw 1-rw [root0Gn-MOl[root0Gn-MOltotal16-rw 1-rw 1-rw-r-r-1-rw-r——r——1[root0Gn-MOlrootroot393Jul2020:26author!zed_keysrootroot1671Jul2020:22idrsarootroot393Jul2020:22idrsa.pubrootroot1212Jul2020:02knownhosts.ssh]fI將authorized_keys文件復(fù)制在Gn-MOl上,命令如下所示:scp^/.ssh/authorized_keysroot@Gn-M02>/如果提示yes/no的時(shí)候,則輸入yes密碼:輸入密碼

[root0Gn-MOl-]?scp-/.33h/authorized_keysroot0Gn-MO2:~/root@gn-mO2,5password:author!zed_keys[rooteGn-MOl*?]1|Gn-M02節(jié)點(diǎn)在終端上生成秘鑰,命令如下（一路點(diǎn)擊回車生成秘鑰）ssh-keygen-trsa生成的秘鑰在?/.ssh目錄下如下圖所示:[root8Gn-M02-]fssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/idrsa.Yourpublickeyhasbeensavedin/root/.ssh/idrsa.pub.Thekeyfingerprintis:ld:e4:02:84:18:ca:e2:09:99:ll:89:0a:56:fa:7f:82rootgGn-M02TOC\o"1-5"\h\zThekey'srandomartimageis:+—[RSA2048] +l+oo+oo. |l?*o??o IIXo .〇 (oo. |IO. S. IYouhavenewmailin/var/spool/mail/root(rootgGn-M02?]6|將?/authorized_keys文件復(fù)制到?/.ssh目錄下,命令如下所示:mv?/authorized_keys?/.ssh/復(fù)制公鑰文件,命令如下所示:[root8Gn-M02total12-rw 1-rw 1[root8Gn-M02total12-rw 1-rw 1-rw-r——r——1[root0Gn-MO2[root0Gn-MO2total12-rw 1-rw 1-rw-r-r-1[root@Gn-M02.ssh]f11rootroot 1393 jul 20 20:32 author!zed_keysrootroot 1675 Jul 21 09:08 id_rsarootroot 393 Jul 21 09:08 id_rsa.pub.ssh]t(catid_rsa.pub?author!zed_keysI.ssh]I11rootroot 1786 Jtil 21 09:09 authorized_keysrootroot 1675 Jul 21 09:08 id_rsarootroot 393 Jul 21 09:08 id_rsa.pub.ssh]#I再將authorized_keys文件傳到Gn-MO!上,這樣就可以實(shí)現(xiàn)hadoop的HA的管理節(jié)點(diǎn)Gn-M0KGn?M02之間可以互相無(wú)秘鑰登陸,實(shí)現(xiàn)互通,具體命令如下所示:scp?/.ssh/authorized_kyesroot@Gn-M01:?/.ssh/如果提示yes/no的時(shí)候,則輸入yes密碼:輸入密碼在authorized-keys文件中即有Gn-M01的公鑰,又有Gn-M02的公鑰,要實(shí)現(xiàn)hadoop的HA的管理節(jié)點(diǎn)（Gn-M01、Gn-M01）免秘鑰登陸數(shù)據(jù)節(jié)點(diǎn)（Gn-S01）,只需將這個(gè)authorized_keys文件復(fù)制到Gn-S01的?/.ssh目錄下,先將aulhorized_keys文件復(fù)制到Gn-S01的?/目錄下,命令如下所示:scp-/.ssh/authorized_kyesroot@Gn-S01:-/如果提示yes/no的時(shí)候,則輸入yes密碼:輸入密碼Gn-S01節(jié)點(diǎn)在終端上生成秘鑰,命令如下（一路點(diǎn)擊回車生成秘鑰）ssh-keygen-trsa生成的秘鑰在?ノ.ssh目錄下如下圖所示:[root0Gn-SOl.ssh]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(e叩tyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/id_rsa.Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.Thekeyfingerprintis:fc:ld:a4:cc:02:2a:lf:4f:cc:65:d4:ba:3a:27:ed:b5root8Gn-S01Thekey*srandomartimageis:+—[ RSA 2048] +TOC\o"1-5"\h\zI . o.. II+=.o〇!I . o+ S.+, II o+ ?〇?? II?.oo.II+o..I[root8Gn-S01.ssh]f|將?/authorized_keys文件復(fù)制到?ノ.ssh目錄下,命令如下所示:mv?/authorized_keys?ノ.ssh/[root0Gn-SOl.ssh]t11total8rootroot1679Jul21rootroot393Jul21[root0Gn-SOl.ssh]t11total12-rw--rw-rootrootrootroot[786Jul211679Jul21-rw-rrootroot1679Jul21rootroot393Jul21[root0Gn-SOl.ssh]t11total12-rw--rw-rootrootrootroot[786Jul211679Jul21-rw-r-r-1rootroot393Jul21[root0Gn-SOl.ssh]#|09:21id_rsa09:21id_rsa.pub09:231authorizedkeys09:21id_rsa09:21id_rsa.pub驗(yàn)證Gn-M01無(wú)秘鑰登陸Gn-M02,命令如下:驗(yàn)證Gn-M01無(wú)秘鑰登陸Gn-M02,命令如下:sshGn-M02[root6Gn-M01~]*ssh|Gn-MQ2~|Lastlogin:TueJul2109:08:432015fromgn-mOl[root;@Gn-M02|Gn?M02無(wú)秘鑰登陸Gn?M01,命令如下:sshGn-M01[root8Gn-M02.ssh]#|ssnGn-M01|Lastlogin;TueJul2109:27:292015fromgn-m02[rootgGn-MOlT|Gn-MOl無(wú)秘鑰登陸Gn-SOI,命令如下:sshGn-S01Gn?M02無(wú)秘鑰登陸Gn-S01,命令如下:sshGn-S01[root0Gn-MO2.ssh]?|sshGn-SヰLast^ogin:TueJul2109:29:192015fromgn-mOl[rootgGn-S01|>]?|3.2Zookeeper安裝部署Zookeeper集群規(guī)劃Zookeeper是ー個(gè)分布式的開放源碼的應(yīng)用程序協(xié)調(diào)服務(wù),是Hadoop和Hbase的重要組件。具體在集群的部署分布如下表所示:服務(wù)主機(jī)名版本及下載備注ZookeeperGn-M01版本:Zookeeper-3.4.6下載:http://apache,/zookeeper/stable/Zookeeper的部署一般都奇數(shù)個(gè)節(jié)點(diǎn),這是由zookeeper的選舉算法決定的,hadoop的HA的zookeeper的個(gè)數(shù)至少為3臺(tái)Gn-M02Gn-S01注:由于zookeeper的配置在Gn?M01、Gn-M02、Gn-S01都是一致,宜接用ー一臺(tái)及其配置后遠(yuǎn)程復(fù)制,略加修改即可。解壓安裝包進(jìn)入安裝目錄,命令如下:cd/opt/softwareIs（查看是否有zookeeper的安裝包）[rcx)t0Gn-MOl-]?cd/opt/software/[root0Gn-MOlsoftware]#Isapache-flune-1.5.2-bin.tar.gzhbase-l.0.0-bin.tar.gzredis-3.0.2.tar.gzelasticsearch-1.4.4.tar.gz 「zookeeper-3.4.6.tar.gzhadoop-2.6.0.tar.gz jdkl?フ?071.zip[root0Gn-MOlsoftware]#|如果有zookeeper的安裝包，則解壓zooke叩er安裝包,命令如下所示:tar-zxvfzookeeper-3.4.6.tar.gz配置環(huán)境變量注:在Gn-M01、Gn-M02>Gn-SOl上都進(jìn)行配置環(huán)境變量,方便zookeeper服務(wù)的啟動(dòng)、停止、狀態(tài)的查看等操作進(jìn)入zookeeper的解壓目錄下,命令如下:cd/opt/software/zookeeper-3.4.6pwd[root0Gn-MOlsoftware]#cdzookeeper-3.4.6[root0Gn-MOlzookeeper-3.4.6]!pwd/opt/software/zookeeper-3.4.61[rootBGn-MOlzookeeper-3.4.6]1|用vi編輯/etc/profile文件,命令如下:vi/etc/profile配置的zookeeper環(huán)境變量的內(nèi)容如下所示：在/etc/profile文件中增加以下配置exportZOOKEEPERH0ME=/opt/software/zookeeper-3.4.6exportPATH=$PATH:$ZOOKEEPERHOME/bin修改完成后保存退出（：wq）修改完成后,讓配置的環(huán)境變量生效,命令如下所示:source/etc/profile修改配置文件進(jìn)入zookeeper的配置目錄:cd/opt/software/zookeeper-3.4.6/conf7[root0Gn-MOlzookeeper-3.4.6]#ctd/opt/software/zookeeper-3.4.6/conf([root0Gn-MOlconf]#pwdl/gしノsoftware/zookeeper-3?4?67conエI[root0Gn-MOlconf]?Isconfiguration.xslpertieszoo_sample.cfg[root0Gn-MOlconf]#|復(fù)制/〇pt/software/zookeeper-3.4.6/conf/目錄下的zoo_sample.cfg至リzoo.cfg?命令如下所示:cd/opt/software/zookeeper-3.4.6/cpzoo_sample.cfgzoo.cfg用vi編輯zoo.cfg文件,配置內(nèi)容如下所示:tickTime=2000ThenumberofticksthattheinitialsynchronizationphasecantakeinitLimit=10ThenumberofticksthatcanpassbetweensendingarequestandgettinganacknowledgementsyncLimit=5thedirectorywherethesnapshotisstored.donotuse/tmpforstorage,/tmphereisjustexamplesakes.dataDir=/opt/software/zookeeper-3.