教程中文手冊(cè)t00160x

簡(jiǎn) TranswarpDataHub介 Manager介 關(guān)于本手 客戶端要 瀏覽器要 集群檢 綜合運(yùn) Manager一 命令行操 登入和登 語(yǔ)言選 集群管 創(chuàng)建集 配置集 添加節(jié) 擴(kuò)容角 添加服 集群............................................................................狀 熱點(diǎn) 時(shí)間 集群資 節(jié)點(diǎn)資 警 預(yù)定義警 警報(bào)通 操 巡檢工 編輯信 更新........................................................................節(jié)點(diǎn)管 添加節(jié) 管理機(jī) 管理用 添加用 刪除用 編輯用 管理用戶 添加用戶 刪除用戶 編輯用戶 添加角 刪除角 編輯角 TOS基 TOS常用命 TOS常用端 TOS.....................................................................管理TOS角 修改配置 保存修 查看TOS操 Flannel服 安裝 角色管 配置服 查看操 查看用 修改配置 保存修 證管 安裝 角色管 配置服 查看操 查看用 安裝步 注意事 服務(wù)管 添加新服 時(shí)間 ZooKeeper服務(wù)的............................................................CPU使用................................................................ HDFS的運(yùn) HDFS服務(wù)的.................................................................CPU使用................................................................ HDFS節(jié)點(diǎn)............................................................... YARN的運(yùn) YARN服務(wù)的.................................................................CPU使用................................................................YARN節(jié)點(diǎn)............................................................... Shiva的運(yùn) 配置服 Hyperbase服務(wù)的............................................................CPU使用................................................................ HBase的運(yùn) HBase運(yùn) SQL Inceptor服務(wù)的.............................................................CPU使用................................................................ InceptorJDBC驅(qū)動(dòng)的....................................................InceptorWaterdrop的................................................... 配置Metastore Kafka的運(yùn) Kafka服務(wù)的...............................................................CPU使用...............................................................Kafka節(jié)點(diǎn)............................................................. Search運(yùn) 具體操 遷移進(jìn) 相關(guān)參 DataMigration Searchshard計(jì) 快照 還原 查看生成中的快照狀態(tài)（Snapshot Searchik多詞庫(kù)操作指 查看 索引操 任務(wù)管 SearchSDK問(wèn) TxSQL的運(yùn) TranswarpStudio的運(yùn) 3.13.1.ernor的運(yùn) .啟動(dòng)/停止/刪除ernor服 .ernor服務(wù)的配 .查看ernor操 Pilot的運(yùn) Rubik的運(yùn) 客戶服 在編寫(xiě)該說(shuō)明 遺漏、不注釋:Hadoop?和SPARK?是ApacheTM軟件在 和其他國(guó)家的商標(biāo)或的商標(biāo)。Java?是 和其他國(guó)家的商標(biāo)或的商標(biāo)。In ?2013年-2019年星環(huán)信息科技（） 的最終解釋權(quán)和修改權(quán)。本說(shuō)明書(shū)的 的,任何人不 、翻譯成其他語(yǔ)言、或?qū)00160x-02-2019-03-Preface|TranswarpDataHubTranswarpDataHub（簡(jiǎn)稱(chēng)TDH）是國(guó)內(nèi)首個(gè)全面支持Spark和SQL2003語(yǔ)言解析的Hadoop商業(yè)版，也是國(guó)內(nèi)落地案例最多的商業(yè)版本，是國(guó)內(nèi)外領(lǐng)先的高性能平臺(tái)，比開(kāi)源基于HadoopMapReduce計(jì)算框架的版本星環(huán)科技的大數(shù)據(jù)平臺(tái)TDH由以下幾個(gè)部分組成:分布式內(nèi)存分析引擎Inceptor，大數(shù)據(jù)搜索與分析工具TranswarpSearch，高并發(fā)NoSQLHyperbaseSlipstream，Discover，和大數(shù)據(jù)開(kāi)發(fā)工具套件Studio。在統(tǒng)一的分布式之上數(shù)據(jù)平臺(tái)上通過(guò)TranswarpYARN提供統(tǒng)一的資源管理調(diào)度，結(jié)合LDAP與Kerberos提用Hyperbas結(jié)合Incptor，SQFum（）HFS功能，F(xiàn)TPverHDFFT傳入HDF，SqoopKafaTDKakalipstrem基于SarkStreamin2|1分鐘，Manager可以為您提供群集范圍內(nèi)的實(shí)時(shí)視圖的節(jié)點(diǎn)運(yùn)行和服務(wù);提供了一個(gè)單一節(jié)點(diǎn)的控制臺(tái);本手冊(cè)假定您已經(jīng)通過(guò)Manager完成了TranswarpDataHub的安裝，如果您還沒(méi)有完成安裝，請(qǐng)參考我們提供客戶端要WindowsXP,Windows7,Windows8orRedhatorSuseLinuxDesktopApple10.8.1ChromeOS|4|1Manager是集群圖形化管理應(yīng)用程序。通過(guò)ManagerHadoop 客戶端：ManagerWebManagerManager的心跳機(jī)10服務(wù)器。 命令行操servicetranswarp-manager綜合運(yùn)維|#查找進(jìn)程jps|grep#使用查找出的進(jìn)程號(hào)終止該進(jìn)killservicetranswarp-manager-agent登入和登 （0是管理節(jié)點(diǎn)IP,端是8180），輸入用戶名和。初次登 首次登錄發(fā)生在完整地安裝TranswarpDataHub服務(wù)之前，此時(shí)您需要接受TranswarpDataHub最終用戶協(xié)6|2.綜合關(guān)于安裝TranswarpDataHub的細(xì)節(jié)請(qǐng)參考《TDH 綜合運(yùn)維|管理界面1管理界面頁(yè)眉2點(diǎn)擊頁(yè)眉左側(cè)的可以回到管理界面首頁(yè)。點(diǎn)擊可以打開(kāi)服務(wù)菜單：3點(diǎn)擊可以打開(kāi)管理菜單8|2.綜合4集群選項(xiàng)為一系列頁(yè)。在這些頁(yè)中，您可以查看集群概況(“熱點(diǎn)圖”頁(yè))，進(jìn)行警報(bào)設(shè)置(“警報(bào)”頁(yè))，查看集群操作(“操作”頁(yè))。在集群中詳細(xì)介紹這些監(jiān)點(diǎn)擊可以打開(kāi)應(yīng)用市場(chǎng)5?為一個(gè)集群名。一個(gè)Manager可以管理多個(gè)集群。這個(gè)集群名下方顯示集群上安裝的服務(wù)綜合運(yùn)維|6 10|2.綜合件。否則，請(qǐng)選擇需要Transwarp管理工具配置/etc/hosts，Manager會(huì)為您配置/etc/hosts文件。綜合運(yùn)維|12|2.綜合綜合運(yùn)維|14|2.綜合綜合運(yùn)維| 16|2.綜合輸入后，點(diǎn)擊“完成”。節(jié)點(diǎn)便添加完成。如果您只有一個(gè)機(jī)柜，Manager自動(dòng)將所有的節(jié)點(diǎn)分配給了默綜合運(yùn)維|啟動(dòng)、停止和刪除集查看集群18|2.綜合集群圖7.選綜合運(yùn)維|狀8圖標(biāo)表示配置文件有修改，需要更新。您需要執(zhí)行操作>配置服務(wù)和重啟服務(wù)兩步操作來(lái)同步20|2.綜合熱點(diǎn)9均CPU使用率。時(shí)間軸在、、三個(gè)頁(yè)面也都會(huì)顯示。10點(diǎn)擊右上角的“30m,1h,2h,6h,12h,1d,1w,30d”可以方便地選擇統(tǒng)計(jì)窗口的跨度。您也可以直接通過(guò)綜合運(yùn)維|1122|2.綜合12警13 綜合運(yùn)維|點(diǎn)擊警報(bào)旁的可以進(jìn)入警報(bào)的設(shè)置頁(yè)面：在該頁(yè)面可以預(yù)定義警報(bào)和設(shè)置警報(bào)通知。點(diǎn)擊左側(cè)列表中的展開(kāi)/收起以查看或配置24|2.綜合ManagerCRIICAL/WARNIG等）”（ARNING）imeffset（Timeoffets3s發(fā)WARNING10sCRITICL警報(bào)ntp”（CITICALntRITICA警報(bào)）（40%時(shí)觸發(fā)ARNNG15CITICA）。綜合運(yùn)維|2.通操1426|2.綜合從Manager菜單點(diǎn)擊管理巡檢工具點(diǎn) 綜合運(yùn)維| 28|2.綜合更新“節(jié)點(diǎn)”是集群中的服務(wù)器。TDH節(jié)點(diǎn)進(jìn)入節(jié)點(diǎn)管理頁(yè)面：綜合運(yùn)維|30|2.綜合綜合運(yùn)維| 32|2.綜合 綜合運(yùn)維|如果您有多個(gè)機(jī)柜，您可以勾選新增節(jié)點(diǎn)，然后點(diǎn)擊來(lái)分配機(jī)柜（如果您的集群中有6配置RPM點(diǎn)擊可以為節(jié)點(diǎn)選擇RPM庫(kù)配置如果您想要放棄添加新增節(jié)點(diǎn)，可以勾選新增節(jié)點(diǎn)，然后點(diǎn)擊將其刪除34|2.綜合為新增節(jié)點(diǎn)選擇要安裝的角色。新加入集群的節(jié)點(diǎn)需要安裝TOSSlave和DF角色，系統(tǒng)會(huì)自動(dòng)選綜合運(yùn)維|所屬集群中Guardian服務(wù)的Guardian向集群添加新服務(wù)。所以您可以選擇不賦予新增節(jié)點(diǎn)上述角色，但是不能在這一步賦予不在上述所列的角?點(diǎn) 點(diǎn)擊可以停止節(jié)點(diǎn)所有角色點(diǎn) 36|2.綜合點(diǎn)擊可以打開(kāi)機(jī)柜管理頁(yè)面，如下管理RPM庫(kù)配點(diǎn)擊可以打開(kāi)RPM庫(kù)配置管理頁(yè)面，如下光標(biāo)懸停在RPM庫(kù)名稱(chēng)上可以查看具體配置。如要添加一個(gè)新的配置，點(diǎn)擊添加RPM庫(kù)配置，并在彈出窗口綜合運(yùn)維|管理用戶Manager的權(quán)限管38|2.綜合點(diǎn)擊頁(yè)面左側(cè)的，進(jìn)入用戶管理頁(yè)面。用戶管理頁(yè)面中顯示了當(dāng)前Manager中所有的用戶。管理員可以點(diǎn)擊來(lái)添加一個(gè)新用戶。Manager會(huì)彈出下面的窗口，您需要在這里輸入帶“*”號(hào)的必填信息來(lái) 綜合運(yùn)維|用戶添加的角色或組。左側(cè)選中后，點(diǎn)擊將備選項(xiàng)添加到已選列表，并點(diǎn)擊確認(rèn)添加。簡(jiǎn)單設(shè)置在用戶管理界面的用戶列表中勾選一個(gè)或多個(gè)用戶，然后點(diǎn)擊便可以將其刪除40|2.綜合在“權(quán)限設(shè)置”區(qū)域，您可以勾選列表中的角色或組，并通過(guò)和來(lái)添加或移除用戶的角色和 綜合運(yùn)維| 會(huì)將用戶鎖定，用戶被鎖定后，將不能再登陸Manager。要用戶，可以在被鎖定用戶的編 管理用戶點(diǎn)擊頁(yè)面左側(cè)的進(jìn)入用戶組管理頁(yè)面，可以看到當(dāng)前所有的用戶組的列表。管理員可以添加、刪除和點(diǎn)擊添加一個(gè)新的用戶組。Manager會(huì)彈出下面窗口，您需要提供新增用戶組的信息42|2.綜合2在用戶組列表中選中一個(gè)組，然后點(diǎn)擊可以將選中的組刪除點(diǎn)擊可以對(duì)用戶組本身進(jìn)行編輯；點(diǎn)擊可以增加/移除用戶組的角色綜合運(yùn)維|為用戶組添加或移除角色。您可以勾選列表中的角色，并通過(guò)和來(lái)為用戶組添加或移除角色管理用戶點(diǎn)擊頁(yè)面左側(cè)的，可以進(jìn)入用戶角色頁(yè)面。您可以看到當(dāng)前Manager所有的角色以及它們的類(lèi)型、權(quán)限點(diǎn)擊，會(huì)看到以下窗口44|2.綜合在角色編輯頁(yè)面中點(diǎn)擊，Manager會(huì)彈出下面窗口，在該窗口中您可以修改角色的描述。注意，點(diǎn) 綜合運(yùn)維|46|2.綜合ManagerTOS是為大數(shù)據(jù)應(yīng)用量身訂做的云操作系統(tǒng)。TDH6.0中，各個(gè)服務(wù)被包裝為容器，TOS基于Docker綜合運(yùn)維|TOS基48|2.綜合DOCKER_OPTS:--insecure-registryDOCKER_OPTS:--insecure-registrylog：/var/log/kubernetes(hyperkube.{INFO,ERROR,kubectlpd|rc|svc|ns|no|ev|...--all-namespaces-owide-a-w--show-label-lname=<myLabel>kubectlpd|rc|svc|ns|no|ev|...綜合運(yùn)維|kubectlpd|rc|svc|ns|no|ev|...--all-lname=<myLabel>--grace-period=0kubectl--namespace=u5003scalestatefulsets/kafka1118--replicas=3添加kubectllabelnodes{nodename}kubectl--namespace=u5003editkubectllogs<pod--f--tail=nkubectlcordon/uncordon<node-name>1024850|2.綜合4432379PrometheusGrafana將GrafanaK8SKubeletHaDownalertK8SKubeletStatusUpdateDownalertK8SKubeletTooManyPodsK8SNodeDiskfilesystemFull每個(gè)節(jié)點(diǎn)文件系統(tǒng)的占用率（相當(dāng)于dfh）當(dāng) du-shK8SNodeOutofdiskK8SNodeReadyStatusNodetime_Difference綜合運(yùn)維|管理TOS角點(diǎn)擊頁(yè)面左側(cè)的進(jìn)入TOS角色頁(yè)面，本頁(yè)面展示TOS角色的名稱(chēng)、節(jié)點(diǎn)、機(jī)柜名稱(chēng)、服務(wù) 修改TOS的配52|2.綜合：預(yù)定義配置和自定義配置。其中自定義配置用戶添加，并且可被刪除。自定義配置項(xiàng)的添加請(qǐng)參考增您可以點(diǎn)擊想要修改的配置的值，在欄中輸入新值，并點(diǎn)擊，完成修改；點(diǎn)擊，修改無(wú)效，恢 綜合運(yùn)維|點(diǎn)擊頁(yè)面上方的操作>配置服務(wù),在彈出的確認(rèn)框中點(diǎn)擊“確認(rèn)”配置服務(wù)：54|2.綜合 綜合運(yùn)維|以P2P方式分發(fā)Docker鏡TOS使用Docker容器應(yīng)用為集群部署服務(wù)。當(dāng)集群節(jié)點(diǎn)較多時(shí)，DockerRegistry節(jié)點(diǎn)需要將應(yīng)用鏡像發(fā)布到 和DFMaster角色，其中，DF需要安裝在每個(gè)節(jié)點(diǎn)上，DF 56|2.綜合 和DFMaster：綜合運(yùn)維|查看TOS操點(diǎn)擊頁(yè)面左側(cè)的進(jìn)入TOS操作頁(yè)面58|2.綜合Flannel為集群中的所有節(jié)點(diǎn)重劃IP地址的使用規(guī)則，使不同節(jié)點(diǎn)上的容器能夠獲得“同屬一個(gè)內(nèi)網(wǎng)”且安裝從Manager菜單點(diǎn)擊管理Flannel，如果是首次使用，系統(tǒng)會(huì)提示需要安裝服務(wù)。點(diǎn)擊確認(rèn)綜合運(yùn)維|Flannelannellnnld角需要安在所節(jié)點(diǎn)上，ubeDN建議安裝在個(gè)或節(jié)點(diǎn)上分配完點(diǎn)后下一步：60|2.綜合綜合運(yùn)維|管理Flannel服如果已安裝Flannel，從Manager菜單點(diǎn)擊管理Flannel可進(jìn)入到Flannel62|2.綜合在頁(yè)面，您可以查看各個(gè)角色的健康狀況以及對(duì)角色進(jìn)行管理點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)可以啟動(dòng)、停止、刪除、遷移角色您也可以選中多個(gè)角色進(jìn)行操作。在左側(cè)復(fù)選框選擇要操作的角色后，點(diǎn)擊右上角的圖 在頁(yè)面，您可以對(duì)Flannel的參數(shù)進(jìn)行配置在頁(yè)面，可以查看對(duì)Flannel的操作信息綜合運(yùn)維|點(diǎn)擊圖標(biāo)進(jìn)入用戶頁(yè)面，可以看到當(dāng)前有哪些用戶及其權(quán)限信息64|2.綜合Dashboard服務(wù)的角點(diǎn)擊頁(yè)面左側(cè)的進(jìn)入Dashboard角色頁(yè)面，本頁(yè)面展示Dashboard角色的名稱(chēng)、節(jié)點(diǎn)、機(jī)柜名稱(chēng)、服務(wù)綜合運(yùn)維|? 修改Dashboard的配66|2.綜合參考增加自定義參數(shù)。 點(diǎn) 綜合運(yùn)維|點(diǎn)擊頁(yè)面上方的操作>配置服務(wù),在彈出的確認(rèn)框中點(diǎn)擊“確認(rèn)”配置服務(wù)68|2.綜合 Dashboard操 綜合運(yùn)維|TranswarpDataHub采用證方式提供相關(guān)服務(wù)，因此在安裝過(guò)程中需要輸入證并激活以啟用所有服務(wù)。將鼠標(biāo)移至Manager主界面上方的管理菜單，在彈出的菜單欄中點(diǎn)擊證進(jìn)入證管理頁(yè)“概要”部分顯示ServerKey、序列號(hào)和證服務(wù)三項(xiàng)內(nèi)容，其中ServerKey為服務(wù)器自動(dòng)回送的編碼，和LicenseKey。 70|2.綜合從Manager菜單選擇管理Guardian進(jìn)入Guardian頁(yè)面，如果您的集群還沒(méi)有安裝Guardian安裝綜合運(yùn)維|從Manager菜單選擇管理72|2.綜合為GuardianServer。我們建議您為集群的每一臺(tái)節(jié)點(diǎn)都安裝GuardianServer。配置完成后點(diǎn)擊“下一 綜合運(yùn)維|74|2.綜合對(duì)應(yīng)的圖標(biāo)）和停止（點(diǎn)擊角色對(duì)應(yīng)的 點(diǎn)擊可以進(jìn)入Guardian服務(wù)的配置頁(yè)面點(diǎn)擊想要修改的配置的值，在欄中輸入新值，并點(diǎn)擊，完成修改；點(diǎn)擊，修改無(wú)效，恢復(fù)原 綜合運(yùn)維|點(diǎn)擊頁(yè)面上方的操作>配置服務(wù),在彈出的確認(rèn)框中點(diǎn)擊“確認(rèn)”配置服務(wù)。配置服務(wù)完成后， 點(diǎn) 76|2.綜合點(diǎn)擊可以查看當(dāng)前對(duì)Guardian服務(wù)有權(quán)限的用戶，以及獲得權(quán)限的方式一鍵啟停集群安的“操作”，選擇彈出的選項(xiàng)中的“啟用/關(guān)閉guardian安全”：綜合運(yùn)維|TranswarpDataHub提供管理節(jié)點(diǎn)高可用功能，該功能打開(kāi)后，集群中可以有多個(gè)管理節(jié)點(diǎn)，可以保證在一管理>Manager高可用78|2.綜合開(kāi)啟，開(kāi)始為Manager分配角色，被分配到Manager角色的節(jié)點(diǎn)在設(shè)置完成后都將可以作為管理節(jié)點(diǎn)綜合運(yùn)維|點(diǎn)擊MaagerActivStandyAciveManaer8180如果需要關(guān)閉高可用功能，同樣選擇“管理”>Manager高可用，并點(diǎn)擊右上角*操作*>關(guān)閉Manager80|2.綜合服務(wù)安裝完成后，用戶必須安裝TDH客戶端，才可以在交互界面上執(zhí)行各個(gè)服務(wù)令行，如beeline、hdfsdfs等。在Manager界面上點(diǎn)擊管理→客戶端 綜合運(yùn)維|tar-xvf TDH-中請(qǐng)執(zhí)行位 TDH-內(nèi)的init.shsource 注意，用戶必須使用source命令執(zhí)行該。bashinit.sh和./init.sh都不起作用該接受兩個(gè)參數(shù)，默認(rèn)都是y。第一個(gè)參數(shù)表示是否修改/etc/hosts文件（y表示修改，n表示不修改），第二個(gè)參數(shù)表示是否安裝Kerberos（y表示安裝，n表示不安裝）。82|2.綜合sourceTDH-source/init.shysourceTDH-/init.shysource/init.shnsourceTDH-/init.shn<principal>-kt<keytab文件>的方式進(jìn)行kinit。此時(shí)必須通過(guò)kinit<principal>，并根據(jù)提示輸入 綜合運(yùn)維|添加新服將光標(biāo)放在Manager主頁(yè)面上集群名旁的上，點(diǎn)擊展開(kāi)的，您將進(jìn)入添加服務(wù)向?qū)?4|3.服務(wù)的管理和運(yùn)維|86|3.服務(wù)的管理和運(yùn)維|服務(wù)的啟動(dòng)、刪除和停Manager主頁(yè)面的Kafka88|3.?在Kafka服務(wù)的主頁(yè)面的右上角點(diǎn) 服務(wù)概要服務(wù)的管理和運(yùn)維|.服務(wù)相關(guān)頁(yè)面左側(cè)都有一排小圖標(biāo)，代表一系列服務(wù)的管理和選項(xiàng)，點(diǎn)擊它們可以打開(kāi)專(zhuān)門(mén)的對(duì)應(yīng)的管理或者頁(yè)。這些選項(xiàng)根據(jù)服務(wù)的不同略有一些不同，具體的信息和操作將在各服務(wù)的運(yùn)維中介紹。常見(jiàn)的選：?：概要面顯示服務(wù)運(yùn)的狀態(tài)具體的息據(jù)服務(wù)而。例如ZoKeeper概要頁(yè)會(huì)顯延遲，HDFameNod，Iceptoroie,qoo1和HU?：操作頁(yè)面可以查看該服務(wù)上進(jìn)行過(guò)哪些操作?：安全頁(yè)面可以為服務(wù)開(kāi)啟或者關(guān)閉Kerberos?：可以看到當(dāng)前服務(wù)有哪些用戶通用服務(wù)管理操在服務(wù)的頁(yè)面，您可以查看各個(gè)角色的健康狀況以及對(duì)該服務(wù)的角色進(jìn)行管理。以Transwarp90|3.啟動(dòng)/停止/刪除角點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)可以啟動(dòng)、停止、刪除、遷移角色您也可以選中多個(gè)角色進(jìn)行操作。在左側(cè)復(fù)選框選擇要操作的角色后，點(diǎn)擊右上角的圖標(biāo)可點(diǎn)擊角色列表右上方的，進(jìn)入添加角色向?qū)Х?wù)的管理和運(yùn)維|Search的SearchServer），您可以點(diǎn)擊圖標(biāo)新建一個(gè)實(shí)例組，并為這個(gè)角色實(shí)例選擇節(jié)點(diǎn) 92|3.在此頁(yè)面修改角色的參數(shù)，項(xiàng)顯示為參數(shù)值時(shí)，點(diǎn)擊值可直接修改；支持多實(shí)例的角色，需要對(duì)每個(gè)服務(wù)的管理和運(yùn)維|一些角色支持從一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)上。對(duì)于可遷移的角色，可以在右側(cè)看到圖標(biāo)。94|3.點(diǎn)擊角色右側(cè)的，進(jìn)入遷移角色向?qū)?，可以看到關(guān)于遷移的說(shuō)明信息，點(diǎn)擊“下一步服務(wù)的管理和運(yùn)維|點(diǎn)擊服務(wù)的圖標(biāo)可以打開(kāi)安全頁(yè)面，您可以設(shè)置開(kāi)啟或關(guān)閉安全。這里以ZooKeeper為例96|3.說(shuō)明服務(wù)的安全已經(jīng)開(kāi)啟。您可以點(diǎn)擊來(lái)關(guān)閉Kerberos安全說(shuō)明服務(wù)的安全沒(méi)有開(kāi)啟。點(diǎn)擊可以開(kāi)啟Kerberos安全，Manager會(huì)要求您輸入KAdmin票在服務(wù) 服務(wù)的管理和運(yùn)維|來(lái)確認(rèn)修改。來(lái)取消修改。保存配置：當(dāng)您修改了配置，頁(yè)面上方會(huì)出現(xiàn)一個(gè)提示框顯示被修改的配置項(xiàng)以及需要執(zhí)行相關(guān)操點(diǎn)擊“操作”下的“配置服務(wù)”，這樣Manager才可以將保存的修改配置到集群的各個(gè)節(jié)點(diǎn)上。點(diǎn)擊頁(yè)面右上方的重啟服務(wù)。在服務(wù) 頁(yè)面點(diǎn) 98|3. 頁(yè)面左上角服務(wù)名旁出現(xiàn)標(biāo)志，表示配置過(guò)期。鼠標(biāo)懸停在該標(biāo)志上可看到相關(guān)提示“服務(wù)配置文件點(diǎn)擊頁(yè)面上方的操作>配置服務(wù)服務(wù)的管理和運(yùn)維| 100|3.進(jìn)入服務(wù)的頁(yè)面，您可以看到該服務(wù)在過(guò)去的一段時(shí)間內(nèi)接受過(guò)的操作點(diǎn) 服務(wù)的管理和運(yùn)維|啟動(dòng)/停止/刪除ZooKeeper在ZooKeeper服務(wù)狀態(tài)頁(yè)面的頂部右側(cè)有三個(gè)圖標(biāo)，點(diǎn)擊 ZooKeeper服務(wù)的102|3.可以在時(shí)間軸上方設(shè)置時(shí)間軸尺度，默認(rèn)為30服務(wù)的管理和運(yùn)維|104|3.ZooKeeper服務(wù)的配服務(wù)的管理和運(yùn)維|停止、刪除和遷移操作。您還可以通過(guò)在搜索欄中輸入搜索角色。編輯/刪除/添加/遷移角點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)啟動(dòng)角色點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)停止角色點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)刪除角色。當(dāng)您想要?jiǎng)h除一個(gè)角色時(shí)，必須要先停止該角色，有些角色像Data 點(diǎn)擊可以打開(kāi)遷移角色向?qū)?，將角色從一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)上。在遷移的過(guò)程中，服務(wù)將會(huì)被在小于等于三個(gè)節(jié)點(diǎn)的集群上不能進(jìn)行ZooKeeperserver角色的遷移。106|3.點(diǎn)擊想要修改的配置的值，在欄中輸入新值，并點(diǎn)擊,完成修改；點(diǎn)擊可恢復(fù)原值。點(diǎn) 服務(wù)的管理和運(yùn)維| 查看ZooKeeper操108|3.Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodityhardware)上的分布式文件系統(tǒng)。它一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)，非常適合大規(guī)模數(shù)據(jù)為ApacheNutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開(kāi)發(fā)的。HDFS是ApacheHadoopCore啟動(dòng)/停止/刪除HDFS服服務(wù)的管理和運(yùn)維|在HDFS服務(wù)狀態(tài)頁(yè)面的頂部右側(cè)有三個(gè)圖標(biāo)，點(diǎn)擊 HDFS服務(wù)的可以在時(shí)間軸上方設(shè)置時(shí)間軸尺度，默認(rèn)為30110|3.服務(wù)的管理和運(yùn)維|112|3.HDFS服務(wù)的配 點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)啟動(dòng)角色點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)停止角色點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)刪除角色。當(dāng)您想要?jiǎng)h除一個(gè)角色時(shí)，必須要先停止該角色，有些角色像Data 服務(wù)的管理和運(yùn)維|點(diǎn)擊可以打開(kāi)遷移角色向?qū)?，將角色從一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)上。在遷移的過(guò)程中，服務(wù)將會(huì)被您還可以點(diǎn)擊“服務(wù)”中的“Link”，查看角色的詳細(xì)內(nèi)容。比如，點(diǎn)擊NameNode的，彈出以項(xiàng)的添加請(qǐng)參考增加自定義參數(shù)。114|3.點(diǎn)擊想要修改的配置的值，在欄中輸入新值，并點(diǎn)擊,完成修改；點(diǎn)擊,修改無(wú)效，恢復(fù)原 點(diǎn)擊界面右上方的，彈出以下頁(yè)面點(diǎn)擊頁(yè)面上方的操作>配置服務(wù),在彈出的確認(rèn)框中點(diǎn)擊“確認(rèn)”配置服務(wù)。配置服務(wù)完成 重啟HDFS服務(wù)的管理和運(yùn)維|查看HDFS操 116|3.YARN的ApacheHadoopYARN（YetAnotherResourceNegotiator，另一種資源協(xié)調(diào)者）Hadoop啟動(dòng)/停止/刪除YARN在YARN服務(wù)狀態(tài)頁(yè)面的頂部右側(cè)有三個(gè)圖標(biāo)，點(diǎn)擊 服務(wù)的管理和運(yùn)維|YARN服務(wù)的可以在時(shí)間軸上方設(shè)置時(shí)間軸尺度，默認(rèn)為30（ContainersRunning）、活躍的節(jié)點(diǎn)（ActiveNodes）、退役的節(jié)點(diǎn) （LostNodes）、不健康的節(jié)點(diǎn)（UnhealthyNodes）、重啟的節(jié)點(diǎn)（RebootedNodes118|3.服務(wù)的管理和運(yùn)維|YARN服務(wù)的配120|3.停止和刪除操作。您還可以通過(guò)在搜索欄中輸入搜索角色。編輯/刪除/添加角點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)啟動(dòng)角色 點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)刪除角色。當(dāng)您想要?jiǎng)h除一個(gè)角色時(shí)，必須要先停止該角色，有些角色像Data 點(diǎn)擊可以打開(kāi)遷移角色向?qū)В瑢⒔巧珡囊粋€(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)上。在遷移的過(guò)程中，服務(wù)將會(huì)被您還可以點(diǎn)擊“服務(wù)”中的“Link”，查看角色的詳細(xì)內(nèi)容。比如，點(diǎn)擊ResourceManager的鏈服務(wù)的管理和運(yùn)維|項(xiàng)的添加請(qǐng)參考增加自定義參數(shù)。 122|3.點(diǎn)擊頁(yè)面上方的操作>配置服務(wù),在彈出的確認(rèn)框中點(diǎn)擊“確認(rèn)”配置服務(wù)。配置服務(wù)完成 重啟YARN服務(wù)的管理和運(yùn)維|查看YARN操 啟動(dòng)/停止/刪除Shiva服124|3.在YARN服務(wù)狀態(tài)頁(yè)面的頂部右側(cè)有三個(gè)圖標(biāo)，點(diǎn)擊 Shiva服務(wù)的配停止和刪除操作。您還可以通過(guò)在搜索欄中輸入搜索角色。點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)啟動(dòng)角色點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)停止角色點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)刪除角色。當(dāng)您想要?jiǎng)h除一個(gè)角色時(shí)，必須要先停止該角色，有些角色像Data服務(wù)的管理和運(yùn)維| ”中的“Link”，查看角色的詳細(xì)內(nèi)容。比如，點(diǎn)擊ShivaWebserver 項(xiàng)的添加請(qǐng)參考增加自定義參數(shù)。126|3. 點(diǎn)擊頁(yè)面上方的操作>配置服務(wù),在彈出的確認(rèn)框中點(diǎn)擊“確認(rèn)”配置服務(wù)。配置服務(wù)完成 重啟Shiva服務(wù)的管理和運(yùn)維|查看Shiva操TranswarpHyperbase是星環(huán)信息科技（）開(kāi)發(fā)的實(shí)時(shí)事務(wù)處理引擎，是一個(gè)建立時(shí)NoSQL數(shù)據(jù)庫(kù)。它也可以結(jié)合TranswarpInceptor進(jìn)行SQL查詢。在本章節(jié)中，概述HyperbaseHyperbase服務(wù)的管128|3.在Hyperbase服務(wù)狀態(tài)頁(yè)面的頂部右側(cè)有三個(gè)圖標(biāo)，點(diǎn)擊 服務(wù)的管理和運(yùn)維|Hyperbase服務(wù)可以在時(shí)間軸上方設(shè)置時(shí)間軸尺度，默認(rèn)為30該Hyperbase服務(wù)的發(fā)出的讀請(qǐng)求、寫(xiě)請(qǐng)求，分別以深藍(lán)色線、綠色線表示，將鼠標(biāo)放置的任意時(shí)間點(diǎn)上，顯示該時(shí)間有關(guān)讀寫(xiě)請(qǐng)求的詳細(xì)信息，包括數(shù)據(jù)源、時(shí)刻、值；右邊顯示liveregionservers、deadregionservers、totalregions的數(shù)目。130|3.Hyperbase服務(wù)狀態(tài)頁(yè)面右下方顯示Hyperbase統(tǒng)計(jì)信息，包括CompactionQueueLength、Flushqueue服務(wù)的管理和運(yùn)維|鍵顯示前后時(shí)間的信息。Hyperbase服務(wù)的配132|3.停止和刪除操作。您還可以通過(guò)在搜索欄中輸入搜索角色。點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)啟動(dòng)角色 點(diǎn)擊角色對(duì)應(yīng)的圖標(biāo)刪除角色。當(dāng)您想要?jiǎng)h除一個(gè)角色時(shí)，必須要先停止該角色，有些角色像Data 當(dāng)您想要?jiǎng)h除一個(gè)角色時(shí)，必須要先停止該角色，有些角色像DataNode和NodeManager在刪除前最好能先將服務(wù)的管理和運(yùn)維|134|3.服務(wù)的管理和運(yùn)維| 136|3.HBase的運(yùn)，其中master_node_ip是HBase集群主節(jié)點(diǎn)的ip。服務(wù)的管理和運(yùn)維|請(qǐng)到HMaster機(jī)器的60010Num.RegionsRequestsPerSecondRegionServer、Table、RegionInTransition等信息。若某狀態(tài)不對(duì)，一定可以在RegionInTransition里面看到其region處于中間狀態(tài)目前，HBase日志可以在/var/log/hyperbase1/ 如何查看Active的60010界面上看，就可以看到ActiveHMasterhbases其實(shí)是執(zhí)行了/usr/lib/hbase/bin/hbase這個(gè)而已，大家需要打印一最終hbases是在本地啟動(dòng)了一個(gè)jvm?？梢酝ㄟ^(guò)jps看到本地的java進(jìn)程，叫Mainhbases啟動(dòng)了一個(gè)本地java進(jìn)程，進(jìn)程名叫Main?？ㄗ〉脑挼谝徊秸?qǐng)用jstack看一下Main卡hbasezkcliZooKeeper，看到ZooKeeperHBaseindexHBaseindex在ZooKeeperHBaseindex在ZooKeeper/hyperbase1/hyperhbasezkclirmr/hyperbase1/hyper選擇二：建立一張與索引表相同名字的表，再執(zhí)行delete_index令刪除索引請(qǐng)?jiān)趆bases里面隨便敲一個(gè)命令，例如create。按下回車(chē)鍵后會(huì)有相應(yīng)的語(yǔ)法說(shuō)明及用例create't1'f1'create't1',{NAME'f1', 'PREFIX_TREE', 138|3.create't1',{NAME'f1',DATA_BLOCK_ENCODING 'PREFIX_TREE',COMPRESSION ['10','20','30','40']對(duì)一張已有數(shù)據(jù)的表添加索引時(shí)，HBase會(huì)自動(dòng)采樣數(shù)據(jù)并得到索引表的splitkey。過(guò)在hbase-site.xml里面對(duì)其進(jìn)行設(shè)置。add_indexdropadd_index't1','index1',disabledropcreate't1_index1',{NAME'f',DATA_BLOCK_ENCODING 'PREFIX_TREE',COMPRESSION'SNAPPY'},SPLITS ['10','20','30','40']rebuild_index_with_range't1','index_name','start_key',[start_key,end_key)Bulkload只是種直接生成HFile（HBase數(shù)據(jù)的文件類(lèi)型）并直接將HFilemove到對(duì)應(yīng)的 HBase\x00ascii碼為0系統(tǒng)服務(wù)端日志gc日志：gc操作系統(tǒng)日志和命令btrace：實(shí)時(shí)目前服務(wù)端的請(qǐng)求和處理情況運(yùn)維工具服務(wù)的管理和運(yùn)維|讀寫(xiě)請(qǐng)求大量出錯(cuò)的現(xiàn)象主要有兩類(lèi)：大量出現(xiàn)服務(wù)端exception是meta數(shù)據(jù)錯(cuò)誤導(dǎo)致客戶端獲取regionlocation錯(cuò)誤。以上現(xiàn)象均可通過(guò)日志來(lái)定位。fullgcygc片、cmsgc速度來(lái)不及導(dǎo)致，后者一般是由于系統(tǒng)使用了swap內(nèi)存。查看是否出現(xiàn)callqueue積壓，請(qǐng)求無(wú)法得到及時(shí)處理，進(jìn)一步通過(guò)call查看工具或者jstack查看判斷是否出現(xiàn)blockingupdate，memstore是否已接近系統(tǒng)設(shè)置的上限如果磁盤(pán)讀寫(xiě)加劇，重點(diǎn)查看flush是否過(guò)小，compaction是否過(guò)頻，尤其是majorcompaction是否RegionServer是否存在region分配不均衡導(dǎo)致的讀寫(xiě)集中，或者讀寫(xiě)handler6、DataBlock的本地化率是否出現(xiàn)下降？7、是否存在DataNode運(yùn)行不正常，可以通過(guò)查看是否有個(gè)別機(jī)器讀 140|3.首先可以通過(guò)或者查看gcfullgcygc查看datanode是否出現(xiàn)異常日志，RegionServerrolllogflush 卻 響RegionServerfailover的時(shí)間。隊(duì)列 長(zhǎng)度 failedRequestmaxResponseTimehbasehbaseh服務(wù)的管理和運(yùn)維|Usage:hbase[<options>]<command>[<args>]--config Configurationdirectiontouse.Default:--hosts Overridethelistin'regionservers'Somecommandstakearguments.Passnoargsor-hforusage.sRuntheHBases Runthehbase'fsck' Write-ahead-log Storefile RuntheZooKeeper Upgrade RunanHBaseHMasternode RunanHBaseHRegionServernode RunaZookeeperserver RunanHBaseREST RuntheHBaseThrift RuntheHBaseThrift2 RuntheHBasecleanupscript DumphbaseCLASSPATH DumpCLASSPATHentriesrequiredbymapreduce RunPerformanceEvaluation Run Printthe RuntheclassnamedCanaryHBase集群狀態(tài)（列族、region或RegionServer粒度等），這里提供了一個(gè)Canary類(lèi)?？赏ㄟ^(guò)sudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canary-help查看使用方法，Usage:bin/hbaseorg.apache.hadoop.hbase.tool.Canary[opts][table1[table2]...]|[regionserver1where[opts]- Showthishelpand-regionserverrecethetableargumenttoregionserver,whichmeanstoenableregionservermode- Continuouscheckatdefined-interval<N>Intervalbetweenchecks- Useregion/regionserverasregularwhichmeanstheregion/regionserverisregularexpression-f stopwholeprogramiffirsterroroccurs,defaultis-t timeoutforacheck,defaultis600000sudo-uhbasehbasesudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canary-tsudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canarytable_name1table_name2sudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canary-t60000table_name1table_name2sudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canary-sudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canary-t60000-142|3.現(xiàn)有canary_test1和canary_test2兩，它們各自有兩個(gè)列族cf1和cf2，這兩個(gè)列族部署在4sudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canarycanary_test1canary_test22016-09-0217:27:39,725INFOtool.Canary:readfromregioncanary_test1,,1472807839983.7c9e455cb0ea1eb455586b74ed70b18a.columnfamilycf1in44ms2016-09-0217:27:39,729INFOtool.Canary:readfromregioncanary_test1,,1472807839983.7c9e455cb0ea1eb455586b74ed70b18a.columnfamilycf2in3ms2016-09-0217:27:39,740INFOtool.Canary:readfromregion c.columnfamilycf1in4ms2016-09-0217:27:39,742INFOtool.Canary:readfromregion c.columnfamilycf2in2ms2016-09-0217:27:39,748INFOtool.Canary:readfromregioncanary_test1,5,1472807839984.f23238e266ed8976ec696c63420bf3dc.columnfamilycf1in3ms2016-09-0217:27:39,750INFOtool.Canary:readfromregioncanary_test1,5,1472807839984.f23238e266ed8976ec696c63420bf3dc.columnfamilycf2in1ms2016-09-0217:27:39,764INFOtool.Canary:readfromregion a78d52ec2cac87a8e.columnfamilycf1in11ms2016-09-0217:27:39,767INFOtool.Canary:readfromregion a78d52ec2cac87a8e.columnfamilycf2in3ms2016-09-0217:27:39,883INFOtool.Canary:readfromregioncanary_test2,,1472808106837.93fa6c37d0481c1e2ee1f28513637196.columnfamilycf1in11ms2016-09-0217:27:39,886INFOtool.Canary:readfromregioncanary_test2,,1472808106837.93fa6c37d0481c1e2ee1f28513637196.columnfamilycf2in1ms2016-09-0217:27:39,891INFOtool.Canary:readfromregioncanary_test2,3,1472808106837.e09e5f7995a3a27d761200cd00e3ce51.columnfamilycf1in1ms2016-09-0217:27:39,893INFOtool.Canary:readfromregioncanary_test2,3,1472808106837.e09e5f7995a3a27d761200cd00e3ce51.columnfamilycf2in2ms2016-09-0217:27:39,897INFOtool.Canary:readfromregioncanary_test2,5,1472808106837.ee5bf1cc4b944bb62265be5cc3116caf.columnfamilycf1in1ms2016-09-0217:27:39,900INFOtool.Canary:readfromregioncanary_test2,5,1472808106837.ee5bf1cc4b944bb62265be5cc3116caf.columnfamilycf2in3ms2016-09-0217:27:39,906INFOtool.Canary:readfromregioncanary_test2,7,1472808106837.85100cd91a56adce082deabeb758a02b.columnfamilycf1in1ms2016-09-0217:27:39,907INFOtool.Canary:readfromregioncanary_test2,7,1472808106837.85100cd91a56adce082deabeb758a02b.columnfamilycf2in1ms可以看到，表canary_test1有四個(gè)region和兩個(gè)列族，所以工具Canary會(huì)從八個(gè)不同的文件中選取八小塊數(shù)據(jù)，如果返回類(lèi)似INFOtool.Canary:readfromregioncanary_test2,7,…的信息表定RegionServer的輸入選項(xiàng)。如果顯示類(lèi)似INFOtool.Canary:Readfromtable:A_HBASEonregionserver:transwarp-perf2的信息，表示成功對(duì)應(yīng)的RegionServer。服務(wù)的管理和運(yùn)維|sudo-uhbasehbaseorg.apache.hadoop.hbase.tool.Canary-2016-09-0217:37:09,124INFOtool.Canary:Readfromtable:A_HBASEonregionserver:transwarp-perf2in39ms2016-09-0217:37:09,133INFOtool.Canary:Readfromtable:123onregionserver:transwarp-perf3in9ms2016-09-0217:37:09,141INFOtool.Canary:Readfromtable:123onregionserver:transwarp-perf4in8ms2016-09-0217:37:09,148INFOtool.Canary:Readfromtable:123onregionserver:transwarp-perf1in7mshbck要在你的HBasehbcksudo-uhbasehbaseOKINCONSISTENCYinconsistency，可通過(guò)-details來(lái)查看細(xì)節(jié)。在發(fā)生inconsistency時(shí)，可以重復(fù)執(zhí)行hbck工具幾次，因內(nèi)容的文本化版本，你可以使用$${HBASE_HOME}/bin/hbase3HFilesudo-uhbasehbaseorg.apache.hadoop.hbase.io.hfile.HFile-v-f 如果去掉-v選項(xiàng)，可以只查看HFile上簡(jiǎn)化過(guò) sudo-uhbasehbaseorg.apache.hadoop.hbase.mapreduce.Export<tablename><outputdir>[<versions>[<starttime>[<endtime>]]]：hbaseorg.apache.Hadoop.hbase.mapreduce.Export：hbaseorg.apache.Hadoop.hbase.mapreduce.Exportmember5hdfs://master24:9000/user/hadoop/dump2114019385904661401938590467144|3.Export實(shí)際應(yīng)用，參考用import/export遷移數(shù)據(jù)。ImportExportHBasesudo-uhbasehbaseorg.apache.hadoop.hbase.mapreduce.Import<tablename>Import實(shí)際應(yīng)用，參考用import/export遷移數(shù)據(jù)。工具用來(lái)把數(shù)據(jù)以PutsHDFS中的TSV格式載入到HBasesudo-uhbasehbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-<tablename><hdfs-completebulkloadStoreFilessudo-uhbasehbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-HBASE_ROW_KEY-Dimporttsv.bulk.output指定HFiles的存放 '-Dimporttsv.separator=|'|Tab指定datatsvdc1c2服務(wù)的管理和運(yùn)維|${HBASE_HOME}/hbase-server-VERSION.jarimporttsv-按照d:c1和d:c2來(lái)IpletebulkloadStoreFiles移動(dòng)到HBaseImportTsvsudo-uhbasesudo-uhbasehbase<hdfs://storefileoutput>RowCounter和RowCounterMapReduceRowCounter是MapReducestarttime=[starttime]endtime=[endtime]sudo-uhbasehbaseorg.apache.hadoop.hbase.mapreduce.RowCounter<tablename>HBase還有另一個(gè)起診斷作用的MapReduceCellCounterRowCounter關(guān)的更細(xì)節(jié)的統(tǒng)計(jì)數(shù)據(jù)。CellCounter收集的數(shù)據(jù)包括：146|3.starttime=[starttime]可用hbase.mapreduce.scan.column.family來(lái)指定掃描單個(gè)的列族：sudo-uhbasehbaseorg.apache.hadoop.hbase.mapreduce.CellCounter<tablename><outputDir>[regexorhbasecleanhbasecleanZooKeeper或HDFS上的HBase工具。它適合用于測(cè)試或者鏟除HBase集群時(shí)sudo-uhbasehbaseUsage:hbaseclean(--cleanZk|--cleanHdfs|--clel)-- cleanshbaserelateddatafrom--cleanHdfscleanshbaserelateddatafrom--clelcleanshbaserelateddatafrombothzookeeperandRegionMajorMajorCompaction可以通過(guò)hbases命令或 pactAPI進(jìn)行 Mergeregionsudo-uhbasehbaseorg.apache.hadoop.hbase.util.Merge<tablename><region1>如果regionMergetable_name,\x0A,1342956111995.7cef47f192318ba7ccc75b1bbf27a82b.，第三個(gè)參數(shù)是第二個(gè)要mergeRegion負(fù)載均衡（Loadhbase(main):001:0>balance_switch'true'hbase(main):001:0>balancer啟動(dòng)次。想要為某個(gè)RegionServer配置Metrics，conf/perties服務(wù)的管理和運(yùn)維|在啟動(dòng)HBase后，RegionServer的WebUI，默認(rèn)在，其為MetricsDump，RegionServer的Metrics會(huì)以JSON格式的JMXbean顯示出來(lái)。這給出了description=true，并不是所有的beans和屬性值都有描述。要查看Master的Metrics，點(diǎn)擊Master的WebUI（默認(rèn)在60010端口）MetricsDump項(xiàng)。同樣你也可以通過(guò)設(shè)定查詢?description=true，這樣你要打開(kāi)的就便成了MBeansJMXjvisualvmJDK中的一個(gè)應(yīng)用不同的MetricsshippedKBs刻畫(huà)age的Metrics（ageOfLastShippedOp）隊(duì)列的大小（sizeOfLogQueue）表示隊(duì)列中項(xiàng)目的數(shù)量。可以由block的大?。ㄔ贖DFS中的默認(rèn)大小為64MB）相乘而得隊(duì)列的大小。刻畫(huà)操作數(shù)量的Metrics（logEditsRead）重要的MasterMetrics148|3.處于過(guò)渡期（transition）的region重要的RegionServerMetrics當(dāng)前MemStoreflush隊(duì)列的深度。如果該值在不斷增加，說(shuō)明我們?cè)趯emStore將清理到HDFS中時(shí)是服務(wù)的管理和運(yùn)維| BlockCacheBlockCache操作延遲，<op>是Append,Delete,Mutate,Get,Rey,Increment這些操作之一；<measure>可選擇min,max,mean,median,75th_percentile,95th_percentile,99th_percentile。<op>150|3.CompactionsIOUserHBaseMetrics的信息，參考HBase度量全局輸出以操作做，如(operationTooSlow)。如果調(diào)用的客戶端操作，如Put,Get,或Delete，會(huì)詳細(xì)日志信息；否則，為(responseTooSlow)，也同樣提供可解析的JSON輸出，而是用更簡(jiǎn)潔信息僅關(guān)于其在RPCTooLargeTooSlow。在大小和時(shí)長(zhǎng)都觸發(fā)日志記錄時(shí)，也可用TooLarge。2011-09-0810:01:25,824WARNorg.apache.hadoop.ipc.HBaseServer: 在"tables"MultiPutRPC相關(guān)的，如處理IP/port本例了造成緩慢的原因可能是僅是超大的(100MB)multiput，這可以通過(guò)vlen即valueBlock BlockCache性能，如下服務(wù)的管理和運(yùn)維|1617Config18152|3.19.L1和一些環(huán)境可以暫時(shí)停止HBase集群，如用于容量分析，并不提供前臺(tái)頁(yè)面。好處是停止DistcpHDFS里面的HBase下的內(nèi)容拷貝到當(dāng)前集群的另一個(gè)，也可以拷貝到另一個(gè)集恢復(fù)(必要通過(guò)Distcp，從HDFS備份的數(shù)據(jù)被拷貝到"真實(shí)"的HBase。動(dòng)作產(chǎn)生新的HDFS元數(shù)據(jù)，所以并不需要從備份的NameNodeDistcp從一個(gè)特定的HDFS(如HBase部分)復(fù)CopyTableExportCopyTable工具，即可用于將一個(gè)表到同集群的另一個(gè)表，也可將表到另一個(gè)集群的另一個(gè)表，可參考直接CopyTable遷移數(shù)據(jù)。服務(wù)的管理和運(yùn)維|1.ExportHDFSImportimport/exportHBase快照（Snapshothbase.snapshot.enabledtruetrue$./bin/hbasehbase>snapshot'myTable','myTableSnapshot-下，這是符合期望的。但是，如果想要設(shè)置內(nèi)存中的數(shù)據(jù)被排除在快照之外，可以使用snapshot命令的SKIP_FLUSH選項(xiàng)來(lái)禁用。hbase>snapshot'mytable','snapshot123',{SKIP_FLUSH=>無(wú)論flushinsertupdateinsertupdateflush了。$hbasehbase>$hbasehbase>delete_snapshot'myTableSnapshot-154|3.$hbasehbase>clone_snapshot'myTableSnapshot-122112',$hbasehbase>disablehbase>restore_snapshot'myTableSnapshot-bootstrapAccessControllerCoprocessor這個(gè)ExportSnapshot工具拷貝了整個(gè)快照相關(guān)的所有的數(shù)據(jù)到另一個(gè)集群上。這個(gè)工具執(zhí)行了一個(gè)類(lèi)似于MySnapshotHBasesrv2（）下，使用16個(gè)map$sudo$sudo-uhbasehbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot-snapshot-copy-tohdfs://nameservice1:8020/hyperbase1/default-mappers$sudo$sudo-uhbasehbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot-snapshot-copy-tohdfs://nameservice1:8020/hyperbase1/default-mappers16-bandwidth服務(wù)的管理和運(yùn)維|載分配了。ycsb工具可以用來(lái)測(cè)試單個(gè)節(jié)點(diǎn)或一個(gè)集群,詳見(jiàn)ycsb安裝及使用。JVMGC由于GC，ReginServeegionSeverM）ReginServe設(shè)置20-2GbGC完全disable.splitting），但可以調(diào)節(jié)region大小來(lái)滿足需要。當(dāng)為多個(gè)表分配region時(shí)，注意絕大多數(shù)的region可通過(guò)每的HTableDescriptor和HBaseS來(lái)設(shè)hbase-site.xml在這里要注意HDFS備份參數(shù)（HDFSreplicationfactor）并不在我們的考慮范圍內(nèi)。從而，如果你的數(shù)據(jù)被壓縮了，而且被HDFS備份了三份，“9Gbregion9GB的壓縮數(shù)據(jù)。HDFS備份參數(shù)僅僅影響了磁盤(pán)你可以用HMasterUI來(lái)查看某當(dāng)前的region數(shù)。在Tables部分，表的region數(shù)會(huì)列在HMasterUI，你也可以通過(guò)計(jì)算HDFS中/hyperbase1/data/<namespace>/<table>/ 數(shù)量，還可以通過(guò)運(yùn)行hbasehbck命令。這幾種方式返回的結(jié)果可能有細(xì)微的差異，這取決于每156|3.（（RS（（RSmemory）*（totalmemstorefraction））/（（memstoresize）*（#column（（RS（（RSXmx）*hbase.regionserver.global.memstore.size）（hbase.hregion.memstore.flush.size*（#column 16384*0.4/128=51個(gè)region是比較好的初始配置。該 這個(gè)數(shù)值可以調(diào)的。上的定所有regon都以致同的率充，果有小分regionregionregio都會(huì)被寫(xiě)memstoe2-倍的regionregin 根據(jù)上述每個(gè)RegionServer的region推薦的規(guī)模和數(shù)量，樂(lè)觀估計(jì)每個(gè)RegionServer10GBx1TBRegionServer級(jí)別上的數(shù)據(jù)和緩存的大小比例平衡是很重要的。在有1TB數(shù)據(jù)的服務(wù)器和10GB的BlockCache上，只有1%的數(shù)據(jù)會(huì)被緩存，這可能很把所有block索引包含進(jìn)去。服務(wù)的管理和運(yùn)維|config.wals：WAL文件的阻塞數(shù)量依賴于你的memstore paction.min），這樣由于的文件會(huì)逐漸積累，hbase.hstore.blockingStoreFiles也會(huì)被調(diào)高。基于RegionServer上region的目標(biāo)號(hào)（targetnumber）以及RegionServer的編號(hào)，可以在建表時(shí)就先將 hbase >disablehbase >snapshot'tableName',hbases >clone_snapshot'tableSnapshot','newTableName'hbases >delete_snapshot'tableSnapshot'hbase >droprebuild_fulltext_index加一過(guò)程：一是可以通過(guò)調(diào)整Search的幾個(gè)參數(shù)加速，二是可以使用HBasesnapshotreader158|3.curl-XPUT'localhost:9200/_cluster/settings'-d{"persistent":"indices.store.throttle.max_bytes_per_sec":"100mb","threadpool.bulk.queue_size":500}修改修改curl-XPUT'localhost:9200/${indexName}/_settings'-d{"index":"refresh_interval":"30s"}optimizecurl-XPUT'localhost:9200/_cluster/settings'-d{"persistent"{"threadpool.optimize.size":①}curl-XPOST'curl-XPUT'localhost:9200/_cluster/settings'-d{"persistent"{"indices.store.throttle.max_bytes_per_sec":"20mb","threadpool.bulk.queue_size":50,"threadpool.optimize.size":}服務(wù)的管理和運(yùn)維|curl-XPUT'localhost:9200/${indexName}/_settings'-d{"index":"refresh_interval":}curl-XPUT'localhost:9200/_cluster/settings'-d{"persistent":"indices.recovery.max_bytes_per_sec"100mb默認(rèn)}curl-XPUT'localhost:9200/${indexName}/_settings'-d{"index":"number_of_replicas":}snapshotreader同時(shí)，在HBase表較大的情況下，可以使用HBasesnapshotreaderhbase-hbase-site.xml一般在集群的 160|3.有問(wèn)題，可以或是用http:/ RegionServer（區(qū)域服務(wù)器）會(huì)在RegionServer的是很“正常”的。當(dāng)一些事情發(fā)生錯(cuò)誤的，它們就會(huì)。如果ulimit和xcievers 的常見(jiàn)的原因是，它們執(zhí)行了一個(gè)長(zhǎng)時(shí)間的GC（garbagecollection，NameNode:/var/logs/hdfs1/hadoop-<user>-namenode-<hostname>.logDataNode:/var/logs/hdfs1/hadoop-<user>-datanode-<hostname>.logHMaster:/var/logs/hyperbase1/hbase-<user>-master-<hostname>.logZooKeeper:/var/logs/zookeeper1/zookeeper.logNameNode的日志在NameNodeserver上。HBaseMaster通常也運(yùn)行在NameNodeserver上，ZooKeeper通常保持過(guò)長(zhǎng)時(shí)間。為了啟用RPC級(jí)別日志，瀏覽RegionServerUI，點(diǎn)擊LogLevel。在packageorg.apache.hadoop.ipc（是hadoop.ipc，而非hbase.ipc）中，將日志級(jí)別設(shè)置為Debug。接著服務(wù)的管理和運(yùn)維|INFOHBase的是內(nèi)存密集型（memoryintensive），并使用默認(rèn)的GC可以看到長(zhǎng)時(shí)間停頓中的所有線程，包括JulietPauseaka"GCofDeath"。為了調(diào)試和確認(rèn)這種問(wèn)題的發(fā)生，可以在JVM（Javavirtualmachine）中開(kāi)啟GClogging。hbase-env.shGClogging#Thisenablesbasicgcloggingtothe.out#exportSERVER_GC_OPTS="-verbose:gc-XX:+Printetails-XX:+Print#Thisenablesbasicgcloggingtoitsown#exportSERVER_GC_OPTS="-verbose:gc-XX:+Printetails-XX:+PrintateStamps-Xloggc:<FILE-#ThisenablesbasicGCloggingtoitsownfilewithautomaticlogrolling.Onlyappliestojdk1.6.0_34+and1.7.0_2+.#exportSERVER_GC_OPTS="-verbose:gc-XX:+Printetails-XX:+PrintateStamps-Xloggc:<FILE-#If<FILE-PATH>isnotreced,thelogfile(.gc)wouldbegeneratedinthe64898.952:[GC[1CMS-initial-mark: K),0. user=0.00sys=0.00,real=0.00secs]①64898.971:[GC64898.971:[ParNe