大數(shù)據(jù)培訓(xùn)Module支持大規(guī)模集群安裝部署FusionInsightHD安裝部署

大數(shù)據(jù)培訓(xùn)Module支持大規(guī)模集群安裝部署FusionInsightHD安裝部署前言FusionInsightManager是FusionInsightHD的運(yùn)維管理系統(tǒng)，為部署在集群內(nèi)的效勞提供統(tǒng)一的集群管理能力，支持大規(guī)模集群的安裝部署、性能監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、效勞管理、安康檢查、日志采集、升級(jí)和補(bǔ)丁等功能。 本章主要介紹華為FusionInsightHD安裝與部署相關(guān)流程，以及相關(guān)本卷須知。2目標(biāo)

學(xué)完本課程后，您將能夠：清楚FusionInsigh

HD產(chǎn)品安裝流程；

描述安裝前準(zhǔn)備各種事項(xiàng)；了解FusionInsigh

HD產(chǎn)品具體安裝過程；了解FusionInsigh

HD產(chǎn)品安裝后配置；能夠自行安裝FusionInsighHD產(chǎn)品；

處理常見安裝問題；3目錄1. FusionInsightHD根本概念FusionInsightHD安裝流程FusionInsightHD安裝前準(zhǔn)備FusionInsightHD安裝過程具體步驟FusionInsightHD安裝后檢查項(xiàng)FusionInsightHD安裝后配置FusionInsightHD安裝過程常見問題處理方法4FusionInsightHD根本概念 根本概念說明 OMS節(jié)點(diǎn)：操作維護(hù)系統(tǒng)的管理節(jié)點(diǎn)，一般有兩個(gè)，互為主備 AgentNode：操作維護(hù)系統(tǒng)中的被管理節(jié)點(diǎn)，一般有多個(gè)，負(fù)責(zé)接收并執(zhí)行OMS節(jié)點(diǎn)的管理命令，比方啟動(dòng)一個(gè)DataNode實(shí)例 集群：管理節(jié)點(diǎn)和效勞的一個(gè)邏輯概念 效勞：對(duì)外提供效勞的效勞組件，比方HDFS、HBase角色：效勞組件的邏輯組成局部，比方HDFS的NameNode和DataNode 實(shí)例：承載角色運(yùn)行的一個(gè)具體進(jìn)程，比方NameNode會(huì)部署到兩個(gè)節(jié)點(diǎn)上形成兩個(gè)運(yùn)行的進(jìn)程，這兩個(gè)進(jìn)程就是兩個(gè)實(shí)例5目錄1. FusionInsightHD根本概念2. FusionInsightHD安裝流程FusionInsightHD安裝前準(zhǔn)備FusionInsightHD安裝過程具體步驟FusionInsightHD安裝后檢查項(xiàng)FusionInsightHD安裝后配置FusionInsightHD安裝過程常見問題處理方法6FusionInsightHD安裝流程軟件安裝與部署PC/工具/文檔準(zhǔn)備環(huán)境規(guī)劃數(shù)據(jù)生成配置文件LLD工具生成手動(dòng)生成配置操作系統(tǒng)安裝集群模板自動(dòng)化安裝

手動(dòng)安裝檢查效勞狀態(tài)安裝前準(zhǔn)備安裝后檢查檢查主機(jī)狀態(tài)北向配置監(jiān)控告警配置用戶配置安裝后配置校驗(yàn)軟件包檢查節(jié)點(diǎn)環(huán)境安裝Manager7目錄FusionInsightHD根本概念FusionInsightHD安裝流程3. FusionInsightHD安裝前準(zhǔn)備FusionInsightHD安裝過程具體步驟FusionInsightHD安裝后檢查項(xiàng)FusionInsightHD安裝后配置FusionInsightHD安裝過程常見問題處理方法8FusionInsightHD安裝前準(zhǔn)備軟件工具：PuTTY、WinSCP、網(wǎng)絡(luò)瀏覽器、解壓工具等配置規(guī)劃工具(LLD工具):生成安裝過程中所需的配置文件版本說明書：硬件、軟件的版本配套關(guān)系指引準(zhǔn)備工具和文檔硬件：FusionInsightHD支持通用的X86效勞器軟件：Linux操作系統(tǒng)〔例如SuSE、RedHat或CentOS〕FusionInsightHD軟件包其他：可靠性要求、磁盤分區(qū)要求準(zhǔn)備環(huán)境規(guī)劃數(shù)據(jù)規(guī)劃集群部署方案規(guī)劃網(wǎng)絡(luò)參數(shù)〔支持雙平面隔離組網(wǎng)〕規(guī)劃角色部署位置，可使用配置規(guī)劃工具輔助規(guī)劃9目錄FusionInsightHD根本概念FusionInsightHD安裝流程FusionInsightHD安裝前準(zhǔn)備4. FusionInsightHD安裝過程具體步驟FusionInsightHD安裝后檢查項(xiàng)FusionInsightHD安裝后配置FusionInsightHD安裝過程常見問題處理方法10FusionInsightHD安裝與部署將獲取的FusionInsightHD軟件壓縮包解壓，生成和解壓軟件包用WinSCP工具登錄將要安裝Manager的效勞器，將上述軟件包傳輸?shù)焦芾砉?jié)點(diǎn)指定目錄上傳軟件包校驗(yàn)軟件包在管理節(jié)點(diǎn)執(zhí)行命令，完成校驗(yàn)和解壓11生成配置文件 利用?配置規(guī)劃工具?生成各項(xiàng)安裝配置文件，并上傳到相應(yīng)節(jié)點(diǎn)的指定路徑，生成的配置文件在安裝Manager和自動(dòng)化安裝集群時(shí)會(huì)被使用12配置節(jié)點(diǎn)操作系統(tǒng) 目的：即執(zhí)行preinstall.sh，以此來配置節(jié)點(diǎn)操作系統(tǒng)環(huán)境，使其滿足FusionInsightHD的安裝要求Step1.適配OS：修改OS配置，使OS滿足FusionInsightHD的安裝要求。包括檢查內(nèi)核版本、關(guān)閉swap分區(qū)、設(shè)置共享內(nèi)存大小、設(shè)置效勞器時(shí)區(qū)、配置業(yè)務(wù)和主機(jī)名的映射等Step2.補(bǔ)齊RPM包：執(zhí)行preinstall，可以自動(dòng)補(bǔ)齊OS缺失的RPM包 Step3.格式化分區(qū)：執(zhí)行preinstall，可以自動(dòng)對(duì)效勞器磁盤進(jìn)展格式化，使磁盤滿足FusionInsightHD的分區(qū)要求 具體操作參考?軟件安裝?手冊(cè)，首次安裝請(qǐng)務(wù)必執(zhí)行preinstall 注意：操作前務(wù)必保證所有節(jié)點(diǎn)的操作系統(tǒng)root用戶密碼一致。13檢查節(jié)點(diǎn)環(huán)境 目的：即執(zhí)行precheck.sh，以此來檢查節(jié)點(diǎn)操作系統(tǒng)環(huán)境是否滿足FusionInsightHD的安裝要求 方式一：執(zhí)行precheck，帶配置文件參數(shù)，檢查所有節(jié)點(diǎn)環(huán)境〔推薦〕 方式二：執(zhí)行precheck，不帶配置文件參數(shù)，只檢查本節(jié)點(diǎn)環(huán)境 precheck腳本可反復(fù)使用，執(zhí)行后會(huì)列出檢查不通過的項(xiàng)，用戶根據(jù)?軟件安裝?手冊(cè)的修復(fù)建議進(jìn)展修復(fù)，修復(fù)完后再次執(zhí)行precheck檢查 注意：請(qǐng)務(wù)必確保precheck腳本的所有檢查項(xiàng)都通過，再進(jìn)入后續(xù)安裝步驟14安裝Manager?包含兩個(gè)管理節(jié)點(diǎn)，分別為主管理節(jié)點(diǎn)和備管理節(jié)點(diǎn)，用以保證業(yè)務(wù)的連續(xù)性及高可靠性?推薦使用安裝雙機(jī)Manager?僅包含一個(gè)管理節(jié)點(diǎn)，當(dāng)出現(xiàn)系統(tǒng)掉電等意外場(chǎng)景時(shí)無法保證業(yè)務(wù)的可靠性?不推薦使用安裝單機(jī)Manager 有雙機(jī)/單機(jī)兩種方式進(jìn)展Manager安裝15安裝雙機(jī)Manager安裝雙機(jī)Manager步驟1獲取配置文件，該文件可由LLD工具生成，也可手動(dòng)填寫。配置文件填寫舉例如右圖所示。2在主備管理節(jié)點(diǎn)分別執(zhí)行安裝命令16安裝雙機(jī)Manager安裝命令執(zhí)行結(jié)果顯示如果出現(xiàn)〞InstallSuccessfully〞字樣，即表示安裝Manager成功，可以通過提示的URL地址進(jìn)展瀏覽器訪問，從而繼續(xù)安裝集群17安裝單機(jī)Manager安裝單機(jī)Manager步驟使用-msingle〔也可以通過配置文件安裝〕，執(zhí)行命令：sh/opt/FusionInsight_Hadoop/software/install.sh–msingle命令執(zhí)行結(jié)果顯示18安裝集群1配置瀏覽器2登錄FusionInsightManager系統(tǒng)3首次登錄修改密碼，修改密碼成功后使用新密碼重新登錄首次登陸需要修改密碼19安裝集群?使用LLD工具生成的安裝模板，可以自動(dòng)填寫安裝時(shí)所需的各項(xiàng)參數(shù)?推薦使用模板自動(dòng)化安裝集群?在界面上手工填寫各項(xiàng)參數(shù)?不推薦使用手動(dòng)安裝集群有模板安裝/手動(dòng)安裝兩種方式進(jìn)展集群安裝20模板自動(dòng)化安裝集群Step1.進(jìn)入安裝頁面，選擇TemplateInstallation導(dǎo)入準(zhǔn)備好的安裝模板，點(diǎn)擊OK21模板自動(dòng)化安裝集群Step2.系統(tǒng)跳轉(zhuǎn)至確認(rèn)頁面，該頁面包含安裝模板中填寫的相關(guān)信息22模板自動(dòng)化安裝集群Step3.如果確認(rèn)無誤，那么點(diǎn)擊Submit按鍵進(jìn)展提交；如果發(fā)現(xiàn)配置規(guī)劃數(shù)據(jù)有誤，可點(diǎn)擊Back按鍵，回到各配置項(xiàng)檢查或更改參數(shù)值23模板自動(dòng)化安裝集群Step4.安裝等待：提交集群安裝請(qǐng)求后，界面顯示安裝集群進(jìn)度，全部步驟完成后點(diǎn)擊Finish按鍵24手動(dòng)安裝集群Step1.進(jìn)入安裝頁面，選擇ManualInstallation，點(diǎn)擊OK25手動(dòng)安裝集群Step2.填寫集群根本信息，即：填寫集群名稱、選擇集群版本和平安模式、填寫集群描述信息〔可選〕，點(diǎn)擊Next按鍵進(jìn)入下一頁面26手動(dòng)安裝集群Step3.發(fā)現(xiàn)節(jié)點(diǎn)。輸入主機(jī)信息以及主機(jī)root用戶密碼，然后點(diǎn)擊“StartDiscovery〞，選擇發(fā)現(xiàn)成功的節(jié)點(diǎn)，點(diǎn)擊Next進(jìn)入下一頁面27手動(dòng)安裝集群Step4.選擇安裝節(jié)點(diǎn)與設(shè)置機(jī)架。根據(jù)需要選擇節(jié)點(diǎn)并為其設(shè)置機(jī)架信息，支持單獨(dú)設(shè)置和統(tǒng)一設(shè)置。完成設(shè)置后，點(diǎn)擊Next進(jìn)入效勞選擇頁面28手動(dòng)安裝集群Step5.選擇安裝效勞。根據(jù)業(yè)務(wù)需要選擇待安裝的效勞，當(dāng)選擇上層效勞時(shí)，系統(tǒng)會(huì)自動(dòng)為其選擇依賴的底層效勞29手動(dòng)安裝集群Step6.拓?fù)湓O(shè)置。根據(jù)規(guī)劃，將組件部署到指定節(jié)點(diǎn)上。完成設(shè)置后點(diǎn)擊Next進(jìn)入效勞配置頁面30手動(dòng)安裝集群Step7.安裝配置。配置必須要設(shè)置的配置項(xiàng)，完成設(shè)置后點(diǎn)擊Next進(jìn)入確認(rèn)頁面31手動(dòng)安裝集群

Step8.選擇升級(jí)模式。選擇版本升級(jí)模式，推薦選擇CommonMode，完成選擇后點(diǎn)擊Next進(jìn)入確認(rèn)頁面32手動(dòng)安裝集群Step9.提交安裝。完成配置操作后，進(jìn)入確認(rèn)頁面，確認(rèn)頁面包含前面步驟的概要信息。確認(rèn)后點(diǎn)擊submit按鍵進(jìn)展提交33手動(dòng)安裝集群Step10.安裝等待。提交集群安裝請(qǐng)求后，界面顯示安裝集群進(jìn)度，全部步驟完成后點(diǎn)擊Finish按鍵34目錄FusionInsightHD根本概念FusionInsightHD安裝流程FusionInsightHD安裝前準(zhǔn)備FusionInsightHD安裝過程具體步驟5. FusionInsightHD安裝后檢查FusionInsightHD安裝后配置FusionInsightHD安裝過程常見問題處理方法35安裝后檢查集群安裝成功后，登錄管理頁面進(jìn)展安裝后檢查Step1.觀察儀表盤：Dashboard頁面上圖形正常顯示，ServiceSummary圖中組件安康狀態(tài)為Good36安裝后檢查Step2.效勞安康檢查，集群安裝成功后，登錄管理頁面，點(diǎn)擊MoreActions中的HealthCheck進(jìn)展效勞的安康檢查37安裝后檢查Step3.效勞狀態(tài)檢查，集群安裝成功后，登錄管理頁面檢查Services頁面所有組件，操作狀態(tài)為Started，安康狀態(tài)為Good，配置狀態(tài)為Synchronized38安裝后檢查Step4.主機(jī)狀態(tài)檢查，點(diǎn)擊〞Hosts〞圖標(biāo)，各節(jié)點(diǎn)〞HealthStatus〞均為〞Good〞39安裝后檢查Step5.告警檢查，頁面右上角各類告警的個(gè)數(shù)均為0，聽不到告警鈴聲進(jìn)入告警頁面，無告警信息顯示40目錄FusionInsightHD根本概念FusionInsightHD安裝流程FusionInsightHD安裝前準(zhǔn)備FusionInsightHD安裝過程具體步驟FusionInsightHD安裝后檢查項(xiàng)6. FusionInsightHD安裝后配置7. FusionInsightHD安裝過程常見問題處理方法41安裝后配置北向配置，點(diǎn)擊System頁面，可以選擇“SyslogConfiguration〞和“SNMPConfiguration〞，分別進(jìn)展Syslog和SNMP配置42安裝后配置監(jiān)控告警配置，點(diǎn)擊System頁面，點(diǎn)擊“ThresholdConfiguration〞，可以進(jìn)展監(jiān)控告警相關(guān)閾值配置43安裝后配置用戶配置，點(diǎn)擊System頁面，在〞RightsConfiguartion〞功能可以進(jìn)展用戶/用戶組/權(quán)限配置44目錄FusionInsightHD根本概念FusionInsightHD安裝流程FusionInsightHD安裝前準(zhǔn)備FusionInsightHD安裝過程具體步驟FusionInsightHD安裝后檢查項(xiàng)FusionInsightHD安裝后配置7. FusionInsightHD安裝過程常見問題處理方法45安裝過程常見問題處理方法FusionInsightHD安裝過程中會(huì)產(chǎn)生詳細(xì)日志，記錄安裝的具體情況，在安裝過程中如果出現(xiàn)意外情況，請(qǐng)先查看日志模塊名稱職責(zé)描述Preinstall安裝日志/var/log/fi-preinstall.logManager安裝日志/var/log/Bigdata/controller/scriptlog/install.log集群安裝與運(yùn)行日志/var/log/Bigdata/controller/controller.lognodeagent進(jìn)程安裝與啟動(dòng)日志/var/log/Bigdata/nodeagent/scriptlog/install.log/var/log/Bigdata/nodeagent/scriptlog/start-agent.logWeb服務(wù)運(yùn)行日志/var/log/Bigdata/tomcat/web.log46安裝過程常見問題處理方法案例1.安裝Manager失敗，提示“Thews_float_ip_interfaceisEmpty.〞

原因：該錯(cuò)誤一般是由于網(wǎng)卡ip和主機(jī)名不對(duì)應(yīng)導(dǎo)致

處理步驟：首先在環(huán)境上執(zhí)行hostname-i查看主機(jī)ip，然后用ifconfig命令查看對(duì)應(yīng)的網(wǎng)卡ip是否一致，如果不一致需要修改一致。47安裝過程常見問題處理方法 案例2.安裝OMServer失敗，查看當(dāng)前節(jié)點(diǎn)/var/log/Bigda