Ambari系列：Ambari架構(gòu)詳解

Ambari系列（三）：Ambari架構(gòu)詳解/shifenglov/article/details/42803283前言Hadoop集群的管控一直是一個熱門的話題，對于這樣的一個應(yīng)用場景，我所知道國內(nèi)很早就有人研究并且取得不錯的成績，這就是EasyHadoop。它的功能主要有集群安裝，管理，監(jiān)控等功能，有興趣的朋友可以百度，這位作者的博客有很詳細的介紹。今天，我所要重點介紹Apache的頂級項目，現(xiàn)在是大數(shù)據(jù)新貴Hortonworks公司在推進的項目Ambari，這款軟件具有集群自動化安裝、中心化管理、集群監(jiān)控、報警等功能，使得安裝集群從幾天的時間縮短在幾小時以內(nèi)，運維人員從數(shù)十人降低到幾人以內(nèi)，極大的提高集群管理的效率。Ambari介紹Ambari是Hadoop分布式集群配置管理工具，是由hortonworks主導(dǎo)的開源項目，它已經(jīng)成為了apache基金會的開源項目，已經(jīng)成為Hadoop運維系統(tǒng)中的得力助手。Ambari充分利用了一些已有的優(yōu)秀開源軟件，巧妙地把它們結(jié)合起來，使其在分布式環(huán)境中做到了集群式服務(wù)管理能力、監(jiān)控能力、展示能力，這些優(yōu)秀的開源軟件有：（1）、agent端，采用了puppet管理節(jié)點。（2）、在web端，采用ember.js作為前端MVC框架和NodeJS相關(guān)工具，用handlebars.js作為頁面渲染引擎，在CSS/HTML方面還用了Bootstrap框架。（3）、在Server端，采用了Jetty、Spring、JAX-RS等。（4）、同時利用了Ganglia、Nagios的分布式監(jiān)控能力。Ambari框架采用的是Server/Client的模式，主要由兩部分組成：ambari-agent和ambari-server。ambari依賴其它已經(jīng)成熟的工具，例如：其ambari-server就依賴python，而ambari-agent還同時依賴ruby，puppet，fecter等工具，還有它也依賴一些監(jiān)控工具nagios和ganglia用于監(jiān)控集群狀況。其中：puppet是分布式集群配置管理工具，也是典型的Server/Client模式，能夠集中式管理分布式集群的安裝配置部署，主要語言是ruby。facter是用Python寫的一個節(jié)點資源采集庫，用于采集節(jié)點的系統(tǒng)信息，例如OS信息，由于ambari-agent主要是用Python寫的，因此用facter可以很好的采集到節(jié)點信息。項目目錄介紹

目錄描述ambari-serverAmbari的Server程序，主要管理部署在每個節(jié)點上的管理監(jiān)控程序Ambari-agent部署在監(jiān)控節(jié)點上運行的管理監(jiān)控程序Contrib自定義第三方庫ambari-webAmbari頁面UI的代碼，作為用戶與Ambariserver交互的。ambari-views用于擴展AmbariWebUI中的框架Docs文檔ambari-commonAmbari-server和Ambari-agent共用的代碼Ambari系統(tǒng)架構(gòu)一類用于與ambari-agent交完成ambari-server的集中式在ambari-server開放的RestAPI中分為主要的兩大類API，其中一類為ambari-web提供監(jiān)控管理服務(wù)，：互，接受ambari-agent向ambari-server發(fā)送心跳請求。Master模塊接受API和AgentInterface的請求，一類用于與ambari-agent交完成ambari-server的集中式AgentAgentAgentAgentAgentAgentAmbari-agent內(nèi)部架構(gòu)Ambari-agent是一個無狀態(tài)的，其功能分兩部分：采集所在節(jié)點的信息并且匯總發(fā)送心跳發(fā)送匯報給ambari-server。處理ambari-server的執(zhí)行請求。因此它有兩種隊列:（1）、消息隊列MessageQueue,或稱為ResultQueue。包括節(jié)點狀態(tài)信息（包括注冊信息）和執(zhí)行結(jié)果信息，并且匯總后通過心跳發(fā)送給ambari-server。（2）、操作隊列（2）、操作隊列ActionQueue。用于接收ambari-server發(fā)送過來的狀態(tài)操作，然后交給執(zhí)行器調(diào)用puppet或Python腳本等模塊執(zhí)行任務(wù)。Powr

ShelltitLn:DJ.OE.fin,nersnAmbari-server內(nèi)部架構(gòu)LiveClusterState:集群現(xiàn)有狀態(tài)，各個節(jié)點匯報上來的狀態(tài)信息會更改該狀態(tài)；DesiredState：用戶希望該節(jié)點所處狀態(tài)，是用戶在頁面進行了一系列的操作，需要更改某些服務(wù)的狀態(tài)，這些狀態(tài)還沒有在節(jié)點上產(chǎn)生作用;ActionState:操作狀態(tài)，是狀態(tài)改變時的請求狀態(tài)，也可以看作是一種中間狀態(tài)，這種狀態(tài)可以輔助LiveClusterState向DesiredState狀態(tài)轉(zhuǎn)變。

ServerHeartbeatsActionevent!Coordnaiorhander)DesiredHeartbeatHanderNode,roeventsActionManagerDapende^cyPackerActionstate―AManlf如GeneratorPlannerAmbari-server的HeartbeatServerHeartbeatsActionevent!Coordnaiorhander)DesiredHeartbeatHanderNode,roeventsActionManagerDapende^cyPackerActionstate―AManlf如GeneratorPlannerCoordinator模塊又可以稱為APIhandler，主要在接收WEB端操作請求后，會檢查它是否符合要求，stageplanner分解成一組操作，最后提供給ActionManager去完成執(zhí)行操作。因此，從上圖就可以看出，Ambari-Server的所有狀態(tài)信息的維護和變更都會記錄在數(shù)據(jù)庫中，用戶做一些更改服務(wù)的操作都會在數(shù)據(jù)庫上做一些相應(yīng)的記錄，同時，agent通過心跳來獲得數(shù)據(jù)庫的變更歷史。

Ambari-web內(nèi)部架構(gòu)Ambari-web使用了一個流行的前端Embar.jsMVC框架實現(xiàn)，Embar.js是一個TodoMVC框架，它涵蓋了現(xiàn)今典型的單頁面應(yīng)用（singlepageapplication）幾乎所有的行為。使用了nodejs使用brunch作為項目的構(gòu)建管理工具Brunch，是一個超快的HTML5構(gòu)建工具。它有如下功能：（1）、編譯你的腳本、模板、樣式、鏈接它們。（2）、將腳本和模板封裝進common.js/AMD模塊里，鏈接腳本和樣式。（3）、為鏈接文件生成源地圖，復(fù)制資源和靜態(tài)文件。（4）、通過縮減代碼和優(yōu)化圖片來收縮輸出，看管你的文件更改。（5）、并通過控制臺和系統(tǒng)提示通知你錯誤。Nodejs是一個基于ChromeJavaScript運行時建立的一個平臺，用來方便的搭建快速的易于擴展的網(wǎng)絡(luò)應(yīng)用，NodeJS借助事件驅(qū)動，非阻塞I/O模型變得輕量和高效，非常適合運行在分布式設(shè)備的數(shù)據(jù)密集型的實時應(yīng)用。Ambari-web目錄結(jié)構(gòu)目錄或文件描述app/主要應(yīng)用程序代碼。包括Ember中的view、templates、controllers、models、routesconfig.coffeeBrunch應(yīng)用程序生成器的配置文件package.jsonNpm包管理配置文件test/vendor/測試文件Javascript庫和樣式表適用第三方庫。Ambari-web/app/目錄或文件描述

assets/靜態(tài)文件controllers/控制器data/數(shù)據(jù)mappers/JSON數(shù)據(jù)到Client的Ember實體的映射modelsMVC中的Modelroutes/路由器styles樣式文件views試圖文件templates/頁面模板app.jsEmber主程序文件config.js配置文件Ambari-serverAmbari-server使用的jetty作為Servlet容器作為內(nèi)嵌的java服務(wù)器，其中相關(guān)的代碼在server/controller下的AmbariServer.java中。其中Session的管理似乎AmbariSessionManager重寫了SessionManager類（1）、jetty是一個開源的Servlet容器，它為基于java的web容器，它的API以一組JAR包的形式發(fā)布。開發(fā)人員可以將Jetty容器實例化成一個對象，可以迅速為一些獨立運行的Java應(yīng)用提供網(wǎng)絡(luò)和web連接。（2）、GoogleGuice一個google的IOC容器（3）、Spring（4）、JAX-RSAmbari-server依賴于Ambari-Views項目包名描述org.apache.ambari.server.api.services對web接口的入口方法，處理/api/vV*的請求org.apache.ambari.ser