物聯(lián)網(wǎng)大數(shù)據(jù)分析實(shí)驗(yàn)室建設(shè)方案章魚大數(shù)據(jù)

1、物聯(lián)網(wǎng)大數(shù)據(jù)分析實(shí)驗(yàn)室建設(shè)方案一、項(xiàng)目背景 “十三五”期間，隨著我國(guó)現(xiàn)代信息技術(shù)的蓬勃發(fā)展，信息化建設(shè)模式發(fā)生 根本性轉(zhuǎn)變 ,一場(chǎng)以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)應(yīng)用等技術(shù)為核心的 “新 IT ” 浪潮風(fēng)起云涌，信息化應(yīng)用進(jìn)入一個(gè)“新常態(tài)”。章魚大數(shù)據(jù)為積極應(yīng)對(duì)“互 聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)，適應(yīng)經(jīng)濟(jì)社會(huì)發(fā)展與改革要求，開發(fā)建設(shè) 物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)。物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)打造集數(shù)據(jù)采集、數(shù)據(jù)處理、監(jiān)測(cè)管理、預(yù)測(cè)預(yù)警、應(yīng) 急指揮、可視化平臺(tái)于一體的大數(shù)據(jù)平臺(tái)，以信息化提升數(shù)據(jù)化管理與服務(wù)能 力，及時(shí)準(zhǔn)確掌握社會(huì)經(jīng)濟(jì)發(fā)展情況，做到“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù) 據(jù)決策、用數(shù)據(jù)創(chuàng)新”，牢牢把握社會(huì)經(jīng)濟(jì)

2、發(fā)展主動(dòng)權(quán)和話語權(quán)。二、物聯(lián)網(wǎng)行業(yè)現(xiàn)狀 數(shù)字傳感器的大量應(yīng)用及移動(dòng)設(shè)備的大面積普及，才會(huì)導(dǎo)致全球數(shù)字信息 總量的極速增長(zhǎng)。根據(jù)工信部的統(tǒng)計(jì)結(jié)果，中國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模在 2011 年已經(jīng) 超過 2300 億元，雖然和期望的“萬億規(guī)模產(chǎn)業(yè)”還有一定距離，但已經(jīng)不可小 視。其中傳感器設(shè)備市場(chǎng)規(guī)模超過 900億元，RFID產(chǎn)業(yè)規(guī)模190億元，M2M終 端數(shù)量也已超過 2100萬個(gè)。另一個(gè)方面， 我國(guó)的物聯(lián)網(wǎng)企業(yè)也呈現(xiàn)出聚集效應(yīng)， 例如北京中關(guān)村已有物聯(lián)網(wǎng)相關(guān)企業(yè) 600 余家，無錫國(guó)家示范區(qū)有 608 家，重 慶、西安等城市也有近 300 家。從區(qū)域發(fā)展來看，形成了環(huán)渤海、長(zhǎng)三角、珠 三角等核心區(qū)以及中

3、西部地區(qū)的特色產(chǎn)業(yè)集群。在 2009年以前，可能沒有哪家企業(yè)說自己是物聯(lián)網(wǎng)企業(yè)。一夜之間產(chǎn)生的 上千家物聯(lián)網(wǎng)企業(yè)，他們的核心能力、產(chǎn)品或服務(wù)價(jià)值定位、目標(biāo)客戶和盈利 模式都是如何呢？首先來看這些物聯(lián)網(wǎng)企業(yè)從哪里來?，F(xiàn)在的物聯(lián)網(wǎng)企業(yè)主要 分為三類，第一類是以前的公用企業(yè)轉(zhuǎn)型，最典型的是電信運(yùn)營(yíng)商，他們有自 己的基礎(chǔ)設(shè)施，有客戶資源，因此自然轉(zhuǎn)型到物聯(lián)網(wǎng)行業(yè)。除了電信運(yùn)營(yíng)商， 一些交通基礎(chǔ)設(shè)施運(yùn)營(yíng)商、甚至是氣象設(shè)施運(yùn)營(yíng)商，也都轉(zhuǎn)型為物聯(lián)網(wǎng)企業(yè)。 第二類是傳統(tǒng) IT 企業(yè)，例如華為、神州數(shù)碼，以及眾多上市公司等。這一類公 司也是在傳統(tǒng)的優(yōu)勢(shì)積累基礎(chǔ)上開拓物聯(lián)網(wǎng)新業(yè)務(wù)。第三類是一些制造企業(yè)， 包括傳感

4、設(shè)備制造企業(yè)，網(wǎng)絡(luò)核心設(shè)備制造企業(yè)，還包括如家電等一批傳統(tǒng)制 造企業(yè)。這一類企業(yè)不能說沒有大企業(yè)，但是絕大多數(shù)都是中小型企業(yè)。這些 企業(yè)的核心能力主要體現(xiàn)在三個(gè)方面，第一是傳感器和智能儀表，第二是嵌入 式系統(tǒng)和智能裝備，第三是軟件與集成服務(wù)。再來看我國(guó)物聯(lián)網(wǎng)應(yīng)用的領(lǐng)域。通過對(duì)多個(gè)部委和地區(qū)的物聯(lián)網(wǎng)專項(xiàng)進(jìn)行 匯總，下圖列出了目前提到最多，也是應(yīng)用最成熟的八個(gè)領(lǐng)域。但是換個(gè)角度 再看，不管是工業(yè)控制、供應(yīng)鏈管理、精準(zhǔn)農(nóng)業(yè)，還是建筑自動(dòng)化、遠(yuǎn)程抄表、 ETC其實(shí)都并不是新的技術(shù)領(lǐng)域，而是在物聯(lián)網(wǎng)這個(gè)大概念下重新包裝后再次 引起了人們的興趣?？偟膩碚f，物聯(lián)網(wǎng)應(yīng)用傳感器改善了信息獲取的實(shí)時(shí)性和 準(zhǔn)確性，

5、同時(shí)智能終端改變了人們利用和使用信息的習(xí)慣。目前存在的主要問 題包括應(yīng)用過于碎片化，缺少滿足用戶需求的創(chuàng)新型產(chǎn)品 /服務(wù)，行業(yè)間缺乏信 息共享和應(yīng)用協(xié)同渠道，以及安全和隱私保護(hù)重視不夠。三、建設(shè)目標(biāo) 章魚大數(shù)據(jù)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)是順應(yīng)目前信息化技術(shù)水平發(fā)展、服務(wù)政府 職能改革的架構(gòu)平臺(tái)。它的主要目標(biāo)是強(qiáng)化經(jīng)濟(jì)運(yùn)行監(jiān)測(cè)分析，實(shí)現(xiàn)企業(yè)信用 社會(huì)化監(jiān)督，建立規(guī)范化共建共享投資項(xiàng)目管理體系，推進(jìn)政務(wù)數(shù)據(jù)共享和業(yè) 務(wù)協(xié)同，為決策提供及時(shí)、準(zhǔn)確、可靠的信息依據(jù)，提高政務(wù)工作的前瞻性和 針對(duì)性，加大宏觀調(diào)控力度，促進(jìn)經(jīng)濟(jì)持續(xù)健康發(fā)展。1、制定統(tǒng)一信息資源管理規(guī)范，拓寬數(shù)據(jù)獲取渠道，整合業(yè)務(wù)信息系統(tǒng)數(shù) 據(jù)、企業(yè)

6、單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構(gòu)建匯聚式一體化數(shù)據(jù)庫(kù)，為平臺(tái)打下 堅(jiān)實(shí)穩(wěn)固的數(shù)據(jù)基礎(chǔ)。2、梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息資源 交換管理標(biāo)準(zhǔn)體系，在業(yè)務(wù)可行性的基礎(chǔ)上，實(shí)現(xiàn)數(shù)據(jù)信息共享，推進(jìn)信息公 開，建立跨部門跨領(lǐng)域經(jīng)濟(jì)形勢(shì)分析制度。3、在大數(shù)據(jù)分析監(jiān)測(cè)基礎(chǔ)上，為政府把握經(jīng)濟(jì)發(fā)展趨勢(shì)、預(yù)見經(jīng)濟(jì)發(fā)展?jié)?在問題、輔助經(jīng)濟(jì)決策提供基礎(chǔ)支撐。四、建設(shè)原則物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)以物聯(lián)網(wǎng)數(shù)據(jù)資源為重點(diǎn)，以大數(shù)據(jù)應(yīng)用為核心，堅(jiān)持 “統(tǒng)籌規(guī)劃、分步實(shí)施，整合資源、協(xié)同共享，突出重點(diǎn)、注重實(shí)效，深化應(yīng) 用、創(chuàng)新驅(qū)動(dòng)”的原則，全面提升信息化建設(shè)水平，促進(jìn)全省經(jīng)濟(jì)持續(xù)健康發(fā) 展。1、統(tǒng)籌規(guī)劃、分步

7、實(shí)施。 結(jié)合我省經(jīng)濟(jì)發(fā)展與改革領(lǐng)域?qū)嶋H需求，明 確總體目標(biāo)和階段性任務(wù)，科學(xué)規(guī)劃建設(shè)項(xiàng)目。先期完成大數(shù)據(jù)平臺(tái)的整體架 構(gòu)建設(shè)，后期分步完成業(yè)務(wù)系統(tǒng)的整合及相互間數(shù)據(jù)共享問題。2、整合資源、協(xié)同共享。 對(duì)信息資源統(tǒng)一梳理，建立經(jīng)濟(jì)發(fā)展與改革 信息標(biāo)準(zhǔn)資源庫(kù)和數(shù)據(jù)規(guī)范，逐步消滅“信息孤島” ，加快推進(jìn)數(shù)據(jù)資源整合， 建設(shè)共享共用的大數(shù)據(jù)中心，實(shí)現(xiàn)業(yè)務(wù)協(xié)同。3、突出重點(diǎn)、注重實(shí)效。 以用戶為中心，以需求為導(dǎo)向，以服務(wù)為目 的，突出重點(diǎn)，注重實(shí)效，加強(qiáng)平臺(tái)可用性和易用性。4、深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)。 深入了解用戶需求，密切跟蹤信息技術(shù)發(fā)展 趨勢(shì)，不斷深化應(yīng)用、拓展新技術(shù)在應(yīng)用中的廣度和深度，促進(jìn)跨界融合，

8、豐 富管理和服務(wù)手段。五、建設(shè)方案為了保證項(xiàng)目的順利進(jìn)行和建設(shè)目標(biāo)的可行性，章魚大數(shù)據(jù)采取如下幾種 建設(shè)方案。1、數(shù)據(jù)采集方案。我們統(tǒng)一信息資源標(biāo)準(zhǔn)規(guī)范，建立多維度數(shù)據(jù)庫(kù)，拓寬數(shù)據(jù)來源，通過不同的方式匯聚數(shù)據(jù)，增強(qiáng)分析力度，提高監(jiān)測(cè)預(yù)警的準(zhǔn)確性和時(shí)效性。1、預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將現(xiàn)存有關(guān)經(jīng)濟(jì)運(yùn)行業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)和時(shí)效數(shù)據(jù)，通過上傳數(shù)據(jù)文件至服務(wù)器、分析提取有效數(shù)據(jù)導(dǎo)入服務(wù)器數(shù)據(jù)庫(kù)等方式采集起來，在本平臺(tái)上復(fù)用。2、支持外接數(shù)據(jù)的上傳導(dǎo)入處理?？梢詫⑵髽I(yè)單位或定點(diǎn)監(jiān)測(cè)機(jī)構(gòu)的 數(shù)據(jù)通過同樣的方式采集起來，在本平臺(tái)上復(fù)用。3、支持非結(jié)構(gòu)化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)

9、據(jù)、地理空間數(shù) 據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。物聯(lián)網(wǎng)大數(shù)據(jù)之大并不是難點(diǎn)所在，其真正難以對(duì)付的挑戰(zhàn)來自于數(shù)據(jù)類型多樣、要求及時(shí)響應(yīng)和數(shù)據(jù)的不確定性，而我們所面臨的也正是如 此。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學(xué)習(xí)、知識(shí)計(jì)算和可視化等 大數(shù)據(jù)分析技術(shù)，通過對(duì)數(shù)據(jù)的批量處理挖掘其中的價(jià)值來支持決策和發(fā) 現(xiàn)新的洞察。3、業(yè)務(wù)整合方案。在對(duì)社會(huì)發(fā)展相關(guān)業(yè)務(wù)子系統(tǒng)充分調(diào)研基礎(chǔ)上，結(jié)合項(xiàng)目需求，可對(duì)其進(jìn)行整合或嵌入處理（本方案整合公共信用信息服務(wù)平臺(tái)、投資項(xiàng)目信 息管理平臺(tái)等）。1、整合處理。將原有數(shù)據(jù)通過上傳或?qū)敕绞竭M(jìn)行采集，原有功能模 塊整合到本平臺(tái)中，合二為一，完美的將數(shù)據(jù)匯聚起來。缺

10、點(diǎn)是耗時(shí)較長(zhǎng)。2、嵌入處理。以單點(diǎn)登錄的方式將原有系統(tǒng)鏈接嵌入到本平臺(tái)中，作 為子系統(tǒng)單獨(dú)存在。缺點(diǎn)在于數(shù)據(jù)共享難以實(shí)現(xiàn)。六、建設(shè)內(nèi)容1、宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)及可視化平臺(tái)政府信息化的最終目標(biāo)是提高政府的決策水平，其中經(jīng)濟(jì)決策是核心內(nèi) 容。為了提高宏觀調(diào)控決策水平，我們必須從依靠傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)向依靠物聯(lián) 網(wǎng)非統(tǒng)計(jì)數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測(cè)預(yù)測(cè)宏觀經(jīng)濟(jì)總量向監(jiān)測(cè)預(yù)測(cè)宏觀經(jīng)濟(jì)先行指標(biāo) 轉(zhuǎn)變，從中長(zhǎng)期監(jiān)測(cè)預(yù)測(cè)向?qū)崟r(shí)監(jiān)測(cè)預(yù)測(cè)轉(zhuǎn)變。宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)及可視化平臺(tái)圍繞網(wǎng)絡(luò)搜索、社交媒體、電子商務(wù)、 終端定位和業(yè)務(wù)交易等五個(gè)方面全面整合互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)資源，建設(shè)以“容 量大、形式多、分類細(xì)、響應(yīng)快”為目標(biāo)的宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)數(shù)據(jù)庫(kù)

11、，構(gòu)建 基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟(jì)非統(tǒng)計(jì)指標(biāo)監(jiān)測(cè)預(yù)測(cè)應(yīng)用平臺(tái)。圍繞重點(diǎn)產(chǎn)業(yè)活躍度、區(qū)域經(jīng)濟(jì)關(guān)聯(lián)度、宏觀經(jīng)濟(jì)走向社會(huì)預(yù)期、社會(huì) 消費(fèi)熱點(diǎn)、大宗商品供求及價(jià)格走勢(shì)、全國(guó)就業(yè)形勢(shì)、外貿(mào)訂單變化趨勢(shì)等 方面，構(gòu)建物聯(lián)網(wǎng)大數(shù)據(jù)宏觀經(jīng)濟(jì)先行指標(biāo)和現(xiàn)時(shí)預(yù)測(cè)指標(biāo)庫(kù)， 研究能客觀、 準(zhǔn)確反映我省宏觀經(jīng)濟(jì)運(yùn)行狀況的指標(biāo)體系，編制“山東指數(shù)”。在健全完善監(jiān)測(cè)預(yù)警數(shù)據(jù)庫(kù)的基礎(chǔ)上，充分運(yùn)用大數(shù)據(jù)技術(shù)和理念，加 強(qiáng)數(shù)據(jù)挖掘力度，強(qiáng)化定量分析，建立宏觀經(jīng)濟(jì)分析系列模型，切實(shí)提高預(yù) 測(cè)分析的前瞻性、準(zhǔn)確性和可靠性。積極拓寬信息發(fā)布渠道，建立可視化平臺(tái)，如采用 Unity3D 引擎，三維 界面高度仿真， 所見即所得。 平臺(tái)針對(duì)多

12、源易構(gòu)的海量數(shù)據(jù)， 通過數(shù)據(jù)處理、 存儲(chǔ)管理、 可視化交互分析等技術(shù)， 實(shí)現(xiàn)圖形化數(shù)據(jù)查詢、 可視化關(guān)聯(lián)分析、 證據(jù)鏈和情報(bào)線索發(fā)掘等功能。利用預(yù)測(cè)信號(hào)燈系統(tǒng)，形象地刻畫出宏觀經(jīng) 濟(jì)總體運(yùn)行狀況， 分析經(jīng)濟(jì)波動(dòng)原因， 及時(shí)了解各地區(qū)經(jīng)濟(jì)發(fā)展的不平衡性， 準(zhǔn)確判斷和測(cè)定經(jīng)濟(jì)景氣循環(huán)運(yùn)行狀態(tài)，提高宏觀經(jīng)濟(jì)決策水平。2、建立食品安全風(fēng)險(xiǎn)監(jiān)測(cè)大數(shù)據(jù)分析平臺(tái)食品安全風(fēng)險(xiǎn)監(jiān)測(cè)大數(shù)據(jù)平臺(tái)的基礎(chǔ)是感知、收集、分析和共享覆蓋食 品生產(chǎn)全過程的相關(guān)數(shù)據(jù)。國(guó)家應(yīng)制定相關(guān)法規(guī)，強(qiáng)制推行在農(nóng)、林、牧、 副、漁及食品生產(chǎn)企業(yè)和相關(guān)主體建立覆蓋食品生產(chǎn)全過程的食品安全風(fēng)險(xiǎn) 監(jiān)測(cè)網(wǎng)點(diǎn)，進(jìn)行動(dòng)態(tài)數(shù)據(jù)的標(biāo)示與感知，設(shè)立食品安全風(fēng)

13、險(xiǎn)監(jiān)測(cè)省級(jí)及地方 大數(shù)據(jù)分平臺(tái)，負(fù)責(zé)動(dòng)態(tài)收集、分析本省及地方的食品安全監(jiān)測(cè)數(shù)據(jù)，對(duì)本 省及地方的食品安全狀況做出評(píng)估，對(duì)監(jiān)測(cè)發(fā)現(xiàn)的可能存在的食品安全隱患 及時(shí)發(fā)布預(yù)警，并將數(shù)據(jù)及時(shí)匯總到食品安全風(fēng)險(xiǎn)監(jiān)測(cè)管理部門。3 、物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)是各個(gè)平臺(tái)中的基礎(chǔ)性和綜合性平臺(tái)，是解決 “信息孤島”、實(shí)現(xiàn)數(shù)據(jù)互連互通的基礎(chǔ)設(shè)施，有利于提高各類信息資源整 合共享，以及信息資源的綜合利用。建設(shè)物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)的首要目標(biāo)就是要?jiǎng)?chuàng)造一個(gè)信息交換、信 息共享的方式和環(huán)境，按照統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，建立信息資源整合機(jī)制，規(guī)范 數(shù)據(jù)采集口徑、采集方式，規(guī)范數(shù)據(jù)的服務(wù)方式，建立統(tǒng)一的資源信息整

14、合 與交換機(jī)制。我們按照統(tǒng)一、集約、高效的數(shù)據(jù)開發(fā)利用理念，通過研究建立多級(jí)交 換管理體系，形成政務(wù)信息資源物理分散、邏輯集中的信息共享模式，通過 以應(yīng)用為抓手，進(jìn)一步打通數(shù)據(jù)流，滿足政府部門多方位、多層次的數(shù)據(jù)需 求，為跨地域、跨部門、跨平臺(tái)不同應(yīng)用系統(tǒng)、不同數(shù)據(jù)庫(kù)之間的互連互通 提供包含提取、轉(zhuǎn)換、傳輸和加密等操作的數(shù)據(jù)交換服務(wù)。通過分布式部署 和集中式管理架構(gòu)， 有效解決各節(jié)點(diǎn)間數(shù)據(jù)的及時(shí)、 高效上傳下達(dá)， 在安全、 快捷、方便的進(jìn)行信息交換的同時(shí)精準(zhǔn)的保證數(shù)據(jù)的一致性和準(zhǔn)確性。章魚大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)的全局目標(biāo)是建立一個(gè)可擴(kuò)展、可集成、有統(tǒng)一數(shù)據(jù)模型、可交換和安全可靠的分布式系

15、統(tǒng)，對(duì)各類物聯(lián)網(wǎng)資源進(jìn)行組織和管理。解決物聯(lián)網(wǎng)信息資源的發(fā)現(xiàn)與定位問題，解決物聯(lián)網(wǎng)信息資源規(guī)劃與整理問題。支持物聯(lián)網(wǎng)信息集成整合應(yīng)用、各業(yè)務(wù)部門辦公應(yīng)用和政府職能決策應(yīng)用。面向政務(wù)協(xié)作、宏觀決策、市場(chǎng)監(jiān)管和社會(huì)管理服 務(wù)。七、技術(shù)支持與平臺(tái)性能1、系統(tǒng)架構(gòu)建立基于分布式的物聯(lián)網(wǎng)大數(shù)據(jù)集群管理系統(tǒng)，提供物聯(lián)網(wǎng)大數(shù)據(jù)集群 管理系統(tǒng)，功能包含 Hadoop、Hive 、HBase、Sqoop、Flume、Spark 等節(jié)點(diǎn) 部屬及管理，提供實(shí)時(shí)監(jiān)控集群的 CPU內(nèi)存、硬盤等使用率及相關(guān)信息， 可以對(duì)管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)進(jìn)行啟動(dòng)、停止等操作管理。系統(tǒng)架構(gòu)圖如下：2、Hadoop集群生態(tài)系統(tǒng)技術(shù)架構(gòu)3、H

16、adoop核心主要功能設(shè)計(jì)4、HDFS紹-文件讀流程Client向NameNod發(fā)起文件讀取的請(qǐng)求。NameNod返回文件存儲(chǔ)的 DataNode的信息。Client 讀取文件信息。5、HDFS紹-文件寫流程Client向NameNod發(fā)起文件寫入的請(qǐng)求。NameNod根據(jù)文件大小和文件塊配置情況，返回給 Clie nt它所管理部分DataNode的信息。Client 將文件劃分為多個(gè) Block ，根據(jù) DataNode 的地址信息，按順序 寫入到每一個(gè)DataNode塊中。6、MapReduce 映射、化簡(jiǎn)編程模型輸入數(shù)據(jù)-Map分解任務(wù)- 執(zhí)行并返回結(jié)果-Reduce匯總結(jié)果- 輸出結(jié)

17、果7、 HBas 分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)Client :使用 HBase RPC機(jī)制與 HMaster 和 HRegionServer 進(jìn)行通信Zookeeper :協(xié)同服務(wù)管理，HMaster通過Zookeepe可以隨時(shí)感知各個(gè) HRegionServer 的健康狀況HMaster:? 管理用戶對(duì)表的增刪改查操作HRegionServer: HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶I/O請(qǐng)求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase 中分布式存儲(chǔ)的最小單元，可以理解成一個(gè) TableHStore : HBase存儲(chǔ)的核心。由 MemStore和 StoreFile 組成。HLog

18、：每次用戶操作寫入 Memstore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到 HLog文 件2、平臺(tái)性能及優(yōu)勢(shì)1、先進(jìn)性、開放性?；?Hadoop/Spark 主流大數(shù)據(jù)結(jié)構(gòu)的應(yīng)用技術(shù)和開放式的體系框架， 結(jié)構(gòu)化設(shè)計(jì)，靈活可拆分，具有靈活的可擴(kuò)充接口，易于修改調(diào)整、二次開 發(fā)和擴(kuò)充，最大限度降低因上游技術(shù)升級(jí)帶來的系統(tǒng)實(shí)施風(fēng)險(xiǎn)，保證投資的有效性和延續(xù)性。2、可擴(kuò)展性。由于采用了平臺(tái)化構(gòu)建思想，章魚大數(shù)據(jù)整個(gè)系統(tǒng)可做到與底層多種硬 件環(huán)境、操作系統(tǒng)、數(shù)據(jù)接口的自由適配，保證系統(tǒng)在軟件、硬件環(huán)境方面 的靈活配置以及未來的拓展應(yīng)用。采用基于開放的模塊化設(shè)計(jì)，可根據(jù)需要進(jìn)行靈活動(dòng)態(tài)的模塊擴(kuò)充，并 保證原系統(tǒng)環(huán)境不受影響。系統(tǒng)提供開放的標(biāo)準(zhǔn)接口，可實(shí)現(xiàn)與外圍業(yè)務(wù)系統(tǒng)的無縫集成應(yīng)用，