物聯(lián)網(wǎng)大數(shù)據(jù)分析實(shí)驗(yàn)室建設(shè)方案(章魚(yú)大數(shù)據(jù))

1、物聯(lián)網(wǎng)大數(shù)據(jù)分析實(shí)驗(yàn)室建設(shè)方案一、項(xiàng)目背景“十三五”期間，隨著我國(guó)現(xiàn)代信息技術(shù)的蓬勃發(fā)展，信息化建設(shè)模式發(fā)生根本性轉(zhuǎn)變, 一場(chǎng)以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)應(yīng)用等技術(shù)為核心的“新 IT ”浪潮風(fēng)起云涌，信息化應(yīng)用進(jìn)入一個(gè)“新常態(tài)” 。章魚(yú)大數(shù)據(jù)為積極應(yīng)對(duì)“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)，適應(yīng)經(jīng)濟(jì)社會(huì)發(fā)展與改革要求，開(kāi)發(fā)建設(shè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)。物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)打造集數(shù)據(jù)采集、數(shù)據(jù)處理、監(jiān)測(cè)管理、預(yù)測(cè)預(yù)警、應(yīng)急指揮、可視化平臺(tái)于一體的大數(shù)據(jù)平臺(tái)，以信息化提升數(shù)據(jù)化管理與服務(wù)能力，及時(shí)準(zhǔn)確掌握社會(huì)經(jīng)濟(jì)發(fā)展情況，做到“用數(shù)據(jù)說(shuō)話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”，牢牢把握社會(huì)經(jīng)濟(jì)發(fā)展主動(dòng)權(quán)和話語(yǔ)

2、權(quán)。二、物聯(lián)網(wǎng)行業(yè)現(xiàn)狀數(shù)字傳感器的大量應(yīng)用及移動(dòng)設(shè)備的大面積普及，才會(huì)導(dǎo)致全球數(shù)字信息總量的極速增長(zhǎng)。根據(jù)工信部的統(tǒng)計(jì)結(jié)果，中國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模在 2011 年已經(jīng)超過(guò)2300 億元，雖然和期望的“萬(wàn)億規(guī)模產(chǎn)業(yè)”還有一定距離，但已經(jīng)不可小視。其中傳感器設(shè)備市場(chǎng)規(guī)模超過(guò)900億元，RFID產(chǎn)業(yè)規(guī)模190億元，M2M終端數(shù)量也已超過(guò)2100萬(wàn)個(gè)。另一個(gè)方面，我國(guó)的物聯(lián)網(wǎng)企業(yè)也呈現(xiàn)出聚集效應(yīng)，例如北京中關(guān)村已有物聯(lián)網(wǎng)相關(guān)企業(yè)600 余家， 無(wú)錫國(guó)家示范區(qū)有608 家， 重慶、 西安等城市也有近300 家。從區(qū)域發(fā)展來(lái)看，形成了環(huán)渤海、長(zhǎng)三角、珠三角等核心區(qū)以及中西部地區(qū)的特色產(chǎn)業(yè)集群。在 2009 年

3、以前，可能沒(méi)有哪家企業(yè)說(shuō)自己是物聯(lián)網(wǎng)企業(yè)。一夜之間產(chǎn)生的上千家物聯(lián)網(wǎng)企業(yè)，他們的核心能力、產(chǎn)品或服務(wù)價(jià)值定位、 目標(biāo)客戶(hù)和盈利模式都是如何呢？首先來(lái)看這些物聯(lián)網(wǎng)企業(yè)從哪里來(lái)。 現(xiàn)在的物聯(lián)網(wǎng)企業(yè)主要分為三類(lèi)，第一類(lèi)是以前的公用企業(yè)轉(zhuǎn)型，最典型的是電信運(yùn)營(yíng)商，他們有自己的基礎(chǔ)設(shè)施，有客戶(hù)資源，因此自然轉(zhuǎn)型到物聯(lián)網(wǎng)行業(yè)。除了電信運(yùn)營(yíng)商，一些交通基礎(chǔ)設(shè)施運(yùn)營(yíng)商、甚至是氣象設(shè)施運(yùn)營(yíng)商，也都轉(zhuǎn)型為物聯(lián)網(wǎng)企業(yè)。第二類(lèi)是傳統(tǒng) IT 企業(yè)，例如華為、神州數(shù)碼，以及眾多上市公司等。這一類(lèi)公司也是在傳統(tǒng)的優(yōu)勢(shì)積累基礎(chǔ)上開(kāi)拓物聯(lián)網(wǎng)新業(yè)務(wù)。第三類(lèi)是一些制造企業(yè)，包括傳感設(shè)備制造企業(yè)，網(wǎng)絡(luò)核心設(shè)備制造企業(yè)，還包括如家電等

4、一批傳統(tǒng)制造企業(yè)。這一類(lèi)企業(yè)不能說(shuō)沒(méi)有大企業(yè)，但是絕大多數(shù)都是中小型企業(yè)。這些企業(yè)的核心能力主要體現(xiàn)在三個(gè)方面，第一是傳感器和智能儀表，第二是嵌入式系統(tǒng)和智能裝備，第三是軟件與集成服務(wù)。再來(lái)看我國(guó)物聯(lián)網(wǎng)應(yīng)用的領(lǐng)域。通過(guò)對(duì)多個(gè)部委和地區(qū)的物聯(lián)網(wǎng)專(zhuān)項(xiàng)進(jìn)行匯總，下圖列出了目前提到最多，也是應(yīng)用最成熟的八個(gè)領(lǐng)域。但是換個(gè)角度再看，不管是工業(yè)控制、供應(yīng)鏈管理、精準(zhǔn)農(nóng)業(yè)，還是建筑自動(dòng)化、遠(yuǎn)程抄表、ETC其實(shí)都并不是新的技術(shù)領(lǐng)域，而是在物聯(lián)網(wǎng)這個(gè)大概念下重新包裝后再次引起了人們的興趣?？偟膩?lái)說(shuō)， 物聯(lián)網(wǎng)應(yīng)用傳感器改善了信息獲取的實(shí)時(shí)性和準(zhǔn)確性，同時(shí)智能終端改變了人們利用和使用信息的習(xí)慣。目前存在的主要問(wèn)題包

5、括應(yīng)用過(guò)于碎片化，缺少滿足用戶(hù)需求的創(chuàng)新型產(chǎn)品/服務(wù)，行業(yè)間缺乏信息共享和應(yīng)用協(xié)同渠道，以及安全和隱私保護(hù)重視不夠。三、建設(shè)目標(biāo)章魚(yú)大數(shù)據(jù)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)是順應(yīng)目前信息化技術(shù)水平發(fā)展、服務(wù)政府職能改革的架構(gòu)平臺(tái)。它的主要目標(biāo)是強(qiáng)化經(jīng)濟(jì)運(yùn)行監(jiān)測(cè)分析， 實(shí)現(xiàn)企業(yè)信用社會(huì)化監(jiān)督，建立規(guī)范化共建共享投資項(xiàng)目管理體系，推進(jìn)政務(wù)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，為決策提供及時(shí)、準(zhǔn)確、可靠的信息依據(jù)，提高政務(wù)工作的前瞻性和針對(duì)性，加大宏觀調(diào)控力度，促進(jìn)經(jīng)濟(jì)持續(xù)健康發(fā)展。1、制定統(tǒng)一信息資源管理規(guī)范，拓寬數(shù)據(jù)獲取渠道，整合業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構(gòu)建匯聚式一體化數(shù)據(jù)庫(kù)，為平臺(tái)打下堅(jiān)實(shí)穩(wěn)固的數(shù)據(jù)基礎(chǔ)。

6、2、梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息資源交換管理標(biāo)準(zhǔn)體系，在業(yè)務(wù)可行性的基礎(chǔ)上，實(shí)現(xiàn)數(shù)據(jù)信息共享，推進(jìn)信息公開(kāi)，建立跨部門(mén)跨領(lǐng)域經(jīng)濟(jì)形勢(shì)分析制度。3、在大數(shù)據(jù)分析監(jiān)測(cè)基礎(chǔ)上，為政府把握經(jīng)濟(jì)發(fā)展趨勢(shì)、預(yù)見(jiàn)經(jīng)濟(jì)發(fā)展?jié)撛趩?wèn)題、輔助經(jīng)濟(jì)決策提供基礎(chǔ)支撐。四、建設(shè)原則物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)以物聯(lián)網(wǎng)數(shù)據(jù)資源為重點(diǎn)，以大數(shù)據(jù)應(yīng)用為核心，堅(jiān)持“統(tǒng)籌規(guī)劃、分步實(shí)施，整合資源、協(xié)同共享，突出重點(diǎn)、注重實(shí)效，深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)”的原則， 全面提升信息化建設(shè)水平，促進(jìn)全省經(jīng)濟(jì)持續(xù)健康發(fā)展。1 、統(tǒng)籌規(guī)劃、分步實(shí)施。結(jié)合我省經(jīng)濟(jì)發(fā)展與改革領(lǐng)域?qū)嶋H需求，明確總體目標(biāo)和階段性任務(wù)，科學(xué)規(guī)劃建設(shè)項(xiàng)目。先期

7、完成大數(shù)據(jù)平臺(tái)的整體架構(gòu)建設(shè)，后期分步完成業(yè)務(wù)系統(tǒng)的整合及相互間數(shù)據(jù)共享問(wèn)題。2、整合資源、協(xié)同共享。對(duì)信息資源統(tǒng)一梳理，建立經(jīng)濟(jì)發(fā)展與改革信息標(biāo)準(zhǔn)資源庫(kù)和數(shù)據(jù)規(guī)范，逐步消滅“信息孤島”，加快推進(jìn)數(shù)據(jù)資源整合，建設(shè)共享共用的大數(shù)據(jù)中心，實(shí)現(xiàn)業(yè)務(wù)協(xié)同。3、突出重點(diǎn)、注重實(shí)效。以用戶(hù)為中心，以需求為導(dǎo)向，以服務(wù)為目的，突出重點(diǎn)，注重實(shí)效，加強(qiáng)平臺(tái)可用性和易用性。4、深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)。深入了解用戶(hù)需求，密切跟蹤信息技術(shù)發(fā)展趨勢(shì)，不斷深化應(yīng)用、拓展新技術(shù)在應(yīng)用中的廣度和深度，促進(jìn)跨界融合，豐富管理和服務(wù)手段。五、建設(shè)方案為了保證項(xiàng)目的順利進(jìn)行和建設(shè)目標(biāo)的可行性，章魚(yú)大數(shù)據(jù)采取如下幾種建設(shè)方案。1 、

8、數(shù)據(jù)采集方案。我們統(tǒng)一信息資源標(biāo)準(zhǔn)規(guī)范，建立多維度數(shù)據(jù)庫(kù)，拓寬數(shù)據(jù)來(lái)源，通過(guò)不同的方式匯聚數(shù)據(jù)，增強(qiáng)分析力度，提高監(jiān)測(cè)預(yù)警的準(zhǔn)確性和時(shí)效性。1、預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將現(xiàn)存有關(guān)經(jīng)濟(jì)運(yùn)行業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)和時(shí)效數(shù)據(jù)，通過(guò)上傳數(shù)據(jù)文件至服務(wù)器、分析提取有效數(shù)據(jù)導(dǎo)入服務(wù)器數(shù)據(jù)庫(kù)等方式采集起來(lái)，在本平臺(tái)上復(fù)用。2、支持外接數(shù)據(jù)的上傳導(dǎo)入處理?？梢詫⑵髽I(yè)單位或定點(diǎn)監(jiān)測(cè)機(jī)構(gòu)的數(shù)據(jù)通過(guò)同樣的方式采集起來(lái)，在本平臺(tái)上復(fù)用。3、支持非結(jié)構(gòu)化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。物聯(lián)網(wǎng)大數(shù)據(jù)之大并不是難點(diǎn)所在，其真正難以對(duì)付的挑戰(zhàn)來(lái)自于數(shù)據(jù)類(lèi)

9、型多樣、要求及時(shí)響應(yīng)和數(shù)據(jù)的不確定性，而我們所面臨的也正是如此。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學(xué)習(xí)、知識(shí)計(jì)算和可視化等大數(shù)據(jù)分析技術(shù)，通過(guò)對(duì)數(shù)據(jù)的批量處理挖掘其中的價(jià)值來(lái)支持決策和發(fā)現(xiàn)新的洞察。3、業(yè)務(wù)整合方案。在對(duì)社會(huì)發(fā)展相關(guān)業(yè)務(wù)子系統(tǒng)充分調(diào)研基礎(chǔ)上，結(jié)合項(xiàng)目需求， 可對(duì)其進(jìn)行整合或嵌入處理（本方案整合公共信用信息服務(wù)平臺(tái)、投資項(xiàng)目信息管理平臺(tái)等）。1、整合處理。將原有數(shù)據(jù)通過(guò)上傳或?qū)敕绞竭M(jìn)行采集，原有功能模塊整合到本平臺(tái)中，合二為一，完美的將數(shù)據(jù)匯聚起來(lái)。缺點(diǎn)是耗時(shí)較長(zhǎng)。2、嵌入處理。以單點(diǎn)登錄的方式將原有系統(tǒng)鏈接嵌入到本平臺(tái)中，作為子系統(tǒng)單獨(dú)存在。缺點(diǎn)在于數(shù)據(jù)共享難以實(shí)現(xiàn)。六、建

10、設(shè)內(nèi)容1 、宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)及可視化平臺(tái)政府信息化的最終目標(biāo)是提高政府的決策水平，其中經(jīng)濟(jì)決策是核心內(nèi)容。為了提高宏觀調(diào)控決策水平，我們必須從依靠傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)向依靠物聯(lián)網(wǎng)非統(tǒng)計(jì)數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測(cè)預(yù)測(cè)宏觀經(jīng)濟(jì)總量向監(jiān)測(cè)預(yù)測(cè)宏觀經(jīng)濟(jì)先行指標(biāo)轉(zhuǎn)變，從中長(zhǎng)期監(jiān)測(cè)預(yù)測(cè)向?qū)崟r(shí)監(jiān)測(cè)預(yù)測(cè)轉(zhuǎn)變。宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)及可視化平臺(tái)圍繞網(wǎng)絡(luò)搜索、社交媒體、電子商務(wù)、終端定位和業(yè)務(wù)交易等五個(gè)方面全面整合互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)資源，建設(shè)以“容量大、形式多、分類(lèi)細(xì)、響應(yīng)快”為目標(biāo)的宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)數(shù)據(jù)庫(kù)，構(gòu)建基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟(jì)非統(tǒng)計(jì)指標(biāo)監(jiān)測(cè)預(yù)測(cè)應(yīng)用平臺(tái)。圍繞重點(diǎn)產(chǎn)業(yè)活躍度、區(qū)域經(jīng)濟(jì)關(guān)聯(lián)度、宏觀經(jīng)濟(jì)走向社會(huì)預(yù)期、社會(huì)消費(fèi)熱點(diǎn)、大宗商

11、品供求及價(jià)格走勢(shì)、全國(guó)就業(yè)形勢(shì)、外貿(mào)訂單變化趨勢(shì)等方面，構(gòu)建物聯(lián)網(wǎng)大數(shù)據(jù)宏觀經(jīng)濟(jì)先行指標(biāo)和現(xiàn)時(shí)預(yù)測(cè)指標(biāo)庫(kù)，研究能客觀、準(zhǔn)確反映我省宏觀經(jīng)濟(jì)運(yùn)行狀況的指標(biāo)體系，編制“山東指數(shù)”。在健全完善監(jiān)測(cè)預(yù)警數(shù)據(jù)庫(kù)的基礎(chǔ)上，充分運(yùn)用大數(shù)據(jù)技術(shù)和理念，加強(qiáng)數(shù)據(jù)挖掘力度，強(qiáng)化定量分析，建立宏觀經(jīng)濟(jì)分析系列模型，切實(shí)提高預(yù)測(cè)分析的前瞻性、準(zhǔn)確性和可靠性。積極拓寬信息發(fā)布渠道，建立可視化平臺(tái)，如采用Unity3D引擎，三維界面高度仿真，所見(jiàn)即所得。平臺(tái)針對(duì)多源易構(gòu)的海量數(shù)據(jù)，通過(guò)數(shù)據(jù)處理、存儲(chǔ)管理、可視化交互分析等技術(shù)，實(shí)現(xiàn)圖形化數(shù)據(jù)查詢(xún)、可視化關(guān)聯(lián)分析、證據(jù)鏈和情報(bào)線索發(fā)掘等功能。利用預(yù)測(cè)信號(hào)燈系統(tǒng)，形象地刻畫(huà)出

12、宏觀經(jīng)濟(jì)總體運(yùn)行狀況，分析經(jīng)濟(jì)波動(dòng)原因，及時(shí)了解各地區(qū)經(jīng)濟(jì)發(fā)展的不平衡性，準(zhǔn)確判斷和測(cè)定經(jīng)濟(jì)景氣循環(huán)運(yùn)行狀態(tài)，提高宏觀經(jīng)濟(jì)決策水平。2、建立食品安全風(fēng)險(xiǎn)監(jiān)測(cè)大數(shù)據(jù)分析平臺(tái)食品安全風(fēng)險(xiǎn)監(jiān)測(cè)大數(shù)據(jù)平臺(tái)的基礎(chǔ)是感知、收集、分析和共享覆蓋食品生產(chǎn)全過(guò)程的相關(guān)數(shù)據(jù)。國(guó)家應(yīng)制定相關(guān)法規(guī)，強(qiáng)制推行在農(nóng)、林、牧、副、漁及食品生產(chǎn)企業(yè)和相關(guān)主體建立覆蓋食品生產(chǎn)全過(guò)程的食品安全風(fēng)險(xiǎn)監(jiān)測(cè)網(wǎng)點(diǎn)，進(jìn)行動(dòng)態(tài)數(shù)據(jù)的標(biāo)示與感知，設(shè)立食品安全風(fēng)險(xiǎn)監(jiān)測(cè)省級(jí)及地方大數(shù)據(jù)分平臺(tái)，負(fù)責(zé)動(dòng)態(tài)收集、分析本省及地方的食品安全監(jiān)測(cè)數(shù)據(jù)，對(duì)本省及地方的食品安全狀況做出評(píng)估，對(duì)監(jiān)測(cè)發(fā)現(xiàn)的可能存在的食品安全隱患及時(shí)發(fā)布預(yù)警，并將數(shù)據(jù)及時(shí)匯總到食品安

13、全風(fēng)險(xiǎn)監(jiān)測(cè)管理部門(mén)。3 、物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)是各個(gè)平臺(tái)中的基礎(chǔ)性和綜合性平臺(tái)，是解決“信息孤島”、實(shí)現(xiàn)數(shù)據(jù)互連互通的基礎(chǔ)設(shè)施，有利于提高各類(lèi)信息資源整合共享，以及信息資源的綜合利用。建設(shè)物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)的首要目標(biāo)就是要?jiǎng)?chuàng)造一個(gè)信息交換、信息共享的方式和環(huán)境，按照統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，建立信息資源整合機(jī)制，規(guī)范數(shù)據(jù)采集口徑、采集方式，規(guī)范數(shù)據(jù)的服務(wù)方式，建立統(tǒng)一的資源信息整合與交換機(jī)制。我們按照統(tǒng)一、集約、高效的數(shù)據(jù)開(kāi)發(fā)利用理念，通過(guò)研究建立多級(jí)交換管理體系，形成政務(wù)信息資源物理分散、邏輯集中的信息共享模式，通過(guò)以應(yīng)用為抓手，進(jìn)一步打通數(shù)據(jù)流，滿足政府部門(mén)多方位、多層次

14、的數(shù)據(jù)需求，為跨地域、跨部門(mén)、跨平臺(tái)不同應(yīng)用系統(tǒng)、不同數(shù)據(jù)庫(kù)之間的互連互通提供包含提取、轉(zhuǎn)換、傳輸和加密等操作的數(shù)據(jù)交換服務(wù)。通過(guò)分布式部署和集中式管理架構(gòu)，有效解決各節(jié)點(diǎn)間數(shù)據(jù)的及時(shí)、高效上傳下達(dá)，在安全、快捷、方便的進(jìn)行信息交換的同時(shí)精準(zhǔn)的保證數(shù)據(jù)的一致性和準(zhǔn)確性。章魚(yú)大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺(tái)的全局目標(biāo)是建立一個(gè)可擴(kuò)展、可集成、有統(tǒng)一數(shù)據(jù)模型、可交換和安全可靠的分布式系統(tǒng)，對(duì)各類(lèi)物聯(lián)網(wǎng)資源進(jìn)行組織和管理。解決物聯(lián)網(wǎng)信息資源的發(fā)現(xiàn)與定位問(wèn)題，解決物聯(lián)網(wǎng)信息資源規(guī)劃與整理問(wèn)題。支持物聯(lián)網(wǎng)信息集成整合應(yīng)用、各業(yè)務(wù)部門(mén)辦公應(yīng)用和政府職能決策應(yīng)用。面向政務(wù)協(xié)作、宏觀決策、市場(chǎng)監(jiān)管和社會(huì)管理服務(wù)。

15、七、技術(shù)支持與平臺(tái)性能1 、系統(tǒng)架構(gòu)建立基于分布式的物聯(lián)網(wǎng)大數(shù)據(jù)集群管理系統(tǒng)，提供物聯(lián)網(wǎng)大數(shù)據(jù)集群管理系統(tǒng)，功能包含Hadoop、 Hive、 HBase、 Sqoop、 Flume、Spark等節(jié)點(diǎn)部屬及管理，提供實(shí)時(shí)監(jiān)控集群的 CPU內(nèi)存、硬盤(pán)等使用率及相關(guān)信息，可以對(duì)管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)進(jìn)行啟動(dòng)、停止等操作管理。系統(tǒng)架構(gòu)圖如下：2、Hadoop集群生態(tài)系統(tǒng)技術(shù)架構(gòu)3、Hadoop核心主要功能設(shè)計(jì)4、HDFST紹-文件讀流程Client向NameNod發(fā)起文件讀取的請(qǐng)求。NameNod返回文件存儲(chǔ)的 DataNode的信息。Client 讀取文件信息。5、HDFST紹-文件寫(xiě)流程Client

16、向NameNod發(fā)起文件寫(xiě)入的請(qǐng)求。NameNode艮據(jù)文件大小和文件塊配置情況，返回給 Client 它所管理部分DataNode的信息。Client將文件劃分為多個(gè)Block ,根據(jù)DataNode的地址信息， 按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。6、MapReduce映射、化簡(jiǎn)編程模型輸入數(shù)據(jù)->Map分解任務(wù)-> 執(zhí)行并返回結(jié)果->Reduce匯總結(jié)果 -> 輸出結(jié)果7、HBase分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)Client :使用 HBase RPCM制與 HMaster 和 HRegionServer 進(jìn)行通信Zookeeper：協(xié)同服務(wù)管理，HMaster通過(guò)Zoo

17、keepe可以隨HRegionServer 的健康狀況HMaster:?管理用戶(hù)對(duì)表的增刪改查操作HRegionServer: HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶(hù)I/O請(qǐng)求，向HDFSC件系統(tǒng)中讀寫(xiě)數(shù)據(jù)HRegion:Hbase 中分布式存儲(chǔ)的最小單元，可以理解成一個(gè)TableHStore： HBase存儲(chǔ)的核心。由 MemStore和 StoreFile 組成。HLog：每次用戶(hù)操作寫(xiě)入Memstore的同時(shí)，也會(huì)寫(xiě)一份數(shù)據(jù)到HLog文件2、平臺(tái)性能及優(yōu)勢(shì)1、先進(jìn)性、開(kāi)放性。基于 Hadoop/Spark 主流大數(shù)據(jù)結(jié)構(gòu)的應(yīng)用技術(shù)和開(kāi)放式的體系框架，結(jié)構(gòu)化設(shè)計(jì)，靈活可拆分，具有靈活的

18、可擴(kuò)充接口，易于修改調(diào)整、二次開(kāi)發(fā)和擴(kuò)充，最大限度降低因上游技術(shù)升級(jí)帶來(lái)的系統(tǒng)實(shí)施風(fēng)險(xiǎn)，保證投資的有效性和延續(xù)性。2、可擴(kuò)展性。由于采用了平臺(tái)化構(gòu)建思想，章魚(yú)大數(shù)據(jù)整個(gè)系統(tǒng)可做到與底層多種硬件環(huán)境、操作系統(tǒng)、數(shù)據(jù)接口的自由適配，保證系統(tǒng)在軟件、硬件環(huán)境方面的靈活配置以及未來(lái)的拓展應(yīng)用。采用基于開(kāi)放的模塊化設(shè)計(jì)，可根據(jù)需要進(jìn)行靈活動(dòng)態(tài)的模塊擴(kuò)充，并保證原系統(tǒng)環(huán)境不受影響。系統(tǒng)提供開(kāi)放的標(biāo)準(zhǔn)接口，可實(shí)現(xiàn)與外圍業(yè)務(wù)系統(tǒng)的無(wú)縫集成應(yīng)用，靈活擴(kuò)展系統(tǒng)的業(yè)務(wù)應(yīng)用范圍。3、穩(wěn)定性、可靠性。系統(tǒng)采用集群結(jié)構(gòu)應(yīng)用模式，集中安裝部署，客戶(hù)端零安裝, 所以系統(tǒng)的運(yùn)行不受任何客戶(hù)端單點(diǎn)故障的影響。技術(shù)框架的支 撐，可以實(shí)現(xiàn)數(shù)據(jù)信息的持久、穩(wěn)定連接，確保事務(wù)處理的連續(xù) 和完整，保證業(yè)務(wù)數(shù)據(jù)準(zhǔn)確完全。4、其他優(yōu)勢(shì)。八、硬件系統(tǒng)建設(shè)1、服務(wù)器采用二十臺(tái)高性能品牌服務(wù)器作為大數(shù)據(jù)節(jié)點(diǎn)進(jìn)行建設(shè)，采用企業(yè)級(jí)全千兆 三層交換機(jī)進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)交換每臺(tái)節(jié)點(diǎn)的配置如下：處理器每節(jié)點(diǎn)支持2個(gè)英特爾？至強(qiáng)？處理器E5-2620v4 CPU高速緩存15MBQPI總線速率7.2GT/S內(nèi)存提供12個(gè)內(nèi)存插槽，標(biāo)配192G內(nèi)存，支持局級(jí)內(nèi)存糾錯(cuò)，內(nèi)存鏡像，內(nèi)存熱備等局級(jí)功能磁盤(pán)標(biāo)酉己3