中位物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體設(shè)計(jì)V1.0

1、物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體設(shè)計(jì)V0.2目錄 TOC o 1-5 h z 弓I言3 HYPERLINK l bookmark49 o Current Document 文檔目的3 HYPERLINK l bookmark58 o Current Document 文檔范圍3 HYPERLINK l bookmark62 o Current Document 預(yù)期的讀者及閱讀建議3 HYPERLINK l bookmark68 o Current Document 術(shù)語(yǔ)3項(xiàng)目概述4 HYPERLINK l bookmark80 o Current Document 項(xiàng)目背景4 HYPERLINK l b

2、ookmark87 o Current Document 設(shè)計(jì)目標(biāo)4 HYPERLINK l bookmark91 o Current Document 技術(shù)規(guī)劃路線建議 4 HYPERLINK l bookmark95 o Current Document 大數(shù)據(jù)軟硬平臺(tái)/網(wǎng)絡(luò)架構(gòu)規(guī)劃建議 5 HYPERLINK l bookmark98 o Current Document 大數(shù)據(jù)應(yīng)用集成點(diǎn)規(guī)劃建議 5 HYPERLINK l bookmark102 o Current Document 大數(shù)據(jù)團(tuán)隊(duì)建設(shè)規(guī)劃建議 5 HYPERLINK l bookmark106 o Current Doc

3、ument 大數(shù)據(jù)系統(tǒng)實(shí)施指導(dǎo)建議方案 5 HYPERLINK l bookmark110 o Current Document 數(shù)據(jù)平臺(tái)總體架構(gòu)規(guī)劃5 HYPERLINK l bookmark114 o Current Document 數(shù)據(jù)平臺(tái)愿景5 HYPERLINK l bookmark137 o Current Document 數(shù)據(jù)處理流程8 HYPERLINK l bookmark140 o Current Document 主要功能8 HYPERLINK l bookmark147 o Current Document 設(shè)計(jì)原則9 HYPERLINK l bookmark155

4、 o Current Document 平臺(tái)建設(shè)路線9 HYPERLINK l bookmark159 o Current Document 數(shù)據(jù)平臺(tái)軟件架構(gòu)設(shè)計(jì) 10 HYPERLINK l bookmark163 o Current Document 數(shù)據(jù)平臺(tái)結(jié)構(gòu)圖10 HYPERLINK l bookmark170 o Current Document 數(shù)據(jù)采集系統(tǒng)11 HYPERLINK l bookmark185 o Current Document 數(shù)據(jù)存儲(chǔ)系統(tǒng)11 HYPERLINK l bookmark193 o Current Document 離線計(jì)算系統(tǒng)12 HYPERL

5、INK l bookmark208 o Current Document 海量數(shù)據(jù)庫(kù)系統(tǒng) 12 HYPERLINK l bookmark223 o Current Document 管理系統(tǒng)13 HYPERLINK l bookmark240 o Current Document 應(yīng)用平臺(tái)架構(gòu)設(shè)計(jì)14 HYPERLINK l bookmark244 o Current Document 應(yīng)用平臺(tái)架構(gòu)圖14 HYPERLINK l bookmark247 o Current Document 平臺(tái)安全15 HYPERLINK l bookmark251 o Current Document 平臺(tái)

6、監(jiān)控15部署架構(gòu)15 HYPERLINK l bookmark258 o Current Document 平臺(tái)運(yùn)維15 HYPERLINK l bookmark270 o Current Document 團(tuán)隊(duì)建設(shè)16運(yùn)維工程師16 HYPERLINK l bookmark275 o Current Document 應(yīng)用開發(fā)工程師16 HYPERLINK l bookmark278 o Current Document 通信協(xié)議開發(fā)工程師16基于Hadoop的開發(fā)工程師16 HYPERLINK l bookmark283 o Current Document 數(shù)據(jù)開發(fā)工程師16數(shù)據(jù)挖掘工程

7、師17文檔目的本文檔是關(guān)于xx公司物聯(lián)網(wǎng)大平臺(tái)的總體架構(gòu)設(shè)計(jì)方案。本文包括以下內(nèi)容：平臺(tái)總體架構(gòu)設(shè)計(jì)；五大子系統(tǒng)設(shè)計(jì)；應(yīng)用平臺(tái)設(shè)計(jì)平臺(tái)部署架構(gòu)設(shè)計(jì)；平臺(tái)運(yùn)維及團(tuán)隊(duì)建設(shè)；文檔范圍本文檔僅限于北京xx科技公司內(nèi)部人員和直接協(xié)助北京xx科技進(jìn)行大平臺(tái)建設(shè)的相關(guān)人員閱讀。預(yù)期的讀者及閱讀建議本文檔的預(yù)期讀者：北京xx科技的大平臺(tái)項(xiàng)目相關(guān)人員；直接協(xié)助北京xx科技進(jìn)行大平臺(tái)建設(shè)的相關(guān)外部人員；術(shù)語(yǔ)Hadoop: Apache的分布式框架。HDFS : Hadoop的分布式文件系統(tǒng)。NameNode : Hadoop HDFS元數(shù)據(jù)主節(jié)點(diǎn)服務(wù)器。負(fù)責(zé)保持DataNode文件存儲(chǔ)元數(shù)據(jù)信息。JobTrack

8、er : Hadoop 的 Map/Reduce 調(diào)度器，負(fù)責(zé)與 TackTracker 通信分配計(jì)算任務(wù)并跟蹤任務(wù)進(jìn)度。DataNode: Hadoop數(shù)據(jù)節(jié)點(diǎn)，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)。TaskTracker: Hadoop調(diào)度程序，負(fù)責(zé)Map,Reduce任務(wù)的具體啟動(dòng)和執(zhí)行。Kafka :消息隊(duì)列。Netty : NOI 框架。2.目概述2.目概述項(xiàng)目背景隨著業(yè)務(wù)的增加，數(shù)據(jù)采集存儲(chǔ)備份能力嚴(yán)重不足數(shù)據(jù)處理分析能力無法滿足業(yè)務(wù)的需要公司業(yè)務(wù)創(chuàng)新轉(zhuǎn)型的需要設(shè)計(jì)目標(biāo)xx的大數(shù)據(jù)平臺(tái)主要是為車輛、人員、物聯(lián)網(wǎng)提供終端接入、數(shù)據(jù)分析，并為行業(yè)應(yīng)用提供數(shù)據(jù)接口。平臺(tái)建成后，初期可接入百萬級(jí)的終端，可承載多種

9、業(yè)務(wù)及應(yīng)用。隨著業(yè)務(wù)增長(zhǎng)，平臺(tái)可以動(dòng)態(tài)擴(kuò)容，最終可實(shí)現(xiàn)千萬級(jí)、億級(jí)終端的接入及數(shù)據(jù)分析處理能力。本文檔針對(duì)xx的大數(shù)據(jù)平臺(tái)應(yīng)用需求，結(jié)合數(shù)據(jù)的特點(diǎn)，提出未來公司整體的系統(tǒng)架構(gòu)，以充分滿足公司在3到5年內(nèi)的業(yè)務(wù)增長(zhǎng)和數(shù)據(jù)增長(zhǎng)需求。并且在企業(yè)總體系統(tǒng)架構(gòu)的基礎(chǔ)上，提出系統(tǒng)的軟硬件的具體選型方案，以及提供大數(shù)據(jù)平臺(tái)整體規(guī)劃，分步實(shí)施和推廣的建議；提供大數(shù)據(jù)平臺(tái)產(chǎn)品整合、集成、系統(tǒng)優(yōu)化、穩(wěn)定性等建議方案。技術(shù)規(guī)劃路線建議對(duì)xx大數(shù)據(jù)平臺(tái)系統(tǒng)進(jìn)行總體規(guī)劃，與現(xiàn)有的交通部數(shù)據(jù)中心以及各個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接，以適應(yīng)未來3到5年內(nèi)公司業(yè)務(wù)發(fā)展的要求。3.1.2.大數(shù)據(jù)軟硬平臺(tái)/網(wǎng)絡(luò)架構(gòu)規(guī)劃建議從需求的數(shù)據(jù)量、計(jì)

10、算量、應(yīng)用的場(chǎng)景、功能、性能等因素來配置軟硬件平臺(tái)的建議；提出具體的系統(tǒng)總體架構(gòu)和軟硬件部署結(jié)構(gòu)建議；大數(shù)據(jù)應(yīng)用集成點(diǎn)規(guī)劃建議Hadoop數(shù)據(jù)集成、應(yīng)用集成、運(yùn)維管理設(shè)計(jì)建議；大數(shù)據(jù)團(tuán)隊(duì)建設(shè)規(guī)劃建議對(duì)xx技術(shù)團(tuán)隊(duì)的人員需求和配置情況以及所需要掌握的技能提出建議；大數(shù)據(jù)系統(tǒng)實(shí)施指導(dǎo)建議方案提供大數(shù)據(jù)平臺(tái)整體規(guī)劃，分步實(shí)施和推廣的建議；提供大數(shù)據(jù)產(chǎn)品整合、集成、平臺(tái)化的建議系統(tǒng)優(yōu)化、穩(wěn)定性等建議方案。數(shù)據(jù)平臺(tái)總體架構(gòu)規(guī)劃3.1.數(shù)據(jù)平臺(tái)愿景詬濘.史拶分析應(yīng)用雄攔分學(xué)年開詬濘.史拶分析應(yīng)用雄攔分學(xué)年開析平臺(tái)借平臺(tái)理平舍如上圖所示，xx的大數(shù)據(jù)平臺(tái)最終建成后，應(yīng)該是一個(gè)完備的數(shù)據(jù)服務(wù)平臺(tái)，包括數(shù)據(jù)平臺(tái)

11、、應(yīng)用平臺(tái)、數(shù)據(jù)產(chǎn)品以及內(nèi)部運(yùn)行支撐應(yīng)用環(huán)境，該平臺(tái)上的用戶既包括外部用戶，也包括企業(yè)內(nèi)部用戶，既有最終用戶，也有應(yīng)用開發(fā)人員以及數(shù)據(jù)分析和數(shù)據(jù)開發(fā)人員。數(shù)據(jù)服務(wù)平臺(tái)組成 數(shù)據(jù)平臺(tái)：是數(shù)據(jù)的集散地。數(shù)據(jù)平臺(tái)的主要目標(biāo)是存儲(chǔ)和處理海量數(shù)據(jù)，該平臺(tái)除了匯聚xx所有的業(yè)務(wù)數(shù)據(jù)和用戶數(shù)據(jù)之外，還有合作機(jī)構(gòu)的相關(guān)數(shù)據(jù)，其核心功能包括數(shù)據(jù)采集、同步與集成、海量數(shù)據(jù)存儲(chǔ)、海量數(shù)據(jù)處理框架、海量數(shù)據(jù)倉(cāng)庫(kù)等。該平臺(tái)的用戶主要有數(shù)據(jù)分析用戶和數(shù)據(jù)開發(fā)用戶，這兩類用戶在數(shù)據(jù)平臺(tái)上進(jìn)行數(shù)據(jù)分析及數(shù)據(jù)集成、建模與挖掘。 應(yīng)用平臺(tái)：應(yīng)用開發(fā)人員開發(fā)基于數(shù)據(jù)平臺(tái)的車輛監(jiān)控、人員監(jiān)控、物品監(jiān)控等應(yīng)用并部署在應(yīng)用平臺(tái)，供最終用

12、戶訪問。該平臺(tái)的建設(shè)目標(biāo)是處理海量 請(qǐng)求，其核心功能包括應(yīng)用服務(wù)器、分布式緩存、分布式消息隊(duì)列、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)以及分布式簡(jiǎn)單存儲(chǔ)等。內(nèi)部運(yùn)行支撐應(yīng)用環(huán)境：該環(huán)境主要供企業(yè)內(nèi)部用戶將使用，包括商業(yè)智能、運(yùn)營(yíng)支撐、系統(tǒng)運(yùn)維、分析應(yīng)用等。該數(shù)據(jù)產(chǎn)品由大數(shù)據(jù)平臺(tái)開發(fā)人員進(jìn)行研發(fā)。數(shù)據(jù)產(chǎn)品：當(dāng)該平臺(tái)穩(wěn)定運(yùn)行一段時(shí)間之后，企業(yè)根據(jù)業(yè)務(wù)發(fā)展的需要，可以開發(fā)專門的數(shù)據(jù)產(chǎn)品，對(duì)外提供數(shù)據(jù)服務(wù)，供最終用戶使用。該數(shù)據(jù)產(chǎn)品由大數(shù)據(jù)平臺(tái)開發(fā)人員進(jìn)行研發(fā)。數(shù)據(jù)服務(wù)平臺(tái)的用戶劃分應(yīng)用開發(fā)用戶：xx內(nèi)部的技術(shù)研發(fā)人員，主要結(jié)合具體業(yè)務(wù)，開發(fā)基于數(shù)據(jù)平臺(tái)的應(yīng)用，并部署到應(yīng)用平臺(tái)；數(shù)據(jù)分析用戶：xx內(nèi)部的技術(shù)研發(fā)

13、人員，主要基于數(shù)據(jù)平臺(tái)中的海量數(shù)據(jù)，進(jìn)行業(yè)務(wù)數(shù)據(jù)分析，指導(dǎo)生產(chǎn)運(yùn)營(yíng)；數(shù)據(jù)開發(fā)用戶：xx內(nèi)部的技術(shù)研發(fā)人員，主要基于數(shù)據(jù)平臺(tái)中的海量數(shù)據(jù)，進(jìn)行數(shù)據(jù)建模、集成和挖掘，在指導(dǎo)生產(chǎn)運(yùn)營(yíng)的同時(shí)，挖掘新的利潤(rùn)增長(zhǎng)點(diǎn)；內(nèi)部數(shù)據(jù)產(chǎn)品用戶：包括各條業(yè)務(wù)線上的各類業(yè)務(wù)人員如客服等。外部用戶：合作機(jī)構(gòu)如運(yùn)營(yíng)商、銀行、商戶，終端用戶、企業(yè)用戶等。位置信息數(shù)據(jù)源數(shù)據(jù)平臺(tái)可以從第三方平臺(tái)交通部數(shù)據(jù)中心、運(yùn)營(yíng)商或定位中端車機(jī)、sim卡等采集位置、狀態(tài)等信息。無論是企業(yè)內(nèi)部用戶，還是企業(yè)外部用戶，無論是技術(shù)研發(fā)人員還是業(yè)務(wù)人員，他們既是平臺(tái)數(shù)據(jù)的生產(chǎn)者，同時(shí)也是平臺(tái)數(shù)據(jù)的消費(fèi)者。集存儲(chǔ)、計(jì)算、分析于一體的大數(shù)據(jù)平臺(tái)，涵蓋了

14、xx業(yè)務(wù)數(shù)據(jù)的全生命周期管理，既符合現(xiàn)在行業(yè)大數(shù)據(jù)企業(yè)發(fā)展的趨勢(shì)，也最終體現(xiàn)了 xx企業(yè)的最終最內(nèi)涵的價(jià)值。3. 2.數(shù)據(jù)處理流程xx大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理流程如上上圖所示。對(duì)各類終端產(chǎn)生的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源首先通過數(shù)據(jù)采集平臺(tái)進(jìn)行數(shù)據(jù)采集，然后進(jìn)入海量存儲(chǔ)計(jì)算處理平臺(tái)，生成各種多維數(shù)據(jù)，供應(yīng)用服務(wù)平臺(tái)調(diào)用，支持最終的用戶訪問。3.主要功能結(jié)合xx的當(dāng)前業(yè)務(wù)發(fā)展現(xiàn)狀，目前xx的大數(shù)據(jù)平臺(tái)重點(diǎn)解決三類典型需求：業(yè)務(wù)數(shù)據(jù)歸集、備份與可靠存儲(chǔ)離線數(shù)據(jù)分析挖掘?qū)崟r(shí)查詢統(tǒng)計(jì)分析針對(duì)這三類需求，大數(shù)據(jù)平臺(tái)在數(shù)據(jù)采集和運(yùn)營(yíng)管理的輔助下，分別提供存儲(chǔ)系統(tǒng)、離線計(jì)算系統(tǒng)和海量數(shù)據(jù)庫(kù)系統(tǒng)，分別滿足上述三類需求。

15、下面首先介紹平臺(tái)的軟件架構(gòu)設(shè)計(jì)。設(shè)計(jì)原則采用基于Hadoop的開源技術(shù)路線整合公司的終端數(shù)據(jù)、員工、客戶、計(jì)算、存儲(chǔ)等所有資源于一體平臺(tái)涵蓋公司數(shù)據(jù)生產(chǎn)、存儲(chǔ)、挖掘、分析、服務(wù)等全生命周期管理結(jié)合業(yè)務(wù)線，分析挖掘和業(yè)務(wù)支持等應(yīng)用自主研發(fā)平臺(tái)建設(shè)路線項(xiàng)目分階段完成。1期：開發(fā)數(shù)據(jù)采集系統(tǒng)，從第三方平臺(tái)及終端采集位置信息，實(shí)現(xiàn)2種終端的接入。開發(fā)應(yīng)用平臺(tái)，提供接口給客戶端訪問數(shù)據(jù)。2期：實(shí)現(xiàn)多種終端的接入，并完善應(yīng)用接口。3期：開放存儲(chǔ)系統(tǒng)和簡(jiǎn)單的MapReduce功能給其他用戶使用，數(shù)據(jù)庫(kù)方面單表的簡(jiǎn)單查詢或帶條件查詢，內(nèi)部使用實(shí)時(shí)采集組件。4期：開放Hive這樣的類SQL計(jì)算給外部門，內(nèi)部開始

16、引入Mahout進(jìn)行數(shù)據(jù)挖掘，數(shù)據(jù)庫(kù)方面改進(jìn)查詢語(yǔ)言，支持更多的SQL語(yǔ)法，實(shí)時(shí)采集可以交給其他部門任意部署客戶端，支持常見的異構(gòu)數(shù)據(jù)源5期：計(jì)算平臺(tái)成熟，完全成為各部門共同參與開發(fā)業(yè)務(wù)的平臺(tái)，數(shù)據(jù)庫(kù)具備大部分SQL查詢語(yǔ)法，實(shí)時(shí)采集系統(tǒng)穩(wěn)定高效運(yùn)行。數(shù)據(jù)平臺(tái)軟件架構(gòu)設(shè)計(jì)4.1.數(shù)據(jù)平臺(tái)結(jié)構(gòu)圖離線計(jì)算系統(tǒng)采集系統(tǒng)DfltaStorage lociETLWcrkFlovtfManage lioolDataM ade IDesrnTedQueryAnaF/sis laolCollectedClient平臺(tái)監(jiān)控濡問控制DataExchsn 配10Mahout數(shù)據(jù)挖掘pk語(yǔ)言端譯日志處理作業(yè)調(diào)度Map

17、ReduceApache Zoo keep er離線計(jì)算系統(tǒng)采集系統(tǒng)DfltaStorage lociETLWcrkFlovtfManage lioolDataM ade IDesrnTedQueryAnaF/sis laolCollectedClient平臺(tái)監(jiān)控濡問控制DataExchsn 配10Mahout數(shù)據(jù)挖掘pk語(yǔ)言端譯日志處理作業(yè)調(diào)度MapReduceApache Zoo keep er用戶管理如所上圖所示，大數(shù)據(jù)平臺(tái)由五個(gè)子系統(tǒng)組成，分別為：存儲(chǔ)系統(tǒng)、離線計(jì)算系統(tǒng)、海量數(shù)據(jù)庫(kù)系統(tǒng)、采集系統(tǒng)和管理系統(tǒng)。這五個(gè)子系統(tǒng)之間有如下關(guān)聯(lián)關(guān)系：管理系統(tǒng)為整個(gè)平臺(tái)的輔助系統(tǒng)，為其它系統(tǒng)的正常運(yùn)

18、行提供相關(guān)的輔助功能；采集系統(tǒng)負(fù)責(zé)平臺(tái)的數(shù)據(jù)采集工作，這些數(shù)據(jù)的產(chǎn)生來自各業(yè)務(wù)生產(chǎn)系統(tǒng)及第三方平臺(tái)或終端；存儲(chǔ)系統(tǒng)、離線計(jì)算系統(tǒng)和海量數(shù)據(jù)庫(kù)系統(tǒng)共用一套底層文件系統(tǒng)，保證了這三個(gè)主要系統(tǒng)的數(shù)據(jù)集成與有效共享；離線計(jì)算系統(tǒng)和海量數(shù)據(jù)庫(kù)系統(tǒng)還可以根據(jù)各自的負(fù)載，可以動(dòng)態(tài)分配相應(yīng)的計(jì)算能力。從錯(cuò)誤味找到引用源。可以看出，除采集系統(tǒng)和管理系統(tǒng)之外，包括底層存儲(chǔ)環(huán)境在內(nèi)的所有系統(tǒng)都是采用開源軟件搭建，而這些軟件都是經(jīng)過相關(guān)行業(yè)的技術(shù)公司先驗(yàn)是成熟可靠可行的。采用開源軟件，在平臺(tái)可以達(dá)到低成本建設(shè)的效果的同時(shí)，相應(yīng)開源社區(qū)的持續(xù)演進(jìn)，也為平臺(tái)后續(xù)的運(yùn)行升級(jí)提供了持續(xù)的技術(shù)支持和版本穩(wěn)定保證。4. 2.數(shù)據(jù)

19、采集系統(tǒng)功能負(fù)責(zé)接入第三方服務(wù)平臺(tái)和終端設(shè)備。負(fù)責(zé)采集、清洗和導(dǎo)入公司各業(yè)務(wù)線上的所有的結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。要解決的問題目前，公司需要和交通部的數(shù)據(jù)中心對(duì)接，接收終端的位置數(shù)據(jù)。同時(shí)也要接入大量的終端。而且，未來業(yè)務(wù)生產(chǎn)線的系統(tǒng)日志信息由于也需要保存下來，并進(jìn)行分析挖掘。采集系統(tǒng)可以將業(yè)務(wù)生產(chǎn)線的所有業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù)采集到采用低成本的開源可線性擴(kuò)展的存儲(chǔ)環(huán)境，達(dá)到了數(shù)據(jù)低成本安全可靠存儲(chǔ)，并支持進(jìn)一步的數(shù)據(jù)分析和挖掘。搭建方法使用優(yōu)秀的Netty框架，與第三方應(yīng)用和終端通信，采集數(shù)據(jù)。針對(duì)各種終端采用的不同通信協(xié)議，開發(fā)相應(yīng)的協(xié)議解析模塊，將位置和指令信息解析為結(jié)構(gòu)化數(shù)據(jù)，保存到H

20、DFS中。采用業(yè)界成熟的Flume開源包將駐留在生產(chǎn)環(huán)境共享存儲(chǔ)上的非結(jié)構(gòu)化的日志數(shù)據(jù)以增量可靠的方式采集到HDFS中，采用Sqoop開源包從備庫(kù)中將業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)增量采集到HDFS中。4. 3.數(shù)據(jù)存儲(chǔ)系統(tǒng)功能為公司內(nèi)部各業(yè)務(wù)部門提供低成本安全可靠可擴(kuò)展的一攬子存儲(chǔ)解決方案，做為業(yè)務(wù)數(shù)據(jù)的備庫(kù)、支持離線計(jì)算和實(shí)施處理系統(tǒng)的數(shù)據(jù)導(dǎo)入與導(dǎo)出等。要解決的問題存儲(chǔ)系統(tǒng)利用開源Apache HDFS平臺(tái)所提供的低成本、安全、可靠、可線性擴(kuò)展的平臺(tái)優(yōu)勢(shì)，可以解決公司的業(yè)務(wù)數(shù)據(jù)歸集、備份與低成本可靠存儲(chǔ)。4. 4.離線計(jì)算系統(tǒng)功能為公司各業(yè)務(wù)部門的技術(shù)人員和業(yè)務(wù)人員提供海量數(shù)據(jù)的分析、建模、集成和挖掘計(jì)算

21、環(huán)境。要解決的問題搭建公司數(shù)據(jù)離線計(jì)算環(huán)境，安排專業(yè)的運(yùn)維團(tuán)隊(duì)，用低成本、計(jì)算共享、專業(yè)團(tuán)隊(duì)支撐的方式建設(shè)起來的可線性擴(kuò)展的離線計(jì)算環(huán)境。搭建方法在Hadoop HDFS之上，用MapReduce進(jìn)行分布式計(jì)算，用Hive為用戶提供友好的計(jì)算客戶端，用Mathout解決機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘問題。4. 5.海量數(shù)據(jù)庫(kù)系統(tǒng)功能為公司內(nèi)部人員、產(chǎn)業(yè)鏈上下游合作伙伴、終端用戶提供高并發(fā)、實(shí)時(shí)可擴(kuò)展的數(shù)據(jù)分析查詢統(tǒng)計(jì)環(huán)境。要解決的問題搭建實(shí)時(shí)查詢統(tǒng)計(jì)分析處理系統(tǒng)，在專業(yè)開發(fā)和運(yùn)維團(tuán)隊(duì)的支持下，提供一個(gè)公司目前緊缺的專業(yè)的分布式海量數(shù)據(jù)實(shí)時(shí)處理環(huán)境。該環(huán)境對(duì)內(nèi)可以支撐公司相關(guān)業(yè)務(wù)的商業(yè)智能、業(yè)務(wù)支撐等應(yīng)用，提

22、升業(yè)務(wù)能力，開展新的業(yè)務(wù)，對(duì)外可以支持公司上下游產(chǎn)業(yè)鏈的相關(guān)合作伙伴、相關(guān)的企業(yè)用戶的在線查詢請(qǐng)求，改善用戶體驗(yàn)，提升服務(wù)質(zhì)量，增強(qiáng)客戶的黏性，擴(kuò)大用戶范圍，增加業(yè)務(wù)營(yíng)收。搭建方法在Apache HDFS基礎(chǔ)上，通過HBase的海量存儲(chǔ)能力和快速的查詢功能，對(duì)外提供Web和RESTfull API兩種用戶接口，為相關(guān)的用戶和應(yīng)用提供高并發(fā)、高吞吐量的基于海量數(shù)據(jù)的實(shí)時(shí)查詢統(tǒng)計(jì)分析處理系統(tǒng)。6.管理系統(tǒng)功能提供整個(gè)平臺(tái)的共性功能，包括用戶管理、訪問控制、平臺(tái)監(jiān)控、平臺(tái)升級(jí)、性能隔離和作業(yè)調(diào)度等輔助功能組件，為平臺(tái)的持續(xù)可靠運(yùn)營(yíng)提供外圍支撐環(huán)境。要解決的問題每一個(gè)好的生產(chǎn)系統(tǒng)，都有一個(gè)可靠的運(yùn)行輔助支撐環(huán)境。管理系統(tǒng)為整個(gè)大數(shù)據(jù)平臺(tái)的穩(wěn)定安全持久運(yùn)