中位物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體設(shè)計(jì)

1、精品管理物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體設(shè)計(jì) V0.2李拓2015.10目錄1. 引言 錯(cuò)誤 !未定義書簽.文檔目的 . 錯(cuò)誤 !未定義書簽.文檔范圍 . 錯(cuò)誤 !未定義書簽.預(yù)期的讀者及閱讀建議 . 錯(cuò)誤 ! 未定義書簽.術(shù)語. 錯(cuò)誤!未定義書簽2. 項(xiàng)目概述 錯(cuò)誤 !未定義書簽.項(xiàng)目背景 . 錯(cuò)誤 !未定義書簽.設(shè)計(jì)目標(biāo) . 錯(cuò)誤 !未定義書簽技術(shù)規(guī)劃路線建議 錯(cuò)誤 !未定義書簽大數(shù)據(jù)軟硬平臺(tái) / 網(wǎng)絡(luò)架構(gòu)規(guī)劃建議 錯(cuò)誤!未定義書簽大數(shù)據(jù)應(yīng)用集成點(diǎn)規(guī)劃建議 錯(cuò)誤 !未定義書簽大數(shù)據(jù)團(tuán)隊(duì)建設(shè)規(guī)劃建議 錯(cuò)誤 !未定義書簽大數(shù)據(jù)系統(tǒng)實(shí)施指導(dǎo)建議方案 錯(cuò)誤 !未定義書簽3. 數(shù)據(jù)平臺(tái)總體架構(gòu)規(guī)劃 錯(cuò)誤 !未定

2、義書簽.數(shù)據(jù)平臺(tái)愿景. 錯(cuò)誤 !未定義書簽.數(shù)據(jù)處理流程. 錯(cuò)誤 !未定義書簽.主要功能 . 錯(cuò)誤 !未定義書簽.設(shè)計(jì)原則 . 錯(cuò)誤 !未定義書簽.平臺(tái)建設(shè)路線. 錯(cuò)誤 !未定義書簽4. 數(shù)據(jù)平臺(tái)軟件架構(gòu)設(shè)計(jì) 錯(cuò)誤 !未定義書簽.數(shù)據(jù)平臺(tái)結(jié)構(gòu)圖 . 錯(cuò)誤 !未定義書簽.數(shù)據(jù)采集系統(tǒng). 錯(cuò)誤 !未定義書簽.數(shù)據(jù)存儲(chǔ)系統(tǒng). 錯(cuò)誤 !未定義書簽.離線計(jì)算系統(tǒng). 錯(cuò)誤 ! 未定義書簽.海量數(shù)據(jù)庫系統(tǒng) . 錯(cuò)誤 !未定義書簽.管理系統(tǒng) . 錯(cuò)誤 !未定義書簽5. 應(yīng)用平臺(tái)架構(gòu)設(shè)計(jì) 錯(cuò)誤 !未定義書簽. 應(yīng)用平臺(tái)架構(gòu)圖 . 錯(cuò)誤 !未定義書簽6. 平臺(tái)安全 錯(cuò)誤 !未定義書簽7. 平臺(tái)監(jiān)控 錯(cuò)誤 !未定義

3、書簽8. 部署架構(gòu) 錯(cuò)誤 !未定義書簽9. 平臺(tái)運(yùn)維 錯(cuò)誤 ! 未定義書簽10. 團(tuán)隊(duì)建設(shè) . 錯(cuò)誤 !未定義書簽.運(yùn)維工程師 . 錯(cuò)誤 !未定義書簽.應(yīng)用開發(fā)工程師 . 錯(cuò)誤 !未定義書簽.通信協(xié)議開發(fā)工程師. 錯(cuò)誤 !未定義書簽.基于 Hadoop的開發(fā)工程師 . 錯(cuò)誤 !未定義書簽.數(shù)據(jù)開發(fā)工程師 . 錯(cuò)誤 !未定義書簽.數(shù)據(jù)挖掘工程師 . 錯(cuò)誤 !未定義書簽1. 引言1.1. 文檔目的本文檔是關(guān)于 xx 公司物聯(lián)網(wǎng)大平臺(tái)的總體架構(gòu)設(shè)計(jì)方案。本文包括以下內(nèi) 容：1. 平臺(tái)總體架構(gòu)設(shè)計(jì)；2. 五大子系統(tǒng)設(shè)計(jì)；3. 應(yīng)用平臺(tái)設(shè)計(jì)4. 平臺(tái)部署架構(gòu)設(shè)計(jì)；5. 平臺(tái)運(yùn)維及團(tuán)隊(duì)建設(shè)；1.2. 文檔

4、范圍本文檔僅限于北京 xx 科技公司內(nèi)部人員和直接協(xié)助北京 xx 科技進(jìn)行大 平臺(tái)建設(shè)的相關(guān)人員閱讀。1.3. 預(yù)期的讀者及閱讀建議本文檔的預(yù)期讀者：1. 北京 xx 科技的大平臺(tái)項(xiàng)目相關(guān)人員；2. 直接協(xié)助北京 xx 科技進(jìn)行大平臺(tái)建設(shè)的相關(guān)外部人員；1.4. 術(shù)語1. Hadoop: Apache 的分布式框架。2. HDFS : Hadoop 的分布式文件系統(tǒng)。3. NameNode : Hadoop HDFS元數(shù)據(jù)主節(jié)點(diǎn)服務(wù)器。負(fù)責(zé)保持 DataNode 文件存 儲(chǔ)元數(shù)據(jù)信息。4. JobTracker ：Hadoop 的 Map/Reduce調(diào)度器，負(fù)責(zé)與 TackTracker 通

5、信分配 計(jì)算任務(wù)并跟蹤任務(wù)進(jìn)度。5. DataNode：Hadoop數(shù)據(jù)節(jié)點(diǎn)，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)。6. TaskTracker ：Hadoop調(diào)度程序，負(fù)責(zé) Map,Reduce 任務(wù)的具體啟動(dòng)和執(zhí)行。7. Kafka : 消息隊(duì)列。8. Netty : NOI 框架。2. 項(xiàng)目概述2.1. 項(xiàng)目背景1. 隨著業(yè)務(wù)的增加，數(shù)據(jù)采集存儲(chǔ)備份能力嚴(yán)重不足2. 數(shù)據(jù)處理分析能力無法滿足業(yè)務(wù)的需要3. 公司業(yè)務(wù)創(chuàng)新轉(zhuǎn)型的需要3.1. 設(shè)計(jì)目標(biāo)xx 的大數(shù)據(jù)平臺(tái)主要是為車輛、人員、物聯(lián)網(wǎng)提供終端接入、數(shù)據(jù)分 析，并為行業(yè)應(yīng)用提供數(shù)據(jù)接口。平臺(tái)建成后，初期可接入百萬級(jí)的終端， 可承載多種業(yè)務(wù)及應(yīng)用。 隨著業(yè)務(wù)增

6、長， 平臺(tái)可以動(dòng)態(tài)擴(kuò)容， 最終可實(shí)現(xiàn)千 萬級(jí)、億級(jí)終端的接入及數(shù)據(jù)分析處理能力。本文檔針對(duì) xx 的大數(shù)據(jù)平臺(tái)應(yīng)用需求，結(jié)合數(shù)據(jù)的特點(diǎn)，提出未來公 司整體的系統(tǒng)架構(gòu)，以充分滿足公司在 3 到 5年內(nèi)的業(yè)務(wù)增長和數(shù)據(jù)增長需 求。并且在企業(yè)總體系統(tǒng)架構(gòu)的基礎(chǔ)上， 提出系統(tǒng)的軟硬件的具體選型方案， 以及提供大數(shù)據(jù)平臺(tái)整體規(guī)劃， 分步實(shí)施和推廣的建議； 提供大數(shù)據(jù)平臺(tái)產(chǎn) 品整合、集成、系統(tǒng)優(yōu)化、穩(wěn)定性等建議方案。3.1.1. 技術(shù)規(guī)劃路線建議對(duì) xx 大數(shù)據(jù)平臺(tái)系統(tǒng)進(jìn)行總體規(guī)劃，與現(xiàn)有的交通部數(shù)據(jù)中心以及各 個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接，以適應(yīng)未來 3 到 5 年內(nèi)公司業(yè)務(wù)發(fā)展的要求。3.1.2. 大數(shù)據(jù)軟硬平

7、臺(tái) / 網(wǎng)絡(luò)架構(gòu)規(guī)劃建議從需求的數(shù)據(jù)量、計(jì)算量、應(yīng)用的場景、功能、性能等因素來配置軟硬 件平臺(tái)的建議；提出具體的系統(tǒng)總體架構(gòu)和軟硬件部署結(jié)構(gòu)建議；3.1.3. 大數(shù)據(jù)應(yīng)用集成點(diǎn)規(guī)劃建議Hadoop數(shù)據(jù)集成、應(yīng)用集成、運(yùn)維管理設(shè)計(jì)建議；3.1.4. 大數(shù)據(jù)團(tuán)隊(duì)建設(shè)規(guī)劃建議對(duì) xx 技術(shù)團(tuán)隊(duì)的人員需求和配置情況以及所需要掌握的技能提出建 議；3.1.5. 大數(shù)據(jù)系統(tǒng)實(shí)施指導(dǎo)建議方案提供大數(shù)據(jù)平臺(tái)整體規(guī)劃， 分步實(shí)施和推廣的建議； 提供大數(shù)據(jù)產(chǎn)品整合、集成、平臺(tái)化的建議系統(tǒng)優(yōu)化、穩(wěn)定性等建議方案3. 數(shù)據(jù)平臺(tái)總體架構(gòu)規(guī)劃3.1. 數(shù)據(jù)平臺(tái)愿景如上圖所示， xx 的大數(shù)據(jù)平臺(tái)最終建成后，應(yīng)該是一個(gè)完備

8、的數(shù)據(jù)服 務(wù)平臺(tái)，包括數(shù)據(jù)平臺(tái)、應(yīng)用平臺(tái)、數(shù)據(jù)產(chǎn)品以及內(nèi)部運(yùn)行支撐應(yīng)用環(huán)境， 該平臺(tái)上的用戶既包括外部用戶， 也包括企業(yè)內(nèi)部用戶， 既有最終用戶， 也 有應(yīng)用開發(fā)人員以及數(shù)據(jù)分析和數(shù)據(jù)開發(fā)人員。1. 數(shù)據(jù)服務(wù)平臺(tái)組成數(shù)據(jù)平臺(tái) ：是數(shù)據(jù)的集散地。數(shù)據(jù)平臺(tái)的主要目標(biāo)是存儲(chǔ)和處理海 量數(shù)據(jù)，該平臺(tái)除了匯聚 xx 所有的業(yè)務(wù)數(shù)據(jù)和用戶數(shù)據(jù)之外，還 有合作機(jī)構(gòu)的相關(guān)數(shù)據(jù)，其核心功能包括數(shù)據(jù)采集、同步與集成、 海量數(shù)據(jù)存儲(chǔ)、海量數(shù)據(jù)處理框架、海量數(shù)據(jù)倉庫等。該平臺(tái)的用 戶主要有數(shù)據(jù)分析用戶和數(shù)據(jù)開發(fā)用戶， 這兩類用戶在數(shù)據(jù)平臺(tái)上 進(jìn)行數(shù)據(jù)分析及數(shù)據(jù)集成、建模與挖掘。應(yīng)用平臺(tái) ：應(yīng)用開發(fā)人員開發(fā)基于數(shù)據(jù)平臺(tái)

9、的車輛監(jiān)控、 人員監(jiān)控、 物品監(jiān)控等應(yīng)用并部署在應(yīng)用平臺(tái)，供最終用戶訪問。該平臺(tái)的建 設(shè)目標(biāo)是處理海量 http 請(qǐng)求，其核心功能包括應(yīng)用服務(wù)器、分布 式緩存、分布式消息隊(duì)列、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫以及分 布式簡單存儲(chǔ)等。內(nèi)部運(yùn)行支撐應(yīng)用環(huán)境 ：該環(huán)境主要供企業(yè)內(nèi)部用戶將使用，包括 商業(yè)智能、運(yùn)營支撐、系統(tǒng)運(yùn)維、分析應(yīng)用等。該數(shù)據(jù)產(chǎn)品由大數(shù) 據(jù)平臺(tái)開發(fā)人員進(jìn)行研發(fā)。數(shù)據(jù)產(chǎn)品 ：當(dāng)該平臺(tái)穩(wěn)定運(yùn)行一段時(shí)間之后，企業(yè)根據(jù)業(yè)務(wù)發(fā)展的需要，可以開發(fā)專門的數(shù)據(jù)產(chǎn)品，對(duì)外提供數(shù)據(jù)服務(wù)，供最終用戶 使用。該數(shù)據(jù)產(chǎn)品由大數(shù)據(jù)平臺(tái)開發(fā)人員進(jìn)行研發(fā)。2. 數(shù)據(jù)服務(wù)平臺(tái)的用戶劃分應(yīng)用開發(fā)用戶 ：xx 內(nèi)部的技術(shù)

10、研發(fā)人員， 主要結(jié)合具體業(yè)務(wù)， 開發(fā) 基于數(shù)據(jù)平臺(tái)的應(yīng)用，并部署到應(yīng)用平臺(tái)；數(shù)據(jù)分析用戶 ：xx 內(nèi)部的技術(shù)研發(fā)人員， 主要基于數(shù)據(jù)平臺(tái)中的海 量數(shù)據(jù)，進(jìn)行業(yè)務(wù)數(shù)據(jù)分析，指導(dǎo)生產(chǎn)運(yùn)營；數(shù)據(jù)開發(fā)用戶 ：xx 內(nèi)部的技術(shù)研發(fā)人員， 主要基于數(shù)據(jù)平臺(tái)中的海 量數(shù)據(jù)，進(jìn)行數(shù)據(jù)建模、集成和挖掘，在指導(dǎo)生產(chǎn)運(yùn)營的同時(shí)，挖 掘新的利潤增長點(diǎn)；內(nèi)部數(shù)據(jù)產(chǎn)品用戶 ：包括各條業(yè)務(wù)線上的各類業(yè)務(wù)人員如客服等。外部用戶 ：合作機(jī)構(gòu)如運(yùn)營商、銀行、商戶，終端用戶、企業(yè)用戶 等。3. 位置信息數(shù)據(jù)源數(shù)據(jù)平臺(tái)可以從第三方平臺(tái) （ 交通部數(shù)據(jù)中心、 運(yùn)營商 ） 或定位中端 （車機(jī)、 sim 卡）等采集位置、狀態(tài)等信息。無論是

11、企業(yè)內(nèi)部用戶， 還是企業(yè)外部用戶， 無論是技術(shù)研發(fā)人員還是業(yè) 務(wù)人員，他們既是平臺(tái)數(shù)據(jù)的生產(chǎn)者， 同時(shí)也是平臺(tái)數(shù)據(jù)的消費(fèi)者。 集存儲(chǔ)、 計(jì)算、分析于一體的大數(shù)據(jù)平臺(tái)，涵蓋了 xx 業(yè)務(wù)數(shù)據(jù)的全生命周期管理， 既符合現(xiàn)在行業(yè)大數(shù)據(jù)企業(yè)發(fā)展的趨勢(shì)，也最終體現(xiàn)了 xx 企業(yè)的最終最內(nèi) 涵的價(jià)值。3.2. 數(shù)據(jù)處理流程xx 大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理流程如上上圖所示。對(duì)各類終端產(chǎn)生的結(jié)構(gòu) 化和非結(jié)構(gòu)化數(shù)據(jù)源首先通過數(shù)據(jù)采集平臺(tái)進(jìn)行數(shù)據(jù)采集， 然后進(jìn)入海量存 儲(chǔ)計(jì)算處理平臺(tái)， 生成各種多維數(shù)據(jù)， 供應(yīng)用服務(wù)平臺(tái)調(diào)用， 支持最終的用 戶訪問。3.3. 主要功能結(jié)合 xx 的當(dāng)前業(yè)務(wù)發(fā)展現(xiàn)狀， 目前 xx 的大數(shù)

12、據(jù)平臺(tái)重點(diǎn)解決三類典型需求：1. 業(yè)務(wù)數(shù)據(jù)歸集、備份與可靠存儲(chǔ)2. 離線數(shù)據(jù)分析挖掘3. 實(shí)時(shí)查詢統(tǒng)計(jì)分析針對(duì)這三類需求， 大數(shù)據(jù)平臺(tái)在數(shù)據(jù)采集和運(yùn)營管理的輔助下， 分別提 供存儲(chǔ)系統(tǒng)、 離線計(jì)算系統(tǒng)和海量數(shù)據(jù)庫系統(tǒng)， 分別滿足上述三類需求。 下 面首先介紹平臺(tái)的軟件架構(gòu)設(shè)計(jì)。3.4. 設(shè)計(jì)原則1. 采用基于 Hadoop 的開源技術(shù)路線2. 整合公司的終端數(shù)據(jù)、員工、客戶、計(jì)算、存儲(chǔ)等所有資源于一體3. 平臺(tái)涵蓋公司數(shù)據(jù)生產(chǎn)、存儲(chǔ)、挖掘、分析、服務(wù)等全生命周期管理4. 結(jié)合業(yè)務(wù)線，分析挖掘和業(yè)務(wù)支持等應(yīng)用自主研發(fā)3.5. 平臺(tái)建設(shè)路線項(xiàng)目分階段完成。1 期：開發(fā)數(shù)據(jù)采集系統(tǒng)，從第三方平臺(tái)及終

13、端采集位置信息，實(shí)現(xiàn)2種終端的接入。開發(fā)應(yīng)用平臺(tái)，提供接口給客戶端訪問數(shù)據(jù)。2 期：實(shí)現(xiàn)多種終端的接入，并完善應(yīng)用接口。3 期：開放存儲(chǔ)系統(tǒng)和簡單的 MapReduce功能給其他用戶使用，數(shù)據(jù)庫 方面單表的簡單查詢或帶條件查詢，內(nèi)部使用實(shí)時(shí)采集組件。4 期：開放 Hive 這樣的類 SQL計(jì)算給外部門，內(nèi)部開始引入 Mahout 進(jìn) 行數(shù)據(jù)挖掘， 數(shù)據(jù)庫方面改進(jìn)查詢語言， 支持更多的 SQL語法，實(shí)時(shí)采集可 以交給其他部門任意部署客戶端，支持常見的異構(gòu)數(shù)據(jù)源5 期：計(jì)算平臺(tái)成熟，完全成為各部門共同參與開發(fā)業(yè)務(wù)的平臺(tái)，數(shù)據(jù)庫具備大部分 SQL查詢語法，實(shí)時(shí)采集系統(tǒng)穩(wěn)定高效運(yùn)行。4. 數(shù)據(jù)平臺(tái)軟件

14、架構(gòu)設(shè)計(jì)4.1. 數(shù)據(jù)平臺(tái)結(jié)構(gòu)圖如所上圖所示，大數(shù)據(jù)平臺(tái)由五個(gè)子系統(tǒng)組成，分別為：存儲(chǔ)系統(tǒng)、離 線計(jì)算系統(tǒng)、 海量數(shù)據(jù)庫系統(tǒng)、 采集系統(tǒng)和管理系統(tǒng)。 這五個(gè)子系統(tǒng)之間有 如下關(guān)聯(lián)關(guān)系：1. 管理系統(tǒng)為整個(gè)平臺(tái)的輔助系統(tǒng)，為其它系統(tǒng)的正常運(yùn)行提供相關(guān)的輔 助功能；2. 采集系統(tǒng)負(fù)責(zé)平臺(tái)的數(shù)據(jù)采集工作，這些數(shù)據(jù)的產(chǎn)生來自各業(yè)務(wù)生產(chǎn)系 統(tǒng)及第三方平臺(tái)或終端；3. 存儲(chǔ)系統(tǒng)、離線計(jì)算系統(tǒng)和海量數(shù)據(jù)庫系統(tǒng)共用一套底層文件系統(tǒng)，保 證了這三個(gè)主要系統(tǒng)的數(shù)據(jù)集成與有效共享；4. 離線計(jì)算系統(tǒng)和海量數(shù)據(jù)庫系統(tǒng)還可以根據(jù)各自的負(fù)載，可以動(dòng)態(tài)分配 相應(yīng)的計(jì)算能力。從錯(cuò)誤! 未找到引用源。 可以看出，除采集系統(tǒng)和管

15、理系統(tǒng)之外，包括 底層存儲(chǔ)環(huán)境在內(nèi)的所有系統(tǒng)都是采用開源軟件搭建， 而這些軟件都是經(jīng)過 相關(guān)行業(yè)的技術(shù)公司先驗(yàn)是成熟可靠可行的。 采用開源軟件， 在平臺(tái)可以達(dá) 到低成本建設(shè)的效果的同時(shí)， 相應(yīng)開源社區(qū)的持續(xù)演進(jìn)， 也為平臺(tái)后續(xù)的運(yùn) 行升級(jí)提供了持續(xù)的技術(shù)支持和版本穩(wěn)定保證。4.2. 數(shù)據(jù)采集系統(tǒng)1. 功能負(fù)責(zé)接入第三方服務(wù)平臺(tái)和終端設(shè)備。 負(fù)責(zé)采集、 清洗和導(dǎo)入公司 各業(yè)務(wù)線上的所有的結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。2. 要解決的問題目前，公司需要和交通部的數(shù)據(jù)中心對(duì)接，接收終端的位置數(shù)據(jù)。 同時(shí)也要接入大量的終端。 而且，未來業(yè)務(wù)生產(chǎn)線的系統(tǒng)日志信息 由于也需要保存下來， 并進(jìn)行分析挖掘。 采

16、集系統(tǒng)可以將業(yè)務(wù)生產(chǎn) 線的所有業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù)采集到采用低成本的開源可線性擴(kuò) 展的存儲(chǔ)環(huán)境， 達(dá)到了數(shù)據(jù)低成本安全可靠存儲(chǔ)， 并支持進(jìn)一步的 數(shù)據(jù)分析和挖掘。3. 搭建方法使用優(yōu)秀的 Netty 框架，與第三方應(yīng)用和終端通信， 采集數(shù)據(jù)。 針 對(duì)各種終端采用的不同通信協(xié)議， 開發(fā)相應(yīng)的協(xié)議解析模塊， 將位 置和指令信息解析為結(jié)構(gòu)化數(shù)據(jù)，保存到 HDFS中。采用業(yè)界成熟的 Flume 開源包將駐留在生產(chǎn)環(huán)境共享存儲(chǔ)上的非 結(jié)構(gòu)化的日志數(shù)據(jù)以增量可靠的方式采集到 HDFS中，采用 Sqoop 開源包從備庫中將業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)增量采集到 HDFS中。4.3. 數(shù)據(jù)存儲(chǔ)系統(tǒng)1. 功能為公司內(nèi)部各業(yè)務(wù)部

17、門提供低成本安全可靠可擴(kuò)展的一攬子存儲(chǔ) 解決方案， 做為業(yè)務(wù)數(shù)據(jù)的備庫、 支持離線計(jì)算和實(shí)施處理系統(tǒng)的 數(shù)據(jù)導(dǎo)入與導(dǎo)出等。2. 要解決的問題存儲(chǔ)系統(tǒng)利用開源 Apache HDFS平臺(tái)所提供的低成本、 安全、可靠、 可線性擴(kuò)展的平臺(tái)優(yōu)勢(shì)， 可以解決公司的業(yè)務(wù)數(shù)據(jù)歸集、 備份與低 成本可靠存儲(chǔ)。4.4. 離線計(jì)算系統(tǒng)1. 功能 為公司各業(yè)務(wù)部門的技術(shù)人員和業(yè)務(wù)人員提供海量數(shù)據(jù)的分析、 建 模、集成和挖掘計(jì)算環(huán)境。2. 要解決的問題搭建公司數(shù)據(jù)離線計(jì)算環(huán)境， 安排專業(yè)的運(yùn)維團(tuán)隊(duì)， 用低成本、 計(jì) 算共享、專業(yè)團(tuán)隊(duì)支撐的方式建設(shè)起來的可線性擴(kuò)展的離線計(jì)算環(huán) 境。3. 搭建方法在 Hadoop HDF

18、S之上，用 MapReduce進(jìn)行分布式計(jì)算，用 Hive 為 用戶提供友好的計(jì)算客戶端， 用 Mathout 解決機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘問 題。4.5. 海量數(shù)據(jù)庫系統(tǒng)1. 功能為公司內(nèi)部人員、產(chǎn)業(yè)鏈上下游合作伙伴、終端用戶提供高并發(fā)、 實(shí)時(shí)可擴(kuò)展的數(shù)據(jù)分析查詢統(tǒng)計(jì)環(huán)境。2. 要解決的問題搭建實(shí)時(shí)查詢統(tǒng)計(jì)分析處理系統(tǒng)，在專業(yè)開發(fā)和運(yùn)維團(tuán)隊(duì)的支持 下，提供一個(gè)公司目前緊缺的專業(yè)的分布式海量數(shù)據(jù)實(shí)時(shí)處理環(huán) 境。該環(huán)境對(duì)內(nèi)可以支撐公司相關(guān)業(yè)務(wù)的商業(yè)智能、 業(yè)務(wù)支撐等應(yīng) 用，提升業(yè)務(wù)能力， 開展新的業(yè)務(wù)， 對(duì)外可以支持公司上下游產(chǎn)業(yè) 鏈的相關(guān)合作伙伴、 相關(guān)的企業(yè)用戶的在線查詢請(qǐng)求， 改善用戶體 驗(yàn)，提升

19、服務(wù)質(zhì)量，增強(qiáng)客戶的黏性，擴(kuò)大用戶范圍，增加業(yè)務(wù)營3. 搭建方法在 Apache HDFS基礎(chǔ)上，通過 HBase的海量存儲(chǔ)能力和快速的查詢 功能，對(duì)外提供 Web和 RESTfull API 兩種用戶接口，為相關(guān)的用 戶和應(yīng)用提供高并發(fā)、 高吞吐量的基于海量數(shù)據(jù)的實(shí)時(shí)查詢統(tǒng)計(jì)分 析處理系統(tǒng)。4.6. 管理系統(tǒng)1. 功能提供整個(gè)平臺(tái)的共性功能，包括用戶管理、訪問控制、平臺(tái)監(jiān)控、 平臺(tái)升級(jí)、 性能隔離和作業(yè)調(diào)度等輔助功能組件， 為平臺(tái)的持續(xù)可 靠運(yùn)營提供外圍支撐環(huán)境。2. 要解決的問題每一個(gè)好的生產(chǎn)系統(tǒng)， 都有一個(gè)可靠的運(yùn)行輔助支撐環(huán)境。 管理系 統(tǒng)為整個(gè)大數(shù)據(jù)平臺(tái)的穩(wěn)定安全持久運(yùn)行提供可靠的外部輔助支 撐。3. 搭建方法 用戶系統(tǒng)可以采用服務(wù)器本地系統(tǒng)和平臺(tái)新建用戶系統(tǒng)相結(jié)合的 方式來解決；監(jiān)控可以采用 HadoopA mbari 來搭建；訪問控制可以 通過設(shè)置用戶訪問權(quán)限、 環(huán)境隔離等方式來達(dá)到要求； 要解決性能 隔離和作業(yè)調(diào)度， 一個(gè)最簡單的辦法是通過平臺(tái)和任務(wù)監(jiān)控、 作業(yè) 隊(duì)列、負(fù)載均衡和資源動(dòng)態(tài)調(diào)度等方式來實(shí)現(xiàn)； 平臺(tái)審計(jì)也可以通 過系統(tǒng)監(jiān)控來實(shí)現(xiàn)