大數(shù)據(jù)技術(shù)架構(gòu)圖

大數(shù)據(jù)技術(shù)架構(gòu)圖一、企業(yè)目前遇到的問題

1、IT系統(tǒng)局限性大，用戶自主性難以發(fā)揮自主自助式的數(shù)據(jù)分析與應(yīng)用探索需求愈發(fā)強(qiáng)烈，用戶希望自主式開發(fā)展示和報(bào)告制作，并設(shè)計(jì)業(yè)務(wù)場景進(jìn)行數(shù)據(jù)分析，但是原有數(shù)據(jù)分析系統(tǒng)操作難度大，學(xué)習(xí)成本高，功能滯后，不能滿足多元化業(yè)務(wù)分析場景。2、數(shù)據(jù)孤島嚴(yán)重原有財(cái)務(wù)信息化系統(tǒng),內(nèi)部信息系統(tǒng)之間缺乏統(tǒng)一的平臺(tái)對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)、整合及聯(lián)通，無法從統(tǒng)一視角去衡量全企業(yè)業(yè)務(wù)概貌，難以完全釋放數(shù)據(jù)的真正價(jià)值。3、缺乏數(shù)據(jù)管理機(jī)制和保障企業(yè)雖然已經(jīng)積累了一定量的歷史數(shù)據(jù)，但由于前期缺乏數(shù)據(jù)管理機(jī)制的規(guī)劃，導(dǎo)致數(shù)據(jù)質(zhì)量參差不齊、基礎(chǔ)數(shù)據(jù)分散、不統(tǒng)一、數(shù)據(jù)不一致，難以為上層的數(shù)據(jù)統(tǒng)計(jì)分析應(yīng)用提供支撐。4、數(shù)據(jù)分析手段單一，缺乏交互式分析，不能完好匹配業(yè)務(wù)場景分析需求目前企業(yè)財(cái)稅提供的分析報(bào)告形式簡單固化，對(duì)分析需求響應(yīng)的時(shí)效性差，未能提供與業(yè)務(wù)人員交互的數(shù)據(jù)分析功能，從而無法滿足用戶快速靈活多變的數(shù)據(jù)分析需求。于此同時(shí)，在數(shù)據(jù)可視化展示方面，展現(xiàn)圖形不夠豐富，內(nèi)容單薄，不夠美觀，不能讓用戶基于“所見”進(jìn)行探索分析。5、項(xiàng)目周期長，需投入過多人力物力傳統(tǒng)的大數(shù)據(jù)平臺(tái)的項(xiàng)目成本高、收效慢、風(fēng)險(xiǎn)高，由于建設(shè)周期長，因此需要配備較多的人力物力去支撐項(xiàng)目的執(zhí)行。因此聯(lián)科云大數(shù)據(jù)企業(yè)搭建了一款輕便，周期短，易操作的數(shù)據(jù)分析平臺(tái)，一來縮短建設(shè)周期，減少人力物力地投入，二來能夠快速輸出建設(shè)成果，快速構(gòu)建數(shù)據(jù)分析業(yè)務(wù)場景；二、業(yè)務(wù)架構(gòu)基于企業(yè)級(jí)一站式大數(shù)據(jù)應(yīng)用構(gòu)建平臺(tái)，對(duì)多個(gè)獨(dú)立系統(tǒng)的數(shù)據(jù)進(jìn)行集中整合，強(qiáng)化企業(yè)數(shù)據(jù)資產(chǎn)的管理，打破數(shù)據(jù)孤島。不同層級(jí)人員利用自助數(shù)據(jù)可視化分析技術(shù)挖掘數(shù)據(jù)價(jià)值，快速構(gòu)建契合業(yè)務(wù)場景的數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)生產(chǎn)實(shí)時(shí)監(jiān)控、OMO運(yùn)營在線分析、設(shè)備故障預(yù)警、資金管理分析、端到端效能分析等不同業(yè)務(wù)模塊的數(shù)據(jù)應(yīng)用需求。三、技術(shù)架構(gòu)圖四、整體方案思路如下：

1.sqoop采集數(shù)據(jù)源（交易數(shù)據(jù)，APP行為日志），存儲(chǔ)之Hbase中，在Hadoop集群上，利用spark核心計(jì)算能力，對(duì)數(shù)據(jù)進(jìn)行過濾，清洗，聚合操作，將數(shù)據(jù)整合成曲線圖，利于對(duì)客戶行為分析和產(chǎn)品優(yōu)化。 2.Kafka采集消息，提供靈活、可配置的數(shù)據(jù)采集能力。通過storm，可以有效滿足企業(yè)實(shí)時(shí)數(shù)據(jù)的要求，構(gòu)建企業(yè)發(fā)展的實(shí)時(shí)指標(biāo)體系。

3.通過構(gòu)建HBase集群，將數(shù)據(jù)存儲(chǔ)在Hbase中，為用戶提供快速查詢功能。同時(shí)我們也提供了solr服務(wù)，用于會(huì)員，交易信息等復(fù)雜查詢功能。

4.在項(xiàng)目實(shí)施過程中，運(yùn)用大數(shù)據(jù)監(jiān)測功能，對(duì)各個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行實(shí)時(shí)檢測。五、大數(shù)據(jù)應(yīng)用戰(zhàn)略目標(biāo)：1、構(gòu)建數(shù)據(jù)分析指標(biāo)體系分析指標(biāo)在數(shù)據(jù)化運(yùn)營體系中是承上啟下的潤滑油，是業(yè)務(wù)和原始數(shù)據(jù)的連接器，它由原始數(shù)據(jù)加工而來，反過來又驅(qū)動(dòng)其他數(shù)據(jù)應(yīng)用產(chǎn)品。企業(yè)需要梳理業(yè)務(wù)分析指標(biāo)，建立一套標(biāo)準(zhǔn)數(shù)據(jù)分析指標(biāo)體系，清晰定義指標(biāo)口徑及含義，規(guī)范化對(duì)指標(biāo)的管理，保障數(shù)據(jù)統(tǒng)計(jì)口徑的一致及結(jié)果的準(zhǔn)確。2、搭建數(shù)據(jù)分析應(yīng)用分階段建設(shè)一套標(biāo)準(zhǔn)化、智能化、移動(dòng)化的數(shù)據(jù)分級(jí)及應(yīng)用中心，面向企業(yè)內(nèi)部不同層級(jí)的人員構(gòu)建對(duì)應(yīng)的數(shù)據(jù)應(yīng)用服務(wù)，既要為企業(yè)高管提供數(shù)字化的決策支持及風(fēng)險(xiǎn)監(jiān)控，同時(shí)