大數(shù)據(jù)分析平臺建議方案

1、大數(shù)據(jù)分析平臺建議方案系統(tǒng)建設(shè)目標(biāo)該項(xiàng)目將提供兩項(xiàng)核心能力1、建立大數(shù)據(jù)處理基礎(chǔ)設(shè)施，為營銷及生產(chǎn)工作提供長期支持2、根據(jù)近期經(jīng)營需求建立分析模型（建模），協(xié)助業(yè)務(wù)決策工作計(jì)劃需求及數(shù)據(jù)源分析系統(tǒng)基礎(chǔ)建設(shè)業(yè)務(wù)測試分析建模系統(tǒng)優(yōu)化中長期建設(shè)需求及數(shù)據(jù)源分析對各業(yè)務(wù)部門做需求調(diào)研，評估系統(tǒng)運(yùn)營規(guī)模，制訂數(shù)據(jù)倉庫的架構(gòu)及數(shù)據(jù)來源審核第一方數(shù)據(jù)（如產(chǎn)品庫、客戶資料、銷售記錄等）是否充分滿足需求如第一方數(shù)據(jù)源不足，制定第三方數(shù)據(jù)補(bǔ)充方案（引入用戶社交平臺數(shù)據(jù)，從專業(yè)機(jī)構(gòu)采購數(shù)據(jù)等）生成需求定義文檔基礎(chǔ)建設(shè)數(shù)據(jù)源數(shù)據(jù)采集存儲,計(jì)算數(shù)據(jù)服務(wù)數(shù)據(jù)展現(xiàn)flumehadoop集群銷售數(shù)據(jù)產(chǎn)品數(shù)據(jù)運(yùn)營數(shù)據(jù)查詢引擎數(shù)

2、據(jù)下載數(shù)據(jù)接口數(shù)據(jù)可視化業(yè)務(wù)報(bào)表技術(shù)選型flume做為數(shù)據(jù)采集通道, 將各數(shù)據(jù)源實(shí)時(shí)傳輸?shù)紿adoop集群中存儲Hadoop集群,包括Zookeeper集群,Hbase集群,Storm集群Hive,Pig作為ETL工具,提供實(shí)時(shí)計(jì)算,離線計(jì)算兩種模式針對實(shí)時(shí)性要求高的業(yè)務(wù)需求，可以增加Redis等NoSql方案做為補(bǔ)充業(yè)務(wù)測試測試目的從數(shù)據(jù)采集到數(shù)據(jù)查詢的流程完整性，可靠性使用MRUnit，結(jié)合PowerMock模擬業(yè)務(wù)流程單元測試性能測試異常處理分析建模示例營銷目標(biāo)提高換車周期的用戶轉(zhuǎn)化率目標(biāo)客戶群特征既有用戶，舊車輛已經(jīng)接近設(shè)計(jì)壽命數(shù)據(jù)分析/提取通過大數(shù)據(jù)支撐平臺，提取符合特征的用戶營銷方

3、式第一周：短信通告（優(yōu)惠，買贈活動等）第二周：電話銷售營銷結(jié)果預(yù)期第一周：用戶回復(fù)率xxx第二周: 用戶到店率xxx模型優(yōu)化按每月的營銷結(jié)果反饋，優(yōu)化營銷活動方案系統(tǒng)優(yōu)化隨著業(yè)務(wù)規(guī)模擴(kuò)展，對大數(shù)據(jù)系統(tǒng)實(shí)現(xiàn)集群化，減少Namenode/ jobtracker單點(diǎn)故障率根據(jù)實(shí)際的應(yīng)用需要對Hadoop進(jìn)行調(diào)優(yōu)，主要有以下措施（1）從應(yīng)用程序角度進(jìn)行優(yōu)化。由于mapreduce是迭代逐行解析數(shù)據(jù)文件的，怎樣結(jié)合業(yè)務(wù)特征，編寫高效率的應(yīng)用程序，是最基本的優(yōu)化途徑（2）對Hadoop參數(shù)進(jìn)行調(diào)優(yōu)。當(dāng)前hadoop系統(tǒng)有190多個(gè)配置參數(shù)，可以根據(jù)運(yùn)行環(huán)境逐步調(diào)整參數(shù)組合，使hadoop作業(yè)運(yùn)行盡可能的快

4、（3）從系統(tǒng)實(shí)現(xiàn)角度進(jìn)行優(yōu)化團(tuán)隊(duì)構(gòu)成項(xiàng)目經(jīng)理：1人項(xiàng)目助理：1人大數(shù)據(jù)系統(tǒng)工程師：5-10人調(diào)研員/協(xié)調(diào)員：1-2人，應(yīng)由甲方選拔熟悉業(yè)務(wù)及部門關(guān)系的人員數(shù)據(jù)分析師：1-2人。須深入甲方業(yè)務(wù)需求，具備一定java或R、python語言開發(fā)能力更佳中長期建設(shè)目標(biāo)預(yù)測模型。隨著大數(shù)據(jù)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)的成熟，大數(shù)據(jù)系統(tǒng)可以根據(jù)既有數(shù)據(jù)預(yù)測顧客未來的行為。通過預(yù)測模型，銷售人員可以更好地了解客戶需求。結(jié)合CRM的預(yù)測模型還能夠更深入地解讀客戶需求，預(yù)測客戶將在什么時(shí)段產(chǎn)生對什么產(chǎn)品的興趣。即時(shí)反應(yīng)。結(jié)合爬蟲工具，可以揭示客戶需要的產(chǎn)品，和其他客戶對該產(chǎn)品的評價(jià)，從價(jià)格到質(zhì)量到客戶服務(wù)。對這些信息的監(jiān)測和反應(yīng)至關(guān)重