在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)-建設(shè)方案

1、在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)建設(shè)方案在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)建設(shè)目標(biāo)2在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)建設(shè)目標(biāo)分為兩部分：大數(shù)據(jù)平臺(tái)層和數(shù)據(jù)分析引擎（大數(shù)據(jù)應(yīng)用）。構(gòu)建一個(gè)海爾電商業(yè)務(wù)大數(shù)據(jù)平臺(tái)，收集、存儲(chǔ)和組織多源在線商城電子商務(wù)及相關(guān)業(yè)務(wù)數(shù)據(jù)；數(shù)據(jù)分析引擎，包括BI商業(yè)智能分析系統(tǒng)、智慧供應(yīng)鏈管理、推薦營(yíng)銷(xiāo)系統(tǒng)，對(duì)電商業(yè)務(wù)及相關(guān)業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控、分析和挖掘，并進(jìn)行可視化數(shù)據(jù)展現(xiàn)；在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)3分布式文件系統(tǒng)（存放電商相關(guān)業(yè)務(wù)數(shù)據(jù)）結(jié)構(gòu)化數(shù)據(jù)半&非結(jié)構(gòu)化數(shù)據(jù)HBase列族數(shù)據(jù)庫(kù)Hive數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市NoSQL數(shù)據(jù)庫(kù)（文檔、圖形數(shù)據(jù)庫(kù)）主動(dòng)傳數(shù)據(jù)被動(dòng)采數(shù)據(jù)Storm實(shí)時(shí)流式計(jì)算框架B

2、I商業(yè)智能智能供應(yīng)鏈管理關(guān)系型數(shù)據(jù)庫(kù)可視化數(shù)據(jù)展現(xiàn)其他存儲(chǔ)集群告警外部數(shù)據(jù)接口中間計(jì)算結(jié)果及數(shù)據(jù)接口電商業(yè)務(wù)系統(tǒng)appO2O系統(tǒng)PC被動(dòng)采數(shù)據(jù)被動(dòng)采數(shù)據(jù)監(jiān)控被動(dòng)采數(shù)據(jù)主動(dòng)采數(shù)據(jù)推薦系統(tǒng)大數(shù)據(jù)應(yīng)用App數(shù)據(jù)接口、ETL數(shù)據(jù)抽取、數(shù)據(jù)處理電商業(yè)務(wù)大數(shù)據(jù)應(yīng)用系統(tǒng)電商業(yè)務(wù)大數(shù)據(jù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化 / 非結(jié)構(gòu)化數(shù)據(jù)多數(shù)據(jù)源抽取并存儲(chǔ)4Oracle點(diǎn)擊流日志其他數(shù)據(jù)接口MySQLSQL Server分布式數(shù)據(jù)庫(kù)Flume & Sqoop序列化ETL清洗HDFS 分布式文件系統(tǒng)電商業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)電商業(yè)務(wù)半結(jié)構(gòu)化 / 非結(jié)構(gòu)化數(shù)據(jù)電商業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)，通過(guò)兩種途徑抽取并存放到HDFS分布式文件系統(tǒng)中：能夠序

3、列化的數(shù)據(jù)，直接存放到HDFS中；不能夠序列化的數(shù)據(jù)，通過(guò)數(shù)據(jù)整理后統(tǒng)一存放在分布式數(shù)據(jù)庫(kù)環(huán)境中，再經(jīng)過(guò)序列化后再存放到HDFS中，經(jīng)整理后還不能序列化的數(shù)據(jù)也直接存放到HDFS中；電商業(yè)務(wù)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)：各種日志數(shù)據(jù)（通常序列化半結(jié)構(gòu)化數(shù)據(jù)）直接存放到HDFS中；點(diǎn)擊流和數(shù)據(jù)接口中的數(shù)據(jù)（通常序列化半結(jié)構(gòu)化數(shù)據(jù)）直接存放到HDFS中；非結(jié)構(gòu)化的數(shù)據(jù)直接存放到HDFS中；NoSQL數(shù)據(jù)處理5OracleMySQLSQL Server分布式數(shù)據(jù)庫(kù)Flume & SqoopETL數(shù)據(jù)處理結(jié)構(gòu)化數(shù)據(jù)（電商業(yè)務(wù)數(shù)據(jù)）數(shù)據(jù)處理要解決的問(wèn)題：重復(fù)的數(shù)據(jù)處理缺失的數(shù)據(jù)處理格式不統(tǒng)一的數(shù)據(jù)處理檢查數(shù)據(jù)

4、邏輯錯(cuò)誤需要進(jìn)行計(jì)算的數(shù)據(jù)處理數(shù)據(jù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計(jì)算等處理方法。數(shù)據(jù)處理最基本的目的是從大量雜亂無(wú)章、難以理解的數(shù)據(jù)中，抽取并推導(dǎo)出對(duì)解決問(wèn)題有價(jià)值、有意義的數(shù)據(jù)。數(shù)據(jù)處理對(duì)收集到的數(shù)據(jù)進(jìn)行加工整理，形成適合數(shù)據(jù)分析的樣式，是數(shù)據(jù)分析前必須經(jīng)歷的過(guò)程。數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)提取數(shù)據(jù)計(jì)算在線商城大數(shù)據(jù)組織及存儲(chǔ)6HDFS分布式文件系統(tǒng)中存放海量的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，合理化組織數(shù)據(jù)的存儲(chǔ)：電商業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)和有一定格式關(guān)系的半結(jié)構(gòu)化的數(shù)據(jù)存放在Hadoop Hive數(shù)據(jù)倉(cāng)庫(kù)中，并根據(jù)海爾商業(yè)的業(yè)務(wù)需求，根據(jù)業(yè)務(wù)主題進(jìn)行數(shù)據(jù)集市的構(gòu)建；在線商城業(yè)務(wù)中半結(jié)構(gòu)化的數(shù)據(jù)直接存放

5、在HDFS分布式文件系統(tǒng)中，一定格式關(guān)系的半結(jié)構(gòu)化數(shù)據(jù)存放在Hadoop HBase列族數(shù)據(jù)庫(kù)中和其他NoSQL數(shù)據(jù)庫(kù)中；分布式文件系統(tǒng)（存放電商相關(guān)業(yè)務(wù)數(shù)據(jù)）HBase列族數(shù)據(jù)庫(kù)Hive數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市NoSQL數(shù)據(jù)庫(kù)（文檔、圖形數(shù)據(jù)庫(kù)）Storm實(shí)時(shí)流式計(jì)算框架監(jiān)控?cái)?shù)據(jù)接口、ETL數(shù)據(jù)抽取、數(shù)據(jù)處理在線商城數(shù)據(jù)平臺(tái)Hadoop Hive數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)主題數(shù)據(jù)集市業(yè)務(wù)主題大數(shù)據(jù)計(jì)算框架7Storm內(nèi)存流式計(jì)算框架Hadoop離線計(jì)算框架Spark 并行計(jì)算框架計(jì)算層Storm實(shí)時(shí)內(nèi)存流數(shù)據(jù)計(jì)算框架：一個(gè)分布式的、容錯(cuò)的、實(shí)時(shí)的內(nèi)存流式計(jì)算系統(tǒng)；Hadoop離線大數(shù)據(jù)計(jì)算框架：大數(shù)據(jù)離線批處理系

6、統(tǒng)，傳統(tǒng)大數(shù)據(jù)離線MapReduce計(jì)算分析；Spark并行大數(shù)據(jù)計(jì)算框架：Hadoop MapReduce的通用的并行計(jì)算，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫(xiě)HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的map reduce的算法。適用于實(shí)時(shí)查詢(xún)分析適用于離線的大數(shù)據(jù)統(tǒng)計(jì)分析適用于大數(shù)據(jù)并行計(jì)算根據(jù)在線商城數(shù)據(jù)分析的實(shí)時(shí)性和延時(shí)需求，可選擇不同的大數(shù)據(jù)計(jì)算框架構(gòu)建查詢(xún)分析業(yè)務(wù)：數(shù)據(jù)引擎-大數(shù)據(jù)應(yīng)用8行業(yè)業(yè)務(wù)屬性決定計(jì)算的邏輯，計(jì)算數(shù)學(xué)是實(shí)現(xiàn)計(jì)算邏輯的方法（利用數(shù)學(xué)領(lǐng)域的算法

7、和理論）數(shù)據(jù)分析不僅僅指運(yùn)算數(shù)據(jù)，還包括全面了解數(shù)據(jù)分析所處的背景和環(huán)境數(shù)據(jù)分析結(jié)果可以保存在多種結(jié)構(gòu)中數(shù)據(jù)也可以在不同的分布式集群之間進(jìn)行傳輸、復(fù)制、同步數(shù)據(jù)分析結(jié)果可以通過(guò)多種展現(xiàn)形式（表格、各種展現(xiàn)圖）進(jìn)行數(shù)據(jù)展現(xiàn)行業(yè)屬性 + 算法 = 大數(shù)據(jù)應(yīng)用系統(tǒng)（幫助用戶自動(dòng)化數(shù)據(jù)分析：BI商業(yè)智能、個(gè)性化推薦、智能供應(yīng)鏈管理）BI商業(yè)智能智能供應(yīng)鏈管理關(guān)系型數(shù)據(jù)庫(kù)可視化數(shù)據(jù)展現(xiàn)其他存儲(chǔ)集群告警外部數(shù)據(jù)接口中間計(jì)算結(jié)果及數(shù)據(jù)接口推薦系統(tǒng)大數(shù)據(jù)應(yīng)用App 數(shù)據(jù)引擎電商業(yè)務(wù)大數(shù)據(jù)應(yīng)用系統(tǒng)在線商城精細(xì)化業(yè)務(wù)營(yíng)銷(xiāo)-數(shù)據(jù)分析9在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)分析描述性數(shù)據(jù)分析EDA探索性數(shù)據(jù)分析CDA驗(yàn)證性數(shù)據(jù)分

8、析常見(jiàn)的分析方法，統(tǒng)計(jì)商城常規(guī)性指標(biāo)。商城BI分析，KPI制訂和監(jiān)控?cái)?shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法，對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析，提取出有價(jià)值的信息，總結(jié)出所研究對(duì)象的內(nèi)在規(guī)律。側(cè)重在數(shù)據(jù)之中發(fā)現(xiàn)新的特征，高級(jí)數(shù)據(jù)分析商城的智能供應(yīng)鏈管理、推薦系統(tǒng)側(cè)重于驗(yàn)證已有假設(shè)是否成立，高級(jí)數(shù)據(jù)分析商城的智能供應(yīng)鏈管理、推薦系統(tǒng)在線商城精細(xì)化業(yè)務(wù)-BI商業(yè)智能分析10平均訂單金額 = 下單金額/下單單量客單價(jià) = 下單金額/下單客戶數(shù)客單量 = 下單單量/下單客戶數(shù)客戶轉(zhuǎn)化率 = 下單客戶數(shù)/訪客數(shù)下單轉(zhuǎn)化率 = 下單單量/訪問(wèn)次數(shù)提交單量，統(tǒng)計(jì)時(shí)間內(nèi)(按天、周、月統(tǒng)計(jì))用戶成功提交的總訂單量，包括先款訂

9、單量(在線支付、公司轉(zhuǎn)賬、郵件匯款等)和先貨訂單量(貨到付款、各類(lèi)自提等)和未付款的訂單。銷(xiāo)售額 = 訪客數(shù) * 轉(zhuǎn)化率 * 客單價(jià)，提升商城的總收入主要考核的KPI公式。當(dāng)電子商務(wù)網(wǎng)站的老客戶的比例比較高的時(shí)候，轉(zhuǎn)化率比較高，所以提升老客戶的活躍度是提升轉(zhuǎn)化率從而增加整體收入的一個(gè)有效手段。內(nèi)配調(diào)撥內(nèi)配調(diào)撥內(nèi)配調(diào)撥（優(yōu)選）內(nèi)配調(diào)撥補(bǔ)貨補(bǔ)貨補(bǔ)貨智能供應(yīng)鏈管理庫(kù)存模型11一級(jí)庫(kù)RDC供應(yīng)商供應(yīng)商一級(jí)庫(kù)RDC二級(jí)庫(kù)RDC二級(jí)庫(kù)RDC二級(jí)庫(kù)RDC前置庫(kù)FDC二級(jí)庫(kù)RDC二級(jí)庫(kù)RDC二級(jí)庫(kù)RDC前置庫(kù)FDC前置庫(kù)FDC補(bǔ)貨和內(nèi)配調(diào)撥采購(gòu)補(bǔ)貨只能發(fā)生在一級(jí)庫(kù)、二級(jí)庫(kù)直接向供應(yīng)商采購(gòu)補(bǔ)庫(kù)存：供應(yīng)商 - 一

10、級(jí)庫(kù)供應(yīng)商 - 二級(jí)庫(kù)內(nèi)配調(diào)撥，一級(jí)庫(kù)、二級(jí)庫(kù)和前置庫(kù)之間可以相互進(jìn)行內(nèi)配/調(diào)撥補(bǔ)貨：一級(jí)庫(kù) - 二級(jí)庫(kù) -前置庫(kù)一級(jí)庫(kù) - 前置庫(kù)注：前置庫(kù)優(yōu)先于主線上級(jí)二級(jí)庫(kù)進(jìn)行內(nèi)配調(diào)撥，次選上級(jí)鄰近二級(jí)庫(kù)；智能供應(yīng)鏈管理12銷(xiāo)量預(yù)測(cè)供應(yīng)商消費(fèi)者自動(dòng)補(bǔ)貨健康庫(kù)存預(yù)知未來(lái)的營(yíng)銷(xiāo)保證現(xiàn)貨率直銷(xiāo)商品處理庫(kù)存管理買(mǎi)賣(mài)向誰(shuí)買(mǎi)？買(mǎi)什么？怎么買(mǎi)？定價(jià)？做促銷(xiāo)？如何履約？大數(shù)據(jù)驅(qū)動(dòng)供應(yīng)鏈銷(xiāo)量預(yù)測(cè) 建立模型13零星銷(xiāo)量匯總歷史上層持續(xù)增長(zhǎng)穩(wěn)定線性回歸，指數(shù)平滑平穩(wěn)季節(jié)性季節(jié)性周期短歷史移動(dòng)加權(quán)平均影響銷(xiāo)量的因素：影響因子：價(jià)格、流量、溫度各個(gè)模型的權(quán)重系數(shù)，同品類(lèi)的商品可以用多種模型計(jì)算，再根據(jù)每種模型的權(quán)重進(jìn)行加權(quán)均方差

11、的計(jì)算，計(jì)算出最終銷(xiāo)量預(yù)測(cè)銷(xiāo)量預(yù)測(cè)業(yè)務(wù)算法模型：新品模型保守模型季節(jié)性模型不動(dòng)銷(xiāo)模型決策樹(shù)模型月均價(jià)格模型市場(chǎng)需求回歸模型趨勢(shì)跟隨的價(jià)格模型神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、聚類(lèi)模型納入促銷(xiāo)計(jì)劃的價(jià)格模型銷(xiāo)量預(yù)測(cè)數(shù)據(jù)清洗14銷(xiāo)量預(yù)測(cè)結(jié)果后，需要考慮去除相關(guān)數(shù)據(jù)：促銷(xiāo)數(shù)據(jù)價(jià)格變動(dòng)數(shù)據(jù)清倉(cāng)數(shù)據(jù)在銷(xiāo)量預(yù)測(cè)計(jì)算過(guò)程中，凡是由價(jià)格變動(dòng)引起的因素，都需將模型進(jìn)行清洗和過(guò)濾。自動(dòng)補(bǔ)貨模型15根據(jù)銷(xiāo)量預(yù)測(cè)進(jìn)行補(bǔ)貨：補(bǔ)貨點(diǎn)（LOP）：安全庫(kù)存 + VLT（到貨周期）天數(shù)內(nèi)的銷(xiāo)量備貨周期（BP）：一次采購(gòu)量可滿足的銷(xiāo)售天數(shù)目標(biāo)庫(kù)存（TI）：補(bǔ)貨點(diǎn) + 備貨周期BP天數(shù)內(nèi)的銷(xiāo)量0補(bǔ)貨點(diǎn)目標(biāo)庫(kù)存0補(bǔ)貨點(diǎn)目標(biāo)庫(kù)存健康庫(kù)存（庫(kù)存模擬與

12、預(yù)測(cè)）16監(jiān)控在線商城的商品以及全國(guó)配送中心的庫(kù)存健康情況，分析庫(kù)存異常的原因并給出處理建議，提供滯銷(xiāo)商品報(bào)告。庫(kù)存健康模擬產(chǎn)品未來(lái)的一個(gè)時(shí)間點(diǎn)，提前做出滯銷(xiāo)、降價(jià)、退貨等處理。保證庫(kù)存不是一個(gè)最大的值而是一個(gè)最合理的值。用補(bǔ)貨點(diǎn)與安全庫(kù)存點(diǎn)的邏輯關(guān)系來(lái)提升整個(gè)補(bǔ)貨效率。個(gè)性化推薦系統(tǒng)17推薦系統(tǒng)18推薦系統(tǒng)，根據(jù)不同客戶的興趣特點(diǎn)和購(gòu)買(mǎi)行為，預(yù)測(cè)客戶對(duì)某種商品感興趣的程度，向客戶推薦商品信息或提供個(gè)性化商品，引導(dǎo)客戶購(gòu)買(mǎi)。幫助客戶找到感興趣的、愿意購(gòu)買(mǎi)某樣商品的興奮點(diǎn)，形成購(gòu)買(mǎi)行為；基于用戶的：收集用戶的信息屬性，對(duì)于每一個(gè)用戶A，找到跟他比較接近或者相似的一些用戶。根據(jù)這些相似的用戶的信息

13、對(duì)用戶A的興趣點(diǎn)進(jìn)行預(yù)測(cè)，挖掘出用戶A潛在的興趣點(diǎn)?；谖锲罚菏占锲返男畔傩?，對(duì)每個(gè)物品X找到一些類(lèi)似的物品。一個(gè)用戶如果對(duì)X有很高的興趣，那么這個(gè)用戶很可能也對(duì)X相似的其他項(xiàng)目感興趣?；谥R(shí)庫(kù)的：除了用戶和項(xiàng)目信息，還需要進(jìn)一步分析用戶的評(píng)價(jià)內(nèi)容和反饋。用向量表示數(shù)據(jù)19編號(hào)問(wèn)題1是否為男性？2一線城市的用戶？3月收入是否超過(guò)7000元？435歲以上？5最大的購(gòu)物金額是否大于1000元？6購(gòu)買(mǎi)次數(shù)大于10次？7是否寫(xiě)過(guò)商品評(píng)價(jià)？8是否介紹過(guò)其他人購(gòu)買(mǎi)商品？9客單價(jià)是否超過(guò)200元？10本周的訪問(wèn)次數(shù)是否大于2次？用戶答案用戶距離A1,1,1,1,0,0,1,0,0,00B1,0,0,1

14、,0,0,1,0,1,00.3C1,1,0,0,0,0,0,0,1,00.4D1,1,0,1,0,0,1,0,1,00.2E1,1,1,1,0,0,1,0,0,00F1,1,1,1,0,0,1,0,0,10.1G1,1,1,1,0,1,1,0,0,00.1H1,0,1,0,1,0,1,0,1,10.5I1,1,1,1,0,1,1,0,1,00.21,1,1,1,0,0,1,0,0,0以用戶A的屬性為基準(zhǔn)條件，進(jìn)行用戶對(duì)比，客戶距離小于等于0.1的為一個(gè)客戶群體例如：用戶B的屬性答案與基準(zhǔn)條件進(jìn)行對(duì)比，其中有3項(xiàng)是不同的，用戶距離就是3/10=0.3與用戶A距離小于等于0.1的有3個(gè)用戶，所以找

15、到與用戶A“相似”的E、F、G用戶為一個(gè)相似客戶群體；如果與用戶A“相似”的用戶有1000人，其中有900人購(gòu)買(mǎi)了海鷗五星手表，那么用戶A也非常有可能對(duì)這款商品感興趣；千人千面精準(zhǔn)營(yíng)銷(xiāo)用戶畫(huà)像20行為建模數(shù)據(jù)收集用戶畫(huà)像網(wǎng)絡(luò)日志數(shù)據(jù)用戶行為數(shù)據(jù)網(wǎng)站交易數(shù)據(jù)文本挖掘自然語(yǔ)言處理機(jī)器學(xué)習(xí)預(yù)測(cè)算法聚類(lèi)算法協(xié)同過(guò)濾用戶屬性用戶購(gòu)買(mǎi)能力用戶興趣行為特征心里特征性別角色千人千面精準(zhǔn)營(yíng)銷(xiāo)用戶畫(huà)像21性別年齡教育程度星座腰圍身高體型家中是否有孕婦孩子年齡是否有孩子孩子性別是否有車(chē)是否有房用戶的關(guān)系網(wǎng)婚否收入活躍程度購(gòu)物類(lèi)型評(píng)價(jià)關(guān)注程度顏色偏好品牌偏好家電的潛在購(gòu)買(mǎi)需求促銷(xiāo)敏感度購(gòu)物忠誠(chéng)度購(gòu)買(mǎi)力消費(fèi)信用水平所屬

16、購(gòu)買(mǎi)群體基本屬性購(gòu)買(mǎi)能力行為特征社交網(wǎng)絡(luò)心理特征興趣愛(ài)好千人千面精準(zhǔn)營(yíng)銷(xiāo)用戶分群22海淘猶豫型理性比較型購(gòu)物沖動(dòng)型目標(biāo)明確型用戶瀏覽SKU數(shù)量用戶瀏覽至購(gòu)買(mǎi)的時(shí)長(zhǎng)學(xué)校公司家網(wǎng)吧用戶分群網(wǎng)購(gòu)達(dá)人有房一族家庭用戶單身貴族時(shí)尚男女奶爸奶媽閃購(gòu)用戶超級(jí)用戶電腦達(dá)人數(shù)碼潮人千人千面精準(zhǔn)營(yíng)銷(xiāo)23性別：男年齡：26-35購(gòu)買(mǎi)力：高收入：8000需要：商務(wù)機(jī)價(jià)位：4000顏色：黑/紅用戶畫(huà)像個(gè)性化搜索體系個(gè)性化推薦體系千人千面情感分析在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)構(gòu)建流程24在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)構(gòu)建25第一，建議部署在物理服務(wù)器環(huán)境中，根據(jù)初期的數(shù)據(jù)容量和分析業(yè)務(wù)的實(shí)時(shí)性，估算硬件的配置、合理化選擇Hado

17、op及NoSQL的模塊、組件及規(guī)模；第二，在N個(gè)工作服務(wù)器環(huán)境中部署HDFS分布式文件系統(tǒng)，并部署Hadoop平臺(tái)的相關(guān)組件HBase、Pig、Hive、Zookeeper、序列化傳輸?shù)犬a(chǎn)品和組件；第三，部署NoSQL分布式數(shù)據(jù)庫(kù)，確認(rèn)使用的產(chǎn)品，例如MongoDB或者巨杉數(shù)據(jù)庫(kù)；第四，根據(jù)電商業(yè)務(wù)數(shù)據(jù)的格式和容量，抽取業(yè)務(wù)數(shù)據(jù)，并存放到Hadoop平臺(tái)中并合理化數(shù)據(jù)組織，根據(jù)業(yè)務(wù)需求主題，建立數(shù)據(jù)集市。第五，根據(jù)電商推薦業(yè)務(wù)分析的實(shí)時(shí)性，考慮使用實(shí)時(shí)數(shù)據(jù)分析計(jì)算還是使用大數(shù)據(jù)傳統(tǒng)切片計(jì)算框架或者并行計(jì)算框架；第六，結(jié)合業(yè)務(wù)數(shù)據(jù)的分析需求，建立BI商業(yè)智能分析、智能供應(yīng)鏈管理、電商推薦系統(tǒng)大數(shù)

18、據(jù)引擎；第七，可視化數(shù)據(jù)展現(xiàn)，對(duì)數(shù)據(jù)實(shí)時(shí)監(jiān)控和數(shù)據(jù)分析結(jié)果以圖表等方式進(jìn)行展現(xiàn)；推薦硬件及運(yùn)行環(huán)境26服務(wù)器配置建議處理器：兩顆以上（單顆8-10核心）2.6-3.0GHz CPU內(nèi)存：64-128GB硬盤(pán)：10 * 2TB SATA硬盤(pán)網(wǎng)絡(luò)：萬(wàn)兆網(wǎng)絡(luò)、千兆以太網(wǎng)（管理）注：NameNode管理節(jié)點(diǎn)可以做RAID，DataNode工作節(jié)點(diǎn)不能做RAID。一個(gè)tacktracker上同時(shí)運(yùn)行的任務(wù)數(shù)取決于一臺(tái)機(jī)器有多少個(gè)處理器；27網(wǎng)絡(luò)拓?fù)浣ㄗh28一機(jī)架內(nèi)30臺(tái)左右服務(wù)器共享一個(gè)10GB的交換機(jī)；各機(jī)架的交換機(jī)通過(guò)上行鏈路與一個(gè)核心交換機(jī)或路由器互聯(lián)（10GB以上）；同一機(jī)架的不同服務(wù)器之間的帶寬遠(yuǎn)高于不同機(jī)架上節(jié)點(diǎn)間的帶寬；Hadoop分配MapReduce任務(wù)時(shí)會(huì)傾向于執(zhí)行機(jī)架內(nèi)的數(shù)據(jù)傳輸，盡量避免跨機(jī)架的數(shù)據(jù)傳輸；核心交換機(jī)交換機(jī)（1臺(tái)）(30臺(tái)）服務(wù)器交換機(jī)（1臺(tái)）(30臺(tái)）服務(wù)器機(jī)架1機(jī)架2在線商城精細(xì)化業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)配置建議NameNode + JobTrackerSecondary NameNodeHBase Master + ZooKeeper生產(chǎn)集群20臺(tái)=1臺(tái)1臺(tái)1臺(tái)+DataNode + HBa