在線商城精細化業(yè)務運營系統(tǒng)方案

在線商城精細化業(yè)務運營系統(tǒng)方案在線商城精細化業(yè)務運營系統(tǒng)方案在線商城精細化業(yè)務運營系統(tǒng)建設目標2在線商城精細化業(yè)務運營系統(tǒng)建設目標分為兩部分：大數(shù)據平臺層和數(shù)據分析引擎（大數(shù)據應用）。構建一個海爾電商業(yè)務大數(shù)據平臺，收集、存儲和組織多源在線商城電子商務及相關業(yè)務數(shù)據；數(shù)據分析引擎，包括BI商業(yè)智能分析系統(tǒng)、智慧供應鏈管理、推薦營銷系統(tǒng)，對電商業(yè)務及相關業(yè)務數(shù)據進行監(jiān)控、分析和挖掘，并進行可視化數(shù)據展現(xiàn)；在線商城精細化業(yè)務運營系統(tǒng)建設目標2在線商城精細化業(yè)務運營系在線商城精細化業(yè)務運營系統(tǒng)3分布式文件系統(tǒng)（存放電商相關業(yè)務數(shù)據）結構化數(shù)據半&非結構化數(shù)據HBase列族數(shù)據庫Hive數(shù)據倉庫數(shù)據集市NoSQL數(shù)據庫（文檔、圖形數(shù)據庫）主動傳數(shù)據被動采數(shù)據Storm實時流式計算框架BI商業(yè)智能智能供應鏈管理關系型數(shù)據庫可視化數(shù)據展現(xiàn)其他存儲集群告警外部數(shù)據接口中間計算結果及數(shù)據接口電商業(yè)務系統(tǒng)appO2O系統(tǒng)PC被動采數(shù)據被動采數(shù)據監(jiān)控被動采數(shù)據主動采數(shù)據推薦系統(tǒng)大數(shù)據應用App數(shù)據接口、ETL數(shù)據抽取、數(shù)據處理電商業(yè)務大數(shù)據應用系統(tǒng)電商業(yè)務大數(shù)據平臺結構化數(shù)據半結構化/非結構化數(shù)據在線商城精細化業(yè)務運營系統(tǒng)3分布式文件系統(tǒng)（存放電商相關業(yè)務多數(shù)據源抽取并存儲4Oracle點擊流日志其他數(shù)據接口MySQLSQLServer分布式數(shù)據庫Flume&Sqoop序列化ETL清洗HDFS分布式文件系統(tǒng)電商業(yè)務結構化數(shù)據電商業(yè)務半結構化/非結構化數(shù)據電商業(yè)務結構化數(shù)據，通過兩種途徑抽取并存放到HDFS分布式文件系統(tǒng)中：能夠序列化的數(shù)據，直接存放到HDFS中；不能夠序列化的數(shù)據，通過數(shù)據整理后統(tǒng)一存放在分布式數(shù)據庫環(huán)境中，再經過序列化后再存放到HDFS中，經整理后還不能序列化的數(shù)據也直接存放到HDFS中；電商業(yè)務半結構化和非結構化數(shù)據：各種日志數(shù)據（通常序列化半結構化數(shù)據）直接存放到HDFS中；點擊流和數(shù)據接口中的數(shù)據（通常序列化半結構化數(shù)據）直接存放到HDFS中；非結構化的數(shù)據直接存放到HDFS中；NoSQL多數(shù)據源抽取并存儲4Oracle點擊流日志其他數(shù)據接口MyS數(shù)據處理5OracleMySQLSQLServer分布式數(shù)據庫Flume&SqoopETL數(shù)據處理結構化數(shù)據（電商業(yè)務數(shù)據）數(shù)據處理要解決的問題：重復的數(shù)據處理缺失的數(shù)據處理格式不統(tǒng)一的數(shù)據處理檢查數(shù)據邏輯錯誤需要進行計算的數(shù)據處理數(shù)據處理包括數(shù)據清洗、數(shù)據轉化、數(shù)據提取、數(shù)據計算等處理方法。數(shù)據處理最基本的目的是從大量雜亂無章、難以理解的數(shù)據中，抽取并推導出對解決問題有價值、有意義的數(shù)據。數(shù)據處理對收集到的數(shù)據進行加工整理，形成適合數(shù)據分析的樣式，是數(shù)據分析前必須經歷的過程。數(shù)據清洗數(shù)據轉換數(shù)據提取數(shù)據計算數(shù)據處理5OracleMySQLSQLServer分布式數(shù)在線商城大數(shù)據組織及存儲6HDFS分布式文件系統(tǒng)中存放海量的結構化和半結構化數(shù)據，合理化組織數(shù)據的存儲：電商業(yè)務結構化數(shù)據和有一定格式關系的半結構化的數(shù)據存放在HadoopHive數(shù)據倉庫中，并根據海爾商業(yè)的業(yè)務需求，根據業(yè)務主題進行數(shù)據集市的構建；在線商城業(yè)務中半結構化的數(shù)據直接存放在HDFS分布式文件系統(tǒng)中，一定格式關系的半結構化數(shù)據存放在HadoopHBase列族數(shù)據庫中和其他NoSQL數(shù)據庫中；分布式文件系統(tǒng)（存放電商相關業(yè)務數(shù)據）HBase列族數(shù)據庫Hive數(shù)據倉庫數(shù)據集市NoSQL數(shù)據庫（文檔、圖形數(shù)據庫）Storm實時流式計算框架監(jiān)控數(shù)據接口、ETL數(shù)據抽取、數(shù)據處理在線商城數(shù)據平臺HadoopHive數(shù)據倉庫業(yè)務主題數(shù)據集市業(yè)務主題在線商城大數(shù)據組織及存儲6HDFS分布式文件系統(tǒng)中存放海量的大數(shù)據計算框架7Storm內存流式計算框架Hadoop離線計算框架Spark并行計算框架計算層Storm實時內存流數(shù)據計算框架：一個分布式的、容錯的、實時的內存流式計算系統(tǒng)；Hadoop離線大數(shù)據計算框架：大數(shù)據離線批處理系統(tǒng)，傳統(tǒng)大數(shù)據離線MapReduce計算分析；Spark并行大數(shù)據計算框架：HadoopMapReduce的通用的并行計算，擁有HadoopMapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據挖掘與機器學習等需要迭代的mapreduce的算法。適用于實時查詢分析適用于離線的大數(shù)據統(tǒng)計分析適用于大數(shù)據并行計算根據在線商城數(shù)據分析的實時性和延時需求，可選擇不同的大數(shù)據計算框架構建查詢分析業(yè)務：大數(shù)據計算框架7Storm內存流式計算框架Hadoop離線計數(shù)據引擎--大數(shù)據應用8行業(yè)業(yè)務屬性決定計算的邏輯，計算數(shù)學是實現(xiàn)計算邏輯的方法（利用數(shù)學領域的算法和理論）數(shù)據分析不僅僅指運算數(shù)據，還包括全面了解數(shù)據分析所處的背景和環(huán)境數(shù)據分析結果可以保存在多種結構中數(shù)據也可以在不同的分布式集群之間進行傳輸、復制、同步數(shù)據分析結果可以通過多種展現(xiàn)形式（表格、各種展現(xiàn)圖）進行數(shù)據展現(xiàn)行業(yè)屬性+算法=大數(shù)據應用系統(tǒng)（幫助用戶自動化數(shù)據分析：BI商業(yè)智能、個性化推薦、智能供應鏈管理）BI商業(yè)智能智能供應鏈管理關系型數(shù)據庫可視化數(shù)據展現(xiàn)其他存儲集群告警外部數(shù)據接口中間計算結果及數(shù)據接口推薦系統(tǒng)大數(shù)據應用App數(shù)據引擎電商業(yè)務大數(shù)據應用系統(tǒng)數(shù)據引擎--大數(shù)據應用8行業(yè)業(yè)務屬性決定計算的邏輯，計算數(shù)學在線商城精細化業(yè)務營銷--數(shù)據分析9在線商城精細化業(yè)務運營數(shù)據分析描述性數(shù)據分析EDA探索性數(shù)據分析CDA驗證性數(shù)據分析常見的分析方法，統(tǒng)計商城常規(guī)性指標。商城BI分析，KPI制訂和監(jiān)控數(shù)據分析是指用適當?shù)慕y(tǒng)計分析方法，對收集來的大量數(shù)據進行分析，提取出有價值的信息，總結出所研究對象的內在規(guī)律。側重在數(shù)據之中發(fā)現(xiàn)新的特征，高級數(shù)據分析商城的智能供應鏈管理、推薦系統(tǒng)側重于驗證已有假設是否成立，高級數(shù)據分析商城的智能供應鏈管理、推薦系統(tǒng)在線商城精細化業(yè)務營銷--數(shù)據分析9在線商城精細化業(yè)務運營描在線商城精細化業(yè)務--BI商業(yè)智能分析10平均訂單金額=下單金額/下單單量客單價=下單金額/下單客戶數(shù)客單量=下單單量/下單客戶數(shù)客戶轉化率=下單客戶數(shù)/訪客數(shù)下單轉化率=下單單量/訪問次數(shù)提交單量，統(tǒng)計時間內(按天、周、月統(tǒng)計)用戶成功提交的總訂單量，包括先款訂單量(在線支付、公司轉賬、郵件匯款等)和先貨訂單量(貨到付款、各類自提等)和未付款的訂單。銷售額=訪客數(shù)*轉化率*客單價，提升商城的總收入主要考核的KPI公式。當電子商務網站的老客戶的比例比較高的時候，轉化率比較高，所以提升老客戶的活躍度是提升轉化率從而增加整體收入的一個有效手段。在線商城精細化業(yè)務--BI商業(yè)智能分析10平均訂單金額=內配調撥內配調撥內配調撥（優(yōu)選）內配調撥補貨補貨補貨智能供應鏈管理—庫存模型11一級庫RDC供應商供應商一級庫RDC二級庫RDC二級庫RDC二級庫RDC前置庫FDC二級庫RDC二級庫RDC二級庫RDC前置庫FDC前置庫FDC補貨和內配調撥采購補貨只能發(fā)生在一級庫、二級庫直接向供應商采購補庫存：供應商--》一級庫供應商

--》二級庫內配調撥，一級庫、二級庫和前置庫之間可以相互進行內配/調撥補貨：一級庫《--》二級庫《--》前置庫一級庫《--》前置庫注：前置庫優(yōu)先于主線上級二級庫進行內配調撥，次選上級鄰近二級庫；內配調撥內配調撥內配調撥（優(yōu)選）內配調撥補貨補貨補貨智能供應智能供應鏈管理12銷量預測供應商消費者自動補貨健康庫存預知未來的營銷保證現(xiàn)貨率直銷商品處理庫存管理買賣向誰買？買什么？怎么買？定價？做促銷？如何履約？大數(shù)據驅動供應鏈智能供應鏈管理12銷量供應商消費者自動健康預知未來的營銷保證銷量預測–建立模型13零星銷量匯總歷史上層持續(xù)增長穩(wěn)定線性回歸，指數(shù)平滑平穩(wěn)季節(jié)性季節(jié)性周期短歷史移動加權平均影響銷量的因素：影響因子：價格、流量、溫度各個模型的權重系數(shù)，同品類的商品可以用多種模型計算，再根據每種模型的權重進行加權均方差的計算，計算出最終銷量預測銷量預測業(yè)務算法模型：新品模型保守模型季節(jié)性模型不動銷模型決策樹模型月均價格模型市場需求回歸模型趨勢跟隨的價格模型神經網絡、機器學習、聚類模型納入促銷計劃的價格模型銷量預測–建立模型13零星銷量持續(xù)增長平穩(wěn)季節(jié)性短歷史影銷量預測—數(shù)據清洗14銷量預測結果后，需要考慮去除相關數(shù)據：促銷數(shù)據價格變動數(shù)據清倉數(shù)據在銷量預測計算過程中，凡是由價格變動引起的因素，都需將模型進行清洗和過濾。銷量預測—數(shù)據清洗14銷量預測結果后，需要考慮去除相關數(shù)據：自動補貨—模型15根據銷量預測進行補貨：補貨點（LOP）：安全庫存+VLT（到貨周期）天數(shù)內的銷量備貨周期（BP）：一次采購量可滿足的銷售天數(shù)目標庫存（TI）：補貨點+備貨周期BP天數(shù)內的銷量0補貨點目標庫存0補貨點目標庫存自動補貨—模型15根據銷量預測進行補貨：0補貨點目標庫存0補健康庫存（庫存模擬與預測）16監(jiān)控在線商城的商品以及全國配送中心的庫存健康情況，分析庫存異常的原因并給出處理建議，提供滯銷商品報告。庫存健康模擬產品未來的一個時間點，提前做出滯銷、降價、退貨等處理。保證庫存不是一個最大的值而是一個最合理的值。用補貨點與安全庫存點的邏輯關系來提升整個補貨效率。健康庫存（庫存模擬與預測）16監(jiān)控在線商城的商品以及全國配送個性化推薦系統(tǒng)17個性化推薦系統(tǒng)17推薦系統(tǒng)18推薦系統(tǒng)，根據不同客戶的興趣特點和購買行為，預測客戶對某種商品感興趣的程度，向客戶推薦商品信息或提供個性化商品，引導客戶購買。幫助客戶找到感興趣的、愿意購買某樣商品的興奮點，形成購買行為；基于用戶的：收集用戶的信息屬性，對于每一個用戶A，找到跟他比較接近或者相似的一些用戶。根據這些相似的用戶的信息對用戶A的興趣點進行預測，挖掘出用戶A潛在的興趣點?；谖锲罚菏占锲返男畔傩?，對每個物品X找到一些類似的物品。一個用戶如果對X有很高的興趣，那么這個用戶很可能也對X相似的其他項目感興趣?；谥R庫的：除了用戶和項目信息，還需要進一步分析用戶的評價內容和反饋。推薦系統(tǒng)18推薦系統(tǒng)，根據不同客戶的興趣特點和購買行為，預測用向量表示數(shù)據19編號問題1是否為男性？2一線城市的用戶？3月收入是否超過7000元？435歲以上？5最大的購物金額是否大于1000元？6購買次數(shù)大于10次？7是否寫過商品評價？8是否介紹過其他人購買商品？9客單價是否超過200元？10本周的訪問次數(shù)是否大于2次？用戶答案用戶距離A{1,1,1,1,0,0,1,0,0,0}0B{1,0,0,1,0,0,1,0,1,0}0.3C{1,1,0,0,0,0,0,0,1,0}0.4D{1,1,0,1,0,0,1,0,1,0}0.2E{1,1,1,1,0,0,1,0,0,0}0F{1,1,1,1,0,0,1,0,0,1}0.1G{1,1,1,1,0,1,1,0,0,0}0.1H{1,0,1,0,1,0,1,0,1,1}0.5I{1,1,1,1,0,1,1,0,1,0}0.2{1,1,1,1,0,0,1,0,0,0}以用戶A的屬性為基準條件，進行用戶對比，客戶距離小于等于0.1的為一個客戶群體例如：用戶B的屬性答案與基準條件進行對比，其中有3項是不同的，用戶距離就是3/10=0.3與用戶A距離小于等于0.1的有3個用戶，所以找到與用戶A“相似”的E、F、G用戶為一個相似客戶群體；如果與用戶A“相似”的用戶有1000人，其中有900人購買了海鷗五星手表，那么用戶A也非常有可能對這款商品感興趣；用向量表示數(shù)據19編號問題1是否為男性？2一線城市的用戶？3千人千面精準營銷—用戶畫像20行為建模數(shù)據收集用戶畫像網絡日志數(shù)據用戶行為數(shù)據網站交易數(shù)據文本挖掘自然語言處理機器學習預測算法聚類算法協(xié)同過濾用戶屬性用戶購買能力用戶興趣行為特征心里特征性別角色千人千面精準營銷—用戶畫像20行為數(shù)據收集用戶網絡日志數(shù)據用千人千面精準營銷—用戶畫像21性別年齡教育程度星座腰圍身高體型家中是否有孕婦孩子年齡是否有孩子孩子性別是否有車是否有房用戶的關系網婚否收入活躍程度購物類型評價關注程度顏色偏好品牌偏好家電的潛在購買需求促銷敏感度購物忠誠度購買力消費信用水平所屬購買群體基本屬性購買能力行為特征社交網絡心理特征興趣愛好千人千面精準營銷—用戶畫像21性別年齡教育程度星座腰圍身高體千人千面精準營銷—用戶分群22海淘猶豫型理性比較型購物沖動型目標明確型用戶瀏覽SKU數(shù)量用戶瀏覽至購買的時長學校公司家網吧用戶分群網購達人有房一族家庭用戶單身貴族時尚男女奶爸奶媽閃購用戶超級用戶電腦達人數(shù)碼潮人千人千面精準營銷—用戶分群22海淘猶豫型理性比較型購物沖動型千人千面精準營銷23性別：男年齡：26-35購買力：高收入：>8000需要：商務機價位：>4000顏色：黑/紅用戶畫像個性化搜索體系個性化推薦體系千人千面情感分析千人千面精準營銷23性別：男需要：商務機用戶畫像個性化搜索體在線商城精細化業(yè)務運營系統(tǒng)

構建流程24在線商城精細化業(yè)務運營系統(tǒng)

構建流程24在線商城精細化業(yè)務運營系統(tǒng)構建25第一，建議部署在物理服務器環(huán)境中，根據初期的數(shù)據容量和分析業(yè)務的實時性，估算硬件的配置、合理化選擇Hadoop及NoSQL的模塊、組件及規(guī)模；第二，在N個工作服務器環(huán)境中部署HDFS分布式文件系統(tǒng)，并部署Hadoop平臺的相關組件HBase、Pig、Hive、Zookeeper、序列化傳輸?shù)犬a品和組件；第三，部署NoSQL分布式數(shù)據庫，確認使用的產品，例如MongoDB或者巨杉數(shù)據庫；第四，根據電商業(yè)務數(shù)據的格式和容量，抽取業(yè)務數(shù)據，并存放到Hadoop平臺中并合理化數(shù)據組織，根據業(yè)務需求主題，建立數(shù)據集市。第五，根據電商推薦業(yè)務分析的實時性，考慮使用實時數(shù)據分析計算還是使用大數(shù)據傳統(tǒng)切片計算框架或者并行計算框架；第六，結合業(yè)務數(shù)據的分析需求，建立BI商業(yè)智能分析、智能供應鏈管理、電商推薦系統(tǒng)大數(shù)據引擎；第七，可視化數(shù)據展現(xiàn)，對數(shù)據實時監(jiān)控和數(shù)據分析結果以圖表等方式進行展現(xiàn)；在線商城精細化業(yè)務運營系統(tǒng)構建25第一，建議部署在物理服務器推薦硬件及運行環(huán)境26推薦硬件及運行環(huán)境26服務器配置建議處理器：兩顆以上（單顆8-10核心）2.6-3.0GHz

CPU內存：64-128GB硬盤：10*2TBSATA硬盤網絡：萬兆網絡、千兆以太網（管理）注：NameNode管理節(jié)點可以做RAID，DataNode工作節(jié)點不能做RAID。一個tacktracker上同時運行的任務數(shù)取決于一臺機器有多少個處理器；27服務器配置建議處理器：兩顆以上（單顆8-10核心）2.6-3網絡拓撲建議28一機架內30臺左右服務器共享一個10GB的交換機；各機架的交換機通過上行鏈路與一個核心交換機或路由器互聯(lián)（10GB以上）；同一機架的不同服務器之間的帶寬遠高于不同機架上節(jié)點間的帶寬；Hadoop分配MapReduce任務時會傾向于執(zhí)行機架內的數(shù)據傳輸，盡量避免跨機架的數(shù)據傳輸；核心交換機交換機（1臺）……(30臺）服務器交換機（1臺）……(30臺）服務器機架1機架2網絡拓撲建議28一機架內30臺左右服務器共享一個10GB的交在線商城精細化業(yè)務運營系統(tǒng)配置建議NameNode+JobTrackerSecondaryNameNodeHBaseMaster+ZooKeeper生產集群20臺=1臺1臺1臺+Dat