電商行業(yè)數(shù)據(jù)運(yùn)營建設(shè)實(shí)踐

1、電商行業(yè)數(shù)據(jù)運(yùn)營建設(shè)實(shí)踐提綱一、對BI的思考二、蘭亭數(shù)據(jù)平臺建設(shè)三、大數(shù)據(jù)的高性能實(shí)現(xiàn)四、高效的數(shù)據(jù)挖掘五、BI的發(fā)展趨勢一、對BI的思考_定義BI組成 DW OLAP DM 查詢報表 數(shù)據(jù)挖掘BI功能 信息搜集 管理 分析 處理BI目的 知識(Knowledge) 洞察力(Insight) 輔助做出決策一、對BI的思考_數(shù)據(jù)采購倉儲訂單物流銷退客服系統(tǒng)數(shù)據(jù)渠道注冊瀏覽溝通下單回訪用戶數(shù)據(jù)BI一、對BI的思考_協(xié)作管理者銷售財務(wù)運(yùn)營/設(shè)計/推廣客服物流/倉儲一、對BI的思考_問題響應(yīng)較慢 開發(fā)速率跟不上互聯(lián)網(wǎng)變化的節(jié)奏； 需求變化，又得根據(jù)流程重新開發(fā)；靈活度不夠 不能進(jìn)行數(shù)據(jù)交互、自由組合；

2、 不能二次分析；無法支持大數(shù)據(jù)量 TB,PB級數(shù)據(jù)無法響應(yīng)一、對BI的思考_解決思路快速響應(yīng) 快速響應(yīng)：實(shí)時數(shù)據(jù)倉庫和準(zhǔn)實(shí)時數(shù)據(jù)倉庫； 需求變化：最快響應(yīng)；靈活多變 人與系統(tǒng)交互、維度自由組合； 多樣的展現(xiàn)方式基于云計算的大數(shù)據(jù)響應(yīng) 海量數(shù)據(jù)處理：海量業(yè)務(wù)數(shù)據(jù)在線分析、云端部署二、蘭亭數(shù)據(jù)平臺建設(shè)_架構(gòu)數(shù)據(jù)計算層數(shù)據(jù)服務(wù)層源數(shù)據(jù)層MysqlOracle文件數(shù)據(jù)日志海量數(shù)據(jù)/離線計算:EMR/Hive/Spark數(shù)據(jù)挖掘?qū)崟r計算：Kafka分布式消息系統(tǒng)/Streaming流式計算線上服務(wù)：Mysql/Redis 集群/HBase報表系統(tǒng)：Oracle主從/Redshift查詢分析：Hive /

3、數(shù)據(jù)倉庫/KibanaAPI/JDBCWebRPC數(shù)據(jù)產(chǎn)品應(yīng)用層統(tǒng)一調(diào)度、監(jiān)控、權(quán)限控制二、蘭亭數(shù)據(jù)平臺建設(shè)1、數(shù)據(jù)模型分層：ODS, DW, DM, RPT范圍：流量、銷售、運(yùn)營三大數(shù)據(jù)模型及數(shù)據(jù)集市推薦：個性化推薦數(shù)據(jù)、商品推薦數(shù)據(jù)排序：根據(jù)能效值排序的數(shù)據(jù)2、架構(gòu) 調(diào)度：基于Quartz開發(fā)的調(diào)度系統(tǒng)； 監(jiān)控：判斷程序執(zhí)行返回狀態(tài)，記錄到日志表中，發(fā)送短信和郵件報警； 權(quán)限控制：數(shù)據(jù)倉庫訪問權(quán)限，申請、審批和授權(quán)； 線上支持：MySQL，HBase通過API接口支持線上服務(wù)二、蘭亭數(shù)據(jù)平臺建設(shè)2、架構(gòu) 數(shù)據(jù)收集：DataExp ,shell 腳本，Kafka分布式消息系統(tǒng)，快速低成本收集

4、日志等； 抽取與轉(zhuǎn)換：存儲和計算基于EMR/Hive/Spark/Oracle 存儲：Oracle數(shù)據(jù)倉庫存儲量級較小的數(shù)據(jù)，Redshift存儲量級大的數(shù)據(jù) 云存儲：Amazon S3 Redis集群：支持實(shí)時推薦等3、應(yīng)用 日常查詢：臨時查詢； 報表服務(wù)：報表以web展示，或者郵件形式發(fā)送給用戶； 自助服務(wù)：支持用戶自定義查詢，并保存為報表； 網(wǎng)站運(yùn)營效果評估：響應(yīng)時間、各指標(biāo)用戶數(shù)等； 流量分析：流量、點(diǎn)擊率、轉(zhuǎn)化率、跳出率等 推薦系統(tǒng) 搜索引擎二、蘭亭數(shù)據(jù)平臺建設(shè) 統(tǒng)一調(diào)度系統(tǒng)：架構(gòu)ServerMysqlClient AgentClient AgentClient AgentAWS E

5、C2OracleHadoopClient Agent其它二、蘭亭數(shù)據(jù)平臺建設(shè) 調(diào)度系統(tǒng)：運(yùn)維、管理、監(jiān)控、依賴二、蘭亭數(shù)據(jù)平臺建設(shè) 報表系統(tǒng)：維度分析、動態(tài)展現(xiàn)、權(quán)限元數(shù)據(jù)RDS MySQLAmazonS3二、蘭亭數(shù)據(jù)平臺建設(shè)計算與存儲：EMR + HiveEMR + HiveOracleRedshiftMysqlDataExp二、蘭亭數(shù)據(jù)平臺建設(shè) 應(yīng)用推薦服務(wù)商品排序運(yùn)營數(shù)據(jù)RESTful API前端系統(tǒng)搜索引擎CRM、其它系統(tǒng)Web Service三、大數(shù)據(jù)的高性能實(shí)現(xiàn) 1、Oracle讀寫分離 一拖二 主庫寫，從庫實(shí)時復(fù)制 多從庫用于查詢、統(tǒng)計 硬件加速：SSD盤加速三、大數(shù)據(jù)的高性能實(shí)

6、現(xiàn) 2、Redshift Amazon Redshift 是一種快速、完全托管的 PB級數(shù)據(jù)倉庫解決方案; 列式存儲； 數(shù)據(jù)壓縮； 區(qū)域映射； MPP并行處理框架:在不停機(jī)的情況下實(shí)現(xiàn)擴(kuò)展或收縮；三、大數(shù)據(jù)的高性能實(shí)現(xiàn) 3、Logstash、 ElasticSearch、 Kibana Logstash:日志進(jìn)行收集、分析、過濾，并將其存儲供以后使用; ElasticSearch:全文搜索服務(wù) Kibana:自定義搜索接口，頁面展示四、高效的數(shù)據(jù)挖掘1、 Hadoop在數(shù)據(jù)挖掘中的問題 MP模式 vs復(fù)雜的機(jī)器學(xué)習(xí)算法 多次迭代問題 中間數(shù)據(jù)的處理 開發(fā)周期長四、高效的數(shù)據(jù)挖掘2、SparkRDD（Resilient Distributed Dataset）內(nèi)存計算:計算的中間結(jié)果保存在內(nèi)存中，不需要讀寫HDFS；快速迭代；DAGScala函數(shù)式編程（FP）；Actor模型：基于線程和基于事件的Actor;并發(fā)能力；四、高效的數(shù)據(jù)挖掘 3、Spark架構(gòu)HDFSAmazon S3HBase本地模式獨(dú)立模式EC2MesosYarnMRSparkRDDFPSharkStreamingMllibGraphx原始日志SparkRedis/HBase模型結(jié)果Hive混合計算Hive表四、高效的數(shù)據(jù)挖掘4、蘭亭推薦系統(tǒng)架構(gòu)推薦結(jié)果用戶