大數(shù)據(jù)平臺及在推薦廣告的應用20

1、大數(shù)據(jù)平臺及大數(shù)據(jù)平臺及在推薦廣告方面的應用在推薦廣告方面的應用何為大數(shù)據(jù)何為大數(shù)據(jù)大數(shù)據(jù)平臺架構大數(shù)據(jù)平臺架構數(shù)據(jù)存儲數(shù)據(jù)存儲實時實時離線離線FTPHDFSMRSqoopFumeNG數(shù)據(jù)采集數(shù)據(jù)采集數(shù)據(jù)處理存儲層數(shù)據(jù)處理存儲層建模建模KafkaZookeeperStorm/Spark streamingHbase MysqlRedis數(shù)據(jù)可視化數(shù)據(jù)可視化GangliaSparkNagiosOzzie監(jiān)控監(jiān)控管理管理調(diào)度調(diào)度特征工程特征工程機器學習算法機器學習算法庫庫Mahout/MLlib應用應用搜索搜索BI推薦推薦廣告廣告分類分類/回歸回歸聚類聚類主題主題預測預測Log Server商品庫

2、商品庫用戶庫用戶庫用戶行為用戶行為非結構化結構化降維降維優(yōu)化優(yōu)化PUSHHIVESpark sql離線離線實時實時從從Hadoop1.0Hadoop1.0到到YarnYarn單點單點資源管理和調(diào)度分離資源管理和調(diào)度分離資源劃分：資源劃分：slotslot到到containercontainer從從HadoopHadoop到到SparkSparkInputIter.1Iter.2HadoopSpark大數(shù)據(jù)生態(tài)圈大數(shù)據(jù)生態(tài)圈one stack to rule them allone stack to rule them allStormStorm流計算流計算 Impalad Impalad(Ad

3、-hoc query/(Ad-hoc query/迭代迭代) )Hive/MRHive/MR( (批處理批處理) )Hadoopcrawler搜索引擎搜索引擎HBaseMQ1、writeLog2、write商品商品pic(insert/update/delete)3、indexLog4、finish(可靠可靠)數(shù)據(jù)平臺數(shù)據(jù)平臺數(shù)據(jù)源數(shù)據(jù)源Sdk(插件插件/App/b5m)爬蟲爬蟲Log serverMR/SparkYARN調(diào)調(diào)度度離線計算離線計算實時計算實時計算用戶行為用戶行為數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)平臺應用平臺應用FlumeNGStormspark steaming推薦推薦廣告廣告mysql商品、訂

4、單商品、訂單應用平臺應用平臺監(jiān)控監(jiān)控平臺應用平臺應用- -爬蟲數(shù)據(jù)處理平臺爬蟲數(shù)據(jù)處理平臺爬蟲數(shù)據(jù)處理平臺爬蟲數(shù)據(jù)處理平臺StormSpark Streaming推薦系統(tǒng)典故推薦系統(tǒng)典故啤酒與尿布啤酒與尿布老板、首頁、性保健品老板、首頁、性保健品推薦舉例推薦舉例商品詳情商品詳情推薦舉例推薦舉例購物車結算購物車結算推薦舉例推薦舉例首頁首頁/ /支付完成頁支付完成頁推薦的價值推薦的價值流量用戶粘性CTRGMV減少購物路徑用戶體驗多樣性新穎性流量投放給目標用戶精準轉化率CVRROI平臺商家用戶推薦推薦( (廣告、搜索廣告、搜索) )的架構的架構候選集候選集待推薦商品待推薦商品索引索引過 離線離線檢索

5、(相關性)過實體實體特征實時實時 model訓練過離線離線實時實時排序、過濾過推薦列表推薦列表算法簡介算法簡介候選集店鋪信譽更新時間人氣價格評價退貨率scoreTCL手機0.20.540.20.7聯(lián)想手機0.3.相關性相關性 協(xié)同過濾協(xié)同過濾 關聯(lián)推薦關聯(lián)推薦 分類興趣分類興趣 聚類聚類排序排序 預估點擊率預估點擊率 pCTR pCTR 邏輯回歸邏輯回歸 GBDT GBDT 推薦系統(tǒng)的架構推薦系統(tǒng)的架構特征特征-內(nèi)容內(nèi)容用戶用戶-特征特征離線離線Jacarrd/cosine/CF/content Base/FPGrowth/LDA/LR/DT 算法庫算法庫場景場景在線在線觸

6、點觸點PC無線無線意圖意圖(聚焦、發(fā)散聚焦、發(fā)散)+畫像畫像融合融合過濾過濾排序排序用戶行為（反饋）用戶行為（反饋）推薦推薦效果驗證效果驗證A/B TestingF1RMSEAUC數(shù)據(jù)存儲中心數(shù)據(jù)存儲中心 Hadoop Hive HbaseMysqlredis任務任務調(diào)度調(diào)度中心中心索引構建索引構建內(nèi)容質量評分內(nèi)容質量評分 model訓練訓練ruleUser(f1,f2,f3,)內(nèi)容候選內(nèi)容候選用戶行為用戶行為應用庫應用庫(類別、標簽類別、標簽)語義分析語義分析關聯(lián)計算關聯(lián)計算配置配置管理管理監(jiān)控監(jiān)控候選候選排序排序相似度相似度協(xié)同協(xié)同相關性相關性用戶畫像體系用戶畫像體系基本維度基本維度性別、年齡、地域、終端、性別、年齡、地域、終端、網(wǎng)絡、網(wǎng)絡、渠道渠道、興趣、標興趣、標簽維度簽維度商業(yè)維度商業(yè)維度品類、品牌、品類、品牌、新新老用戶、頻次、老用戶、頻次、購買頻次、購買頻次、ARPU、購買時、購買時間間語義挖掘語義挖掘行為行為標注標注引擎引擎網(wǎng)絡爬蟲引擎網(wǎng)絡爬蟲引擎知識庫知識庫自我自我學習學習結構化電商數(shù)據(jù)開放智能推薦廣告經(jīng)分預測用戶畫像非結構化 短期短期 瀏覽瀏覽、購買、購買、搜索、搜索、長期數(shù)據(jù)合作數(shù)據(jù)合作廣告廣告聯(lián)盟廣告聯(lián)盟搜索推廣搜索推廣廣告主業(yè)務廣告主業(yè)務平臺平臺營銷推廣