大數(shù)據(jù)平臺和在推薦廣告的應用

大數(shù)據(jù)平臺及在推薦廣告方面應用第1頁何為大數(shù)據(jù)第2頁大數(shù)據(jù)平臺架構數(shù)據(jù)存放實時離線FTPHDFSMRSqoopFumeNG數(shù)據(jù)采集數(shù)據(jù)處理存放層建模KafkaZookeeperStorm/SparkstreamingHbaseMysqlRedis數(shù)據(jù)可視化GangliaSparkNagiosOzzie監(jiān)控管理調度特征工程機器學習算法庫Mahout/MLlib應用搜索BI推薦廣告分類/回歸聚類主題預測LogServer商品庫用戶庫用戶行為非結構化結構化降維優(yōu)化PUSHHIVESparksql離線實時第3頁從Hadoop1.0到Yarn單點資源管理和調度分離資源劃分：slot到container第4頁從Hadoop到SparkInputIter.1Iter.2HadoopSpark第5頁大數(shù)據(jù)生態(tài)圈onestacktorulethemallStorm流計算Impalad(Ad-hocquery/迭代)Hive/MR(批處理)Hadoop第6頁crawler搜索引擎HBaseMQ1、writeLog2、write商品pic(insert/update/delete)3、indexLog4、finish(可靠)數(shù)據(jù)平臺數(shù)據(jù)源Sdk(插件/App/b5m)爬蟲LogserverMR/SparkYARN離線計算實時計算用戶行為數(shù)據(jù)數(shù)據(jù)平臺應用FlumeNGStormsparksteaming推薦廣告mysql商品、訂單應用平臺監(jiān)控第7頁平臺應用-爬蟲數(shù)據(jù)處理平臺第8頁爬蟲數(shù)據(jù)處理平臺StormSparkStreaming第9頁推薦系統(tǒng)典故啤酒與尿布老板、首頁、性保健品第10頁推薦舉例—商品詳情第11頁推薦舉例—購物車結算第12頁推薦舉例—首頁/支付完成頁第13頁推薦價值流量用戶粘性CTRGMV降低購物路徑用戶體驗多樣性新奇性流量投放給目標用戶精準轉化率CVRROI第14頁推薦(廣告、搜索)架構候選集待推薦商品索引過離線檢索(相關性)過實體實體特征實時model訓練過離線實時排序、過濾過推薦列表第15頁算法介紹候選集店鋪信譽更新時間人氣價格評價退貨率scoreTCL手機0.20.540.20.7聯(lián)想手機0.320.61.20.5…..相關性協(xié)同過濾

關聯(lián)推薦

分類興趣

聚類排序預估點擊率pCTR

邏輯回歸GBDT

第16頁推薦系統(tǒng)架構特征-內容用戶-特征離線Jacarrd/cosine/CF/contentBase/FPGrowth/LDA/LR/DT算法庫場景在線觸點PC無線意圖(聚焦、發(fā)散)+畫像融合過濾排序用戶行為（反饋）推薦效果驗證A/BTestingF1RMSEAUC數(shù)據(jù)存放中心

HadoopHiveHbaseMysqlredis索引構建內容質量評分model訓練ruleUser(f1,f2,f3,…)內容候選用戶行為應用庫(類別、標簽)語義分析關聯(lián)計算配置管理監(jiān)控候選排序相同度協(xié)同相關性第17頁用戶畫像體系基本維度性別、年紀、地域、終端、網(wǎng)絡、渠道、興趣、標簽維度商業(yè)維度品類、品牌、、、新老用戶、頻次、購置頻次、ARPU、購置時間語義挖掘行為標注引擎網(wǎng)絡爬蟲引擎知識庫自我學習結構化電商數(shù)據(jù)開放智能推薦廣告經(jīng)分預測用戶畫像非結構化短期

瀏覽、購置、搜索、、、長久數(shù)據(jù)合作第18頁廣告廣告聯(lián)盟搜索推廣廣告主業(yè)務平臺營銷推廣定向投放檢索統(tǒng)計監(jiān)控分析計費CPC數(shù)據(jù)存放同時相關性排序pCtr*Bid