大數(shù)據(jù)平臺和在推薦廣告的應(yīng)用

大數(shù)據(jù)平臺及在推薦廣告方面應(yīng)用第1頁何為大數(shù)據(jù)第2頁大數(shù)據(jù)平臺架構(gòu)數(shù)據(jù)存放實時離線FTPHDFSMRSqoopFumeNG數(shù)據(jù)采集數(shù)據(jù)處理存放層建模KafkaZookeeperStorm/SparkstreamingHbaseMysqlRedis數(shù)據(jù)可視化GangliaSparkNagiosOzzie監(jiān)控管理調(diào)度特征工程機器學(xué)習(xí)算法庫Mahout/MLlib應(yīng)用搜索BI推薦廣告分類/回歸聚類主題預(yù)測LogServer商品庫用戶庫用戶行為非結(jié)構(gòu)化結(jié)構(gòu)化降維優(yōu)化PUSHHIVESparksql離線實時第3頁從Hadoop1.0到Y(jié)arn單點資源管理和調(diào)度分離資源劃分：slot到container第4頁從Hadoop到SparkInputIter.1Iter.2HadoopSpark第5頁大數(shù)據(jù)生態(tài)圈onestacktorulethemallStorm流計算Impalad(Ad-hocquery/迭代)Hive/MR(批處理)Hadoop第6頁crawler搜索引擎HBaseMQ1、writeLog2、write商品pic(insert/update/delete)3、indexLog4、finish(可靠)數(shù)據(jù)平臺數(shù)據(jù)源Sdk(插件/App/b5m)爬蟲LogserverMR/SparkYARN離線計算實時計算用戶行為數(shù)據(jù)數(shù)據(jù)平臺應(yīng)用FlumeNGStormsparksteaming推薦廣告mysql商品、訂單應(yīng)用平臺監(jiān)控第7頁平臺應(yīng)用-爬蟲數(shù)據(jù)處理平臺第8頁爬蟲數(shù)據(jù)處理平臺StormSparkStreaming第9頁推薦系統(tǒng)典故啤酒與尿布老板、首頁、性保健品第10頁推薦舉例—商品詳情第11頁推薦舉例—購物車結(jié)算第12頁推薦舉例—首頁/支付完成頁第13頁推薦價值流量用戶粘性CTRGMV降低購物路徑用戶體驗多樣性新奇性流量投放給目標用戶精準轉(zhuǎn)化率CVRROI第14頁推薦(廣告、搜索)架構(gòu)候選集待推薦商品索引過離線檢索(相關(guān)性)過實體實體特征實時model訓(xùn)練過離線實時排序、過濾過推薦列表第15頁算法介紹候選集店鋪信譽更新時間人氣價格評價退貨率scoreTCL手機0.20.540.20.7聯(lián)想手機0.320.61.20.5…..相關(guān)性協(xié)同過濾

關(guān)聯(lián)推薦

分類興趣

聚類排序預(yù)估點擊率pCTR

邏輯回歸GBDT

第16頁推薦系統(tǒng)架構(gòu)特征-內(nèi)容用戶-特征離線Jacarrd/cosine/CF/contentBase/FPGrowth/LDA/LR/DT算法庫場景在線觸點PC無線意圖(聚焦、發(fā)散)+畫像融合過濾排序用戶行為（反饋）推薦效果驗證A/BTestingF1RMSEAUC數(shù)據(jù)存放中心

HadoopHiveHbaseMysqlredis索引構(gòu)建內(nèi)容質(zhì)量評分model訓(xùn)練ruleUser(f1,f2,f3,…)內(nèi)容候選用戶行為應(yīng)用庫(類別、標簽)語義分析關(guān)聯(lián)計算配置管理監(jiān)控候選排序相同度協(xié)同相關(guān)性第17頁用戶畫像體系基本維度性別、年紀、地域、終端、網(wǎng)絡(luò)、渠道、興趣、標簽維度商業(yè)維度品類、品牌、、、新老用戶、頻次、購置頻次、ARPU、購置時間語義挖掘行為標注引擎網(wǎng)絡(luò)爬蟲引擎知識庫自我學(xué)習(xí)結(jié)構(gòu)化電商數(shù)據(jù)開放智能推薦廣告經(jīng)分預(yù)測用戶畫像非結(jié)構(gòu)化短期

瀏覽、購置、搜索、、、長久數(shù)據(jù)合作第18頁廣告廣告聯(lián)盟搜索推廣廣告主業(yè)務(wù)平臺營銷推廣定向投放檢索統(tǒng)計監(jiān)控分析計費CPC數(shù)據(jù)存放同時相關(guān)性排序pCtr*Bid