計(jì)算廣告與大數(shù)據(jù)平臺(tái)方案

1、計(jì)算廣告與大數(shù)據(jù)平臺(tái)方案技術(shù)創(chuàng)新，變革未來(lái)大綱計(jì)算廣告與大數(shù)據(jù)360聚效廣告數(shù)據(jù)平臺(tái)如何應(yīng)對(duì)大規(guī)模流量思考與展望計(jì)算廣告簡(jiǎn)介計(jì)算廣告學(xué)，顧名思義是計(jì)算驅(qū)勱廣告的學(xué)科，這是相對(duì)傳統(tǒng)的廣告而言的計(jì)算廣告學(xué)是一門以計(jì)算技術(shù)驅(qū)勱的廣告營(yíng)銷科學(xué)傳統(tǒng)廣告紙媒廣告、電視廣告、墻體廣告受眾丌夠精準(zhǔn)，投放效果差計(jì)算廣告網(wǎng)絡(luò)受眾體量大，能夠做到精準(zhǔn)投放更加關(guān)注效果計(jì)算廣告簡(jiǎn)介計(jì)算廣告平臺(tái)的目標(biāo)：在合適的媒體上下文場(chǎng)景下為廣告主找到合適的受眾，投放合適的廣告創(chuàng)意在廣告主、媒體、受眾的整個(gè)生態(tài)中的三方博弈中尋求三方共贏計(jì)算廣告平臺(tái)的收入途徑：通過(guò)優(yōu)化系統(tǒng)和算法提升RPM受眾媒體廣告主RPM pCTR CPC廣告主每次

2、點(diǎn)擊出價(jià)代表廣告主獲取流量付出的成本預(yù)估點(diǎn)擊率代表受眾點(diǎn)擊廣告的意愿用戶 + 廣告創(chuàng)意 + 媒體廣告位 + 上下文 = 是否點(diǎn)擊用戶基本屬性、行為標(biāo)簽、興趣標(biāo)簽、廣告內(nèi)容、 創(chuàng)意形式、廣告位頻道、 位置、地理位置、 時(shí)間0,1計(jì)算廣告與大數(shù)據(jù)大數(shù)據(jù)和大數(shù)據(jù)處理能力是計(jì)算廣告的基石龐大的數(shù)據(jù)量：上百億/天，TBPB級(jí)數(shù)據(jù)規(guī)模數(shù)據(jù)復(fù)雜度：非結(jié)構(gòu)化、零散稀疏對(duì)實(shí)時(shí)性的苛刻要求：線上競(jìng)價(jià) 100ms以內(nèi)，離線學(xué)習(xí)模型盡快反哺線上涉及的大數(shù)據(jù)處理技術(shù)：大規(guī)模搜索和文本分析數(shù)據(jù)處理不ETL統(tǒng)計(jì)模型機(jī)器學(xué)習(xí)實(shí)時(shí)流計(jì)算360聚效廣告系統(tǒng)業(yè)務(wù)架構(gòu)流 量聚效DSP廣告檢索廣告匘配廣告排序CTR預(yù)估投放控制日志系統(tǒng)

3、日志收集日志消息隊(duì)列日志存儲(chǔ)計(jì)費(fèi)模塊實(shí)時(shí)計(jì)算離線計(jì)算日志Session化 ETL反作弊 報(bào)表統(tǒng)計(jì)物料管理賬戶管理審核系統(tǒng)運(yùn)營(yíng)優(yōu)化分析系 統(tǒng)推廣管理廣告質(zhì)量?jī)?yōu)化CTR模型受眾定向商品庫(kù)用戶畫像MAX流量分發(fā)平臺(tái)其他DSP平臺(tái)數(shù)據(jù)平臺(tái)Ganglia/Zabbix/SkyeyeadserverMySQLDBAeroSpikefeedbackscribeCamus日志收集dsplogexchangelogtrackinglog.dsplogexchangelogtrackinglog.parquetconvertersessionlogDW ODSantifraud/etl/.Hive DWDW ET

4、Lfeature-extractionmodel-trainingmodel-evaluationmodel-deployETLsqoop數(shù)據(jù)挖掘?qū)崟r(shí)計(jì) 算數(shù)據(jù)倉(cāng)庫(kù) 報(bào)表分析BI/AnalysisreportingAzkaban數(shù)據(jù)平臺(tái)總體架構(gòu)我們的廣告我們目前的數(shù)據(jù)規(guī)模全網(wǎng)各大媒體，上億廣告位每天 200億次請(qǐng)求，20TB+ 原始日志量（極限壓縮后）集群規(guī)模：1000，存儲(chǔ)容量：35PB日均生產(chǎn)Job數(shù)：5000+，日處理數(shù)據(jù)量：800TB+2012CDH3100 Nodes2014CDH4.6200 Nodes2015遷移YARN600 Nodes2016CDH5.81000Nodes數(shù)據(jù)

5、平臺(tái)面臨的挑戰(zhàn)流量越來(lái)越多新業(yè)務(wù)流量的增加展示形式的變化實(shí)時(shí)性要求越來(lái)越高離線Job處理要準(zhǔn)時(shí)完成實(shí)時(shí)計(jì)算統(tǒng)計(jì)實(shí)時(shí)模型訓(xùn)練高可用和擴(kuò)展性的挑戰(zhàn)跨機(jī)房數(shù)據(jù)丌可接受單點(diǎn)易于擴(kuò)展，盡量丌停服的Scale out和升級(jí)大流量來(lái)了，怎么抗？新業(yè)務(wù)帶來(lái)新的流量新業(yè)務(wù)流量帶來(lái)的數(shù)據(jù)量增長(zhǎng)廣告創(chuàng)業(yè)形式變化，流量暴漲廣告創(chuàng)意格子增加，帶來(lái)的數(shù)據(jù)量的膨脹集群線性擴(kuò)展服務(wù)器增加一倍，成本也會(huì)增加一倍LogAll is Log一切數(shù)據(jù)來(lái)源歸結(jié)到日志日志Schema的合理設(shè)計(jì)是后續(xù)數(shù)據(jù)處理的基石Thrift序列化，合理設(shè)計(jì)字段類型合理的數(shù)據(jù)結(jié)構(gòu)，減少冗余存儲(chǔ)日志合幵User1，context1,adslot1,impr

6、ession1 User1，context1,adslot1,impression2 User1，context1,adslot1,impression3 User2，context2,adslot2,impression1 User2，context2,adslot2,impression2User1，context1,adslot1,impression1,impression2,impression3 User2，context2,adslot2,impression1,impression2合理的日志存儲(chǔ)格式選擇合理的存儲(chǔ)格式TextBinaryParquet壓縮壓縮一定要開啟壓縮數(shù)據(jù)

7、壓縮Job產(chǎn)出壓縮LzoB64TextText容易解讀壓縮比很差LzoThriftBlockBlock壓縮比高裸的字節(jié)， 丌可讀Parquet列存儲(chǔ)壓縮比高有工具進(jìn)行 解析易于不Spark 集成05101520LzoB64Text LzoThriftBlockParquetDSP日志日均數(shù)據(jù)量（TB）從日志到數(shù)據(jù)倉(cāng)庫(kù)MySQLKafka第三方數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)獲取與報(bào)表倉(cāng)庫(kù)建模與ETLrawlog/sessionlogparquet列存儲(chǔ)ODS基礎(chǔ)事實(shí)表/維度表HDFSHiveDWReport TableThriftServerRestServerDashboardSparkSQLODS: Pi

8、g - SparkSQLdsplog = LOAD /mvad/warehouse/ods/dsp/date=2016-11- 11/hour=00/type=*/* USING parquet.pig.ParquetLoader();A= FOREACH dsplog GENERATE vince, request.userAgentInfo.os, request.userAgentInfo.browser， 1;B = GROUP A BY (province, os, browser);C = FOREACH B GENERATE group, COUNT(A);STORE C INT

9、O /tmp/xxx;/ Create a DataFrame from Parquet filesval df = sqlContext.read.parquet(/mvad/warehouse/ods/dsp/date=2016- 11-11/hour=00/type=*)/ Using SparkSQLval table = df.registerTempTable(dsplog)val sql = select count(1) from dsplog group by vince, request.userAgentInfo.os, request.userAgentInfo.bro

10、wserval result = sqlContext.sql(sql) result.show()350300250200150100500PigSparkSQL運(yùn)行時(shí)間（s）更高的實(shí)時(shí)性要求實(shí)時(shí)對(duì)廣告效果的影響系統(tǒng)實(shí)時(shí)化實(shí)時(shí)模型訓(xùn)練實(shí)時(shí)Sessionization實(shí)時(shí)計(jì)費(fèi)實(shí)時(shí)反作弊全量日志，幾乎全量日志消耗Shuffle，大量讀IO消耗大量網(wǎng)絡(luò)IO全量日志離線MR Sessionization的瓶頸MapMapMapReduceReduceBid logshow logclick logTracking logsessionlogHDFSHDFSMR Job實(shí)時(shí)Sessionization

11、rowkeybidshowclicksession1bid1,bid2,bid3show1,show2click1session2bid1,bid2,bid3,bid4show1session3bid1,bid2show1,show2click1,click2原始日志實(shí)時(shí)消費(fèi)， 寫入HBaseHBasesessionId作為rowkey，bid/show/click分別作為family，天然的session化過(guò)程Hbase的稀疏存儲(chǔ)模型，非常適合廣告業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)的Session化數(shù)據(jù)，可直接用于實(shí)時(shí)計(jì)算模塊每天做一次Snapshot，用于離線計(jì)算Kafka離線Machine Learning依

12、賴sessionlog的產(chǎn)出，計(jì)算過(guò)程復(fù)雜冗長(zhǎng)T+1，實(shí)效性差sessionlogfeature extractiontrainingsamplemodel trainingmodelmodel deployAd serverrawlogOnline Learning實(shí)時(shí)特征抽取， 寫入HBaseHBaseKafka用戶/廣告 特征競(jìng)價(jià)曝光 日志發(fā)生點(diǎn)擊，寫 回KafkaTraningS ampleStormOnline TrainingAd Server模型更新Storm高可擴(kuò)展穩(wěn)定性可用性集群優(yōu)化跨機(jī)房丌同集群版本數(shù)據(jù)共享FederationHA參數(shù)優(yōu)化跨機(jī)房不同集群版本數(shù)據(jù)共享Hftp協(xié)議解決HDFS丌同版本之間的傳輸問(wèn)題Cluster10.20版本Cluster2 cdh5.8版本hadoop distcp -m 100 -pbugp -skipcrccheck -update -delete hftp:/cluster2-namenode:50070/file hdfs:/cluster1-namenode:9000/fileHftp協(xié)議 distcp集群快速擴(kuò)容導(dǎo)致的節(jié)點(diǎn)間數(shù)據(jù)不均勻Balancer來(lái)丌及遷移數(shù)據(jù)導(dǎo)致的集群丌可用擴(kuò)容前85%85%85%85%擴(kuò)容后85%85%85%85%0%0%95%95%95%95%