互聯(lián)網(wǎng)廣告投放引擎架構(gòu)設(shè)計

1、互聯(lián)網(wǎng)廣告投放引擎架構(gòu)設(shè)計廣告業(yè)務簡介廣告系統(tǒng)架構(gòu)廣告引擎優(yōu)化實踐廣告鏈路優(yōu)化引擎性能優(yōu)化用戶體驗優(yōu)化廣告業(yè)務簡介投放媒體：優(yōu)酷、土豆、阿里數(shù)娛、閑魚、蝦米、UC廣告類型：前貼、中插、后貼、暫停、角標、開屏、信息流、播放頁banner、常規(guī)頁面等數(shù)十種廣告類型，以貼片廣告為主。業(yè)務規(guī)模：日曝光量數(shù)十億。收入構(gòu)成：以品牌廣告為主，效果廣告為輔。廣告業(yè)務特點售賣方式：CPM、CPC、CPD，等，以CPM為主定向方式：用戶（地區(qū)、人群標簽等），內(nèi)容（視頻組、視頻時長、頻 道、關(guān)鍵字、清晰度等）、客戶端（設(shè)備類型、操作系統(tǒng)、客戶端類型、 版本號等），共數(shù)十種定向方式頻控方式：整周期N次頻控、每M天（小

2、時）N次頻控、多屏打通頻控其它特點：廣告時長、個數(shù)限制廣告系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)說明：uSSP ：優(yōu)酷SSP（ Sell-Side Platform，供應方平臺）uADX：優(yōu)酷Ad ExchangeuATM：優(yōu)酷品牌廣告引擎uSmartVideo：優(yōu)酷效果廣告引擎（InnerDSP）uOutterDSPs：對接優(yōu)酷ADX的外部DSPuClient：客戶端，直接發(fā)送廣告請求或通過其后臺服 務間接發(fā)送廣告請求uCDN： 內(nèi)容分發(fā)網(wǎng)絡(luò)，視頻正片和廣告素材的存儲 服務SSPADXATMSmartVideoOutter DSPs47ClientCDN185656AdPlatform23109ATM系統(tǒng)架構(gòu)Co

3、unterDispatcherStoreCacherSynerATMDBATMLOGDBUserCacheAdSearcherAdCacheAdServerCenter廣告引擎優(yōu)化實踐 視頻廣告常見問題問題描述：廣告加載太慢，播放窗口小圓圈一直轉(zhuǎn) 優(yōu)化思路：u 修條新路 - 廣告鏈路優(yōu)化u 老路提速 - 引擎性能優(yōu)化廣告鏈路優(yōu)化- 廣告加載流程分析問題診斷：u 廣告加載分兩階段：一、向廣 告系統(tǒng)請求廣告代碼，二、根 據(jù)代碼中的URL從CDN加載廣 告素材u 加載廣告素材加載耗時過長， 導致用戶跳出或跳轉(zhuǎn)播放頁比 例高ClientSSPCDN1234廣告鏈路優(yōu)化 廣告緩存推薦原理基本原理：uuu

4、通過緩存推薦服務ADP提前下載廣告素材到本地將用戶在線觀看過的廣告素材也緩存到本地播廣告時先查本地緩存，未命中時才從CDN加載優(yōu)化前后鏈路對比：uuuu無緩存推薦：1-2-5-6緩存推薦命中：1-2-3-4緩存推薦未命中：1-2-3-4-5-6新增一條獨立的緩存推薦鏈路：1-2-3-4SSPCDN12563ADP124LocalCacheAPP43Client廣告鏈路優(yōu)化 ADP的緩存推薦接口ClientADPip : 202.109.13.121,os_type : Android, cached_ad: 101,103,105,.to_download_ad:123,246, to_del

5、ete_ad:101,105,.廣告鏈路優(yōu)化 - 緩存推薦相關(guān)規(guī)則廣告推薦模式：基于定向條件粗篩+算法預判模式廣告推薦時機：APP啟動完成后本地緩存大?。嚎紤]機器硬件差異廣告緩存推薦 - 廣告加載速度的提升效果如下圖：每條曲線對應一個APP版本在某個時間范圍內(nèi)（x軸）完成廣告素材加載的比例（y軸），左圖為 iPhoneApp端，右圖為AndroidApp端。iOS端1秒內(nèi)完成廣告加載的比例提升約35倍。廣告緩存推薦 貼片曝光率提升效果優(yōu)化效果：iOS端，優(yōu)化后的版本（V5.5.1和V5.5.2）比優(yōu)化前的版本（V5.5）曝光 率提升明顯，其中V5.5.2比V5.5提升約3.75% 。廣告緩存推

6、薦 踩過的“坑”Q：Android使用了緩存推薦，為嘛有時廣告的損耗反而增加了？A：原因：Android端文件下載失敗幾率相對iOS高，客戶端嘗試播放錯 誤的緩存文件會增大損耗比例。解決辦法：下載完后添加文件完整性校 驗功能。廣告鏈路優(yōu)化 - 廣告異步加載問題描述：某些APP上開屏廣告加載的耗時過長 優(yōu)化思路：改變“出行”模式 使用異步加載模式，顛倒廣告請求和展現(xiàn) 的順序，先展現(xiàn)本地緩存的廣告，再請求廣告和下載廣告素材廣告鏈路優(yōu)化 - 廣告異步加載流程廣告加載鏈路（紅色）：u 廣告展現(xiàn)：1-2u 異步請求：3-4-5-6獨立的廣告緩存推薦鏈路（綠 色）:1-2-3-4SSPCDN34651AD

7、P1234LocalCacheAPP2Client廣告異步加載 遇到的“坑”及解決辦法Q：如何避免廣告投放初期緩存命中率低導 致曝光量過低A：提前設(shè)置廣告排期，提前返回N（常數(shù)） 天后投放的廣告，供客戶端提前緩存，同時 再結(jié)合緩存推薦機制，增大預緩存比例。Q：如何將已緩存到客戶端的廣告素材的及 時下線A：基于推送服務實時通知或提高緩存推薦 接口的調(diào)用頻率Q：如何解決CPM售賣時的超量 投放問題A：提前分配每日預緩存比例， 要為投放當天預留適當比例，投放當天再做實時精準控量，且前后兩次重復推送時，需將剩余量 計數(shù)器中扣掉的量加回來引擎性能優(yōu)化 優(yōu)化前廣告檢索服務各模塊耗時x軸：時間（單位：分鐘）

8、，y軸：廣告接口RT（單位：ms），每條曲線為一個處理模塊的耗時曲線引擎性能優(yōu)化 異步寫優(yōu)化優(yōu)化思路：u異步埋點（buryingNode）u異步寫cookie(writeLunboCookie)u異步寫日志（writeLog）優(yōu)化效果：廣告請求接口內(nèi)部耗時相比優(yōu)化前降低 23.8%ProcessNode1ProcessNode2ProcessNodenEndburyingNode1buryingNode2writeLunboCookiewriteLog.StartBuryingNodenAdSearcher threadAsynchronous threads.引擎性能優(yōu)化 - 延遲讀優(yōu)化優(yōu)化

9、思路：對性能影響較大，且不 是每次請求都需要的屬 性，可以延遲到需要使 用時再讀（右圖示例：Redis中的人群標簽等）優(yōu)化效果：廣告請求接口內(nèi)部耗時 相比優(yōu)化前降低12.3%從請求頭中獲取請求參數(shù)從Redis中獲取用戶標簽返回廣告代碼End開始根據(jù)請求參數(shù)和用戶標簽篩選 出廣告列表從請求頭中獲取請求參數(shù)從Redis中獲取用戶標簽根據(jù)用戶標簽進一步篩選廣告列表返回廣告代碼Y開始根據(jù)請求參數(shù)篩選出廣告列表存在人群定向廣告EndN引擎性能優(yōu)化 - 索引結(jié)構(gòu)優(yōu)化優(yōu)化思路：樹形索引結(jié)構(gòu)改為倒排索 優(yōu)化效果：u索引創(chuàng)建耗時降低到之前 的1%u廣告檢索耗時降低到之前 的15%以內(nèi)u索引數(shù)據(jù)占用內(nèi)存大小降 低

10、到之前1%以內(nèi)K21K22K23K26K27K24K25A2,A5A1,A2,A3A1,A4,A5K11K12A7A4,A5,A6A7,A8,A9K1NA3,A8,A9A0A1A2A3A4A5A6A7A8A9110111100011001101101001011101K3K3K3Key引擎性能優(yōu)化 階段性優(yōu)化實踐效果注：X軸：時間軸，y軸：ATM廣告接口99%分位的RT(單位：ms)用戶體驗優(yōu)化問題描述：u 用戶吐槽：廣告太長、太多u 客戶要求：廣告投放量有明確要求， 不允許少投。優(yōu)化目標：在不減少廣告絕對投放量的前提下， 讓用戶“少看”廣告，提升用戶體驗。用戶體驗優(yōu)化 廣告時長和個數(shù)控制簡單

11、粗暴的控制方法：建立“視頻時長（分鐘） 最大廣告 時長（秒） 最大廣告?zhèn)€數(shù)”間的映射關(guān) 系，根據(jù)映射關(guān)系控制廣告時長和個數(shù)。映射原則：u 長視頻長廣告u 短視頻短廣告u 超短視頻無廣告中國 + 移動APP中國大陸 + PC。視頻時長最大廣告時長最大廣告?zhèn)€數(shù)1,5)1615,10)32210,30)4831,3)1613,10)32210,20)483。視頻資源30,+)64420,+)644視頻時長最大廣告時長最大廣告?zhèn)€數(shù)視頻時長最大廣告時長最大廣告?zhèn)€數(shù)注：下圖僅為示例，非真實線上規(guī)則用戶體驗優(yōu)化 時長與個數(shù)控制效果優(yōu)化效果：杜絕了網(wǎng)友經(jīng)常吐槽的“一 個才X分鐘的短視頻上竟然出了Y秒鐘的長的廣

12、告”的現(xiàn)象。遺留問題：前一個貼位容量未充分使用，便開始大量使用后個一貼位的容量，導致出現(xiàn)多貼廣告比例 過高。78/13072/12060/100第前90/150第前 第三前 第四前 示例：假設(shè)廣告容量為1000CPM，預定曝光量 為600CPM時，各貼容量的使用量（藍色）如下用戶體驗優(yōu)化 廣告貼位前移方法：u 以小時為單位，按流量曲線分配 任務，小時內(nèi)每分鐘平均分配。u 新任務分配給第一帖，上一分鐘 未完成的任務分配給第二貼， 上（N-1）分鐘未完成的任務分 配給第N貼。u N分鐘前未完成的任務，留待剩 余的小時分配。Task(t+2)Task(t+1)Task(t)AdSearcherAdS

13、erverTask(t+3)Distributed Cache2 找第一前帖 32 找第二前帖3找第三前帖2314用戶體驗優(yōu)化 廣告貼位前移效果優(yōu)化效果：u 靠前的貼位使用率顯 著增長著降低u 用戶看到多貼廣告的 比例顯著降低72/12060/1000/1005020/120第三貼第四貼第一貼90/150第一貼150/1u 靠后的貼位使用率顯第二貼78/130第二貼130/130第三貼第四貼優(yōu)化前各貼位使用率優(yōu)化后各貼位使用率示例：假設(shè)廣告容量為1000CPM，預定曝光量為600CPM時，各貼容量的使用量（藍色）如下用戶體驗優(yōu)化 貼位前移方法遺留的問題長視頻容量未充分利用時，便開始使用短視頻容

14、量。300/500180/30072/12048/8030,+)10,30)5,10)1,5)用戶體驗優(yōu)化 資源分級優(yōu)化目標：u 將廣告盡可能向長視頻和靠前的貼位傾斜u 能根據(jù)廣告投放任務的緊張程度自動擴大或縮小使用的資源范圍 方法：u 視頻資源分級（level）u 為廣告設(shè)置資源使用范圍(range)u 新增adRangeFilter處理模塊，動態(tài)調(diào)節(jié)廣告的資源使用范圍。用戶體驗優(yōu)化 視頻資源分級資源級別視頻時長廣告位130,+)第一前貼210,30)第一前貼35,10)第一前貼430,+)第二前貼530,+)第三前貼610,30)第二前貼730,+)第四前貼85,10)第二前貼910,30

15、)第三前貼101,5)第一前貼分級原則：u根據(jù)用戶的廣告容忍度高低對視頻資 源分級，容忍度越高，級別越小。u視頻越長，級別越小u貼位越靠前,級別越小注：右圖為10級分級表示例（僅用于原 理解釋，非線上真實情況）用戶體驗優(yōu)化 資源分級優(yōu)化原理resLevel=getResLevel(vLen,adPos)adRange = getAdRange(aid)reduceDeliverCount(aid)adRange = resLevelEndStartAdRangeTaskDCTaskResourceLevelTaskresLevel123.aidadRangeA11A210A38.aiddcA1

16、100A2250A3300.adRangeFilterresourceLevel vLenadPos30,+)P110,30)P25,10)P3.TimedTaskYremove(aid)NrangeMapdcMapadRangeFilter： 實時控制廣 告的資源使用范圍ResourceLevelTask：定時 同步資源級別AdRangeTask：定時調(diào)整廣 告range值DCTask：定時分配新廣告投 放任務用戶體驗優(yōu)化- 資源分級優(yōu)化rangeMap更新規(guī)則：u 若前N（指定常數(shù)）個連續(xù)周期的任 務未完成，則range+u 若前N個連續(xù)周期的任務均完成，則 rangeu 1 = rang

17、e =MAX_RANGE(指定 常數(shù))A2:0A3:0A4: 900A1 : 3A2 : 3A3 : 1A4 : 10rangeMapA1: 350A1:160A2:0A3:0A4:906A1 : 4A2 : 2A3 : 1A4 : 10rangeMapA1:15A2:0A3:0A4:897A1:5A2:1A3:1A4:10rangeMap示例：當N=1，MAX_RANGE=10時 t0t0+ Tt0+ 2T dcMapdcMapdcMap資源分級優(yōu)化 效果優(yōu)化效果：實現(xiàn)了廣告向長視頻和靠前的 貼位資源傾斜的目標效果示例：如右圖（仍舊以從1000CPM中 分出600CPM使用量為例）資源級別視頻時長廣告位容量使用率趨勢130,+) 1.00+0.4210,30) 1.00+0.435,10) 1.00+0.4430,+) 1.00+0.4530,+) 1.00+0.4610,30) 0.1-0.5730,+) 0-0.685,10) 0-0.6910,30) 0-0.6101,5) 0-0.6資源使用優(yōu)化 優(yōu)化效果