2024CTR 預(yù)估系統(tǒng)實踐

CTRCTR預(yù)估系統(tǒng)在商業(yè)并線領(lǐng)域有一個非常大的應(yīng)用，也是非常核心的一個模塊。業(yè)內(nèi)各大CTR享的是OPPOCTRCTR首先介紹一下CTR預(yù)估系統(tǒng)業(yè)務(wù)對接的一個場景，應(yīng)用層主要在應(yīng)用分發(fā)領(lǐng)域、搜索、聯(lián)征或符號。這里面就包含各種各樣的挖掘算法，比如ID特征、統(tǒng)計類特征等；再往上就是CTR），DNN注是ECPM，或者轉(zhuǎn)化率等，這些通過配置化都是可以實現(xiàn)的。右邊是我們的一些支撐系HadoopSpark、MPI、Kafka等集群系統(tǒng)。OfflineNearlineOnline，時效是從天級接下來講一下我們CTR預(yù)估系統(tǒng)的一個演進，我們是從16年開始做CTR預(yù)估系統(tǒng)，通過我們可以更細粒度的去統(tǒng)計，比如之前我們有一個排行榜，每個item是一個榜，我們可以161.02.0，從用戶群體的粒度做到真正的個性化（離線、在線預(yù)估，特征引擎，batchLR步特征引擎都在CTR2.0版本完成。17年上半年我們主要是做特征工程，各種各樣的特征17OnlineLR去做學(xué)習(xí)的時候，是怎么快怎么來，最開始是單機liblinear，這個代碼比較簡單易用效果OKsparkmllibSparkLBFGSSGD，發(fā)現(xiàn)前者效果要好些，但是樣本的權(quán)重以及線上效果并不是很理想；之后我們切換到了sparkliblinear平臺，他是TRON優(yōu)化算spark的BatchGD算法。支持支持pretrain、稀疏特征優(yōu)化、細粒度正則、checkpoint基于sparkMPI的OWLQN的算法訓(xùn)練速度7BatchGDMPI是很底層框架，需要很多額外工作。但是有些場景還是無法滿足，比如快速反應(yīng)類場景無法滿足，因此基于TensorFlowOnlineLRMPIOnlineLR算法及優(yōu)化。我們從spark切換到MPI6小時，需要的核數(shù)從1000下降240，BatchModelOnlineModelOnlineModelmodel是偏向歷史樣本還是當前樣本、如何調(diào)參、穩(wěn)定性問題（線上斷流，作弊流量很容我們在OnlineLR模型做了一些優(yōu)化，F(xiàn)TRL算法是google在13年提出的一個算法，主要解決在廣告場景下大規(guī)模離線LR訓(xùn)練的問題。第一項其實是一個梯度，第二項是一個嚴0-tFTRLρt-s，模型會做歷史樣本衰減，隨著樣本不斷訓(xùn)練，歷史樣本的BatchModelOnlineModel61（BatchLR30OnlineLR每個樣本過濾一遍另一個效果方面在信息流場景下天氣預(yù)測方面BatchLR能達到2.6%這么復(fù)雜呢？DNNLR10100LRDNN特征。第三個就是業(yè)界的一些經(jīng)驗，Google、BAT等大公司在深度學(xué)習(xí)積累很多經(jīng)驗。DNNDNNtrick、調(diào)參難度大（papers不會透露很多細節(jié)）。另一個相比于圖像領(lǐng)域，端對端學(xué)習(xí)，CTR預(yù)估面對的是非標準化CTR預(yù)估是用在線上而不是刷比賽或者實驗，線上需要達到穩(wěn)定性的要求，對工我們在選型的時候是Google16Wide&DeepLearningforRecommender樣模型層面比較優(yōu)雅，我們先前的LR有很多經(jīng)驗可以借鑒。在我們網(wǎng)絡(luò)結(jié)構(gòu)確定后，我們?nèi)绾稳ヂ涞厝崿F(xiàn)這個系統(tǒng)。深度學(xué)習(xí)框架有很多，如TensorFlow、Caffe、Keras、CNTK等，TensorFlow相對于其他框架優(yōu)點在于：易用性們優(yōu)化就是將python邏輯下發(fā)到C++層，另一個算子、io、特征工程性能優(yōu)化，做到更CNNRNN，因此我們自己去EmbeddingPythonJava生命周期，最大限度進行cache，提升提取性能。最后講一下快速實驗機制&EE的一些工作。隨著系統(tǒng)復(fù)雜度增加，各種調(diào)參和調(diào)參，比如bin做A/BText，特征升級等都能做，后面參數(shù)調(diào)整大部分都是可以支持的。因為探索是不確定性的，效果可能很差；另一個是效果的評估很難，