2024CTR 預估系統實踐

CTRCTR預估系統在商業(yè)并線領域有一個非常大的應用，也是非常核心的一個模塊。業(yè)內各大CTR享的是OPPOCTRCTR首先介紹一下CTR預估系統業(yè)務對接的一個場景，應用層主要在應用分發(fā)領域、搜索、聯征或符號。這里面就包含各種各樣的挖掘算法，比如ID特征、統計類特征等；再往上就是CTR），DNN注是ECPM，或者轉化率等，這些通過配置化都是可以實現的。右邊是我們的一些支撐系HadoopSpark、MPI、Kafka等集群系統。OfflineNearlineOnline，時效是從天級接下來講一下我們CTR預估系統的一個演進，我們是從16年開始做CTR預估系統，通過我們可以更細粒度的去統計，比如之前我們有一個排行榜，每個item是一個榜，我們可以161.02.0，從用戶群體的粒度做到真正的個性化（離線、在線預估，特征引擎，batchLR步特征引擎都在CTR2.0版本完成。17年上半年我們主要是做特征工程，各種各樣的特征17OnlineLR去做學習的時候，是怎么快怎么來，最開始是單機liblinear，這個代碼比較簡單易用效果OKsparkmllibSparkLBFGSSGD，發(fā)現前者效果要好些，但是樣本的權重以及線上效果并不是很理想；之后我們切換到了sparkliblinear平臺，他是TRON優(yōu)化算spark的BatchGD算法。支持支持pretrain、稀疏特征優(yōu)化、細粒度正則、checkpoint基于sparkMPI的OWLQN的算法訓練速度7BatchGDMPI是很底層框架，需要很多額外工作。但是有些場景還是無法滿足，比如快速反應類場景無法滿足，因此基于TensorFlowOnlineLRMPIOnlineLR算法及優(yōu)化。我們從spark切換到MPI6小時，需要的核數從1000下降240，BatchModelOnlineModelOnlineModelmodel是偏向歷史樣本還是當前樣本、如何調參、穩(wěn)定性問題（線上斷流，作弊流量很容我們在OnlineLR模型做了一些優(yōu)化，FTRL算法是google在13年提出的一個算法，主要解決在廣告場景下大規(guī)模離線LR訓練的問題。第一項其實是一個梯度，第二項是一個嚴0-tFTRLρt-s，模型會做歷史樣本衰減，隨著樣本不斷訓練，歷史樣本的BatchModelOnlineModel61（BatchLR30OnlineLR每個樣本過濾一遍另一個效果方面在信息流場景下天氣預測方面BatchLR能達到2.6%這么復雜呢？DNNLR10100LRDNN特征。第三個就是業(yè)界的一些經驗，Google、BAT等大公司在深度學習積累很多經驗。DNNDNNtrick、調參難度大（papers不會透露很多細節(jié)）。另一個相比于圖像領域，端對端學習，CTR預估面對的是非標準化CTR預估是用在線上而不是刷比賽或者實驗，線上需要達到穩(wěn)定性的要求，對工我們在選型的時候是Google16Wide&DeepLearningforRecommender樣模型層面比較優(yōu)雅，我們先前的LR有很多經驗可以借鑒。在我們網絡結構確定后，我們如何去落地去實現這個系統。深度學習框架有很多，如TensorFlow、Caffe、Keras、CNTK等，TensorFlow相對于其他框架優(yōu)點在于：易用性們優(yōu)化就是將python邏輯下發(fā)到C++層，另一個算子、io、特征工程性能優(yōu)化，做到更CNNRNN，因此我們自己去EmbeddingPythonJava生命周期，最大限度進行cache，提升提取性能。最后講一下快速實驗機制&EE的一些工作。隨著系統復雜度增加，各種調參和調參，比如bin做A/BText，特征升級等都能做，后面參數調整大部分都是可以支持的。因為探索是不確定性的，效果可能很差；另一個是效果的評估很難，