微博在線機器學(xué)習(xí)和深度學(xué)習(xí)實踐

微博在線機器學(xué)習(xí)和深度學(xué)習(xí)實踐技術(shù)創(chuàng)新，變革未來1.推薦篇目錄推薦場景推薦在線機器學(xué)習(xí)深度學(xué)習(xí)2.平臺篇平臺背景平臺架構(gòu)平臺效果3.總結(jié)篇微博技術(shù)里程碑微博業(yè)務(wù)生態(tài)APPLICATION推薦篇推薦場景、在線機器學(xué)習(xí)和深度學(xué)習(xí)11

推薦場景信息流熱門流視頻流關(guān)系流推薦流圖片推薦流正文推薦流視頻推薦流1

推薦場景2推薦推薦在特定場景下，根據(jù)用戶行為和特點，向用戶推薦感興趣的對象集模型：趨勢實時化：在線機器學(xué)習(xí)深度化：深度學(xué)習(xí)平臺化：機器學(xué)習(xí)平臺實時化特征實時化：更及時反饋用戶行為，更細粒度刻畫用戶模型實時化：根據(jù)線上樣本實時訓(xùn)練模型，及時地反映對象的線上變化模型推理預(yù)測服務(wù)實時特征實時數(shù)據(jù)3

在線機器學(xué)習(xí)實時樣本實時模型訓(xùn)練實時更新參數(shù)Task訓(xùn)練預(yù)處理Node實時樣本拼接Node在線模型訓(xùn)練Node離線樣本拼接Node在線模型評估Node模型上線Node實時特征處理Node離線特征處理TaskKafka輸入inputprocessprocessoutputWeiFlow工作流Task模型訓(xùn)練Task模型訓(xùn)練TaskMetrics輸出3

在線機器學(xué)習(xí)-工作流互動行為日志數(shù)據(jù)處理點擊行為日志閱讀行為日志曝光行為日志數(shù)據(jù)過濾樣本拼接定時輪詢KafkaHdfs樣本輸出3

在線機器學(xué)習(xí)-實時樣本生成多流拼接曝光，互動，點擊，真實閱讀等多種數(shù)據(jù)流接入并多流拼接如何解決日志延時問題延遲等待機制，先到先走定時輪尋，最長N分鐘等待Kafka

堆積監(jiān)控，實時報警如何解決內(nèi)存問題調(diào)整內(nèi)存參數(shù)關(guān)閉多余的監(jiān)控點如何異常處理自動化監(jiān)控與修復(fù)系統(tǒng)Checkpoint節(jié)點異常修復(fù)3

在線機器學(xué)習(xí)-實時樣本生成在線機器學(xué)習(xí)模型訓(xùn)練：Flink/Blink+WeiPS樣本生成和特征處理1.配置化2.多標簽樣本3.支持高維HASH訓(xùn)練預(yù)處理1.標簽選擇2.標簽UDF3.樣本過濾4.特征過濾模型訓(xùn)練1.支持回歸和分類2.支持LR、FM、DeepFM等模型3.支持SGD

、

FTRL

、Adagrad等優(yōu)化算法模型評估1.獨立模型評估2.配置化3.UI展示3

在線機器學(xué)習(xí)-實時模型訓(xùn)練模型選擇LR

:

基礎(chǔ)模型，對特征工程依賴較強FM：大規(guī)模稀疏數(shù)據(jù)下的特征組合問題DeepFM優(yōu)化算法選擇FTRL：調(diào)節(jié)學(xué)習(xí)率，突出低頻特征，非batch優(yōu)化Adagrad

:

調(diào)節(jié)學(xué)習(xí)率，突出低頻特征，實現(xiàn)簡單SGD：參數(shù)少，效率高，固定學(xué)習(xí)率ID特征處理Hash：BKDRhash/CityHash，ID高維度稀疏+實時3

在線機器學(xué)習(xí)-實時模型訓(xùn)練servingserverModelServing

SystemServing

PSTraing

PSTraingModel

SystemPredict

ScoreSample

Dataworker3

在線機器學(xué)習(xí)-參數(shù)服務(wù)器servingservingservingserverserverserverserverserverworkerworkerworkerPSschedulerPSserverPSserverPSserverPSagentPSagentzookeeperPSproxyPSproxyPSsubmitFile

SystemcheckpointModelTraining

SystemModel

registerStatusset/getModeldeleteModelSaveModel

LoadHAFault

tolerancecheckpointLocalHDFSParamServer

SystemModelServing

System3

在線機器學(xué)習(xí)-參數(shù)服務(wù)器參數(shù)規(guī)模支持百億特征維度，千億參數(shù)模型版本多模型多版本：多組實驗并行執(zhí)行，提高實驗迭代效率在線版本切換：基于ZK的版本感知機制，動態(tài)進行版本切換，實現(xiàn)BASE模型的熱更新，實時訓(xùn)練與離線訓(xùn)練周期模型融合模型結(jié)構(gòu)訓(xùn)練與推理兼容：在線PS與離線PS模型結(jié)構(gòu)兼容，自動模型參數(shù)轉(zhuǎn)換穩(wěn)定性優(yōu)化模型快照：基于ps-scheduler的周期模型版本探測與保存，模型稀疏化分片存儲冷備容災(zāi)：基于checkpoint機制(Local模式&Remote模式)，實現(xiàn)參數(shù)服務(wù)的高可用，支持基于模型的異構(gòu)集群遷移，支持集群擴縮容性能優(yōu)化通信優(yōu)化：數(shù)據(jù)請求(PULL&PUSH)聚合，同模型多矩陣并發(fā)，鎖粒度優(yōu)化，性能提升5-10倍緩存優(yōu)化：使用堆外內(nèi)存與LRU過期機制，解決GC引起的性能損耗，性能提升3-5倍分區(qū)優(yōu)化：支持多種分區(qū)策略（RANGE/HASH/MOD），解決數(shù)據(jù)傾斜導(dǎo)致的流量熱點瓶頸問題，性能提升2-5倍存儲優(yōu)化：自定義存儲方式(ByRow&ByKey)，基于row進行矩陣壓縮存儲，參數(shù)內(nèi)存占用減少90%3

在線機器學(xué)習(xí)-參數(shù)服務(wù)器模型驗證離線訓(xùn)練實時訓(xùn)練模型訓(xùn)練模型部署在線服務(wù)離線驗證在線發(fā)布在線驗證在線一致性/模型穩(wěn)定性/…藍綠部署/灰度發(fā)布AUC/準確率/召回率/…一鍵打包 端口探測版本更新 流量切換全量發(fā)布

…verson1verson2…kubenetes/olsubmit模型庫3

在線機器學(xué)習(xí)-模型服務(wù)部署模型評估模型上線部署前指標評估周期使用驗證樣本進行點擊率預(yù)估待部署模型與線上模型進行指標對比，評估是否滿足上線條件一鍵部署基于K8S的deployment模式，一鍵端口分配與模型服務(wù)部署基于ZK的服務(wù)發(fā)現(xiàn)，一鍵進行流量灰度與發(fā)布性能優(yōu)化通信優(yōu)化：特征請求與模型計算單元化，在線樣本格式壓縮計算優(yōu)化：基于SSE／AVX指令優(yōu)化3

在線機器學(xué)習(xí)-模型服務(wù)部署模型更新頻次效果對比FM：數(shù)據(jù)越新，效果越好相同數(shù)據(jù)規(guī)模，時間越新，效果越好，且時間差距越大，差異越明顯月級規(guī)模數(shù)據(jù)，時間相差一周，效果相差約3+%（隨數(shù)據(jù)規(guī)模增大，差距縮?。?shù)據(jù)規(guī)模越大，效果越好月級數(shù)據(jù)規(guī)模相比周級數(shù)據(jù)模型，效果相差5+%在線和離線模型效果對比在線FM相比于離線FM，相關(guān)指標提升5+%完全在線初始化模型參數(shù)增量在線FM相比于離線FM，相關(guān)指標提升8+%增量在線FM：即依托于離線模型初始化在線FM模型參數(shù)3

在線機器學(xué)習(xí)-效果深度化特征深度化：特征embedding模型深度化：深度學(xué)習(xí)模型，

Wide&Deep；DeepFM4

深度學(xué)習(xí)物料粗排特征向量化召回物料精排向量索引基于Item2vec的

DSSM/FM/FF料向量，采用向量進行召回特征向量化：Item2vec向量索引：FM/FFM/

DSSM模型召回：DIN/DIEN/TDM模型召回融入用戶近期互動行博主召回和微博 M生成博主與物 為的深度模型召回單目標：LR->W&D->FM->DeepFM多目標：點擊FM+互動FM排序損失：DeepFM+Pair-Wise

Rank

Loss互動模型單目標LR、W&D、FM和DeepFM等模型排序多目標 排序損失融合點擊模型和

針對信息流業(yè)務(wù)場景，從點擊損失升級到排序損失，基礎(chǔ)模型為DeepFM，排序損失為BPR召回排序深度學(xué)習(xí)模型訓(xùn)練：WeiLearn樣本庫WeiLearn-深度學(xué)習(xí)模型訓(xùn)練CTR樣本自然語言樣本視頻與圖像樣本樣本處理CTRNLP圖片視頻VGGYoloinceptionresnetGRULSTMWide&Deep DeepFMDeepCross

NetworkBERT配置超參數(shù)資源算法SparkTensorflow4

深度學(xué)習(xí)-深度學(xué)習(xí)模型訓(xùn)練通信優(yōu)化PS：BSP/SSP/ASP多種通信模式支持MPI&RingAllreduce：Horovod，使用

MPI替換grpc，同步通信模式；帶寬優(yōu)化，增加延時；PS&MPI：DistributionStrategy

API，統(tǒng)一分布式語義，解耦分布式架構(gòu)與模型訓(xùn)練框架使用FP16通信，使用FP32做計算，帶寬壓力降低一倍IO優(yōu)化多線程樣本并發(fā)讀取，樣本讀取與計算PIPELINE，實現(xiàn)計算與IO的overlap4

深度學(xué)習(xí)-深度學(xué)習(xí)模型訓(xùn)練分布式模型推理框架：WeiServingRPC服務(wù)框架LR/GBDTDNN/DeepFM/W&D負載均衡/統(tǒng)一版本管理/動態(tài)加載/批量化機制Embedding 特征映射數(shù)據(jù)處理kubernetes/ol-submit異構(gòu)CPU集群 異構(gòu)GPU集群CNN業(yè)務(wù)應(yīng)用模型服務(wù)框架排序模型服務(wù)多媒體分析服務(wù)自然語言分析服務(wù)集群調(diào)度層核心架構(gòu)層算法模型層4

深度學(xué)習(xí)-分布式模型推理推理性能優(yōu)化減少計算量：

operator

fusion/XLA/TVM/prune/float16/quantization加快計算速度：batching/TensorRT/MPS/SSE/AVX/Neonoperator

fusion針對特定場景重寫耗時算子重構(gòu)tensorflow計算引擎batching批量調(diào)度請求到GPU，增大并發(fā)和吞吐量4

深度學(xué)習(xí)-分布式模型推理深度特征效果對比文本Embedding特征，相比于文本標簽，相關(guān)指標提升約3+%基于word2vec、bert等生成embedding向量，提高了語義編碼的準確性，降低了訓(xùn)練成本指標提升主要來源于Embedding特征保留了更多原始信息，避免了標簽帶來的信息損失User/ItemEmbedding協(xié)同召回Item2vec相比于傳統(tǒng)協(xié)同過濾MF等，稀疏樣本下表現(xiàn)極好同時該特征可用于排序部分特征輸入深度模型效果對比DeepFM相比于FM模型，相關(guān)指標提升4+%Wide&Deep相比于LR模型，相關(guān)指標提升5+%效果提升主要來源于Deep部分高階特征組合但同時對模型服務(wù)的性能要求更高4

深度學(xué)習(xí)-效果平臺篇PLATFORM平臺背景、平臺架構(gòu)和平臺效果2平臺背景-平臺化成本效率效果實時機器人力時間開發(fā)運行迭代規(guī)模深度1

平臺背景算法/模型計算數(shù)據(jù)/特征存儲基礎(chǔ)/IDE業(yè)務(wù)調(diào)度集群2

平臺架構(gòu)計算Feed排序推薦流文本分類/檢測Hadoop/Spark集群數(shù)據(jù)倉庫集群高性能GPU集群Hdfs/Odps圖像/視頻分類阿里云計算集群實時計算集群業(yè)務(wù)Storm/FlinkYarn/K8s…………TensorFlow/Caffe ……調(diào)度Docker存儲PS/WeiPS基礎(chǔ)/IDE（WeiIDE）開發(fā)套件控制臺控制中心算法/模型（WeiFlow）模型服務(wù)/推薦引擎模型庫模型訓(xùn)練/評估樣本庫機器學(xué)習(xí)平臺數(shù)據(jù)/特征（WeiData）數(shù)據(jù)/特征服務(wù)數(shù)據(jù)/特征存儲數(shù)據(jù)/特征生成2

平臺架構(gòu)用戶微博Feed流排序曝光/閱讀點擊/互動數(shù)據(jù)樣本正樣本：曝光有互動負樣本：曝光無互動樣本數(shù)據(jù)推薦引擎用戶特征特征數(shù)據(jù)數(shù)據(jù)樣本模型參數(shù)求解：損失函數(shù)誤差最?。禾荻认陆档鹊蠼饽Ｐ陀?xùn)練WeiFlow控制臺實時計算實時統(tǒng)計，……特征計算微博特征女性，19-22歲，北京愛好娛樂，明星，高活躍……9點發(fā)布，帶視頻，北京，奧運，時事新聞，高熱度……批量計算靜態(tài)特征，批量統(tǒng)計，……控制中心WeiIDE數(shù)據(jù)計算模型Y=f(x1,x2……,xn)模型服務(wù)特征服務(wù)微博機器學(xué)習(xí)平臺業(yè)務(wù)引擎灰度系統(tǒng)3

平臺效果成本/效率建設(shè)平臺（業(yè)務(wù)A）業(yè)務(wù)開發(fā)模型開發(fā)特征工程建設(shè)平臺接入平臺接入平臺（業(yè)務(wù)B）業(yè)務(wù)開發(fā)模型開發(fā)特征工程3

平