愛奇藝AI推理平臺演進和實踐

愛奇藝A推理平臺演進和實踐張俊欽愛奇藝深度學(xué)習(xí)平臺研究員背景介紹AIAI總結(jié)與展望背景介紹AI在愛奇藝的應(yīng)用場景AI業(yè)務(wù)的歸類CV/NLP搜索/廣告/推薦愛奇藝ACV/NLP搜索/廣告/推薦愛奇藝AI推理平臺從離線模型訓(xùn)練到模型部署高可用離線離線上線 延遲

在線

彈性擴縮容監(jiān)控告警

穩(wěn)定性愛奇藝深度學(xué)習(xí)平臺總體架構(gòu)ApplicationsApplications…分發(fā)播放標(biāo)注生產(chǎn)創(chuàng)作DataPlatformAlgorithmStoreAIDataPlatformAlgorithmStoreAIasaService數(shù)據(jù)樣本分析訓(xùn)練平臺推理平臺工作流&Orchestration

Mesos KubernetesAIFrameworksTensorFlowAIFrameworksTensorFlowPytorch…InfrastructureInfrastructureCPU/GPU公有云網(wǎng)絡(luò)存儲AI推理平臺架構(gòu)演進I架構(gòu)演進V1自定義鏡像容器化部署支持V1自定義鏡像容器化部署支持IPV2抽象環(huán)境模型獨立版本管理新支持多版本服務(wù)發(fā)現(xiàn)V1自定義推理鏡像將模型封裝到鏡像，推送到DockerRegistyDocker容器化部署綁定VIP，對外提供HTTP服務(wù)模型版本升級通過更新鏡像和重啟容器ImageImageI對外服務(wù)PryV1優(yōu)點可以自定義復(fù)雜的前后處理邏輯可以封裝多個相互關(guān)聯(lián)AI模型的推理缺點推理鏡像環(huán)境依賴和訓(xùn)練環(huán)境難對齊大部分是Python代碼封裝，推理效率比較低V2抽象深度學(xué)習(xí)框架環(huán)境平臺提供各個框架版本的容器鏡像模型文件獨立管理S3模型加載和版本升級S3S3IS3I對外服務(wù)VIPV2Step1： Step2： Step3：上傳模型文件S3

S3創(chuàng)建一個模型A

選擇對應(yīng)的鏡像和實例規(guī)格88CPU20GMEM1GPU2Step4：通過平臺創(chuàng)建Endpont服務(wù)，S3容器中愛奇藝愛奇藝AI推理平臺Step5：容器啟動時S3模型文件，然后加載模型AA對外服務(wù)PS3徑到容器，并逐個重啟V2優(yōu)點推理服務(wù)只依賴于模型文件支持模型優(yōu)化，提高推理效率缺點模型更新時版本不統(tǒng)一TCPV3模型版本動態(tài)熱更新S3模型多版本管理可以同時服務(wù)模型的多個版本，支持回滾服務(wù)發(fā)現(xiàn)支持Consul服務(wù)發(fā)現(xiàn)愛奇藝AI推理平臺愛奇藝AI推理平臺服務(wù)發(fā)現(xiàn)S3V3Model表示某一個AI模型，一個邏輯的模型名稱，并不包括任何模型實體文件ModelVersion表示某個Model的一個具體版本，指向一個具體的模型文件一個Model下可以包含多個模型版本，版本號必須是自增的ServingSetVersion當(dāng)前服務(wù)的模型版本集合，包含一個或多個ModelVesionEndpoint一個推理服務(wù)，包括一個或多個容器實例，每個實例服務(wù)相同的模型版本V3lAl

Step3：

gtnn

模型版本 當(dāng)前期望lAlAnV2… ModelA的V2和VnVn-1VnEndpoEndpointrV2VnrV2Vn

Step5：

Step4：

執(zhí)行升級接口，HTTP請求到每個容器Step1：上傳模型S3

模型版本直接下載模型版本然后加載V3模型版本滾動升級MoModelAlnV1V2…V10V11V12服務(wù)版本Step2：服務(wù)版本

SevingSetv1MMlAMlASevingSetv2MMlAMlA XGBoostFM機器學(xué)習(xí)模型在TensoFlowSeving的基礎(chǔ)上增加了XGBoostFM/iqiyi/xgboost-sevingANN將HNSW算法封裝成TensoFlowOP加入到訓(xùn)練和推理服務(wù)在TensoFlow中訓(xùn)練索引導(dǎo)出模型，部署推理服務(wù)CTRTFEmbedding矩陣拆分出來獨立部署增加遠程EmbeddinglookupOPAI推理平臺落地優(yōu)化實踐指標(biāo)監(jiān)控服務(wù)內(nèi)部的延遲，QPS等監(jiān)控指標(biāo)自動擴縮容根據(jù)監(jiān)控指標(biāo)變化進行動態(tài)擴縮容跨地區(qū)模型下載優(yōu)化其他地區(qū)的推理服務(wù)從北京地區(qū)下載AI模型請求限流讓推理服務(wù)在高負載下仍然可以降級服務(wù)模型熱更新請求毛刺優(yōu)化模型熱更新期間，客戶端請求超時毛刺優(yōu)化使用Brpcbvar增加服務(wù)內(nèi)部的延遲，QPS等監(jiān)控指標(biāo)bvar4支持定時的擴縮容Sch支持定時的擴縮容ScheduedRue對特定指標(biāo)的變化進行動態(tài)擴縮容使指標(biāo)保持在指定范圍（range）內(nèi)Rue對特定指標(biāo)的變化進行動態(tài)擴縮容使指標(biāo)盡可能接近并小于指定目標(biāo)（target）TargetTrackRue對指標(biāo)的變化進行提前預(yù)測，并根據(jù)預(yù)測結(jié)果提前進行擴縮容PredctRueV2VnV2VnS3在中西部地區(qū)的推理服務(wù)需要從北京地區(qū)下載模型當(dāng)實例數(shù)量過多，模型較大時對帶寬壓力比較大，時間過長北京地區(qū)北京地區(qū)中西部地區(qū)EndpointDockerDockerV2模型下載模型上傳Vn增加下載代理，通過智能DNS重定向代理分片多線程下載，本地緩存EndpointDockerV2VnDockerV2VnVn

代理DNS

北京地區(qū)上傳線上業(yè)務(wù)在高峰期出現(xiàn)服務(wù)過載不斷重啟的情況GRPCServerOOMGRPCServerquotaquotapPoPoFoWok從隊列GRPC消息quotaGRPC線程數(shù)量resourcequotaDoWok開始GRPC創(chuàng)建一個新的WokeTheadDoWok開始GRPC新線程模型熱更新會出現(xiàn)短暫的客戶端請求超時現(xiàn)象（稱之為毛刺現(xiàn)象）通過Wrp來預(yù)熱模型使用Joc