丨離線評(píng)估常用的推薦系統(tǒng)方法有哪些

在所有推薦系統(tǒng)的評(píng)估方法中，離線評(píng)估是最常用、最基本的。顧名思義，“離”就是模型部署于線上環(huán)境之前，在離線環(huán)境下進(jìn)行的評(píng)估。由于不用部到生因此，在模型上線之前，進(jìn)行大量的離線評(píng)估是驗(yàn)證模型效果最高效的。這節(jié)，我們就來講講離線評(píng)估的主要方法，以及怎么在k平臺(tái)上實(shí)現(xiàn)離線評(píng)估。離線評(píng)估的基本原理是在離線環(huán)境下，將數(shù)據(jù)集分為“訓(xùn)練集”和“測(cè)試集”兩Holdout檢驗(yàn)、交叉檢驗(yàn)、自助法、時(shí)間切割、離線Rey。接下來，我們一一來看Holdout檢驗(yàn)、交叉檢驗(yàn)和自助首先，我們來看Holdout檢驗(yàn)。Holdout檢驗(yàn)是最基礎(chǔ)，最常用的離線評(píng)估方法，它將原始的樣本集合隨機(jī)劃分為訓(xùn)練集和測(cè)試集兩部分，所以Holdout檢驗(yàn)的就是“隨機(jī)”。舉例來說，對(duì)于一個(gè)推薦模型，我們可以把樣本按照70%-30%的比例隨機(jī)分成兩部分。其中，70%的樣本用于模型的訓(xùn)練，30%的樣本用于模型的評(píng)估。雖然Holdout檢驗(yàn)很簡(jiǎn)單實(shí)用，但它的缺點(diǎn)也很明顯，就是評(píng)估的結(jié)果有一定隨機(jī)性，因?yàn)橛?xùn)練集和驗(yàn)證集的劃分是隨機(jī)的，所以如果只進(jìn)行少量的Holdout檢驗(yàn)，得到的評(píng)估指為了進(jìn)行交叉檢驗(yàn)，我們需要先將全部樣本劃分成k個(gè)大小相等的樣本子集，然后依次遍歷這k個(gè)子集，每次把當(dāng)前遍歷到的子集作為驗(yàn)證集，其余所有的子集作為訓(xùn)練集，這樣依次進(jìn)行k次模型的訓(xùn)練和評(píng)估。最后，我們?cè)賹⑺衚次評(píng)估指標(biāo)的平均值作為最終的評(píng)估指標(biāo)。在我們的實(shí)踐中，k經(jīng)常取10，也就是依次進(jìn)行10次檢驗(yàn)然后取指標(biāo)均值。不管是Holdout檢驗(yàn)還是交叉檢驗(yàn)，都是基于劃分訓(xùn)練集和測(cè)試集的方法進(jìn)行模型評(píng)估“自助法”就可以在一定程度上解決這個(gè)問題。我這里所說的自助法（Bootrap）是基于自助采樣的檢驗(yàn)方法，它的主要過程是：對(duì)于總數(shù)為nn放回地隨機(jī)抽樣，得到大小為nn有的樣本沒有被抽出過，我們?cè)賹⑦@些沒有被抽出的樣本作為驗(yàn)證集進(jìn)行模型驗(yàn)證，這就是自助法的驗(yàn)證過程。時(shí)間切說完了前三種方法，我們?cè)賮砜磿r(shí)間切割法。在“ 模型實(shí)戰(zhàn)準(zhǔn)備（二）”那節(jié)課我們?cè)?jīng)講過一個(gè)概念，叫“未來信息”。它是說，如果我們?cè)趖時(shí)刻進(jìn)行模型預(yù)測(cè)，那么t+1時(shí)刻的信息就是未來信息。在構(gòu)建特征工程的時(shí)候，我們要避免引入“未來信其實(shí)，在進(jìn)行模型評(píng)估的時(shí)候，我們同樣不應(yīng)該在訓(xùn)練集中包含“未來”的樣本。怎么理解這句話呢？比如，我們所有的樣本數(shù)據(jù)分布在到t這樣的時(shí)間軸上，如果訓(xùn)練樣本是通過隨機(jī)采樣得到的，那么訓(xùn)練數(shù)據(jù)也會(huì)分布在到t上，同樣，測(cè)試數(shù)據(jù)也會(huì)分布在到如果你細(xì)想，這個(gè)事情其實(shí)是有點(diǎn)反常理的。因?yàn)橛?xùn)練模型的時(shí)候，我們已經(jīng)使tn這個(gè)時(shí)間窗口的數(shù)據(jù)，結(jié)果你卻用它來預(yù)測(cè)t0的，這不是很荒謬嗎？這就相當(dāng)于你有一漲，這哪是預(yù)測(cè)呢？這就是“”為了防止這類信息穿”導(dǎo)致的模型現(xiàn)象發(fā)生，我們一般會(huì)使用時(shí)間切割的方案去劃分訓(xùn)練集和測(cè)試集，它的做法很簡(jiǎn)單。比如，你一共處理了0天的樣本，從第5開始切割，前5天的樣本作為訓(xùn)練集，后51到:1大不夠穩(wěn)定。離線Re5天的數(shù)據(jù)做訓(xùn)練集，用后5模型是日更新的，那后5天的評(píng)測(cè)過程就確，因?yàn)樵陔x線測(cè)試中，我們并沒在后5天的評(píng)測(cè)過程中做到日更模型。動(dòng)”。業(yè)界把這樣離線仿真式的評(píng)估方式叫做離線Re。下圖就是動(dòng)態(tài)的Rey評(píng)估法與靜態(tài)的時(shí)間分割評(píng)估法的對(duì)比示意圖。我們可以“Rey估先產(chǎn)生對(duì)測(cè)本，到晚行排再讓據(jù)樣本時(shí)間的先后進(jìn)行預(yù)測(cè)。在模型更新的時(shí)間點(diǎn)上，模型需要增量學(xué)習(xí)更新時(shí)間點(diǎn)前的測(cè)試樣本，更新模型后，再繼續(xù)評(píng)估更新點(diǎn)之后的樣本。圖1靜態(tài)時(shí)間分割評(píng)估與動(dòng)態(tài)Rey評(píng)估（出自《深度學(xué)習(xí)推薦系統(tǒng)》你應(yīng)該也發(fā)現(xiàn)了，Rey評(píng)估的過程更接近于真實(shí)的線上環(huán)境，因?yàn)樗逻€原了模上的更新、預(yù)估過程。這也讓Rey方法的評(píng)估結(jié)果更威可信，畢竟，我們最終當(dāng)然，Rey評(píng)估方法也有弊端，因?yàn)樗枰谠u(píng)估過程中不斷更新模型，這讓評(píng)估過程Spark熟悉了離線環(huán)節(jié)的主要模型評(píng)估方法，就又到了實(shí)踐的環(huán)節(jié)。其實(shí)，無論是基于Python的TensorFlow還是基于Scala的Spark，都有很多支持離線評(píng)估的庫，這里我們選擇了Spark進(jìn)行實(shí)踐，主要是因?yàn)樵跇I(yè)界數(shù)據(jù)集很大的情況下，Spark在分布式環(huán)境下劃分訓(xùn)下面，我就來看一下如何使用Spark實(shí)現(xiàn)Holdout檢驗(yàn)、交叉檢驗(yàn)和時(shí)間切割評(píng)估法。至于另外兩種方法，由于自助法不太常用，離線Rey又涉及過多的附加模塊，我們暫時(shí)就實(shí)現(xiàn)Holdout的時(shí)候，我們要清楚如何Spark機(jī)劃分測(cè)試集和訓(xùn)練集。它的關(guān)鍵代碼只有下面這一行，就是利用randomSplit函數(shù)把全量樣本samples按比例分割成trainingSamples和testSamples。在Spark的后端，這個(gè)randomSplit函數(shù)會(huì)在各個(gè)com.wzhe.sparrowrecsys.offline.spark.featureeng.FeatureEngForRecModel中的splitAndSaveTrainingTestSamples函數(shù)。代代1valArray(trainingSamples,testSamples)=samples.randomSplit(Array(0.9,實(shí)現(xiàn)交叉檢驗(yàn)的過程相對(duì)比較復(fù)雜，好在，Spark已經(jīng)提供了交叉檢驗(yàn)的接口可以直接使代代123456valcv=new//Use3+invalcvModel=這段代碼中有三個(gè)關(guān)鍵參數(shù)，一是setEstimator，這是我們要評(píng)估的對(duì)象，它需要把我們構(gòu)建的模型pipelne設(shè)置進(jìn)去；二是sor，它用來設(shè)置評(píng)估所用的方法和指標(biāo)；setNFolds，它設(shè)置的是交叉檢驗(yàn)中kk的CrossValdator其實(shí)是通過交叉檢驗(yàn)來選擇模型的最優(yōu)參數(shù)，但也可以通過模型中vgMetrs參數(shù)查看模型的評(píng)估指標(biāo)。接下來，我們來實(shí)現(xiàn)時(shí)間切割方法。既然是要按時(shí)間劃分，如果你知道樣本的時(shí)間跨度，wheSpark的appro ile函數(shù)，我們可以找到劃分樣本集為8:2的訓(xùn)練集和測(cè)試集的時(shí)間戳的值。那么接下來我們根據(jù)這個(gè)值通過where語句劃分就可以了。我把這個(gè)過程的關(guān)com.wzhe.sparrowrecsys.offline.spark.featureeng.FeatureEngForRecModel中的splitAndSaveTrainingTestSamplesByTimeStamp函數(shù)。1234567//找到時(shí)間切割le=ile("timestampLong",Array(0.8),valsplitTimestamp//切割樣本為訓(xùn)練集和測(cè)valtraining=smallSamples.where(col("timestampLong")<=valtest=smallSamples.where(col("timestampLong")>這節(jié)課，我們學(xué)習(xí)了五種主流的推薦模型離線評(píng)估方法，它們分別是Holdout、交叉檢驗(yàn)、自助法、時(shí)間切割和離線Rey。其中，Holdout檢驗(yàn)最簡(jiǎn)單常用，它通過隨機(jī)劃分的方式把樣本集劃分成訓(xùn)練集和測(cè)試集。而交叉檢驗(yàn)的評(píng)估效果更加穩(wěn)定準(zhǔn)確，它通過劃分樣本集為k，再k自助法是為了解決樣本量過少而，它可以通過有放回采樣的方式擴(kuò)充訓(xùn)練集，但有改變數(shù)據(jù)本布的風(fēng)險(xiǎn)。而時(shí)間切割法在某個(gè)時(shí)間點(diǎn)上把樣本分成前后兩份，分別用于模型訓(xùn)練和評(píng)估，避免引入未來信息。最后是離線Re，來進(jìn)行評(píng)估，是最接近線上環(huán)境的離線評(píng)估方法，但實(shí)現(xiàn)起來比較復(fù)雜。你覺得離線Rey這個(gè)方法，跟我們之前講過的增強(qiáng)學(xué)習(xí)有什么相似之處嗎？你知道它期待在留言區(qū)看到你的發(fā)現(xiàn)和思考，我們下 科技所有 不 售賣。頁面已增加防盜追蹤，將依 其上一 23｜實(shí)戰(zhàn)：如何用深度學(xué)習(xí)模型實(shí)現(xiàn)SparrowRecSys的個(gè)性化推薦功能下一 25|評(píng)估指標(biāo)：我們可以用哪些指標(biāo)來衡量模型的好壞言精選留言言展嗎，然后測(cè)試集是驗(yàn)證集后一天的數(shù)據(jù)。就是想問上線之后每天跑是否也需要有“驗(yàn)證1 12 1文中提到自助法在n次采樣之后，將