基于lfm混合推薦算法

1、作者: 莊程旭清華大學(xué)電子工程系基于鄰域，LDA和FM的混合推薦系統(tǒng)設(shè)計(jì)百度電影推薦問(wèn)題描述訓(xùn)練數(shù)據(jù)：1,262,741測(cè)試數(shù)據(jù)： 314,679電影總數(shù)： 8,369用戶總數(shù)： 143,670標(biāo)簽總數(shù)： 1,129平均關(guān)注數(shù)： 6.91用戶觀看電影記錄： 9,871,737基礎(chǔ)模型模型建立實(shí)證研究比賽之后文獻(xiàn)綜述Factorization machinesBasicModelsRandomForest1. LibFM2. SVD+RBMkNNBasic Features模型建立實(shí)證研究比賽之后文獻(xiàn)綜述模型建立實(shí)證研究比賽之后文獻(xiàn)綜述Basic Features實(shí)證研究比賽之后文獻(xiàn)綜述模型建立

2、Advanced Features基本思路：參考kNN的思想，參考相鄰的人的打分來(lái)得出最后的打分模型建立實(shí)證研究比賽之后文獻(xiàn)綜述初步實(shí)驗(yàn)每一套模型均采用以下4種參數(shù)和程序運(yùn)行方式：LibFM：采用MCMC學(xué)習(xí)，初始值選取參數(shù)0.1，特征維數(shù)20維，迭代100輪SVD+_2：采用SGD學(xué)習(xí)，迭代200輪，特征維數(shù)50維，前100輪步長(zhǎng)0.01，后100輪步長(zhǎng)0.001，參數(shù)懲罰0.0001，用sigmoid化。SVD+_1：采用SGD學(xué)習(xí)，迭代200輪，特征維數(shù)50維，前100輪步長(zhǎng)0.01，后100輪步長(zhǎng)0.001，參數(shù)懲罰0.1。SVD+_3：采用SGD學(xué)習(xí)，迭代400輪，特征維數(shù)50維，前

3、200輪步長(zhǎng)0.01，后200輪步長(zhǎng)0.001，參數(shù)懲罰0.0001，用sigmoid化。模型建立實(shí)證研究比賽之后文獻(xiàn)綜述初步實(shí)驗(yàn)?zāi)Ｐ湍Ｐ蚅ibFMSVD+_1SVD+_2SVD+_3Tag0.61980.63820.6242 0.6435GoodTag0.61860.63900.62620.6451Tag+diff0.62000.63480.62830.6592Sns0.62070.63880.62970.6426Sns+thread0.62080.63890.63250.6527Sns500.62270.63750.62430.6510Snsall0.62340.63750.6259 0.

4、6440Movieall0.61480.63040.61680.6365模型建立實(shí)證研究比賽之后文獻(xiàn)綜述初步分析Tag和sns之間的對(duì)比1. Tag比起sns來(lái)說(shuō)更加密集2. 這是個(gè)很不成熟的Sns系統(tǒng)：3. 一部電影至少1個(gè)tag，大部分電影有10個(gè)tag一部電影平均有12.93個(gè)tag一個(gè)人平均只有6.91個(gè)關(guān)注（并且大部分人關(guān)注一個(gè)從未有打分記錄的官方賬號(hào)）總共143,670個(gè)人，有98733個(gè)人只有3個(gè)或者以下被關(guān)注數(shù)目，有40715個(gè)人根本沒(méi)有人關(guān)注1. user數(shù)據(jù)的分散性模型建立實(shí)證研究比賽之后文獻(xiàn)綜述根據(jù)數(shù)據(jù)分析020000004000000600000080000001000

5、00001200000016011917823729635541447353259165070976882788694510041063112211811240129913580200000040000006000000800000010000000120000001621231842453063674284895506116727337948559169771038109911601221128213432. movie數(shù)據(jù)的集中性含義：相似的人太相似；user的相似對(duì)里有54.2%的相似度超過(guò)0.5，甚至有30.1%的相似度超過(guò)0.7。而movie的相似對(duì)里面只有9.1%的相似度超過(guò)了0.

6、5。而相似的電影能夠很好的擴(kuò)大數(shù)據(jù)量通過(guò)相似的電影，能夠看到更多的潛在的打分用戶本質(zhì)考慮：本質(zhì)考慮：在人和電影的二分圖之間引在人和電影的二分圖之間引入隱層來(lái)增強(qiáng)兩兩之間的聯(lián)系，從入隱層來(lái)增強(qiáng)兩兩之間的聯(lián)系，從而相當(dāng)于擴(kuò)大了訓(xùn)練數(shù)據(jù)量而相當(dāng)于擴(kuò)大了訓(xùn)練數(shù)據(jù)量模型建立實(shí)證研究比賽之后文獻(xiàn)綜述深入分析現(xiàn)象：人的打分記錄的分散。電影打分記錄的集中。“對(duì)稱(chēng)性破缺”啟發(fā)：movie的feature效果更好。因?yàn)閙ovie需要更多的自由度！來(lái)應(yīng)對(duì)更多的user。模型建立實(shí)證研究比賽之后文獻(xiàn)綜述深入分析深入思考：對(duì)于不同數(shù)據(jù)量的電影，給予不同的重視，用較多的feature的數(shù)量來(lái)滿足其適應(yīng)data的需求。對(duì)于

7、較少的數(shù)據(jù)量的電影，用較少的feature來(lái)防止過(guò)擬合。模型建立實(shí)證研究比賽之后文獻(xiàn)綜述修改之前的模型1. 用聚類(lèi)來(lái)使user更集中：1.用LDA的方法來(lái)做user的聚類(lèi)，之后添加最相似的30個(gè)類(lèi)作為user feature。2.直接選取觀看電影數(shù)超過(guò)100的人作為相似分析的全集。3.只選取打過(guò)分的人作為相似分析的全集（只有9873個(gè)人打過(guò)分）2. 將相似電影和其他feature混合：movie + tagmovie + snsallmovie50模型建立實(shí)證研究比賽之后文獻(xiàn)綜述新模型測(cè)試模型模型LibFMSVD+_1SVD+_2SVD+_3Movie+tag0.61380.63090.615

8、90.6390Movie500.61480.63200.61800.6421Movie+snsall0.61460.62790.61890.6526Snsallchange0.62070.63810.62610.6417Snsallthread0.62190.63810.62620.6432Sns_topic0.62250.64030.63090.6373Snsall0.62340.63750.6259 0.6440Movieall0.61480.63040.61680.6365模型建立實(shí)證研究比賽之后文獻(xiàn)綜述在比賽中實(shí)踐比賽中共設(shè)計(jì)了30套以上的模型：Tag+average，user_mov

9、ieSum+average，movie_userSns+actor，movietagallMovie+topic，sns+tag+movie技巧：切分訓(xùn)練數(shù)據(jù)，重新訓(xùn)練模型后混合結(jié)果；對(duì)于訓(xùn)練數(shù)據(jù)，做后抹零處理用最優(yōu)線性混合對(duì)于所有的模型進(jìn)行混合模型建立實(shí)證研究比賽之后文獻(xiàn)綜述深入思考如何利用不成熟的sns信息？長(zhǎng)尾數(shù)據(jù)的利用一直是機(jī)器學(xué)習(xí)的難題。如何良好的聚類(lèi)user信息？這個(gè)主要的思路在于找到很好的相似人。品味相似，而且能夠擴(kuò)充數(shù)據(jù)。模型建立實(shí)證研究比賽之后文獻(xiàn)綜述深入思考更好的尋找“相似”？現(xiàn)在尋找相似的方法忽略了二階相似之間的聯(lián)系。因此可以采用隨機(jī)游走的方法，關(guān)在在于多游走幾次。問(wèn)題在于時(shí)間效率。模型建立實(shí)證研究比賽之后文獻(xiàn)綜述對(duì)于推薦系統(tǒng)實(shí)踐的建議相似人相似電影Tag和標(biāo)簽?zāi)Ｐ徒?shí)證研究比賽之后文獻(xiàn)綜述比賽之后對(duì)于訓(xùn)練集的重新拷問(wèn)為什么和第一名差這么多？數(shù)據(jù)泄露。模型建立實(shí)證研究比賽之后文獻(xiàn)綜述比賽之后對(duì)于訓(xùn)練集的重新拷問(wèn)對(duì)于user history的順序問(wèn)題：亂序？時(shí)間順序！模型建立實(shí)證研究比賽之后文獻(xiàn)綜述比賽之后對(duì)于訓(xùn)練集的重新拷問(wèn)前k打分，后k打分：vali上的rmse為0.6173Movie_t