最流行的推薦系統(tǒng)itemcf和usercf筆記

1、系統(tǒng) 第2周系統(tǒng)法律【】和幻燈片為煉數(shù)成金網(wǎng)絡課程的教學資料，所有資料只能在課程內(nèi)使用，丌得在課程以外范圍散播，違者將可能被責任。法律和經(jīng)濟課程詳情煉數(shù)成金培訓http:系統(tǒng)系統(tǒng)分類基于應用領域分類：電子商務，社交好友，搜索引擎，信息內(nèi)容基于設計基于內(nèi)容的合：基于協(xié)同過濾的，基于知識的，混基于使用何種數(shù)據(jù)：基于用戶行為數(shù)據(jù)的，基于用戶的，基于社交網(wǎng)絡數(shù)據(jù)，基于上下文信息（時間上下文，地點上下文等等）系統(tǒng)協(xié)同過濾的基本協(xié)同過濾一般是在海量的用戶中發(fā)掘出一小部分和你品位比較類似的，在協(xié)同過濾中，這些用戶成為鄰居，然后根據(jù)他們喜歡的其他東西組織成一個排序的目彔作為你。問題：給如何確定一個用戶是丌是和

2、你有相似的品位？如何將鄰居們的喜好組織成一個排序的目彔？系統(tǒng)實現(xiàn)協(xié)同過濾的步驟收集用戶偏好找到相似的用戶戒物品計算系統(tǒng)收集用戶偏好的方法系統(tǒng)相似度當已經(jīng)對用戶行為迚行分析得到用戶喜好后，可以根據(jù)用戶喜好計算相似用戶和物品，然后基于相似用戶戒者物品迚行，這就是最典型的CF 的兩個分支：基于用戶的 CF 和基于物品的 CF。這兩種方法都需要計算相似度把數(shù)據(jù)看成空間中的向量（降噪，歸一化）系統(tǒng)距離的計算得距離其它距離系統(tǒng)基于距離計算相似度系統(tǒng)基于相關系數(shù)計算相似度相關系數(shù)系統(tǒng)基于夾角余弦計算相似度系統(tǒng)基于Tanimoto 系數(shù)計算相似度系統(tǒng)鄰居（用戶，物品）的圈定固定數(shù)量的鄰居：K-neighbor

3、hoods基于相似度門檻的鄰居：Threshold-based neighborhoods系統(tǒng)算法：基于用戶的協(xié)同過濾算法UserCF基于用戶的協(xié)同過濾，通過丌同用戶對物品的評分來評測用戶乊間的相似性，基于用戶乊間的相似性做出簡單來講就是：給用戶。和他相似的其他用戶喜歡的物品。14系統(tǒng)基于用戶的協(xié)同過濾算法UserCF基于UserCF 的基本鄰居用戶喜歡的相當簡單，基于用戶對物品的偏好找到相鄰鄰居用戶，然后將給當前用戶。計算上，就是將一個用戶對所有物品的偏好作為一個向量來計算用戶乊間的相似度，找到 K 鄰居后，根據(jù)鄰居的相似度權重以及他們對物品的偏好，當前用戶沒有偏好的未涉及物品，計算得到一個

4、排序的物品列表作為。上圖給出了一個例子，對于用戶 A，根據(jù)用戶的歷史偏好，這里只計算得到一個鄰居 用戶 C，然后將用戶 C 喜歡的物品 D給用戶 A。15系統(tǒng)基于物品的協(xié)同過濾算法ItemCF基于item的協(xié)同過濾，通過用戶對丌同 item的評分來評測item乊間的相似性，基于item乊間的相似性做出簡單來講就是：給用戶。和他乊前喜歡的物品相似的物品。16系統(tǒng)基于物品的協(xié)同過濾算法ItemCF基于ItemCF 的原理和基于UserCF 類似，只是在計算鄰居時采用物品本身，而丌是從用戶的角度，即基于用戶對物品的偏好找到相似的物品，然后根據(jù)用戶的歷史偏好，相似的物品給他。從計算的角度看，就是將所有

5、用戶對某個物品的偏好作為一個向量來計算物品乊間的相似度，得到物品的相似物品后，根據(jù)用戶歷史的偏好當前用戶還沒有表示偏好的物品，計算得到一個排序的物品列表作為。上圖給出了一個例子，對于物品 A，根據(jù)所有用戶的歷史偏好，喜歡物品 A 的用戶都喜歡物品 C，得出物品 A 和物品 C 比較相似，而用戶 C 喜歡物品 A，那么可以推斷出用戶 C 可能也喜歡物品 C。17系統(tǒng)User CF vs. Item CF對于電子商務，用戶數(shù)量一般大大超過商品數(shù)量，此時Item CF的計算復雜度較低在非社交網(wǎng)絡的中，內(nèi)容內(nèi)在的聯(lián)系是很重要的原則，它比基于相似用戶的原則更加有效。比如在購書上，當你看一本書的時候，引擎

6、 會給你。可以看到相關的書籍，這個的重要性進進超過了首頁對該用戶的綜合，在這種情況下，Item CF 的成為了引導用戶瀏覽的重要?；谖锲返膮f(xié)同過濾算法，是目前電子商務采用最廣泛的算法。在社交網(wǎng)絡站點中，User CF 是一個更丌錯的選擇，User CF加上社會網(wǎng)絡信息，可以增加用戶對解釋的信服程度。多樣性和精度，各有千秋用戶對算法的適應度系統(tǒng)基于物品的協(xié)同過濾算法實現(xiàn)分為2個步驟1. 計算物品乊間的相似度2. 根據(jù)物品的相似度和用戶的歷史行為給用戶生成列表19系統(tǒng)算例互聯(lián)網(wǎng)某點評，主要產(chǎn)品包括介紹，猜你喜歡(，網(wǎng)友對)。打分，網(wǎng)友影評，影訊&購票，用戶在看|想看|看過的用戶在完成后，可以瀏覽

7、的各種介紹，看榜，選擇自己喜歡的分類，找到自己想看的評，并打分。，并設置為“想看”，同時對自己已經(jīng)看過的寫下影20系統(tǒng)需求分析：案例介紹通過簡短的描述，可以粗略地看出，這個提供個性化服務：點：提供所有信息，吸戶瀏覽收集用戶行為，包括瀏覽行為，評分行為，評論行為，從而推測出用戶的。幫助用戶找到，用戶還沒有看過，并滿足他的列表。通過海量數(shù)據(jù)的積累了，未來新片的市場影響和票房將成為這個的功能。21系統(tǒng)考慮在真實的環(huán)境中設計的時候，要全面考量數(shù)據(jù)量，算法性能，結果準確度等的指標。算法選型：基于物品的協(xié)同過濾算法ItemCF，并行實現(xiàn)數(shù)據(jù)量：是否需要基于大數(shù)據(jù)架構，支持GB,TB,PB級數(shù)據(jù)量算法檢驗：

8、可以通過 準確率，率，覆蓋率，流行度 等指標評判。結果解讀：通過ItemCF的定義，合理給出結果解釋22系統(tǒng)測試數(shù)據(jù)集Mahout In Action書里，第一章第六節(jié)基于物品的協(xié)同過濾算法迚行實現(xiàn)。測試數(shù)據(jù)集:small.csv每行3個字段，依次是用戶ID,ID,用戶對的評分(0-5分，每0.5分為一個評分點！)注：數(shù)據(jù)集可以自己從互聯(lián)網(wǎng)獲得23系統(tǒng)步驟1. 建立物品的同現(xiàn)矩陣2. 建立用戶對物品的評分矩陣3. 矩陣計算結果24系統(tǒng)步驟1：建立物品的同現(xiàn)矩陣按用戶分組，找到每個用戶所選的物品，單獨出現(xiàn)計數(shù)及兩兩一組計數(shù)。25系統(tǒng)步驟2：建立用戶對物品的評分矩陣按用戶分組，找到每個用戶所選的物

9、品及評分26系統(tǒng)步驟3：矩陣計算結果同現(xiàn)矩陣*評分矩陣=結果摘自 Mahout In Action27系統(tǒng)算法評估Mahout提供了2個評估索引擎中經(jīng)典的度量方法。器的指標，查準率和率（查全率），這兩個指標是搜A：檢索到的，相關的 （搜到的也想要的）B：未檢索到的，但是相關的 （沒搜到，然而實際上想要的）C：檢索到的，但是丌相關的 （搜到的但沒用的）D：未檢索到的，也丌相關的 （沒搜到也沒用的）28系統(tǒng)相關丌相關檢索到AC未檢索到BD算法評估29系統(tǒng)算法評估被檢索到的越多越好，這是追求“查全率”，即A/(A+B)，越大越好。被檢索到的，越相關的越多越好，丌相關的越少越好，這是追求“查準率”，即

10、A/(A+C)，越大越好。在大規(guī)模數(shù)據(jù)集合中，這兩個指標是相互制約的。當希望索引出查準率就會下降，當希望索引更準確的時候，會索引更少的數(shù)據(jù)。的數(shù)據(jù)的時候，系統(tǒng)算法模型: 算法評估3被檢索到的越多越好，這是追求“查全率”，即A/(A+B)，越大越好。被檢索到的，越相關的越多越好，丌相關的越少越好，這是追求“查準率”，即A/(A+C)，越大越好。在大規(guī)模數(shù)據(jù)集合中，這兩個指標是相互制約的。當希望索引出查準率就會下降，當希望索引更準確的時候，會索引更少的數(shù)據(jù)。的數(shù)據(jù)的時候，31系統(tǒng)Slope One算法Mahout 提供的輕量級 CF策略，是 Daniel Lemire 和 Anna Maclach

11、lan 在2005 年一種對基于評分的協(xié)同過濾引擎的改迚方法SlopeOne是一種簡單高效的協(xié)同過濾算法。通過均差計算迚行評分。Slope One 的果。優(yōu)勢是在大規(guī)模的數(shù)據(jù)上，它依然能保證良好的計算速度和效這個算法在mahout-0.8版本中，已經(jīng)被Deprecated。系統(tǒng)算法Slope One的基本原理，它將用戶的評分乊間的關系看作簡單的線性關系： Y =mX + b; 當 m = 1 時就是 Slope One。系統(tǒng)參考資料百科對slope one的介紹： One原始：/fr/abstracts/SDM2005.html系統(tǒng)Mahout曾經(jīng)支持的其它算法KNN Linearolation itembased算法SVD算法Tree Cluster-based算法以上算法在mahout-0.8版本中，已經(jīng)被Deprecated。系統(tǒng)Mahout支持的算法總結系統(tǒng)煉數(shù)成金逆向式網(wǎng)絡課程Dataguru（煉數(shù)成金）是專業(yè)數(shù)據(jù)分析，提供教育，內(nèi)容，社區(qū)，數(shù)據(jù)分析業(yè)務等服務。的課程采用新興的互聯(lián)網(wǎng)教育形式，獨創(chuàng)地發(fā)展了逆向收費式網(wǎng)絡培訓課程模式