個性化推薦的十大挑戰(zhàn)

1、個性化推薦的十大挑戰(zhàn)來源程序員雜志 作者周濤摘要：個性化推薦很多讀者都聽說過，但真正它是什么，可能大多數(shù)人都說不上來或者并不 真正了解，而對于其發(fā)展現(xiàn)狀和前景，大家也沒有一個統(tǒng)一的認(rèn)識。本文很詳盡地介紹了個 性化推薦的；理論概念，并深入分析了其面臨的10大挑戰(zhàn)。個性化推薦經(jīng)常被人誤解為細(xì)分市場和精準(zhǔn)營銷這兩個概念。雖然它們之間有一些聯(lián)系，但 實質(zhì)上卻相差甚遠(yuǎn)。本文不僅清楚地講述了個性化推薦技術(shù)，更列出了其所面臨的十大挑戰(zhàn)。很多人都知道個性化推薦，卻有不少認(rèn)識上的誤區(qū)。有的人認(rèn)為個性化推薦就是細(xì)分市場和 精準(zhǔn)營銷，但實際上細(xì)分市場和精準(zhǔn)營銷往往是把潛在的用戶分成很多群體，這與基于全體 的統(tǒng)計相比

2、固然有了長足的進(jìn)步，但距離為每一個用戶量身定做的信息服務(wù)”還有很大的差 距，只有做個性化才能實現(xiàn)亞馬遜CEO Jeff Bezos的夢想“如果我有100萬個用戶，我就 為他們做100萬個亞馬遜網(wǎng)站”。所以，市場細(xì)分只是初級階段，而個性化推薦則是市場細(xì)分的極致。還有人認(rèn)為個性化推薦 等同于協(xié)同過濾，這可能是因為協(xié)同過濾出現(xiàn)得比較早并且比較容易被大眾理解，但實際上 協(xié)同過濾只不過是眾多個性化推薦技術(shù)中的一個早期成員，遠(yuǎn)不能代表個性化推薦技術(shù)。隨著個性化的商業(yè)應(yīng)用延展到用戶生活信息流的方方面面，個性化推薦技術(shù)也在日新月異不 斷發(fā)展，類似于協(xié)同過濾這樣的早期技術(shù)已經(jīng)不能滿足新環(huán)境下的要求，無法解決新出

3、現(xiàn)的 問題。令人興奮的是，過去十年中，我們見證了無數(shù)頂尖級專家與學(xué)者投身于推薦方法與技 術(shù)的創(chuàng)新中。今天，還些人認(rèn)為個性化推薦技術(shù)的研究已經(jīng)進(jìn)入了很成熟階段，沒有什么特 別激動人心的問題和成果。事實卻恰恰相反，現(xiàn)在個性化推薦技術(shù)面臨很大的挑戰(zhàn)，我們之 前只看到了個性化推薦技術(shù)難題這座冰山所露出的一角。本文將列出個性化推薦技術(shù)所面臨的十個挑戰(zhàn)（僅代表個人觀點(diǎn)），其中有一些是很多年前 就認(rèn)識到但一直沒有得到解決的長期問題。事實上，有些挑戰(zhàn)是不可能完全解決的，只能提 出改良方案，還有一些是在最近研究中提出來的焦點(diǎn)問題。數(shù)據(jù)稀疏性問題現(xiàn)在推薦系統(tǒng)規(guī)模越來越大，用戶和商品（包括音樂、網(wǎng)頁、文獻(xiàn)等物品）數(shù)

4、目動輒百千萬 計，而且用戶之間選擇的重疊非常少。如果以用戶和商品之間已有的選擇關(guān)系占所有可能存 在的選擇關(guān)系的比例來衡量系統(tǒng)的稀疏性，那么我們平時研究最多的MovieLens數(shù)據(jù)集的 稀疏度是 4.5%，Netflix 是 1.2%，Bibsonomy 是 0.35%，Delicious 是 0.046%，這些其實 是非常密的數(shù)據(jù)。想想淘寶上號稱有8億商品，平均而言一個用戶能瀏覽800件嗎？估計不能，因此稀疏度 應(yīng)該在百萬分之一或以下的量級。數(shù)據(jù)非常稀疏，使得絕大部分基于關(guān)聯(lián)分析的算法（如協(xié) 同過濾）效果都不好。本質(zhì)上，這個問題是無法完全克服的。解決這個問題的辦法很多，例 如可以通過擴(kuò)散的算法

5、，從原來的一階關(guān)聯(lián)（兩個用戶有多少相似打分或者共同購買的商品） 到二階甚至更高階的關(guān)聯(lián)（假設(shè)關(guān)聯(lián)性或者說相似性本身是可以傳播的），也可以添加一些 默認(rèn)的打分，從而提高相似性的分辨率。一般而言，數(shù)據(jù)規(guī)模越大就越稀疏?，F(xiàn)在認(rèn)為能夠 處理稀疏數(shù)據(jù)的算法（如擴(kuò)散、迭代尋優(yōu)、轉(zhuǎn)移相似性等）更有價值。冷啟動問題因為新用戶罕有可以利用的行為信息，所以很難給出精確的推薦。反過來，由于新商品被選 擇次數(shù)很少，也難以找到合適的辦法推薦給用戶。一種辦法是利用文本信息進(jìn)行輔助推薦， 或者通過注冊和詢問得知一些用戶的屬性信息，比如年齡、居住城市、受教育程度、性別和 職業(yè)等。最近廣泛應(yīng)用的標(biāo)簽系統(tǒng)提供了解決冷啟動問題的可

6、能方案，因為標(biāo)簽既可以看作是商品內(nèi) 容的萃取，同時也反映了用戶的個性化喜好。以桃姐這部電影為例，有的人打的標(biāo)簽是 “倫理”，有的人打的標(biāo)簽是劉德華”，兩個人看的電影一樣，但興趣點(diǎn)可能不盡相同。當(dāng)然， 利用標(biāo)簽也只能是提高有少量行為的用戶的推薦準(zhǔn)確性，對于純粹的冷啟動用戶，沒有任何 幫助，因為這些人還沒有打過任何標(biāo)簽。有趣的是，最近的研究顯示，新用戶更容易選擇特別流行的商品。無論如何，這都是一個好 消息，說明使用熱銷榜也能獲得不錯的結(jié)果。冷啟動問題還可以通過多維數(shù)據(jù)的交叉推薦部 分解決，其精確度和多樣性又遠(yuǎn)勝于熱銷榜，這一點(diǎn)后面會進(jìn)一步介紹。大數(shù)據(jù)處理與增量計算問題因為數(shù)據(jù)很稀疏，大部分?jǐn)?shù)據(jù)都擁

7、有百千萬計的用戶和商品，所以如何快速高效地處理這些 數(shù)據(jù)成為迫在眉睫的問題。而算法時間和空間上的復(fù)雜性，尤其是前者，得到了空前重視。 一個高效的算法，要么復(fù)雜性很低，要么能夠很好地并行化，要么兩者兼具。局部擴(kuò)散算法 在這兩個方面都具有明顯優(yōu)勢。另一種解決方法是設(shè)計增量算法。也就是說，當(dāng)產(chǎn)生新用戶、新商品和新的連接關(guān)系時，算 法的結(jié)果不需要在整個數(shù)據(jù)集上重新進(jìn)行計算，而只需考慮所增加節(jié)點(diǎn)和連邊局部的信息， 對原有的結(jié)果進(jìn)行微擾，快速得到新結(jié)果。一般而言，隨著加入的信息量的增多，這種算法 的誤差會積累變大，最終每過一段時間還是需要利用全局?jǐn)?shù)據(jù)重新進(jìn)行計算。一個特別困難的挑戰(zhàn)是如何設(shè)計一種能夠保證其

8、誤差不會累積的算法，也就是說其結(jié)果與利 用全部數(shù)據(jù)重新計算的結(jié)果之間的差異不會單調(diào)上升。我們把這種算法叫做自適應(yīng)算法，它 是增量算法的一個加強(qiáng)版本，其設(shè)計要求和難度更高?，F(xiàn)在業(yè)界已經(jīng)在應(yīng)用增量算法。例如，百分點(diǎn)科技推薦引擎中的若干算法都采用了增量技術(shù)， 使得用戶每次瀏覽收藏或者購買商品后其推薦列表立刻得到更新。當(dāng)然，只是該引擎的部分 算法實現(xiàn)了增量技術(shù)，沒有達(dá)到所有算法都能夠自適應(yīng)學(xué)習(xí)的程度，還有很長的路要走。多樣性與精確性的兩難困境如果要給用戶推薦他喜歡的商品，最“保險”的方式就是給他特別流行或者得分特別高的商 品，因為這些商品有更可能被喜歡（至少Bezos會這么想），往壞了說，也很難特別被

9、討 厭。但這種推薦產(chǎn)生的用戶體驗并不一定好，因為用戶很可能已經(jīng)知道這些熱銷或流行的產(chǎn) 品，所以得到的信息量很少，并且用戶不會認(rèn)為這是一種“個性化”推薦。事實上，Mcnee等人已經(jīng)警告大家，盲目崇拜精確性指標(biāo)可能會傷害推薦系統(tǒng)，因為這樣 可能會導(dǎo)致用戶得到一些信息量為0的“精準(zhǔn)推薦”并且視野變得越來越狹窄。讓用戶視野變 得狹窄是協(xié)同過濾算法的一個主要缺陷。與此同時，應(yīng)用個性化推薦技術(shù)的商家，也希望推 薦中有更多的品類出現(xiàn)，從而激發(fā)用戶新的購物需求。遺憾的是，推薦多樣的商品和新穎的商品與推薦的精確性之間存在矛盾，因為前者風(fēng)險很大 推薦一個沒人看過或者打分較低的東西，很可能被用戶憎惡，從而效果更差。

10、很多時候， 這是一個兩難的問題，只能通過犧牲多樣性來提高精確性，或者犧牲精確性來提高多樣性。 一種可行之策是直接對推薦列表進(jìn)行處理，從而提升其多樣性。這種方法固然在應(yīng)用上是有 效的，但沒有任何理論的基礎(chǔ)和優(yōu)美性可言，只能算一種實用的招數(shù)。我們發(fā)現(xiàn)，精巧混合精確性高和多樣性好的兩種算法，可以同時提高算法的多樣性和精確性， 不需要犧牲任何一方。遺憾的是，我們還沒有辦法就這個結(jié)果提供清晰的解讀和深刻的見解。 多樣性和精確性之間錯綜復(fù)雜的關(guān)系和隱匿其后的競爭，到目前為止還是一個很棘手的難 題。推薦系統(tǒng)的脆弱性問題推薦系統(tǒng)在電子商務(wù)領(lǐng)域能帶來重大的經(jīng)濟(jì)利益的驅(qū)動，導(dǎo)致一些心懷不軌的用戶會提供一 些虛假或

11、惡意的行為，故意增加或者壓制某些商品被推薦的可能性。因此，一個算法能否在 一定程度上保持對惡意攻擊的魯棒性，成為需要認(rèn)真考慮的一個特征。以最簡單的關(guān)聯(lián)規(guī)則 挖掘算法為例，Apriori算法的魯棒性就遠(yuǎn)勝于k近鄰算法。已有一些技術(shù)專門用來提高推薦系統(tǒng)面對惡意攻擊的魯棒性。比如，通過分析對比真實用戶 和疑似惡意用戶之間打分行為模式的差異，提前對惡意行為進(jìn)行判斷，從而阻止其進(jìn)入系統(tǒng) 或?qū)阂庥脩舻挠绊懥抵磷畹汀？傮w來說，這方面的研究相對較少，系統(tǒng)性的分析還很缺乏，反而是攻擊策略層出不窮，有 種“道高一尺，魔高一丈”的感覺。Burke等人2011年的研究報告“Robust Collaborative

12、 Recommendation中就分析了 4大種類、8種不同的攻擊策略。用戶行為模式的挖掘和利用深入挖掘用戶的行為模式有望提高推薦的效果或在更復(fù)雜的場景下進(jìn)行推薦。比如，新用戶 和老用戶具有很不一樣的選擇模式：通常，新用戶傾向于選擇熱門商品，而老用戶對小眾商 品關(guān)注更多；新用戶所選擇的商品相似度更高，老用戶所選擇的商品多樣性較高。有些混合算法可以通過一個參數(shù)調(diào)節(jié)推薦結(jié)果的多樣性和熱門程度。在這種情況下，就可以 考慮為不同用戶賦予不同參數(shù)（從算法結(jié)果的個性化到算法本身的個性化），甚至允許用戶 自己移動一個滑鈕調(diào)節(jié)這個參數(shù)一當(dāng)用戶想看熱門產(chǎn)品時，算法提供熱門推薦；當(dāng)用戶想找 點(diǎn)很酷的產(chǎn)品時，算法也

13、可以提供冷門推薦。用戶行為的時空統(tǒng)計特性也可以用于提高推 薦或者設(shè)計針對特定場景的應(yīng)用。用戶的選擇可能同時蘊(yùn)含了長期的興趣和短期的興趣，通過將這兩種效應(yīng)分離出來，可以明 顯提高推薦的精確度。事實上，假設(shè)用戶興趣隨時間按照指數(shù)遞減，也能夠得到改進(jìn)的推薦 效果?，F(xiàn)在用手機(jī)上網(wǎng)已經(jīng)越來越普及，與此同時，嵌入GPS的手機(jī)越來越多，因此，基于位置 的服務(wù)成為一個受到學(xué)術(shù)界和業(yè)界廣泛關(guān)注的問題。基于位置信息的推薦可能會成為個性化 推薦的一個研究熱點(diǎn)和重要的應(yīng)用場景，而解決這個問題需要能夠?qū)τ脩舻囊苿幽Ｊ接猩钊?理解（包括預(yù)測用戶的移動軌跡和判斷用戶在當(dāng)前位置是否有可能進(jìn)行餐飲購物活動等）， 同時還要有定量

14、的辦法定義用戶之間以及地點(diǎn)之間的相似性。另外，不同用戶打分的模式也 很不一樣，用戶針對不同商品的行為模式也不一樣（想象一下在網(wǎng)上下載一首歌和團(tuán)購房 子時的區(qū)別），這些都可以用來提高推薦的效果。推薦系統(tǒng)效果評估推薦系統(tǒng)的概念已經(jīng)提出幾十年了，但怎樣評價推薦系統(tǒng)，仍然是一個很大的問題。常見的 評估指標(biāo)可以分為四大類，分別是準(zhǔn)確度、多樣性、新穎性和覆蓋率。每一類還有不同的指 標(biāo)。比如，準(zhǔn)確度指標(biāo)還可分為四大類，分別是預(yù)測評分準(zhǔn)確度、預(yù)測評分關(guān)聯(lián)、分類準(zhǔn)確 度和排序準(zhǔn)確度。以分類準(zhǔn)確度為例，又包括準(zhǔn)確率、召回率、準(zhǔn)確率提高率、召回率提 高率、F1指標(biāo)和AUC值。朱郁筱和呂琳媛撰寫的推薦系統(tǒng)評價綜述一文

15、幾乎總結(jié)了文獻(xiàn)中曾經(jīng)出現(xiàn)過的所有推薦 系統(tǒng)指標(biāo)，這些指標(biāo)都是基于數(shù)據(jù)本身的指標(biāo)，可以認(rèn)為是第一層次。實際上，在真實應(yīng)用 時，更為重要的是另外兩個層次的評價。第二個層次是商業(yè)應(yīng)用上的關(guān)鍵表現(xiàn)指標(biāo)，如受推 薦影響的轉(zhuǎn)化率、購買率、客單價、購買品類數(shù)等。第三個層次是用戶真實的體驗。絕大部分研究只針對第一個層次的評價指標(biāo)，而業(yè)界真正感興趣的是第二個層次的評價（比 如，到底是哪個指標(biāo)或者哪些指標(biāo)組合的結(jié)果能夠提高用戶購買的客單價），而第三個層次 最難，沒人能知道，只能通過第二層次來估計。因此，如何建立第一層次和第二層次指標(biāo)之 間的關(guān)系，就成為了關(guān)鍵。這一步打通了，理論和應(yīng)用之間的屏障就通一大半了。用戶界

16、面與用戶體驗與其說，這是一個學(xué)術(shù)性質(zhì)的問題，不如說是真實應(yīng)用的問題。十年前就有學(xué)者指出，推薦 結(jié)果的可解釋性，對于用戶體驗有至關(guān)重要的影響一用戶希望知道這個推薦是怎么來的。在 這個意義上，協(xié)同過濾有明顯的優(yōu)勢?；谏唐返膮f(xié)同過濾，亞馬遜在發(fā)送推薦的電子郵件時會告訴用戶之所以向其推薦某書，是 因為用戶以前購買過某些書。相對地，矩陣分解或者集成學(xué)習(xí)算法就很難向用戶解釋推薦結(jié) 果的起源。用戶更喜歡來自朋友的推薦而不是系統(tǒng)的推薦，這一點(diǎn)在后面還會詳細(xì)提到。另外，推薦列表往往含有很多項，這些推薦項最好能夠分成很多類別，不同類別往往來自于 不同的推薦方法。比如，看過還看過（瀏覽過本商品的客戶還瀏覽過的商品

17、）、買過還買過 （購買過本商品的客戶還購買過的商品）、看過最終購買（瀏覽過本商品的客戶最終購買的 商品）、個性化熱銷榜（個性化流行品推薦）和猜你喜歡（個性化冷門商品推薦）等。當(dāng)然，如何更好呈現(xiàn)推薦，是一個很難建立理論模型和進(jìn)行量化的問題。對于不同的被推薦 品而言，用戶界面設(shè)計的準(zhǔn)則也可能大不相同。比如，在首頁、類目頁、具體商品頁、購物 車頁都應(yīng)該分別放置哪些推薦欄？不同的推薦欄放在頁面的什么位置能夠優(yōu)化用戶體驗？ 什么情況下應(yīng)該讓用戶自己選擇推薦的個性化程度？基于用戶行為的實證研究可以回答一 部分問題，同時需要建立一個可以進(jìn)行A/B測試的系統(tǒng)，或可積累重要的實驗數(shù)據(jù)。多維數(shù)據(jù)的交叉利用 目前網(wǎng)

18、絡(luò)科學(xué)研究一個廣受關(guān)注的概念是具有相互作用的網(wǎng)絡(luò)的結(jié)構(gòu)和動力學(xué)。網(wǎng)絡(luò)與網(wǎng)絡(luò) 之間的相互作用大體可以分成三類。第一類是依存關(guān)系。比如，電力網(wǎng)絡(luò)和Internet，如果 發(fā)生了大規(guī)模停電事故，當(dāng)?shù)氐淖灾飨到y(tǒng)和路由器也會受到影響，導(dǎo)致網(wǎng)絡(luò)局部中斷。第二 類是合作關(guān)系，比如人的一次出行，可以看作航空網(wǎng)絡(luò)、鐵路網(wǎng)絡(luò)和公路網(wǎng)絡(luò)的一次合作。 第三類是交疊關(guān)系，主要針對社會網(wǎng)絡(luò)，這也是我們最關(guān)注的。幾乎我們每一個人都參與了不止一個大型的社會網(wǎng)絡(luò)，既有新浪微博的賬號，又是人人網(wǎng)的 注冊用戶，還是手機(jī)用戶，那么你已經(jīng)同時在三個巨大的社會網(wǎng)絡(luò)中了。與此同時，你可能 還經(jīng)常在淘寶、京東、麥包包、1號店、庫巴網(wǎng)等網(wǎng)站上

19、進(jìn)行網(wǎng)購，那么你就成為了一張 巨大的用戶-商品圖中的一員。想象如果能夠把這些網(wǎng)絡(luò)數(shù)據(jù)整合起來，特別是知道每個節(jié)點(diǎn)身份的對應(yīng)關(guān)系（不需要知道 真實身份，只需要知道不同網(wǎng)絡(luò)中存在的一些節(jié)點(diǎn)是同一個人），那么其中定會有特別巨大 的社會經(jīng)濟(jì)價值。舉個例子，你可能已經(jīng)在新浪微博上關(guān)注了很多數(shù)據(jù)挖掘達(dá)人的微博，并 且分享了很多算法學(xué)習(xí)的心得和問題。而當(dāng)你第一次上當(dāng)當(dāng)網(wǎng)購書時，主頁向你推薦數(shù)據(jù)挖 掘的最新專著并附有折扣，你會心動嗎？交疊社會關(guān)系中的數(shù)據(jù)挖掘，或稱多維數(shù)據(jù)挖掘， 是真正解決系統(tǒng)內(nèi)部冷啟動問題的終極法寶一只要用戶在系統(tǒng)外部的其他系統(tǒng)有過活動。單純從個性化商品推薦來講，可以利用用戶在其他電商網(wǎng)站的

20、瀏覽購買歷史來提高在目標(biāo)電 商推薦的精確度一當(dāng)然，每一個電商既是付出者，也是獲利者?？傮w而言，大家能夠通過提 高用戶體驗和點(diǎn)擊深度實現(xiàn)共贏。與此同時，可以利用微博和其他社會網(wǎng)絡(luò)的活動提高商品 推薦的精度，還可以反過來利用商品瀏覽歷史提高微博關(guān)注對象推薦的精度。推薦一個經(jīng)常 購買專業(yè)羽毛球和瀏覽各種專業(yè)羽毛球設(shè)備的用戶關(guān)注羽毛球的專業(yè)選手和業(yè)余教練的成 功率應(yīng)該很高，而且不會陷入“總在一個圈子里面來回推薦”的毛病中。從機(jī)器學(xué)習(xí)的角度， 楊強(qiáng)等人提出的“遷移學(xué)習(xí)”算法有望用來解決這種跨鄰域的推薦。我們分析了百分點(diǎn)科技服務(wù)客戶的真實數(shù)據(jù)，發(fā)現(xiàn)有相當(dāng)比例的用戶都具有交叉購物的習(xí)慣 （在多個獨(dú)立B2C電

21、商有瀏覽和購買行為）。即便只考慮兩個點(diǎn)，例如利用麥包包的瀏覽 購買數(shù)據(jù)為拍鞋網(wǎng)的用戶進(jìn)行個性化推薦（這些用戶是在拍鞋網(wǎng)上沒有任何歷史記錄的新用 戶，但在麥包包上有瀏覽購買行為），就可以明顯提高推薦的準(zhǔn)確度（比完全冷啟動的隨機(jī) 推薦高數(shù)十倍）。而如果利用3家或以上的外部電商的數(shù)據(jù)，其推薦的精確度可以明顯高 于熱銷榜（注意，熱銷榜一點(diǎn)個性化都沒有），特別在團(tuán)購類網(wǎng)站上表現(xiàn)非常好。雖然針對多維數(shù)據(jù)挖掘的研究剛起步，但我們完全可以相信這在學(xué)術(shù)和應(yīng)用上都將是一個焦 點(diǎn)和難點(diǎn)。社會推薦 很早以前，研究人員就發(fā)現(xiàn)，用戶更喜歡來自朋友的推薦而不是被系統(tǒng)算出來的推薦”。社 會影響力被認(rèn)為比歷史行為的相似性更加重要。例如通過社會關(guān)系的分析，可以大幅度提高 從科研文獻(xiàn)到網(wǎng)購商品推薦的精確度。來自朋友的社會推薦有兩方面效果:一是增加銷售（含 下載、閱讀.），二是在銷售后提高用戶的評價。社會推薦的效果也不完全是正面的，譬如Leskovec等人在論文“The Dynamics of Viral Marketing ”中舉了一個反例：朋友推薦對書的銷售增長幾乎沒有幫助，有時會起到負(fù)面作用。在社會推薦方面，國內(nèi)做得最出色的是豆瓣網(wǎng)，其朋友推薦被接受被高度評價的比例非常高。 最近有證據(jù)顯示，朋友推薦也是淘寶商品銷售一個非常重要的驅(qū)動力量。社會推薦方向存在的挑戰(zhàn)主要可以分為三類：一是如何利用社