電子商務個性化推薦系統(tǒng)的研究現(xiàn)狀與展望

1、(2) 基于模型的協(xié)同過濾算法。該方法先用歷史數(shù)據(jù)得到一個模型，模型的建立可以使用各種機器學習的方法如貝葉斯網(wǎng)絡技術、聚類技術、人工神經(jīng)網(wǎng)絡、概率模型等，再用此 .網(wǎng)絡收集而已，如果有版權問題，請您盡快與我聯(lián)系，我將在第一時間內給您做出答復電子商務協(xié)同過濾推薦系統(tǒng)的研究與進展張富國江西財經(jīng)大學信息管理學院 江西南昌 330013redbird_mail摘要：個性化推薦系統(tǒng)的出現(xiàn)提供了一個解決電子商務網(wǎng)站的商品信息過載問題的強大工具，而協(xié)同過濾技術被認為是最有前途的個性化推薦技術之一。文章從協(xié)同過濾技術的基本原理出發(fā)，系統(tǒng)評述了協(xié)同過濾各類常用算法的特點，分析了其中存在的數(shù)據(jù)稀疏性、冷啟動、“托

2、”攻擊和靈活性等問題，最后指出了協(xié)同過濾技術將來的研究方向。關鍵詞：協(xié)同過濾，推薦系統(tǒng)，個性化，信任 1 引言網(wǎng)絡所帶來的便捷的信息傳遞和信息服務推動著電子商務的蓬勃發(fā)展，人們在逐漸享受由此帶來的巨大驚喜的同時，也面臨著從傳統(tǒng)購物方式向網(wǎng)絡虛擬購物方式轉變的挑戰(zhàn)：面對Web商家如此眾多的商品，用戶發(fā)覺自己很難通過一個小小的計算機屏幕方便地發(fā)現(xiàn)自己感興趣的商品。個性化推薦系統(tǒng)的出現(xiàn)為用戶提供了一個解決Web商品信息過載問題的強大工具，承擔了在識別客戶消費偏好的基礎上，模擬商店銷售人員向客戶提供商品信息和建議，幫助客戶完成購買過程，從而使客戶避免信息“超載”所帶來的麻煩，順利完成購買過程的功能1。

3、在實際應用中，許多電子商務網(wǎng)站，如Amazon、eBay和CDNow等網(wǎng)站已經(jīng)充分領略到了推薦系統(tǒng)帶來的好處。基于內容的過濾技術根據(jù)信息的內容和用戶偏好之間的相關性向用戶推薦信息，它的缺點是不能處理難以進行機器自動內容分析的信息，比如，藝術品、電影等，也不能基于一些復雜的、難以表達的概念比如質量、品位等進行過濾推薦。另外，由于它是一種基于經(jīng)驗的方法，只能發(fā)現(xiàn)和用戶已有興趣相似的信息，而不能為用戶發(fā)現(xiàn)新的感興趣的資源2。關于協(xié)同過濾技術的第一個研究報告在1994年出版3，從那以后，對協(xié)同過濾的研究和商業(yè)運用開始出現(xiàn)。鑒于協(xié)同過濾推薦技術克服了基于內容的過濾技術的以上所列缺點，使得對個性化推薦系統(tǒng)

4、的研究有了長足的進步，是到目前為止相對較為成功的一種推薦方法4，已被用于許多站點。被認為是最有前途的推薦技術之一。但協(xié)同過濾推薦技術還有很多問題需要克服，目前也出現(xiàn)了一些新的發(fā)展趨勢，本文主要分析和評述了個性化推薦技術取得的研究成果以及存在的問題，并對基于協(xié)同過濾技術的推薦系統(tǒng)發(fā)展方向進行了展望。2 基本原理分析協(xié)同過濾技術的出發(fā)點是任何人的興趣都不是孤立的，應處于某個群體所關心的興趣當中，如果某些用戶對一些項目的評分比較相似，則他們對其他項目的評分也比較相似。該推薦方法實現(xiàn)的基本思想是采用某種技術找到目標用戶的若干最近鄰居(與目標用戶有相似興趣的用戶)，然后根據(jù)最近鄰居對目標項目的評分產(chǎn)生推

5、薦，把預測評分值最高的多項商品作為該用戶的推薦列表。協(xié)同過濾推薦系統(tǒng)可以通過顯式評分或隱式評分兩種方式取得用戶對項目的興趣程度。顯式評分是指推薦系統(tǒng)需要用戶直接對某些項目進行評分；而隱式評分則是通過用戶的使用日志來獲得，比如說，如果一個用戶購買了某本書，則說明該用戶喜歡該書5。不同的協(xié)同過濾推薦算法的推薦模型均可歸屬于如圖一所示模型，模型分成用戶層和項目層，兩者用用戶對項目的評分聯(lián)系起來。各個算法通過不同程度地利用該兩層模型來預測用戶對項目的評分。如基于鄰居用戶的協(xié)同過濾算法考慮了用戶層中用戶間的相似性，但不考慮項目層的項目相似性，而基于項目的協(xié)同過濾算法則相反。U4U1U3U2U5用戶層 項

6、目層Document NetworkR1 R 2 R3 R 4I1圖1 協(xié)同過濾二層推薦模型3 常用協(xié)同過濾算法經(jīng)過多年的研究積累，出現(xiàn)了多種協(xié)同過濾算法，一般把協(xié)同過濾算法分成兩類：(1) 基于內存的協(xié)同過濾算法。該方法先用統(tǒng)計的方法得到具有相似興趣愛好的鄰居用戶，再基于鄰居進行計算，所以該方法也稱基于用戶的協(xié)同過濾或基于鄰居的協(xié)同過濾。Sarwar等人從協(xié)同過濾的基本思想的兩個方面入手，把基于內存的協(xié)同過濾方法分為基于鄰居用戶（User-based）的協(xié)同過濾算法和基于項目（Item-based）的協(xié)同過濾算法6。(2) 基于模型的協(xié)同過濾算法。該方法先用歷史數(shù)據(jù)得到一個模型，模型的建立可

7、以使用各種機器學習的方法如貝葉斯網(wǎng)絡技術、聚類技術、人工神經(jīng)網(wǎng)絡、概率模型等，再用此模型進行預測。就兩類協(xié)同過濾算法比較而言，基于模型的協(xié)同過濾由于建模過程可以離線完成，克服了基于內存的協(xié)同過濾方法基于整個用戶數(shù)據(jù)庫進行在線實時運算帶來的性能問題，推薦系統(tǒng)的伸縮性較好，適合于大型電子商務推薦系統(tǒng)，但建模過程比較復雜，本身較耗時，所以只能周期性對模型進行更新，導致模型相對于原始用戶數(shù)據(jù)而言具有一定的滯后效應?；谟脩舻膮f(xié)同過濾算法由于在線計算，隨用戶增加而線性增加，所以伸縮性較基于項目的協(xié)同過濾算法差。4研究熱點問題分析4.1 稀疏性問題在許多推薦系統(tǒng)中，每個用戶涉及的信息量相當有限，使得評分矩

8、陣非常稀疏，如用于研究的Eachmovie和Movielens這兩個典型數(shù)據(jù)集的評分矩陣稀疏性分別為97.6%和95.8%，在一些大的系統(tǒng)如www.A網(wǎng)站中，用戶最多不過就評估了上百萬本書的1%-2%，造成評分矩陣數(shù)據(jù)相當稀疏，難以找到真正的相似用戶集，導致推薦效果大大降低7。稀疏問題通常由高維數(shù)據(jù)引起的，在本質上屬于模式識別與人工智能領域的小樣本問題。目前，大多采用機器學習中的分類概念來解決稀疏問題，用初始評價矩陣的奇異值分解(sirgular value decomposition)維度壓縮技術去抽取一些本質的特征，利用評價數(shù)據(jù)陣中的潛在結構可極大地減少維數(shù)，使數(shù)據(jù)變得更為稠密8,9。4.

9、2冷啟動問題冷啟動(cold start)問題分為新項目問題(new item)和新用戶(new user)問題10。(1)新項目問題：一個未獲得足夠評價的新項目不易被推薦出去。新項目問題常出現(xiàn)在不斷增加新項目、但用戶僅對其中一小部分做出評價的情況下。如果一個新項目沒有人去評價它，或都不去評價它，則這個項目肯定得不到推薦，推薦系統(tǒng)就失去了作用，這在協(xié)同推薦技術問題上最為突出。目前，除了使用激勵的方法以外，一般采用組合協(xié)同過濾和基于內容的推薦方法。(2)新用戶問題：協(xié)同過濾推薦系統(tǒng)通過計算目標用戶與其他用戶的相似性來獲得推薦列表，而這種計算主要基于不斷累積的用戶對項目的評分，如果一個新用戶從未對

10、系統(tǒng)中的項目進行評價，則系統(tǒng)無法獲知他的興趣點，也就無法對他進行推薦。目前一般采用新用戶進入系統(tǒng)前，首先輸入個人信息的方法來解決新用戶問題，關鍵是如果需要輸入的信息過多，用戶就會放棄使用推薦系統(tǒng)或不認真輸入信息。4.3“托”攻擊問題近來的研究發(fā)現(xiàn)傳統(tǒng)的協(xié)同過濾推薦系統(tǒng)存在著嚴重的安全問題。從動機上來說，生產(chǎn)商為了使自己生產(chǎn)的商品能夠暢銷，總是希望推薦系統(tǒng)能夠頻繁推薦自己的商品，而減少或不推薦競爭對手的產(chǎn)品。某些不良生產(chǎn)商為了達到這個目的，不是想辦法提高自己產(chǎn)品的質量，而是采取欺騙手法來提高推薦系統(tǒng)推薦自己產(chǎn)品的頻率。而從技術方面來看，推薦系統(tǒng)是個需要用戶參與的開放系統(tǒng)，惡意用戶可以把自己編造的

11、用戶概貌輸入到推薦系統(tǒng)的概貌集中，那么在推薦的時候就很可能把這些編造用戶當作相似用戶，然后把編造用戶的偏好當作目標用戶的偏好1。推薦系統(tǒng)如果不能有效地抵御攻擊，將會逐漸失去用戶的信任，因此，對算法的魯棒性的考察也變得越來越重要。文獻11,12,13,14,15詳細分析了“托”攻擊的成本、分類、模型和對不同推薦算法的影響效果。4.4靈活性問題目前的推薦系統(tǒng)對用戶來說是個黑匣子，用戶既不明白為何產(chǎn)生如此的推薦結果，更不知如何根據(jù)需要來定制自己的推薦。Adomavicius等提出能否推出類似于SQL的推薦查詢語言(Recommendation Query Language)4。5研究方向展望基于信任

12、的協(xié)同過濾推薦對解決傳統(tǒng)的協(xié)同過濾系統(tǒng)中的稀疏性、冷啟動和“托”攻擊問題均有顯著的幫助作用，在近幾年逐漸成為研究的一個熱點。在現(xiàn)實社會中，人們往往是從身邊信任的親友處獲得產(chǎn)品的推薦信息。文獻16的研究也說明了用戶之間的相似性與信任存在著正相關性。最近的研究開始關注于把社會網(wǎng)絡中的信任或信譽機制引入到推薦系統(tǒng)中，作為協(xié)同過濾技術的補充或者替代方法17,18。Massa等提出了基于信任的協(xié)同過濾系統(tǒng)框架19，Papagelisd等用信任推理機制有效改進了協(xié)同過濾的稀疏性20。文獻21基于概貌級信任的不足，提出了主題級的信任模型，基于此模型的推薦算法提高了推薦的準確性。在基于信任的推薦系統(tǒng)研究中，網(wǎng)

13、絡環(huán)境中的信任度的度量、信任與推薦的結合等都將是研究的重點。組合推薦方法把協(xié)同過濾方法與基于內容的推薦技術結合起來，旨在克服各自的局限，產(chǎn)生性能更為優(yōu)秀的推薦技術，該方法多年來一直是研究的一個方向。參考文獻1 余力,劉魯. 電子商務個性化推薦研究J.計算機集成制造系統(tǒng)-CIMS, 2004, (10): 1306-1313.2 孫小華. 協(xié)同過濾系統(tǒng)的稀疏性和冷啟動問題研究D. 浙江大學博士學位論文, 2005.3 P. Resnick, N. Iacovou, M. Sushak, P. Bergstrom, and J. Riedl. GroupLens: An open architec

14、ture for collaborative filtering of netnewsC. Proceedings of ACM Conference on Computer Supported Cooperative Work, New York, USA: ACM Press, 1994. 175-186.4 Adomavicius G.,Tuzhilin A., Toward the next generation of recommender systems: a survey of the state of the art and possible extensionsJ.

15、 Knowledge and Data Engineering, IEEE Transactions, 2005, 17(6): 734 749.5 Oard, D.W. and Marchionini, G. A Conceptual Framework for Text Filtering, Technical Report CARTR-830, Human Computer Interaction Laboratory, University of Maryland at College Park,1996.6 B. Sarwar, G. Karypis, J. Konstan, and

16、 J. Riedl. Item-based collaborative filtering recommendation algorithmsC. Proceeding of the 10th International World Wide Web Conference, New York, USA: ACM Press, 2001. 285 295.7 趙亮,胡乃靜.個性化推薦算法設計J. 計算機研究與發(fā)展，2002,39(8): 986-991.8 Schafer, J. B., Konstan, J., and Riedl, J. Recommender Systems in E-Co

17、mmerce. Proceedings of ACM E-Commerce, 1999.9 B. M. Sarwar, G. Karypis, J. A. Konstan, and J. Riedl. Application of dimensionality reduction in recommender systems-a case study. In ACM WebKDD Web Mining for E-Commerce Workshop, 2000.10 Schein A., Popescnl A., Ungar L., and Pennock D., Methods and me

18、trics for cold-start recommendations, Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval, 2002.11 Chirita P. A., Nejdl W., and Zamfir C., Preventing shilling attacks in online recommender systemsC. Proceedings of ACM International W

19、orkshop on web Information and Data Management, New York, USA: ACM Press, 2005. 67 74.12 Burke R., Mobasher B.,Zabicki R., and Bhaumik R., Identifying attack models for secure recommendationC. In Beyond Personalisation Workshop at the International Conferece on Intelligent User Interfaces, 2005. 347

20、-361.13 Burke R.,Mobasher B.,and Bhaumik R., Limited knowledge shilling attacks in collaborative filtering systemsC. Proceedings of the 3rd IJCAI Workshop in lntelligent Techniques for Personalization, 2005.14 Burke R., Mobasher B., Williams C. and Bbaumik R., Segment-based injection attacks against

21、 collaborative recommender systemsC. Proceedings of the International Conference of Data Mining, 2005. 577-580.15 Burke R., Mobasher B., Williams C., Bhaumik R., Classification features for attack detection in collaborative recommender systemsC. Proceedings of the 12th ACM SIGKDD international confe

22、rence on Knowledge discovery and data mining, New York, USA: ACM Press, 2006. 542 547.16Cai-Nicolas Ziegler, Jennifer Golbeck. Investigating interactions of trust and interest similarity，Decision Support Systems，2007，43(2),460-475.17 P. Massa and B. Bhattacharjee. Using trust in recommender systems: an experimental analysisC. Proceedings of Second International Conference on Trust Management, S