基于商品品質(zhì)特征的推薦算法

1、基于商品品質(zhì)特征的推薦算法摘要：個性化推薦算法中應(yīng)用最廣泛的是基于內(nèi)容的算法和協(xié)同過濾算法及它們的組合推薦算法。協(xié)同過濾算法面臨稀疏性、新項目問題，基于內(nèi)容的算法不考慮其它用戶的評分。本文提出了特征向量，每個特征帶有一個權(quán)值，用戶和商品都有特征向量文件。利用用戶的評分記錄構(gòu)建用戶的特征向量文件并同時作用于商品的特征向量文件。利于用戶和商品的特征向量文件進行推薦。實驗結(jié)果表明本文提出的算法在推薦準(zhǔn)確度和計算效率方面要優(yōu)于經(jīng)典的算法。關(guān)鍵字：推薦系統(tǒng) 特征向量 組合推薦1. 引言隨著Internet上信息的爆炸式增長，用戶面臨著嚴(yán)峻的信息過載問題123。用戶為了找到想要的信息，需要花很多時間和精力

2、去搜索和選擇。在這種背景下，個性化推薦系統(tǒng)應(yīng)運而生，它可以幫助用戶從信息的海洋中獲取有用的信息和知識。主流的推薦方法基本包括以下幾種：基于內(nèi)容推薦，協(xié)同過濾推薦，基于知識推薦和組合推薦?；趦?nèi)容的推薦源于一般的信息檢索方法，對象使用通過特征提取方法得到的對象內(nèi)容特征來表示，系統(tǒng)基于用戶所評價對象的特征，學(xué)習(xí)用戶的興趣，從而考察用戶資料與待預(yù)測項目相匹配的程度。協(xié)同過濾的基本思想是找到與當(dāng)前用戶相似的其他用戶來計算對象對該用戶的效用值，利用效用值對所有對象進行排序或加權(quán)操作，從而找到最合適的對象?；谥R的推薦利用針對特定領(lǐng)域制定規(guī)則來進行基于規(guī)則和實例的推理。組合推薦則是通過組合幾種不同的推薦

3、方法，用以避免或彌補各自推薦技術(shù)的弱點。在已有研究的基礎(chǔ)上，本文提出了一種新的基于內(nèi)容的推薦算法，該算法在考慮商品特征的基礎(chǔ)上對用戶評分進行統(tǒng)計分析，使推薦的商品更加真實的反映用戶的興趣和商品的品質(zhì)。實驗結(jié)果表明，該算法能有效提高推薦質(zhì)量，具備較好的實時性，產(chǎn)生較好的推薦效果。2. 改進的基于內(nèi)容的推薦算法基于內(nèi)容的過濾(content-based filtering)是基于內(nèi)容抽取項目特征屬性的推薦技術(shù)，項目或?qū)ο笸ㄟ^相關(guān)特征的屬性來定義，系統(tǒng)通過學(xué)習(xí)用戶已評價過的商品的特征來獲得對用戶興趣的描述。像新聞組過濾系統(tǒng)NewsWeeder這樣的文本推薦系統(tǒng)用它們的文本詞匯作為特征。傳統(tǒng)的商品特征

4、從商品中的描述中提取出商品的特征，一旦提取完成，便不再改變。通過這種方法提取出來的商品特征無法反映出該商品在同類商品中的品質(zhì)和口碑，而商品品質(zhì)是用戶關(guān)心的屬性。消費者對商品的品質(zhì)具有投票權(quán)，因此商品的品質(zhì)隱藏在它所得到的評價之中。本文通過在商品配置文件中為每個特征詞增加流行權(quán)值和品質(zhì)權(quán)值的方式來挖掘出這些信息。商品初始特征集評分矩陣用戶興趣愛好商品品質(zhì)特征集產(chǎn)生推薦圖 1 基于品質(zhì)特征的內(nèi)容過濾算法思路3. 用戶興趣模型建立用戶興趣模型是個性化推薦系統(tǒng)關(guān)鍵的部分，用戶興趣模型是否反映了用戶真實的興趣愛好在很大程度上決定了推薦系統(tǒng)的成功?；趦?nèi)容的推薦算法通過用戶對項目的評價來學(xué)習(xí)用戶的興趣，最

5、后依據(jù)用戶興趣與待預(yù)測項目的匹配程度進行推薦。首先對商品分析并生成一個特征集，特征集是一組特征詞的集合，如幻想，小說 ，長篇。問題1 商品原始特征集無法反映兩個具備相同特征集的商品的品質(zhì)優(yōu)劣和重點特征。商品的原始特征集反映了此商品的屬性，但如問題1所示，市場上出售的同類商品很多，消費者必然傾向于購買品質(zhì)更佳的商品。3.1 相關(guān)概念和定義定義1 用戶平均評分：用戶i對所有項目評分的均值稱為用戶i的平均評分定義2 用戶偏差評分：用戶的評分值減去平均評分即為用戶的偏差評分OR定義3 用戶特征評分總和：用戶i對所有包含特征k的項目的偏差評分總和FR定義4 用戶特征權(quán)值：用戶i對所有包含特征k的項目的評

6、分次數(shù)作為權(quán)值FC本文以特征向量空間來表示用戶興趣，基本思想是一個n維特征向量：(<t1,r1,c1>,<t2,w2,c2>,<t3,w3,c3>,.,<tn,wn,cn>)，其每一維由特征詞、評分總和和特征權(quán)值組成。3.2 商品特征品質(zhì)度量公式用戶對商品的評分表明了用戶對該商品的品質(zhì)的態(tài)度。同樣的商品在不同愛好的人群中會得到不同的得分。比如一部動作片在喜歡看動作片的人群中得分較高，而在喜歡看喜劇片的人群中得分可能較低。因此本文結(jié)合用戶的興趣偏好和評分矩陣來生成商品的品質(zhì)特征集。定義5 商品特征品質(zhì)權(quán)值：商品m被所有包含特征k的用戶的正偏差評分總

7、和定義 6商品特征流行權(quán)值：商品m被所有包含特征k的用戶的正偏差評分總和通過引入商品特征品質(zhì)權(quán)值可以解決問題1，即可以找出兩個相同特征的商品中更優(yōu)質(zhì)的商品。3.3 模型的更新本文中對模型的更新主要來自兩個方面：用戶評分和遺忘處理。用戶評分分為顯式評分和隱式評分，顯式評分即用戶主動打分，隱式評分即用戶通過點擊、購買等行為表示感興趣。兩種評分都可以轉(zhuǎn)換為一個評分權(quán)值進行處理。本文中的模型支持增量處理。設(shè)用戶i對商品m的評分權(quán)值為r，k是商品m中的特征，則有：用戶的興趣不是一成不變的，同樣的商品在不同時期也會得到不同的品質(zhì)評價。根據(jù)心理學(xué)的記憶遺忘理論，可以認為用戶興趣的改變就是一種記憶遺忘現(xiàn)象。用

8、戶的評價對個性化推薦的參考價值隨著時間的流逝而降低。設(shè)有一個理想的遞增函數(shù)，則有為了簡單起見，本文引入一個遺忘因子，系統(tǒng)定時對用戶和商品的特征集執(zhí)行一次遺忘操作，使得新的增量值比過期的值更重要。對用戶特征評分總和為例：4. 推薦算法本節(jié)探討如何利用用戶特征集和商品品質(zhì)特征集來生成推薦。個性化推薦的目的是將用戶感興趣，對用戶有用的商品推薦給用戶。因此在推薦過程中，只考慮用戶感興趣的特征。定義 7 用戶特征和商品特征交集：商品m的特征集和用戶i的特征集的交集稱為特征交集。定義 8 用戶商品預(yù)測評分：通過商品m和用戶i的特征交集進行評分預(yù)測其中和分別是用戶特征和商品特征在預(yù)測中所占的權(quán)值。取預(yù)測評分

9、最高的Top-N作為推薦結(jié)果給用戶。5. 實驗實驗采用MovieLens工作組提供的ml數(shù)據(jù)集，它包含由943個用戶對1682個電影的100000個評價記錄，評分值為1-5分。每個用戶至少對20部電影做出評價。整個實驗數(shù)據(jù)進一步劃分為訓(xùn)練集和測試集，80%為訓(xùn)練集，20%為測試集。實驗采用統(tǒng)計精度度量方法中的平均絕度誤差MAE（mean absolute error）來評價系統(tǒng)推薦準(zhǔn)確度。平均絕對誤差通過計算推薦數(shù)據(jù)與真實評價數(shù)據(jù)數(shù)值上的差別來衡量推薦結(jié)果好壞。設(shè)目標(biāo)客戶的預(yù)測評分集合為，真實評分集合為，則絕對平均誤差定義為： N為測試集中目標(biāo)客戶真實評分項數(shù)。MAE越小，推薦精度越高。為了驗

10、證本文提出的算法的有效性，實驗對三種推薦算法進行了推薦準(zhǔn)確度和推薦耗時進行對比。三種推薦算法如下：1)UPCF用戶-項目協(xié)同過濾推薦算法，取最近鄰居數(shù)50；2)UFCF用戶-特征協(xié)同過濾推薦算法，取最近鄰居數(shù)50；3)CBF 基于內(nèi)容的推薦算法；4)FQCF基于品質(zhì)權(quán)值的推薦算法在算法的實現(xiàn)中已經(jīng)對數(shù)據(jù)庫索引做了充分的優(yōu)化，以避免耗時上的誤差。實驗效果比較：圖 2 平均絕對誤差圖 3 預(yù)測2萬次耗時圖 4 訓(xùn)練耗時從圖1可以看出，預(yù)測效果最好的是本文提出的推薦算法，其次是用戶-項目協(xié)同過濾算法。在圖2中，耗時最短的是CBF，這是由于CBF只需要進行很少的計算即可得出結(jié)果，F(xiàn)QCF雖然耗時不是最

11、短，但平均耗時屬于可接受的范圍。而在圖3中，UPCF的耗時最長，因為要對所有的項目和評分進行掃描，UFCF只對用戶的特征進行掃描，因此速度較快，CBF和FQCF的訓(xùn)練時間幾乎可以忽略不計。6. 小結(jié)本文所進行的工作在一定程度上提高了推薦準(zhǔn)確度和實時性。通過構(gòu)建用戶和商品的特征向量，保留了用戶的偏好信息和商品的質(zhì)量信息。實驗表明，本文的方法與UFCF和CBF相比，推薦結(jié)果具有更高的準(zhǔn)確度。參考文獻1 Boucher-Ryan, P. D., & Bridge, D. (2006). Collaborative recommending using formal concept analy

12、sis. Knowledge-based Systems, 19, 309315.2 Cho, Y. H., & Kim, J. K. (2004). Application of Web usage mining and product taxonomy to collaborative recommendations in e-commerce. Expert Systems with Applications, 26, 233246.3 Semeraro, G., Lops, P., & Degemmis, M. (2005). WordNet-based user pr

13、ofiles for neighborhood formation in hybrid recommender systems. In Proceedings of the 5th international conference on hybrid intelligent systems (HIS05) (pp. 291296). IEEE.4 Adomavicius, G., & Tuzhilin, A. (2005). Toward the next generation of recommender systems: A survey of the state-of-the-a

14、rt and possible extensions. IEEE Transaction on Knowledge and Data Engineering, 17(6), 734749.5 Eirinaki, M., & Vazirgiannis, M. (2003). Web mining for web personalization. ACM Transactions on Internet Technology, 3(1), 127.6 Krulwich, B. (1997). Lifestyle Finder: Intelligent user profiling usin

15、g large-scale demographic data. Artificial Intelligence Magazine, 18(2), 3745.7 Lang, K. (1995). NewsWeeder: Learning to filter netnews. In Proceedings of the 12th international conference on machine learning, Tahoe City, CA.8 Resnick, P., Iakovou, N., Sushak, M., Bergstrom, P., & Riedl, J. (199

16、4). GroupLens: An open architecture for collaborative filtering of Netnews. In Proceedings of ACM conference on computer supported cooperative work (pp. 175186). NC: Chapel Hill.9 Shardanand, U., & Maes, P. (1995). Social information filtering: Algorithms for automating Word of Mouth. In Proceed

17、ings of the conference on human factors in computing systems (CHI95), Denver(pp. 210217).10 Boucher-Ryan, P. D., & Bridge, D. (2006). Collaborative recommending using formal concept analysis. Knowledge-based Systems, 19, 309315.11 Balabanovic,M., & Shoham, Y. (1997). Fab: Content-based, coll

18、aborative recommendation. Communications of the ACM, 40(3), 6672.12 Shahabi, C., Banaei-Kashani, F., Chen, Y., & McLeod, D. (2001). Yoda: An accurate and scalable web-based recommendation systems. In Proceedings of the sixth international conference on cooperative information systems (CoopIS 200

19、1), Trento, Italy.13 Sutheera Puntheeranurak and Hidekazu Tsuji: “An Improved Hybrid Recommender System Using Multi-Based Clustering Method”, IEEJ Trans. EIS, Vol. 129, No. 1, pp.125-132 (2009) .14 Shih, Y. Y., & Liu, D. R. (2008). Product recommendation approaches: Collaborative filtering via customer lifetime value and