基于協(xié)同過(guò)濾算法的電影系統(tǒng)

1、鑒于共同過(guò)濾算法的電影介紹系統(tǒng)鑒于共同過(guò)濾算法的電影介紹系統(tǒng)鑒于共同過(guò)濾算法的電影介紹系統(tǒng)高級(jí)數(shù)據(jù)發(fā)掘期末大作業(yè)鑒于共同過(guò)濾算法的電影介紹系統(tǒng)本電影介紹系統(tǒng)中運(yùn)用的介紹算法是鑒于共同過(guò)濾算法（CollaborativeFilteringRecommendation）。共同過(guò)濾是在信息過(guò)濾和信息系統(tǒng)中正快速成為一項(xiàng)很受歡迎的技術(shù)。與傳統(tǒng)的鑒于內(nèi)容過(guò)濾直接分析內(nèi)容進(jìn)行介紹不一樣樣，共同過(guò)濾分析用戶興趣，在用戶群中找到指定用戶的相像（興趣）用戶，綜合這些相像用戶對(duì)某一信息的討論，形成系統(tǒng)對(duì)該指定用戶對(duì)此信息的愛(ài)好程度展望。電影介紹系統(tǒng)中引用了ApacheMahout供給的一個(gè)共同過(guò)濾算法的介紹引擎T

2、aste，它實(shí)現(xiàn)了最基本的鑒于用戶和鑒于內(nèi)容的介紹算法，并供給了擴(kuò)展接口，使用戶方便的定義和實(shí)現(xiàn)自己的介紹算法。電影介紹系統(tǒng)是鑒于用戶的介紹系統(tǒng)，即當(dāng)用戶對(duì)某些電影評(píng)分今后，系統(tǒng)依據(jù)用戶對(duì)電影評(píng)分的分值，判斷用戶的興趣，先運(yùn)用UserSimilarity計(jì)算用戶間的相像度.UserNeighborhood依據(jù)用戶相像度找到與該用戶口胃相像的街坊，最后由Recommender供給介紹個(gè)該用戶可能感興趣的電影詳盡信息。將用戶評(píng)過(guò)分的電影信息和介紹給該用戶的電影信息顯示在網(wǎng)頁(yè)結(jié)果頁(yè)中，介紹達(dá)成。一、Taste介紹Taste是ApacheMahout供給的一個(gè)個(gè)性化介紹引擎的高效實(shí)現(xiàn)，該引擎鑒于jav

3、a實(shí)現(xiàn)，可擴(kuò)展性強(qiáng)，同時(shí)在mahout中對(duì)一些介紹算法進(jìn)行了MapReduce編程模式轉(zhuǎn)變，進(jìn)而能夠利用hadoop的散布式架構(gòu)，提升介紹算法的性能。在版本中的Taste，實(shí)現(xiàn)了多種介紹算法，此中有最基本的鑒于用戶的和鑒于內(nèi)容的介紹算法，也有比較高效的SlopeOne算法，以及處于研究階段的鑒于SVD和線性插值的算法，同時(shí)Taste還供給了擴(kuò)展接口，用于定制化開(kāi)發(fā)鑒于內(nèi)容或鑒于模型的個(gè)性化介紹算法。Taste不可是合用于Java應(yīng)用程序，還能夠夠作為內(nèi)部服務(wù)器的一個(gè)組件以HTTP和WebService的形式向外界供給介紹的邏輯。Taste的設(shè)計(jì)使它能知足公司對(duì)介紹引擎在性能、靈巧性和可擴(kuò)展性等

4、方面的要求。以下列圖展現(xiàn)了構(gòu)成Taste的核心組件：從上圖可見(jiàn)，Taste由以下幾個(gè)主要組件構(gòu)成：DataModel：DataModel是用戶愛(ài)好信息的抽象接口，它的詳盡實(shí)現(xiàn)支持從指定種類的數(shù)據(jù)源抽取用戶愛(ài)好信息。在中，Taste供給JDBCDataModel和FileDataModel兩種類的實(shí)現(xiàn)，分別支持從數(shù)據(jù)庫(kù)和文件文件系統(tǒng)中讀取用戶的愛(ài)好信息。關(guān)于數(shù)據(jù)庫(kù)的讀取支持，在Mahout中只供給了對(duì)MySQL和PostgreSQL的支持，假如數(shù)據(jù)儲(chǔ)蓄在其余數(shù)據(jù)庫(kù)，或許是把數(shù)據(jù)導(dǎo)入到這兩個(gè)數(shù)據(jù)庫(kù)中，或許是自行編程實(shí)現(xiàn)相應(yīng)的類。UserSimilarit和ItemSimilarity：前者用于定義

5、兩個(gè)用戶間的相像度，后者用于定義兩個(gè)項(xiàng)目之間的相像度。Mahout支持大多數(shù)駐留的相像度或有關(guān)度計(jì)算方法，針對(duì)不同的數(shù)據(jù)源，需要合理選擇相像度計(jì)算方法。UserNeighborhood：在鑒于用戶的介紹方法中，介紹的內(nèi)容是鑒于找到與目前用戶喜好相像的“街坊用戶”的方式產(chǎn)生的，該組件就是用來(lái)定義與目標(biāo)用戶相鄰的“街坊用戶”。所以，該組件只有在鑒于用戶的介紹算法中才會(huì)被使用。Recommender：Recommender是介紹引擎的抽象接口，Taste中的核心組件。利用該組件就能夠?yàn)橹付ㄓ脩羯身?xiàng)目介紹列表。二、相像性胸懷本章節(jié)將系統(tǒng)頂用到的幾個(gè)相像性胸懷函數(shù)作以介紹，taste中已經(jīng)詳盡實(shí)現(xiàn)了各

6、相似性胸懷類。UserCF和ItemCF都依靠于相像度的計(jì)算，因?yàn)橹挥薪?jīng)過(guò)權(quán)衡用戶之間或物件之間的相像度，才能找到用戶的“街坊”，才能達(dá)成介紹。下邊就對(duì)常用的相像度計(jì)算方法進(jìn)行詳盡的介紹：1.鑒于皮爾森有關(guān)性的相像度Pearsoncorrelation-basedsimilarity皮爾森有關(guān)系數(shù)反響了兩個(gè)變量之間的線性有關(guān)程度，它的取值在-1,1之間。當(dāng)兩個(gè)變量的線性關(guān)系加強(qiáng)時(shí)，有關(guān)系數(shù)趨于1或-1；當(dāng)一個(gè)變量增大，另一個(gè)變量也增大時(shí)，表示它們之間是正有關(guān)的，有關(guān)系數(shù)大于0；假如一個(gè)變量增大，另一個(gè)變量卻減小，表示它們之間是負(fù)有關(guān)的，有關(guān)系數(shù)小于0；假如有關(guān)系數(shù)等于0，表示它們之間不存在線性

7、有關(guān)關(guān)系。用數(shù)學(xué)公式表示，皮爾森有關(guān)系數(shù)等于兩個(gè)變量的協(xié)方差除于兩個(gè)變量的標(biāo)準(zhǔn)差。Pearsoncorrelation-basedsimilarity協(xié)方差（Covariance）：在概率論和統(tǒng)計(jì)學(xué)頂用于權(quán)衡兩個(gè)變量的整體偏差。假如兩個(gè)變量的變化趨于一致，也就是說(shuō)假如此中一個(gè)大于自己的希望值，另一個(gè)也大于自己的希望值，那么兩個(gè)變量之間的協(xié)方差就是正當(dāng)；假如兩個(gè)變量的變化趨向相反，則協(xié)方差為負(fù)值。Covariance此中u表示X的希望E(X),v標(biāo)準(zhǔn)差（StandardDeviation表示Y的希望E(Y)）：標(biāo)準(zhǔn)差是方差的平方根StandardDeviation方差(Variance)：在概率

8、論和統(tǒng)計(jì)學(xué)中，一個(gè)隨機(jī)變量的方差表述的是它的失散程度，也就是該變量與希望值的距離。Variance即方差等于偏差的平方和的希望鑒于皮爾森有關(guān)系數(shù)的相像度有兩個(gè)弊端：沒(méi)有考慮（takeintoaccount）用戶間重疊的評(píng)分項(xiàng)數(shù)目對(duì)相像度的影響；假如兩個(gè)用戶之間只有一個(gè)共同的評(píng)分項(xiàng)，相像度也不可以夠被計(jì)算Table1上表中，行表示用戶（15）對(duì)項(xiàng)目（101103）的一些評(píng)分值。直觀來(lái)看，User1和User5用3個(gè)共同的評(píng)分項(xiàng)，而且給出的評(píng)分走差也不大，按理他們之間的相像度應(yīng)該比User1和User4之間的相像度要高，但是User1和User4有一個(gè)更高的相像度1。相同的場(chǎng)景在現(xiàn)實(shí)生活中也常常發(fā)

9、生，比方兩個(gè)用戶共同觀看了200部電影，固然不必定給出相同或完滿周邊的評(píng)分，他們之間的相像度也應(yīng)當(dāng)比另一位只觀看了2部相同電影的相像度高吧！但事實(shí)其實(shí)不這樣，假如對(duì)這兩部電影，兩個(gè)用戶給出的相像度相同或很周邊，經(jīng)過(guò)皮爾森有關(guān)性計(jì)算出的相像度會(huì)明顯大于觀看了相同的200部電影的用戶之間的相像度。Mahout對(duì)鑒于皮爾森有關(guān)系數(shù)的相像度給出了實(shí)現(xiàn)，它依靠一個(gè)DataModel作為輸入。PearsonCorrelationSimilarity同時(shí)，Mahout還針對(duì)弊端(1)進(jìn)行了優(yōu)化，只需要在構(gòu)造PearsonCorrelationSimilarity時(shí)多傳入一個(gè)參數(shù)，就能使有更多相同評(píng)分項(xiàng)目的用

10、戶之間的相像度更趨近于1或-1。UserSimilaritysimilarity1=newPearsonCorrelationSimilarity(model);doublevalue1=(1,5);UserSimilaritysimilarity2=newPearsonCorrelationSimilarity(model,;doublevalue2=(1,5);結(jié)果：2.鑒于歐幾里德距離的相像度EuclideanDistance-basedSimilarity歐幾里德距離計(jì)算相像度是全部相像度計(jì)算里面最簡(jiǎn)單、最易理解的方法。它以經(jīng)過(guò)人們一致討論的物件為坐標(biāo)軸，此后將參加討論的人繪制到坐標(biāo)系

11、上，并計(jì)算他們相互之間的直線距離。EuclideaDistance2-CoordinateTable2圖頂用戶A和用戶B分別對(duì)項(xiàng)目X、Y進(jìn)行了評(píng)分。用戶A對(duì)項(xiàng)目X的評(píng)分為2，對(duì)項(xiàng)目Y的評(píng)分為4，表示到坐標(biāo)系中為坐標(biāo)點(diǎn)A,4)；相同用戶B對(duì)項(xiàng)目X、Y的評(píng)分表示為坐標(biāo)點(diǎn)B,，所以他們之間的歐幾里德距離（直線距離）為：sqrt(-2+-2)EuclideanDistance計(jì)算出來(lái)的歐幾里德距離是一個(gè)大于0的數(shù)，為了使其更能表現(xiàn)用戶之間的相像度，能夠把它規(guī)約到(0,1之間，詳盡做法為：1/(1+d)。拜見(jiàn)Table2EuclideanDistance-basedSimilarity只需最罕有一個(gè)共同

12、評(píng)分項(xiàng)，就能用歐幾里德距離計(jì)算相像度；假如沒(méi)有共同評(píng)分項(xiàng)，那么歐幾里德距離也就失掉了作用。其實(shí)照舊理理解，假如沒(méi)有共同評(píng)分項(xiàng)，那么意味著這兩個(gè)用戶或物件根本不相像。3.余弦相像度CosineSimilarity余弦相像度用向量空間中兩個(gè)向量夾角的余弦值作為權(quán)衡兩個(gè)個(gè)體間差其余大小。相比距離胸懷，余弦相像度更為重視兩個(gè)向量在方向上的差別，而非距離或長(zhǎng)度上。CosineSimilarity與歐幾里德距離近似，鑒于余弦相像度的計(jì)算方法也是把用戶的愛(ài)好作為n-維坐標(biāo)系中的一個(gè)點(diǎn)，經(jīng)過(guò)連結(jié)這個(gè)點(diǎn)與坐標(biāo)系的原點(diǎn)構(gòu)成一條直線（向量），兩個(gè)用戶之間的相像度值就是兩條直線（向量）間夾角的余弦值。因?yàn)檫B結(jié)代表用戶

13、評(píng)分的點(diǎn)與原點(diǎn)的直線都會(huì)訂交于原點(diǎn)，夾角越小代表兩個(gè)用戶越相像，夾角越大代表兩個(gè)用戶的相像度越小。同時(shí)在三角系數(shù)中，角的余弦值是在-1,1之間的，0度角的余弦值是1，180角的余弦值是-1。借助三維坐標(biāo)系來(lái)看下歐氏距離和余弦相像度的差別：DistanceandCosine3-Coordinates從圖上能夠看出距離胸懷權(quán)衡的是空間各點(diǎn)間的絕對(duì)距離，跟各個(gè)點(diǎn)所在的地點(diǎn)坐標(biāo)（即個(gè)體特點(diǎn)維度的數(shù)值）直接有關(guān)；而余弦相像度權(quán)衡的是空間向量的夾角，更為的是表此刻方向上的差別，而不是地點(diǎn)。假如保持A點(diǎn)的地點(diǎn)不變，B點(diǎn)朝原方向遠(yuǎn)離坐標(biāo)軸原點(diǎn)，那么這個(gè)時(shí)候余弦相像度cos是保持不變的，因?yàn)閵A角不變，而A、B兩

14、點(diǎn)的距離明顯在發(fā)生改變，這就是歐氏距離和余弦相像度的不一樣樣之處。依據(jù)歐氏距離和余弦相像度各自的計(jì)算方式和權(quán)衡特點(diǎn)，分別合用于不一樣樣的數(shù)據(jù)分析模型：歐氏距離能夠表現(xiàn)個(gè)體數(shù)值特點(diǎn)的絕對(duì)差別，所以更多的用于需要從維度的數(shù)值大小中表現(xiàn)差其余分析，如使用用戶行為指標(biāo)分析用戶價(jià)值的相像度或差別；而余弦相像度更多的是從方向上劃分差別，而對(duì)絕對(duì)的數(shù)值不敏感，更多的用于使用用戶對(duì)內(nèi)容評(píng)分來(lái)劃分用戶興趣的相像度和差別，同時(shí)修正了用戶間可能存在的胸懷標(biāo)準(zhǔn)不一致的問(wèn)題（因?yàn)橛嘞蚁嘞穸葘?duì)絕對(duì)數(shù)值不敏感）。Mahout沒(méi)有專門給出鑒于余弦相像度的實(shí)現(xiàn)。調(diào)整余弦相像度AdjustedCosineSimilarity在余

15、弦相像度的介紹中說(shuō)到：余弦相像度更多的是從方向上劃分差別，而對(duì)絕對(duì)的數(shù)值不敏感。所以無(wú)法權(quán)衡每個(gè)維數(shù)值的差別，會(huì)致使這樣一個(gè)狀況：比方用戶對(duì)內(nèi)容評(píng)分，5分制，X和Y兩個(gè)用戶對(duì)兩個(gè)內(nèi)容的評(píng)分分別為(1,2)和(4,5)，使用余弦相像度得出的結(jié)果是，二者極為相像，但從評(píng)分上看X憂如不喜愛(ài)這2個(gè)內(nèi)容，而Y比較喜愛(ài)，余弦相像度對(duì)數(shù)值的不敏感致使了卻果的偏差，需要修正這類不合理性，就出現(xiàn)了調(diào)整余弦相像度，即全部維度上的數(shù)值都減去一個(gè)均值，比方X和Y的評(píng)分均值都是3，那么調(diào)整后為(-2,-1)和(1,2)，再用余弦相像度計(jì)算，獲取，相像度為負(fù)值而且差別不小，但明顯更為符合現(xiàn)實(shí)。5.斯皮爾曼有關(guān)Spearm

16、anCorrelation斯皮爾曼有關(guān)性能夠理解為是擺列后（Rank）用戶愛(ài)好值之間的Pearson有關(guān)度。MahoutinAction中有這樣的解說(shuō)：假定關(guān)于每個(gè)用戶，我們找到他最不喜愛(ài)的物件，重寫他的評(píng)分值為“1”；此后找到下一個(gè)最不喜愛(ài)的物件，重寫評(píng)分值為“2”，以此類推。此后我們對(duì)這些變換后的值求Pearson有關(guān)系數(shù)，這就是Spearman有關(guān)系數(shù)。斯皮爾曼有關(guān)度的計(jì)算舍棄了一些重要信息，即真切的評(píng)分值。但它保存了用戶愛(ài)好值的實(shí)質(zhì)特點(diǎn)排序（ordering），它是成立在排序（或等級(jí)，Rank）的基礎(chǔ)上計(jì)算的?；厥浊懊姹碇蠻ser15對(duì)Item101103的愛(ài)好（評(píng)分）值，經(jīng)過(guò)斯皮爾曼

17、有關(guān)系數(shù)計(jì)算出的相像度為：Table3我們發(fā)現(xiàn)，計(jì)算出來(lái)的相像度值要么是1，要么是-1，因?yàn)檫@依靠于用戶的愛(ài)好值和User1的愛(ài)好值能否趨于“一致變化”仍是呈“相反趨向變化。Mahout對(duì)斯皮爾曼有關(guān)系數(shù)給出了實(shí)現(xiàn)，詳細(xì)可參照SpearmanCorrelationSimilarity，它的履行效率不是特別高，因?yàn)樗蛊柭嘘P(guān)性的計(jì)算需要花時(shí)間計(jì)算并儲(chǔ)蓄愛(ài)好值的一個(gè)排序（Ranks），詳盡時(shí)間取決于數(shù)據(jù)的數(shù)目級(jí)大小。正因?yàn)檫@樣，斯皮爾曼有關(guān)系數(shù)一般用于學(xué)術(shù)研究或許是小規(guī)模的計(jì)算。UserSimilaritysimilarity1=newSpearmanCorrelationSimilarity(

18、model);基于谷本系數(shù)的相像性胸懷TanimotoCoefficient-basedSimilarityTanimotoCoefficient和前面的5中有關(guān)度計(jì)算方式有很大的不一樣樣，它不關(guān)懷用戶對(duì)物件的詳盡評(píng)分值是多少，它在關(guān)懷用戶與物件之間能否存在關(guān)系關(guān)系。TanimotoCoefficient依靠于用戶和物件之間的這類Boolean關(guān)系作為輸入。更正確的說(shuō)法為：TanimotoCoefficient主要用于計(jì)算符號(hào)胸懷或布爾值胸懷的個(gè)體間的相像度，因?yàn)閭€(gè)體的特點(diǎn)屬性都是由符號(hào)胸懷或許布爾值表記，所以無(wú)法權(quán)衡差異詳盡值的大小，只好獲取“能否相同”這個(gè)結(jié)果，所以TanimotoCoef

19、ficient只關(guān)懷個(gè)體間共同擁有的特點(diǎn)能否一致這個(gè)問(wèn)題。TanimotoCoefficient又被叫做JaccardCoefficient，其值等于兩個(gè)用戶共同關(guān)系（不論喜愛(ài)仍是不喜愛(ài)）的物件數(shù)目除于兩個(gè)用戶分別關(guān)系的全部物件數(shù)目。Intersection/Union也就是關(guān)系的交集除于關(guān)系的并集，用公式表示為：Tanimoto/JaccardCoefficient其值介于0,1之間，假如兩個(gè)用戶關(guān)系的物件完滿相同，交集等于并集，值為1；假如沒(méi)有任何關(guān)系，交集為空，值為0。三、電影介紹系統(tǒng)的實(shí)現(xiàn)數(shù)據(jù)下載：到grouplens網(wǎng)站（）上下載DataSets，在該電影系統(tǒng)中我們使用了快要900多

20、用戶為1683的電影評(píng)了近100000行的數(shù)據(jù)集。將下載的里的評(píng)分?jǐn)?shù)據(jù)和電影信息數(shù)據(jù)取出。將評(píng)分文件變換成近似于csv文件格式的文本文件，CSV是逗號(hào)分開(kāi)值文件(CommaSeparatedvalue)，是一種用來(lái)儲(chǔ)蓄數(shù)據(jù)的純文本文件格式,文件名為。能夠用寫字板翻開(kāi)，如圖：圖表示圖此后將數(shù)據(jù)導(dǎo)入到mysql數(shù)據(jù)庫(kù)中，將電影數(shù)據(jù)文件也變換成CSV格式文件，此后也導(dǎo)入數(shù)據(jù)庫(kù)中，Mysql中數(shù)據(jù)庫(kù)為movierecommendation，上述兩個(gè)文件對(duì)應(yīng)的表分別為movies和rating。因?yàn)閠aste引擎需要屢次進(jìn)行數(shù)據(jù)庫(kù)操作，所以能夠?qū)ysql數(shù)據(jù)庫(kù)進(jìn)行一般的調(diào)優(yōu)，在mysql安裝目錄的文件

21、中設(shè)置一些參數(shù)，進(jìn)而加速數(shù)據(jù)庫(kù)操作運(yùn)轉(zhuǎn)的時(shí)間。系統(tǒng)構(gòu)造：本電影介紹系統(tǒng)前臺(tái)導(dǎo)航欄有三個(gè)菜單，分別為首頁(yè)，介紹電影，參數(shù)設(shè)置。首頁(yè)：首頁(yè)上顯示綜合評(píng)分最高的前20部電影，綜合評(píng)分是指關(guān)于一部電影，全部觀看改電影的用戶的評(píng)分的希望值。實(shí)現(xiàn)為在頁(yè)面中調(diào)用數(shù)據(jù)庫(kù)接口，查問(wèn)數(shù)據(jù)庫(kù)，此后將結(jié)果顯示出來(lái)：參數(shù)設(shè)置頁(yè)面：因?yàn)楣餐^(guò)濾算法需要設(shè)置介紹的參數(shù)，在本系統(tǒng)主假如考慮街坊個(gè)數(shù)和相像度胸懷函數(shù)這兩個(gè)參數(shù)：在相像性胸懷下拉列表框中，一共能夠選擇四種相像度胸懷類，分別為：鑒于歐幾里得距離的相像度、鑒于皮爾森有關(guān)性的相像度、鑒于斯皮爾曼有關(guān)的相像度、鑒于古本系數(shù)的相像性胸懷。各有關(guān)性胸懷類的說(shuō)明都在第二章節(jié)中有詳盡介紹。系統(tǒng)使用application對(duì)象保存這些參數(shù)設(shè)置，而且在中設(shè)置了初始化的值，分別