向量的相似度計(jì)算常用方法9個(gè)_第1頁(yè)
向量的相似度計(jì)算常用方法9個(gè)_第2頁(yè)
向量的相似度計(jì)算常用方法9個(gè)_第3頁(yè)
向量的相似度計(jì)算常用方法9個(gè)_第4頁(yè)
向量的相似度計(jì)算常用方法9個(gè)_第5頁(yè)
全文預(yù)覽已結(jié)束

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

向量的相似度計(jì)算常用方法相似度的計(jì)算簡(jiǎn)介 關(guān)于相似度的計(jì)算,現(xiàn)有的幾種基本方法都是基于向量(Vector)的,其實(shí)也就是計(jì)算兩個(gè)向量的距離,距離越近相似度越大。在推薦的場(chǎng)景中,在用戶-物品偏好的二維矩陣中,我們可以將一個(gè)用戶對(duì)所有物品的偏好作為一個(gè)向量來(lái)計(jì)算用戶之間的相似度,或者將所有用戶對(duì)某個(gè)物品的偏好作為一個(gè)向量來(lái)計(jì)算物品之間的相似度。下面我們?cè)敿?xì)介紹幾種常用的相似度計(jì)算方法。共8種。每人選擇一個(gè)。第9題為選做。編寫程序?qū)崿F(xiàn)(這是第一個(gè)小練習(xí),希望大家自己動(dòng)手,java實(shí)現(xiàn))。計(jì)算兩個(gè)向量的相似性:向量1(0.15, 0.45, 0.l68, 0.563, 0.2543, 0.3465, 0.6598, 0.5402, 0.002)向量2(0.81, 0.34, 0.l66, 0.356, 0.283, 0.655, 0.4398, 0.4302, 0.05402)1、皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient)皮爾遜相關(guān)系數(shù)一般用于計(jì)算兩個(gè)定距變量間聯(lián)系的緊密程度,它的取值在 -1,+1 之間。sx, sy是 x 和 y 的樣品標(biāo)準(zhǔn)偏差。類名:PearsonCorrelationSimilarity 原理:用來(lái)反映兩個(gè)變量線性相關(guān)程度的統(tǒng)計(jì)量 范圍:-1,1,絕對(duì)值越大,說(shuō)明相關(guān)性越強(qiáng),負(fù)相關(guān)對(duì)于推薦的意義小。 說(shuō)明:1、 不考慮重疊的數(shù)量;2、 如果只有一項(xiàng)重疊,無(wú)法計(jì)算相似性(計(jì)算過(guò)程被除數(shù)有n-1);3、 如果重疊的值都相等,也無(wú)法計(jì)算相似性(標(biāo)準(zhǔn)差為0,做除數(shù))。 該相似度并不是最好的選擇,也不是最壞的選擇,只是因?yàn)槠淙菀桌斫?,在早期研究中?jīng)常被提起。使用Pearson線性相關(guān)系數(shù)必須假設(shè)數(shù)據(jù)是成對(duì)地從正態(tài)分布中取得的,并且數(shù)據(jù)至少在邏輯范疇內(nèi)必須是等間距的數(shù)據(jù)。Mahout中,為皮爾森相關(guān)計(jì)算提供了一個(gè)擴(kuò)展,通過(guò)增加一個(gè)枚舉類型(Weighting)的參數(shù)來(lái)使得重疊數(shù)也成為計(jì)算相似度的影響因子。2、歐幾里德距離(Euclidean Distance)最初用于計(jì)算歐幾里德空間中兩個(gè)點(diǎn)的距離,假設(shè) x,y 是 n 維空間的兩個(gè)點(diǎn),它們之間的歐幾里德距離是:可以看出,當(dāng) n=2 時(shí),歐幾里德距離就是平面上兩個(gè)點(diǎn)的距離。當(dāng)用歐幾里德距離表示相似度,一般采用以下公式進(jìn)行轉(zhuǎn)換:距離越小,相似度越大。類名:EuclideanDistanceSimilarity 原理:利用歐式距離d定義的相似度s,s=1 / (1+d)。 范圍:0,1,值越大,說(shuō)明d越小,也就是距離越近,則相似度越大。 說(shuō)明:同皮爾森相似度一樣,該相似度也沒(méi)有考慮重疊數(shù)對(duì)結(jié)果的影響,同樣地,Mahout通過(guò)增加一個(gè)枚舉類型(Weighting)的參數(shù)來(lái)使得重疊數(shù)也成為計(jì)算相似度的影響因子。3、Cosine 相似度(Cosine Similarity)Cosine 相似度被廣泛應(yīng)用于計(jì)算文檔數(shù)據(jù)的相似度:類名: UncenteredCosineSimilarity 原理:多維空間兩點(diǎn)與所設(shè)定的點(diǎn)形成夾角的余弦值。 范圍:-1,1,值越大,說(shuō)明夾角越大,兩點(diǎn)相距就越遠(yuǎn),相似度就越小。 說(shuō)明:在數(shù)學(xué)表達(dá)中,如果對(duì)兩個(gè)項(xiàng)的屬性進(jìn)行了數(shù)據(jù)中心化,計(jì)算出來(lái)的余弦相似度和皮爾森相似度是一樣的,在mahout中,實(shí)現(xiàn)了數(shù)據(jù)中心化的過(guò)程,所以皮爾森相似度值也是數(shù)據(jù)中心化后的余弦相似度。另外在新版本中,Mahout提供了UncenteredCosineSimilarity類作為計(jì)算非中心化數(shù)據(jù)的余弦相似度。4、Tanimoto 系數(shù)(Tanimoto Coefficient)Tanimoto 系數(shù)也稱為 Jaccard 系數(shù),是 Cosine 相似度的擴(kuò)展,也多用于計(jì)算文檔數(shù)據(jù)的相似度:類名:TanimotoCoefficientSimilarity 原理:又名廣義Jaccard系數(shù),是對(duì)Jaccard系數(shù)的擴(kuò)展,等式為 范圍:0,1,完全重疊時(shí)為1,無(wú)重疊項(xiàng)時(shí)為0,越接近1說(shuō)明越相似。 說(shuō)明:處理無(wú)打分的偏好數(shù)據(jù)。5、曼哈頓距離類名:CityBlockSimilarity 原理:曼哈頓距離的實(shí)現(xiàn),同歐式距離相似,都是用于多維數(shù)據(jù)空間距離的測(cè)度 范圍:0,1,同歐式距離一致,值越小,說(shuō)明距離值越大,相似度越大。 說(shuō)明:比歐式距離計(jì)算量少,性能相對(duì)高。曼哈頓距離公式:6、馬氏距離7、蘭氏距離公式8、切比雪夫距離公式第9題為選做題。感興趣的就做,不感興趣可以不做。9、Hausdorff distanceThe Hausdorff distance measures the distance between sets of point

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論