2023學(xué)年完整公開課版相似性度量

相似性度量1.理解什么是相似性度量

2.了解相關(guān)算法1.什么是相似性度量

2.相關(guān)算法

3.歐氏距離與余弦相似度相似性度量，即綜合評(píng)定兩個(gè)事物之間相近程度的一種度量。兩個(gè)事物越接近，它們的相似性度量也就越大，而兩個(gè)事物越疏遠(yuǎn)，它們的相似性度量也就越小。相似性度量的給法種類繁多，一般根據(jù)實(shí)際問題進(jìn)行選用。常用的相似性度是有：相關(guān)系數(shù)(衡量變量之間接近程度)，相似系數(shù)(衡量樣品之間接近程度)，若樣品給出的是定性數(shù)據(jù)，這時(shí)衡量樣品之間接近程度，可用樣本的匹配系數(shù)、一致度等。相似性的度量方法很多，有的用于專門領(lǐng)域，也有的適用于特定類型的數(shù)據(jù)，如何選擇相似性的度量方法是一個(gè)相當(dāng)復(fù)雜的問題。用數(shù)量化方法對(duì)事物進(jìn)行分類，就必須用數(shù)量化方法描述事物間的相似程度。一個(gè)事物常常需要用多個(gè)變量來刻畫，如對(duì)一群用p個(gè)變量描述的樣本點(diǎn)進(jìn)行分類，則每個(gè)樣本點(diǎn)可看做是p維空間的一個(gè)點(diǎn)，很自然的想到用距離來度量樣本點(diǎn)間的相似程度。1.什么是相似性度量歐幾里得距離(EuclideanDistance)歐氏距離是最常見的距離度量，衡量的是多維空間中各個(gè)點(diǎn)之間的絕對(duì)距離。公式如下：因?yàn)橛?jì)算是基于各維度特征的絕對(duì)數(shù)值，所以歐氏度量需要保證各維度指標(biāo)在相同的刻度級(jí)別，比如對(duì)身高（cm）和體重（kg）兩個(gè)單位不同的指標(biāo)使用歐式距離可能使結(jié)果失效。歐幾里得距離無法忽略指標(biāo)度量的差異，所以在使用歐氏距離之前需要對(duì)底層指標(biāo)進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化。2.相關(guān)算法向量空間余弦相似度(CosineSimilarity)2.相關(guān)算法皮爾森相關(guān)系數(shù)(PearsonCorrelationCoefficient)2.相關(guān)算法歐氏距離是最常見的距離度量，而余弦相似度則是最常見的相似度度量，很多的距離度量和相似度度量都是基于這兩者的變形和衍生，所以下面重點(diǎn)比較下兩者在衡量個(gè)體差異時(shí)實(shí)現(xiàn)方式和應(yīng)用環(huán)境上的區(qū)別。借助三維坐標(biāo)系來看下歐氏距離和余弦相似度的區(qū)別：從圖上可以看出距離度量衡量的是空間各點(diǎn)間的絕對(duì)距離，跟各個(gè)點(diǎn)所在的位置坐標(biāo)（即個(gè)體特征維度的數(shù)值）直接相關(guān)；而余弦相似度衡量的是空間向量的夾角，更加的是體現(xiàn)在方向上的差異，而不是位置。如果保持A點(diǎn)的位置不變，B點(diǎn)朝原方向遠(yuǎn)離坐標(biāo)軸原點(diǎn)，那么這個(gè)時(shí)候余弦相似度cosθ是保持不變的，因?yàn)閵A角不變，而A、B兩點(diǎn)的距離顯然在發(fā)生改變，這就是歐氏距離和余弦相似度的不同之處。3.歐