機(jī)器學(xué)習(xí)算法分享-《SVD》省公開課一等獎(jiǎng)全國示范課微課金獎(jiǎng)?wù)n件

SVD特征值奇異值1/35NetflixPrize背景介紹目標(biāo)：懸賞100萬美元，將Netflix推薦算法預(yù)測準(zhǔn)確度提升10%。數(shù)據(jù)結(jié)構(gòu)：用戶ID、電影名稱、日期、分?jǐn)?shù)（1-5之間整數(shù)）訓(xùn)練數(shù)據(jù)：48萬用戶對兩萬部電影上億條評分包含一個(gè)與測試數(shù)據(jù)集分布相同probe數(shù)據(jù)集，包含06年附近140多萬條數(shù)據(jù)點(diǎn)，每個(gè)用戶最少對9部電影進(jìn)行了打分，服從正態(tài)分布。測試數(shù)據(jù)：280萬個(gè)數(shù)據(jù)點(diǎn)（隱藏，參賽選手不能取得，而且參賽選手自己也不能取得自己模型作用在測試數(shù)據(jù)集上最終效果）評測標(biāo)準(zhǔn)：均方誤差根CineMatch精度：0.9512/35數(shù)據(jù)示例13/35數(shù)據(jù)示例2

movie1movie2movie3movie4movie5movie6movie7movie8movie9movie10user11212442231user22211111321user31222341122user42431133114user54112132344user64133234444user71444211124user83142212231user92212344411user104332242123黃色數(shù)據(jù)點(diǎn)代表probe數(shù)據(jù)集，用于參賽選手自己做測試用藍(lán)色數(shù)據(jù)點(diǎn)代表最終測試數(shù)據(jù)，對參賽人來說是隱藏4/35矩陣運(yùn)算（1）5/35矩陣運(yùn)算（2）m×nn×mm×mn×mm×nn×n6/35矩陣運(yùn)算（3）7/35線性空間線性空間：“客觀”存在一個(gè)空間，對加法和數(shù)乘含有封閉性。向量：現(xiàn)有大小又有方向量，同時(shí)沒有起點(diǎn)線性空間基：描述空間內(nèi)向量一組“特殊”向量，空間內(nèi)全部向量都能被一組基線性組合表示。舉例：直線就是一維線性空間，平面就是二維線性空間，三維立體空間就是三維線性空間。8/35線性空間基x=(1,0),y=(0,1),c(5,3)=5x+3y,則c在基x，y下坐標(biāo)為(5,3);a=(1.5,1.5),b=(2,0),c=(5,3)=2a+b,則c基a，b下坐標(biāo)為(2,1);基實(shí)際就是一組人為要求參考物，用來描述空間內(nèi)其它向量9/35線性映射&線性變換空間內(nèi)線性映射稱之為線性變換。10/35線性變換矩陣表示11/35線性變換二維空間上，對(x,y)做變換：對應(yīng)矩陣A12/35求解特征值13/35求解特征向量14/35特征值幾何意義（1）15/35特征值幾何意義（2）16/35特征值幾何意義（3）17/35對角化變換（特征值分解）假如線性變換特征向量能夠組成線性空間一組基，那么有表示線性變換（矩陣）能夠由其特征根和特征向量還原18/35方陣還原矩陣維度相當(dāng)大時(shí)，能夠用對角化改變方法來迫近矩陣：特征向量：矩陣特征特征值：各特征所占權(quán)重19/35思索1特征值分解使用條件有限，僅適合用于方陣，且要求是實(shí)對稱矩陣。試想：假如需要分析矩陣不是方陣（事實(shí)經(jīng)常如此），該怎樣處理呢？20/35SVD介紹SVD：奇異值分解SVD能夠看做是特征值分解一個(gè)推廣，或者說特征值分解能夠看作是SVD一個(gè)特例。當(dāng)矩陣不是方陣時(shí)一樣適用，應(yīng)用很廣。21/35SVD分解(1)非零奇異值，從大到小依次排序左奇異向量右奇異向量22/35SVD分解(2)奇異值從大到小依次排序23/35SVD分解(3)奇異值從大到小依次排序24/35SVD算法解析

能夠看作是矩陣A“平方”，而奇異值又是A“平方”陣特征根開方，所以奇異值能夠看作是矩陣A“偽特征向量”，左奇異向量能夠看作矩陣A“行特征向量”，右奇異向量能夠看作是矩陣A“列特征向量”。奇異值從大到小依次排序25/35SVD矩陣近似（1）奇異值從大到小依次排序26/35SVD矩陣近似（2）27/35SVD應(yīng)用—推薦算法會員電影喜劇恐怖偏好ID宿醉東成西就大話西游八星報(bào)喜午夜兇鈴咒怨林中小屋寂靜嶺喜劇至尊寶44552323.75小小寶55542231流氓兔54452312霹*靂54553212中原不敗45542132恐怖魂飛魄散123253.87555荒村少年31224544憨豆豆21324545怪大叔22315554美味僵尸1321454528/35SVD——矩陣變換44552323.7555542231544523125455321245542132123253.875553122454421324545223155541321454545554132214544521123554553233254554222112223254454323213.875555523113544543.7512225454512611513312190958488115117129113889086881331291511311111141071121211131311218690798890881118612312811912595901149012814212413584861077911912412212288881128812513512213429/35SVD——求奇異值因?yàn)槠娈愔担ㄌ卣鳈?quán)重）下降速度非?？?，表明矩陣信息量集中分布在前幾個(gè)較大特征值中，本例中提取前2個(gè)特征。30/35SVD——右奇異向量解析能夠看作電影本身精彩程度特征能夠看做相關(guān)電影影片類型特征影片類型片名特征1（29.7）特征2（11.4）得分均值喜劇宿醉0.340.393.20東成西就0.330.343.10大話西游0.400.293.70八星報(bào)喜0.330.403.10恐怖午夜兇鈴0.35-0.313.30咒怨0.37-0.373.49林中小屋0.34-0.343.20寂靜嶺0.36-0.373.3831/35SVD——左奇異向量解析能夠看做是會員打分習(xí)慣特征可看做是會員對影片類型偏好特征偏好ID特征1（29.7）特征2（11.4）打分平均值喜劇至尊寶0.340.233.59小小寶0.320.343.38流氓兔0.310.323.25霹*靂0.320.353.38中原不敗0.310.313.25恐怖魂飛魄散0.32-0.333.36荒村少年0.30-0.273.13憨豆豆0.31-0.313.25怪大叔0.32-0.343.38美味僵尸0.30-0.343.1332/35SVD——模型打分（1）··29.711.4宿醉午夜兇鈴東成西就寂靜嶺大話西游八星報(bào)喜各部分得分權(quán)重計(jì)算至尊寶對《寂靜嶺》評分至尊寶0.340.23小小寶0.320.34流氓兔0.310.32霹*靂0.320.35中原不敗0.310.31魂飛魄散0.32-0.33荒村少年0.30-0.27憨豆豆0.31-0.31怪大叔0.32-0.34美味僵尸0.30-0.340.340.330.400.330.350.370.340.360.390.340.290.40-0.31-0.37-0.34-0.37咒怨林中小屋影片相對客觀分?jǐn)?shù)影片類型適應(yīng)度得分得分33/35SVD——模型打分（2）··29.711.4宿醉午夜兇鈴東成西就寂靜嶺大話西游八星報(bào)喜影片相對客觀分?jǐn)?shù)影片類型適應(yīng)度得分得分各部分得分權(quán)重計(jì)算魂飛魄散對《咒怨》評分至尊寶0.340.23小小寶0.320.34流氓兔0.310.32霹*靂0.320.35中原不敗0.310.31魂飛魄散0.32-0.33荒村少年0.30-0.27憨豆豆0.31-0.31怪大叔0.32-0.34美味僵尸0.30-0.340.340.330.400.330.350.370.340.360.390.340.290.40-0.31-0.37-0.34-0.37咒怨林中小屋34/35SVD結(jié)果簡明測評至尊寶觀影歷史顯示其對喜劇類電影評分較高，對恐怖電影普遍評分較低，所以能夠推測他