深度學(xué)習(xí)之word2v1.ppt

深度學(xué)習(xí)之word2vec,學(xué)習(xí)、分享與交流 報(bào)告人：黃宇鵬,目錄,基本概念 模型與方法 實(shí)戰(zhàn)與應(yīng)用,詞向量,自然語言中的詞語在機(jī)器學(xué)習(xí)中表示符號(hào) One-hot Representation 例如： “話筒”表示為 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 . “麥克”表示為 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 . 實(shí)現(xiàn)時(shí)就可以用0,1,2,3,.來表示詞語進(jìn)行計(jì)算，這樣“話筒”就為3，“麥克”為8. 存在兩個(gè)問題 維度比較大,尤其是用于 Deep Learning 的一些算法時(shí) 詞匯鴻溝：任意兩個(gè)詞之間都是孤立的，不能體現(xiàn)詞和詞之間的關(guān)系,詞向量,Distributional Representation 詞表示為： 0.792, 0.177, 0.107, 0.109, 0.542, .，常見維度50或者100 解決“詞匯鴻溝”問題 可以通過計(jì)算向量之間的距離（歐式距離、余弦距離等）來體現(xiàn)詞與詞的相似性 如何訓(xùn)練這樣的詞向量 沒有直接的模型可訓(xùn)練得到 可通過訓(xùn)練語言模型的同時(shí)，得到詞向量,語言模型,判斷一句話是不是正常人說出來的，用數(shù)學(xué)符號(hào)描述為 給定一個(gè)字符串“w1,w2,.,wt“,計(jì)算它是自然語言的概率 ，一個(gè)很簡單的推論是 例如，有個(gè)句子“大家,喜歡,吃,蘋果“ P(大家，喜歡，吃，蘋果)=p(大家)p(喜歡|大家)p(吃|大家,喜歡)p(蘋果|大家,喜歡,吃) 簡單表示為 計(jì)算 問題,語言模型,現(xiàn)有模型 N-gram模型 N-pos模型 . Bengio的NNLM C&W 的 SENNA M&H 的 HLBL Mikolov 的 RNNLM Huang 的語義強(qiáng)化 .,word2vec原理,兩種模型，兩種方法,CBOW模型+Hierarchical Softmax方法,CBOW模型 INPUT:輸入層 PROJECTION:投影層 OUTPUT:輸出層 w(t):當(dāng)前詞語（向量） w(t-2),w(t-1),w(t+1),w(t+2):當(dāng)前詞語的上下文 SUM:上下文的累加和,CBOW模型+Hierarchical Softmax方法（續(xù)）,CBOW模型+Hierarchical Softmax方法（續(xù)）,為什么建哈夫曼樹？,非葉子結(jié)點(diǎn) 為LR分類器,葉子結(jié)點(diǎn)對應(yīng) 詞典中的一個(gè)詞,目標(biāo)：,CBOW模型+Hierarchical Softmax方法（續(xù)）,句子：我,喜歡,觀看,巴西,足球,世界杯 w=足球,CBOW模型+Hierarchical Softmax方法（續(xù)）,正類概率: 負(fù)類概率: “足球“ 葉子節(jié)點(diǎn)經(jīng)過4次二分類，每次分類結(jié)果對應(yīng)的概率為 由Context(“足球“)預(yù)測“足球“出現(xiàn)的概率,CBOW模型+Hierarchical Softmax方法（續(xù)）,對于詞典中的每個(gè)詞w有， 結(jié)點(diǎn)個(gè)數(shù) 其中， 或者表示為 對于由S個(gè)句子組成的語料庫C有 取對數(shù)似然函數(shù),參數(shù)1,參數(shù)2,CBOW模型+Hierarchical Softmax方法（續(xù)）,梯度下降法進(jìn)行求解 令 f(w,j)關(guān)于 和 的梯度分別為 更新公式,word2vec實(shí)戰(zhàn)（一）,訓(xùn)練數(shù)據(jù)集：經(jīng)過分詞后的新聞數(shù)據(jù)，大小184MB 查看“中國“，“釣魚島“，“旅游“，“蘋果“幾個(gè)詞語的相似詞語如下所示,word2vec實(shí)戰(zhàn)（一）,向量加減法 “中國+北京-日本“，“中國+北京-法國“，“家庭+孩子-學(xué)?！?word2vec應(yīng)用（一）,機(jī)器翻譯 語言詞語的關(guān)系集合被表征為向量集合 向量空間內(nèi)，不同語言享有許多共性 實(shí)現(xiàn)一個(gè)向量空間到另一個(gè)向量空間的映射和轉(zhuǎn)換 圖為英語和西班語的五個(gè)詞在向量空間中的位置（已經(jīng)過降維） 對英語和西班語之間的翻譯準(zhǔn)確率高達(dá)90%,word2vec應(yīng)用（三）,給廣告主推薦用戶 T媒體網(wǎng)站用戶瀏覽網(wǎng)頁的記錄 pageH是匹克體育用品公司在T上的官網(wǎng) page2,page3,page5和pageH是比較相似的頁面 可給匹克體育用品公司推薦經(jīng)常瀏覽page2,3,5這個(gè)幾個(gè)頁面的用戶進(jìn)行廣告投放,word2vec應(yīng)用（三）,相似的頁面計(jì)算過程,word2vec應(yīng)用（三）續(xù),對ctr預(yù)估模型的幫助 新廣告上線存在冷啟動(dòng)問題 通過比較相似的廣告的點(diǎn)擊率來預(yù)估這個(gè)廣告的點(diǎn)擊率 由上個(gè)例子可得到每個(gè)頁面的向量，然后通過Kmeans進(jìn)行聚類，得到比較相似頁面的簇？ 向頁面向量添加其它的特征，例如廣告主所屬的行業(yè)和地域等 假設(shè)頁面p1的向量是(0.3,-0.5,0.1），加入行業(yè)和地域信息后為(0.3,-0.5,0.1,1,0)，1和0分別表示行業(yè)和地域的特征值 這樣得到的聚類效果相對更好,參考文獻(xiàn),1 /mytestmy/article/details/26969149 深度學(xué)習(xí)word2vec筆記之算法篇 2 /itplus/article/details/37969979 word2vec 中的數(shù)學(xué)原理詳解（四）基于 Hierarchical Softmax 的模型 3 /question/21661274/answer/19331979 楊超在知乎上的問答Word2Vec的一些理解 4 /?p=156 hisen博客的博文 5 /mytestmy/article/details/38612907 深度學(xué)習(xí)word2vec筆記之應(yīng)用篇 6 /?p=915 Deep Learning實(shí)戰(zhàn)之word2vec，網(wǎng)易有道的pdf 7 /lingerlanlan/article/details/38232755 word2vec源碼解析之word2vec.c 8 Hierarchical probabilistic neural network language model. Frederic Morin and Yoshua Bengio. 9 Distributed Representations of Words and Phrases and their Compositionality T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean. 10 A neural probabilistic language model Y. Bengio, R. Ducharme, P. Vincent. 11 Linguistic Regularities in Continuous Space Word Representations. Tomas Mikolov,Wen-tau Yih,Geoffrey Zweig. 12 Efficient Estimation of Word Representat