用深度學(xué)習(xí)解決自然語言處理中的7大問題 - 光環(huán)大數(shù)據(jù)培訓(xùn)-

1、http:/hadoop.aura-用深度學(xué)習(xí)解決自然語言處理中的7大問題_光環(huán)大數(shù)據(jù)培訓(xùn)本文講的是用深度學(xué)習(xí)解決自然語言處理中的7大問題,文本分類、語言建模、機(jī)器翻譯等,自然語言處理領(lǐng)域正在從統(tǒng)計學(xué)方法轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)方法。在自然語言中,仍然存在許多具有挑戰(zhàn)性的問題。但是,深度學(xué)習(xí)方法在某些特定的語言問題上取得了state-of-the-art的結(jié)果。不僅僅是在一些benchmark 問題上深度學(xué)習(xí)模型取得的表現(xiàn),這是最有趣的;事實上,單個模型可以學(xué)習(xí)單詞的含義和執(zhí)行語言任務(wù),從而避免需要一套專門的、人工的方法。這篇文章將介紹深度學(xué)習(xí)方法正在取得進(jìn)展的7類有趣的自然語言處理任務(wù)。文本分類語言建模

2、語音識別字幕生成機(jī)器翻譯文檔摘要問題回答每個任務(wù)都提供了對問題的描述,一個例子,以及有關(guān)演示方法和結(jié)果的論文的引用。大多數(shù)參考資料來自Goldberg的A Primer on Neural Network Models for Natural Language Processing(/abs/1510.00726。1. 文本分類給定一個文本的例子,預(yù)測一個預(yù)定義的類標(biāo)簽。http:/hadoop.aura-文本分類的目的是對文檔的話題或主題進(jìn)行分類。統(tǒng)計自然語言處理基礎(chǔ)(Foundations of Statistical Natural Language Pr

3、ocessing,1999流行的分類示例是情緒分析,其中類標(biāo)簽表示源文本的情緒基調(diào),例如“積極”或“消極”。以下是另外3個例子:垃圾郵件過濾,將電子郵件文本分類為垃圾郵件。語言識別,對源文本的語言進(jìn)行分類。流派分類,對虛構(gòu)故事的流派進(jìn)行分類。此外,這個問題也可能是一個文本被分為多個類的方式,即所謂的多標(biāo)簽分類。例如,預(yù)測源推文的多個標(biāo)簽。更多閱讀:文本分類-學(xué)術(shù)百科/article/Text_categorization文檔分類-維基百科/wiki/Document_classification下面是有關(guān)文本

4、分類的一些深度學(xué)習(xí)論文:對爛番茄影評的情感分析http:/hadoop.aura-Deep Unordered Composition Rivals Syntactic Methods for Text Classification, 2015. /miyyer/pubs/2015_acl_dan.pdf對amazon產(chǎn)品評論、IMDB電影評論和分類主題新聞文章情緒分析Effective Use of Word Order for Text Categorization with Convolutional Neural Networks, 2015. htt

5、ps://abs/1412.1058對電影評論的情緒分析,將句子歸類為主觀或客觀,對問題類型進(jìn)行分類,對產(chǎn)品評論的情感進(jìn)行分類,等等。Convolutional Neural Networks for Sentence Classification, 2014. /abs/1408.58822. 語言建模語言建模實際上是一個更有趣的自然語言問題的子任務(wù),特別是那些在其他輸入條件下調(diào)節(jié)語言模型的問題。這個問題是根據(jù)前面的單詞預(yù)測下一個單詞。該任務(wù)是語音識別或光學(xué)字符識別(OCR的基礎(chǔ),也用于拼寫校正、手寫識別和統(tǒng)計機(jī)器翻譯。Foundations

6、 of Statistical Natural Language Processing (page 191, by Christopher D. Manning & Hinrich Schtze除了語言建模的學(xué)術(shù)興趣,它是許多深度學(xué)習(xí)自然語言處理架構(gòu)的關(guān)鍵組成部分。語言模型學(xué)習(xí)詞匯之間的概率關(guān)系,生成在統(tǒng)計上與源文本一致的新的詞匯序列。http:/hadoop.aura-單獨來說,語言模型可以用于文本或語音生成;例如:生成新的文章標(biāo)題生成新的句子、段落或文檔生成一個句子的后續(xù)句子有關(guān)語言建模的更多內(nèi)容,參閱:語言建模-維基百科/wiki/Langu

7、age_model循環(huán)神經(jīng)網(wǎng)絡(luò)的不合理有效性(The Unreasonable Effectiveness of Recurrent Neural Networks2015基于生成模型的文本到語音合成 e 10 Text to Speech.pdf下面是一個關(guān)于語言建模深度學(xué)習(xí)例子:英語文本、書籍和新聞文章的語言模型一種神經(jīng)概率語言模型(A Neural Probabilistic Language Model /papers/v3/bengio03a.html3.語音識別語音識別是指理解所說的問題。語音識別的任務(wù)是將一個包含自然語言話語的聲音信號映射到說話者預(yù)期的相應(yīng)

8、序列。深度學(xué)習(xí)(page 458http:/hadoop.aura-給定話語的音頻數(shù)據(jù),語音識別模型需要生成人類可讀的文本?？紤]到這個過程的自動性質(zhì),這個問題也可以被稱為自動語音識別(ASR。使用語言模型來創(chuàng)建文本輸出,該輸出基于音頻數(shù)據(jù)。一些例子包括:轉(zhuǎn)錄講話為電影或電視節(jié)目制作文字說明開車時用語音發(fā)出指令有關(guān)語音識別的更多信息,請參閱:語音識別-維基百科/wiki/Speech_recognition下面是三個用于語音識別的深度學(xué)習(xí)方法的例子:英語語音轉(zhuǎn)文本Connectionist Temporal Classification: Label

9、ling Unsegmented Sequence Data with Recurrent Neural Networks,2006/graves/icml_2006.pdfSpeech Recognition with Deep Recurrent Neural Networks, 2013./abs/1303.5778Exploring convolutional neural network structures and optimization techniques for speech recognition, 20

10、14. nvolutional-neural-network-structures-and-optimization-techniques-for -speech-recognition/http:/hadoop.aura-4. 字幕生成字幕生成是有關(guān)描述圖像內(nèi)容的問題。給定例如照片等數(shù)字圖像,生成圖像內(nèi)容的文本描述。語言模型用于創(chuàng)建以圖像為條件的描述。一些例子包括:描述場景內(nèi)容創(chuàng)建照片標(biāo)題描述視頻這不僅僅是為聽力障礙者的應(yīng)用,而且還可以生成可用于搜索圖像和視頻的具有可讀性的文本,例如在網(wǎng)絡(luò)上。以下是3個字幕生成深入學(xué)習(xí)方法的例子:生成照片標(biāo)題Show, Attend and Tell: Ne

11、ural Image Caption Generation with Visual Attention, 2016./abs/1502.03044Show and tell: A neural image caption generator, 2015./abs/1411.4555生成視頻字幕Sequence to Sequence Video to Text, 2015./abs/1505.004875. 機(jī)器翻譯http:/hadoop.aura-機(jī)器翻譯是將一種語言的源文本轉(zhuǎn)換為另一種語言的問

12、題。機(jī)器翻譯,將文本或語音從一種語言自動翻譯成另一種語言,是NLP最重要的應(yīng)用之一。統(tǒng)計自然語言處理基礎(chǔ),463頁,1999?？紤]到神經(jīng)網(wǎng)絡(luò)的使用,這一領(lǐng)域也被稱為神經(jīng)機(jī)器翻譯。在機(jī)器翻譯任務(wù)中,輸入已經(jīng)由某種語言的符號序列組成,并且計算機(jī)程序必須將其轉(zhuǎn)換成其他語言的符號序列。這通常適用于自然語言,例如從英語翻譯成法語。深度學(xué)習(xí)最近開始在這類任務(wù)上有重要影響。深度學(xué)習(xí),98頁,2016語言模型用于以另一種語言輸出目標(biāo)文本,以源文本為條件。一些例子包括:將文本文件從法語翻譯成英語將西班牙語音頻轉(zhuǎn)換為德語文本將英語文本翻譯成意大利語音頻有關(guān)神經(jīng)機(jī)器翻譯的更多信息,參閱:神經(jīng)機(jī)器翻譯-維基百科htt

13、ps://wiki/Neural_machine_translation以下是機(jī)器翻譯深度學(xué)習(xí)方法的3個例子:將英語翻譯成法語http:/hadoop.aura-Sequence to Sequence Learning with Neural Networks, 2014./abs/1409.3215Neural Machine Translation by Jointly Learning to Align and Translate, 2014./abs/1409.0473Joint Lang

14、uage and Translation Modeling with Recurrent Neural Networks, 2013. ge-and-translation-modeling-with-recurrent-neural-networks/6. 文檔摘要文檔摘要是創(chuàng)建文本文檔的簡短描述的任務(wù)。即,使用語言模型來輸出基于完整文檔的總結(jié)性摘要。文件摘要的一些例子包括:創(chuàng)建文檔的標(biāo)題創(chuàng)建文檔的概要有關(guān)該主題的更多信息,請參閱:Automatic summarization-維基百科/wiki/深度學(xué)習(xí)是否(成功地被應(yīng)用于自動文本摘要? t-

15、summarization-successfullyhttp:/hadoop.aura-以下是關(guān)于文檔摘要深度學(xué)習(xí)方法的3個例子:新聞文章中的句子概要:A Neural Attention Model for Abstractive Summarization, 2015./abs/1509.00685Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, 2016./abs/1602.06023Neural Summarization

16、by Extracting Sentences and Word, 2016./abs/1603.072527. 問題回答問題回答是給出一個主題(例如文本文檔回答有關(guān)該主題的具體問題的任務(wù)。一些例子:回答有關(guān)維基百科頁面的問題回答有關(guān)新聞文章的問題回答有關(guān)病例的問題參閱:Question answering 維基百科/wiki/Question_answering回答有關(guān)新聞文章的問題Teaching Machines to Read and Comprehend, 2015.papers.nips.cc/paper

17、/5945-teaching-machines-to-read-and-comprehenhttp:/hadoop.aura-d回答一般知識問題Question Answering over Freebase with Multi-Column Convolutional Neural Networks, 2015./anthology/P15-1026回答基于特定文件的實質(zhì)性問題Deep Learning for Answer Sentence Selection, 2015.為什么大家選擇光環(huán)大數(shù)據(jù)!大數(shù)據(jù)培訓(xùn)、人工智能培訓(xùn)、Python培訓(xùn)、大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)、大數(shù)據(jù)培訓(xùn)班、數(shù)據(jù)分析培訓(xùn)、大數(shù)據(jù)可視化培訓(xùn),就選光環(huán)大數(shù)據(jù)!光環(huán)大數(shù)據(jù),聘請大數(shù)據(jù)領(lǐng)域具有多年經(jīng)驗的講師,提高教學(xué)的整體質(zhì)量與教學(xué)水準(zhǔn)。講師團(tuán)及時掌握時代的技術(shù),將時新的技能融入教學(xué)中,讓學(xué)生所學(xué)知識順應(yīng)時代所需。通過深入淺出、通俗易懂的教學(xué)方式,指導(dǎo)學(xué)生較快的掌握技能知識,幫助莘莘學(xué)子實現(xiàn)就業(yè)夢想。光環(huán)大數(shù)據(jù)啟動了推進(jìn)人工智能人才發(fā)