深度學習論文解讀

1、Character-based Parsing with Convolutional Neural Network基于特征的卷積神經(jīng)網(wǎng)絡分析復旦大學xiaoqing zheng基本結構 句法分析 神經(jīng)網(wǎng)絡 卷積神經(jīng)網(wǎng)絡 基于特征的卷積神經(jīng)網(wǎng)絡 實驗分析句法分析-定義圖靈測試 人工智能實現(xiàn)的關鍵在于對自然語言的分析和處理，而如何讓計算機“理解”所接受到的自然語言，并且根據(jù)“分析”生成相應的回答是人工智能所面臨的兩大挑戰(zhàn)。從語言學角度看 語言學家不得不面對著這樣一個問題：到底人類頭腦中的語法結構和語言知識是如何獲得的，一派是以喬姆斯基為代表的理性主義者；另一派是經(jīng)驗主義者，經(jīng)驗主義和統(tǒng)計自然語言處

2、理成為當前研究的主流。句法分析的定義 給定相應的語法體系，自動推導出句子的語法結構，將句子轉化成對應相應語法體系的句法分析樹，其中包含了句子中不同的句法單位以及之間的關系句法分析-句法分析樹句法分析樹 句子“政府鼓勵民營企業(yè)家投資國家基礎設施”的句法分析結果 (a) CTB中的句子分析樹 (b) 二叉樹 句法分析-研究現(xiàn)狀句法分析研究現(xiàn)狀 句法分析，就是在給定的語法體系下，對于給定的句子，自動推導出句子的語法結構，將句子轉化成相應語法結構的句法分析樹，要解決以下三個問題。 1.用怎樣的語法體系來對句法結構表示，選取時所需要衡量的因素是什么？ 例如： 漢語： “一個 穿黑衣服的 男人 在河邊 走

3、。 ” 英語： “A man dressed in black walk by the river.” 衡量的因素包括：語料庫的構建成本，計算成本，應用需求，語言特點 句法分析-研究現(xiàn)狀 2.對于給定的語法體系，可能出現(xiàn)同一句子對應不同的句法結構，如何進行消歧？ 基于規(guī)則的消歧被基于統(tǒng)計模型消歧取代，統(tǒng)計建模的兩個步驟：第一是構建模型，也就是將設計的模型形式化表示出來。第二是模型參數(shù)估計，也就是從樹庫中通過學習得到所需的參數(shù) 3.如何在有限的時間內得到句子的句法結構？ 如何在有限的時間內給出最優(yōu)的句法分析樹是句法分析算法所要考慮的問題，研究者們針對這些問題做了大量的研究，其中應用動態(tài)規(guī)劃方法到

4、句法分析算法中是最普遍的做法。句法分析-語料庫語料庫大部分的句法分析模型都是通過有指導的學習方式從已標注好的語料庫中學習模型，參數(shù)標注規(guī)模和標注質量直接影響句法分析的性能。漢 語 樹 庫 CTB (ChineseTreebank) CTB6大約有80萬個詞。神經(jīng)網(wǎng)絡-感知器訓練法則我們主要考慮兩種算法 感知器法則 delta法則 1.感知器訓練法則其中 iiiwwwiixotw)( 神經(jīng)網(wǎng)絡-感知器訓練法則 2. delta法則克服感應器法則的不足，在線性不可分的訓練樣本上，收斂到 目標概念的最佳近似delta法則的關鍵思想是，使用梯度下降來搜索可能的權向量的假設空間，以找到最佳擬合訓練樣例的

5、權向量delta法則為反向傳播算法提供了基礎，而反向傳播算法能夠學習多個單元的互連網(wǎng)絡把delta訓練法則理解為訓練一個無閾值的感知器指定一個度量標準來衡量假設相對于訓練樣例的訓練誤差xwxo)(DdddotwE2)(21)(神經(jīng)網(wǎng)絡-反向傳播算法 用來學習多層網(wǎng)絡的權值 采用梯度下降方法試圖最小化網(wǎng)絡輸出值和目標值之間的誤差平方 網(wǎng)絡的誤差定義公式，對所有網(wǎng)絡輸出的誤差求和 DdoutpuskkdkdotwE2)(21)(卷積神經(jīng)網(wǎng)絡前言-深度學習深度學習（deep learning） 深度學習是機器學習領域一個新的研究方向,近年來在語音識別、計算機視覺等多類應用中取得突破性的進展，其動機在

6、于建立模型模擬人類大腦的神經(jīng)連接結構,在處理圖像、聲音和文本這些信號時,通過多個變換階段分層對數(shù)據(jù)特征進行描述 ,進而給出數(shù)據(jù)的解釋。 深度學習之所以被稱為“深度”,是相對支撐向量機 ( support vector machine, SVM)、 提 升 方 法(boosting)、最大熵方法等“淺層學習”方法而言的,深度學習所學得的模型中,非線性操作的層級數(shù)更多。卷積神經(jīng)網(wǎng)絡前言-深度學習 深度神經(jīng)網(wǎng)絡(deep neuralnetworks, DNN)由多個單層非線性網(wǎng)絡疊加而成的，常見的單層網(wǎng)絡按照編碼解碼情況分為3 類:只包含編碼器部分、只包含解碼器部分、既有編碼器部分也有解碼器部分。

7、前饋深度網(wǎng)絡卷積卷積神經(jīng)網(wǎng)絡-基本結構卷積神經(jīng)網(wǎng)絡(convolutional neural networks, CNN) 屬于深度神經(jīng)網(wǎng)絡中前饋深度網(wǎng)絡，在這種網(wǎng)絡中,信息只沿一個方向流動,從輸入單元通過一個或多個隱層到達輸出單元,在網(wǎng)絡中沒有封閉環(huán)路。 卷積神經(jīng)網(wǎng)絡是由多個單層卷積神經(jīng)網(wǎng)絡組成的，每個單層卷積神經(jīng)網(wǎng)絡包括卷積、非線性變換和下采樣 3 個階段。卷積神經(jīng)網(wǎng)絡-卷積階段卷積階段,通過提取信號的不同特征實現(xiàn)輸入信號進行特定模式的觀測，其觀測模式也稱為卷積核，每個卷積核檢測輸入特征圖上所有位置上的特定特征,實現(xiàn)同一個輸入特征圖上的權值共享。卷積階段的輸入是由 n 1 個 n 2 n

8、3 大小的二維特征圖構成的三維數(shù)組，每個特征圖記為 xi ，該階段的輸出 y 也是個三維數(shù)組,由 m 1 個 m 2 m 3 大小的特征圖構成在卷積階段,連接輸入特征圖 x i 和輸出特征圖 yj 的權值記為 wij ，即可訓練的卷積核，卷積核的大小為 k 2 k 3 。輸出特征圖為：卷積神經(jīng)網(wǎng)絡-非線性變換階段非線性階段,對卷積階段得到的特征按照一定的原則進行篩選,篩選原則通常采用非線性變換的方式,以避免線性模型表達能力不夠的問題.非線性階段將卷積階段提取的特征作為輸入,進行非線性映射 R = h(y)。 傳統(tǒng)卷積神經(jīng)網(wǎng)絡中非線性操作采用 sigmoid、tanh 或 softsign 等飽

9、和非線性(saturating nonlinearities)函數(shù) ，如下為sigmoid函數(shù)圖像及公式：卷積神經(jīng)網(wǎng)絡-網(wǎng)絡模型 將單層的卷積神經(jīng)網(wǎng)絡進行多次堆疊，前一層的輸出作為后一層的輸入，便構成卷積神經(jīng)網(wǎng)絡。其中每 2 個節(jié)點間的連線，代表輸入節(jié)點經(jīng)過卷積、非線性變換、下采樣 3 個階段變?yōu)檩敵龉?jié)點，一般最后一層的輸出特征圖后接一個全連接層和分類器。 在訓練卷積神經(jīng)網(wǎng)絡時,最常用的方法是采用反向傳播法則以及有監(jiān)督的訓練方式。卷積神經(jīng)網(wǎng)絡-應用及趨勢 1.深度學習在大規(guī)模圖像數(shù)據(jù)集中的應用深度學習在大規(guī)模圖像數(shù)據(jù)集中的應用 A. Krizhevsky 等 首次將卷積神經(jīng)網(wǎng)絡應用于 Imag

10、eNet 大規(guī)模視覺識別挑戰(zhàn)賽中，所訓練的深度卷積神經(jīng)網(wǎng)絡在 ILSVRC2012 挑戰(zhàn)賽中，取得了圖像分類和目標定位任務的第一，其中，圖像分類任務中錯誤率為 15. 3%，遠低于第 2 名的 26. 2% 的錯誤率。 2. 深度學習在人臉識別中的應用深度學習在人臉識別中的應用 采用基于卷積神經(jīng)網(wǎng)絡的學習方法，香港中文大學的 DeepID2 項目將人臉識別率提高到了99.15%,超過目前所有領先的深度學習和非深度學習算法在 LFW 數(shù)據(jù)庫上的識別率以及人類在該數(shù)據(jù)庫的識別率。 3. 深度學習問題及趨勢深度學習問題及趨勢 單一的深度學習方法,往往并不能帶來最好的效果，通常融合其他方法或多種方法進

11、行平均打分，會帶來更高的精確率。因此,深度學習方法與其他方法的融合，具有一定的研究意義。基于特征的卷積神經(jīng)網(wǎng)絡 摘要 KMCNN(a convolutional neural network with k-max pooling layer)網(wǎng)絡結構 實驗分析基于特征的卷積神經(jīng)網(wǎng)絡-摘要 描述了一種新的K-MAX匯集層卷積神經(jīng)網(wǎng)絡結構，能夠成功地恢復漢語句子的結構。這個網(wǎng)絡可以捕獲不可見部分有效特征衡量該部分多大可能成為構成句子部分。給定一個輸入的句子，在所有可能部分的分數(shù)被計算后，一個有效的動態(tài)規(guī)劃算法被用來發(fā)現(xiàn)最優(yōu)分析樹。類似的網(wǎng)絡被應用到解析樹每個節(jié)點預測語法分類。在與最新的方法在CTB

12、-5上做測試我們的方法具有優(yōu)勢?；谔卣鞯木矸e神經(jīng)網(wǎng)絡-網(wǎng)絡結構輸入=“政府鼓勵.”特征矩陣表第一層卷積第二層卷積隱藏層輸出第二層k-Max第一層k-Max基于特征的卷積神經(jīng)網(wǎng)絡-步驟步驟一步驟一：把句子映射為二進制特征向量 步驟二步驟二：每個字只與周圍字有關，通過卷積層計算特征 是矩陣是二進制向量，是字符詞典，是句子中一個字，是句子，MeDcckiin: 1函數(shù)是帶有可訓練參數(shù)其中winf是特征檢測值是訓練權重，bw基于特征的卷積神經(jīng)網(wǎng)絡-步驟步驟三步驟三：k-Max匯聚層產(chǎn)生下面矩陣步驟四步驟四：選擇sigmoid函數(shù)做仿射變換，抽取非線性特征，輸出塊分數(shù)列行第第是jiffconjicon,值子序列（）是具有最高kkmaxyey11)(基于特征的卷積神經(jīng)網(wǎng)絡-步驟步驟五步驟五：動態(tài)規(guī)劃解碼-得到最優(yōu)