深度學(xué)習(xí)學(xué)習(xí)筆記

1、深度學(xué)習(xí) ”學(xué)習(xí)筆記摘要： 人工智能的飛躍發(fā)展得益于深度學(xué)習(xí)理論的突破以及移動(dòng)互聯(lián)網(wǎng)創(chuàng)造的大數(shù)據(jù)。本文梳理了人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的概念以及發(fā)展歷程；介紹了深度學(xué)習(xí)基本理論、訓(xùn)練方法、常用模型、應(yīng)用領(lǐng)域。關(guān)鍵詞：機(jī)器學(xué)習(xí)、人工神經(jīng)網(wǎng)路、深度學(xué)習(xí)、語音識(shí)別、計(jì)算機(jī)視覺. 概述2017年5月 27 日 ， 圍棋世界冠軍柯潔與 Google 圍 棋人工智能AlphaGo 的第三場(chǎng)對(duì)弈落下帷幕。在這場(chǎng)人機(jī)大戰(zhàn)中，世界圍棋第一人0:3完敗于圍棋人工智能。人工智能以氣勢(shì)如虹的姿態(tài)出現(xiàn)在我們?nèi)祟惖拿媲?。人工智?AI( Artificial Intelligence )從此前的學(xué)術(shù)研究領(lǐng)域全面進(jìn)入大眾

2、視野。整個(gè)業(yè)界普遍認(rèn)為，它很可能帶來下一次科技革命，并且，在未來可預(yù)見的 10 多年里，深刻得改變我們的生活。人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)什么是人工智能？人工智能是研究使計(jì)算機(jī)來模擬人的某些思維過程和智能行為(如學(xué)習(xí)、推理、思考、規(guī)劃等)的學(xué)科。該領(lǐng)域的研究包括機(jī)器人、語言識(shí)別、圖像識(shí)別、自然語言處理和專家系統(tǒng)等。上世紀(jì)50年代人工智能的理念首次提出，科學(xué)家們不斷在探索、研究，但是 人工智能的發(fā)展就磕磕碰碰。人工智能的發(fā)展經(jīng)歷了若干階段，從早期 的邏輯推理，到中期的專家系統(tǒng)，直到上世紀(jì)80年代機(jī)器學(xué)習(xí)誕生以后，人工智能研究終于找對(duì)了方向。機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器學(xué)習(xí)的能力以此讓它完成直接編程

3、無 法完成的功能的方法。但從實(shí)踐的意義上來說，機(jī)器學(xué)習(xí)是一種通過利 用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型對(duì)真實(shí)世界中的事件作出決策與預(yù) 測(cè)的一種方法?；跈C(jī)器學(xué)習(xí)的圖像識(shí)別和語音識(shí)別得到重大發(fā)展。人 工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks)成為機(jī)器學(xué)習(xí)中的一個(gè)重要的 算法，其中反向傳播算法(Back Propagation )是最常用的ANN學(xué)習(xí)技 術(shù)?；贐P算法的人工神經(jīng)網(wǎng)路，主要問題是訓(xùn)練困難、需要大量計(jì) 算，而神經(jīng)網(wǎng)絡(luò)算法的運(yùn)算需求難以得到滿足。進(jìn)入 90年代，神經(jīng)網(wǎng)絡(luò) 的發(fā)展進(jìn)入了一個(gè)瓶頸期。其主要原因是盡管有BP算法的加速，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程仍然很困難。因此

4、90年代后期支持向量機(jī)(SVM)算法取代了 神經(jīng)網(wǎng)絡(luò)的地位?！維VM是個(gè)分類器，通過 核函數(shù)”將低維的空間映射 到高維的空間，將樣本從原始空間映射到一個(gè)更高維的特質(zhì)空間中，使 得樣本在這個(gè)新的高維空間中可以被線性劃分為兩類，再將分割的超憑 你們映射回低維空間?！?006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在科學(xué)上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè) 界的浪潮。這篇文章有兩個(gè)主要觀點(diǎn)：1、多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2、深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過逐層初始化(layer

5、-wise pre-training )來有效克服，在這篇文章中，逐層初始 化是通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。深度學(xué)習(xí)使得機(jī)器學(xué)習(xí)能夠?qū)崿F(xiàn)眾多的應(yīng) 用，弁拓展了人工智能的領(lǐng)域范圍。深度學(xué)習(xí)在語音識(shí)別和圖像識(shí)別等 領(lǐng)域獲得了巨大的成功因此極有可能是真正實(shí)現(xiàn)人工智能夢(mèng)想的關(guān)鍵技 術(shù)。人工智能、機(jī)器學(xué)習(xí)(Machine Learning)和深度學(xué)習(xí)(Deep Learning)之間的關(guān)系，如圖1所示。人工智能是機(jī)器學(xué)習(xí)的父類。深度 學(xué)習(xí)則是機(jī)器學(xué)習(xí)的子類。I960，1”。，1*801 imk 2000 k 2OWt圖1人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)關(guān)系.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN )受到生物學(xué)的啟發(fā)是生

6、物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似，它從結(jié)構(gòu)、實(shí)現(xiàn)機(jī)理和功能上模擬生物神經(jīng)網(wǎng)絡(luò)。從系統(tǒng)觀 點(diǎn)看，人工神經(jīng)元網(wǎng)絡(luò)是由大量神經(jīng)元通過極其豐富和完善的連接而構(gòu)成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。圖2單個(gè)神經(jīng)元X|n2X。輸入層 隱層 輸出層圖3人工神經(jīng)網(wǎng)路BP算法BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即 誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個(gè)過程組成。輸入層 各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，弁傳遞給中間層各神經(jīng)元；中 間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中 間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各 神經(jīng)元的信息，經(jīng)進(jìn)一步

7、處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入 誤差的反向傳播階段。 誤差通過輸出層，按誤差梯度下降【求取偏導(dǎo)數(shù)】的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和 誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止BP算法存在的問題(1)、收斂速度慢，梯度越來越稀疏【梯度擴(kuò)散】：從頂層越往下，誤差校正信號(hào)越來越小。(2)、收斂到局部最小值，可能導(dǎo)致訓(xùn)練失敗：尤其是從遠(yuǎn)離最優(yōu)區(qū)域開始的時(shí)候(隨機(jī)值初始化會(huì)導(dǎo)致這種情況的發(fā)

8、生)。(3)、一般我們只能用有標(biāo)簽的數(shù)據(jù)來訓(xùn)練：但大部分的數(shù)據(jù)是沒標(biāo)簽的，而大腦可以從沒有標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)。在實(shí)際應(yīng)用中，BP人工神經(jīng)網(wǎng)路通常是只含有一個(gè)隱層的淺層模型。淺 層學(xué)習(xí)是機(jī)器學(xué)習(xí)的第一次浪潮。.深度學(xué)習(xí)（Deep Learning ）1、基本思想深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的第二次浪潮。深度學(xué)習(xí)的實(shí)質(zhì)，是通過構(gòu)建 具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特 征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。因此，深度模型”是手段，特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有 5層、6層，甚至10層以上的隱層節(jié)點(diǎn)；2） 明確突出了特征學(xué)習(xí)的重

9、要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容 易。假設(shè)我們有一個(gè)系統(tǒng) S,它有n層（S1-Sn它的車&入是I,輸出 是O,形象地表示為：I =S1=S2=Sn = O ,如果輸出。等于 輸入I,這意味著輸入I經(jīng)過每一層Si都沒有任何的信息損失，即在任何 一層Si,它都是原有信息（即輸入 I）的另外一種表示。深度學(xué)習(xí)需要自 動(dòng)地學(xué)習(xí)特征，假設(shè)我們有一堆輸入I （如一堆圖像或者文本），假設(shè)我們?cè)O(shè)計(jì)了一個(gè)系統(tǒng) S （有n層），我們通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸 出仍然是輸入I,那么我們就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1,，Sn

10、通過這種方式，就可以實(shí)現(xiàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá) 了。圖4淺層模型與深度學(xué)習(xí)模型深度學(xué)習(xí)模型采用了與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接。為了克服神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的問題，DL采用了與神經(jīng)網(wǎng)絡(luò)很不同的訓(xùn)練機(jī)制。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，采用的是 BP算法進(jìn)行訓(xùn)練，簡(jiǎn)單來講就是采用迭代的算法來訓(xùn)練整個(gè)網(wǎng)絡(luò)，隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和期望輸出之間的差去改變前面各層的參數(shù)，直到收斂（整體是一個(gè)梯度下降法）。而深度學(xué)習(xí)整體上是一個(gè) layer-wise的訓(xùn) 練機(jī)制。. 2、訓(xùn)練方法第一步：無監(jiān)

11、督學(xué)習(xí)，逐層構(gòu)建單層神經(jīng)元，逐層訓(xùn)練一個(gè)單層網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過逐層初始化（Layer-wisePre-training ）來有效克服，文中給出了無監(jiān)督的逐層初始化方法。圖5單層訓(xùn)練給定原始輸入后，先要訓(xùn)練模型的第一層，即圖中左側(cè)的黑色框。黑 色框可以看作是一個(gè)編碼器，將原始輸入編碼為第一層的初級(jí)特征，可 以將編碼器看作模型的一種認(rèn)知”。為了驗(yàn)證這些特征確實(shí)是輸入的一種抽象表示，且沒有丟失太多信息，需要引入一個(gè)對(duì)應(yīng)的解碼器，即圖 中左側(cè)的灰色框，可以看作模型的生成”。為了讓認(rèn)知和生成達(dá)成一致，就要求原始輸入通過編碼再解碼，可以大致還原為原始輸入。因此 將原始輸入與其編碼再解

12、碼之后的誤差定義為代價(jià)函數(shù)，同時(shí)訓(xùn)練編碼 器和解碼器。Wake-Sleep算法：(1)、Wake 階段 【Input-Code-Reconstruction, 調(diào)整 Decoder 權(quán) 重】認(rèn)知過程，自上而下，通過下層的輸入特征( Input)和向上的認(rèn)知(Encoder)權(quán)重產(chǎn)生每一層的抽象表示( Code),再通過當(dāng)前的生成(Decoder)權(quán)重產(chǎn)生一個(gè)重建信息( Reconstruction ),計(jì)算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成( Decoder)權(quán)重。也就是如果現(xiàn)實(shí)(Code)跟我想象(Reconstruction )的不一樣，改變我的生成權(quán)重(Decoder

13、權(quán)重在 Wake階段調(diào)整使得我想象（Code）,的東西變得接近現(xiàn)實(shí)(2)、Sleep 階段【Code-Reconstruction-Code ,調(diào)整 Encoder 權(quán)生成過程，自下而上，通過上層概念（ Wake階段產(chǎn)生的Code）和 向下的生成權(quán)重（Decoder權(quán)重在 Wake階段調(diào)整&v）,生成下層的狀態(tài) （Sleep階段產(chǎn)生的Input）,再利用認(rèn)知（Encoder）權(quán)重產(chǎn)生一個(gè)抽象 景象（Sleep階段產(chǎn)生的Code）。利用初始上層概念（Wake階段產(chǎn)生的 Code）和新建抽象景象（Sleep階段產(chǎn)生的Code）的殘差，利用梯度下 降修改層間向上的認(rèn)知權(quán)重（Encoder權(quán)重在Sle

14、ep階段調(diào)整/）。也就是 如果夢(mèng)中的景象（Sleep階段產(chǎn)生的 Code）不是我腦中的相應(yīng)概念（Wake階段產(chǎn)生的Code）,改變我的認(rèn)知權(quán)重使（Encoder權(quán) 重在Sleep階段調(diào)整細(xì)）得這種景象在我看來接近這個(gè)概念工【多次訓(xùn)練重復(fù) Wake-Sleep算法，不斷調(diào)整 Encode和Decode的 權(quán)重，最終使得讓認(rèn)知和生成達(dá)成一致Input = Reconstruction圖5逐層初始化（即特征學(xué)習(xí)Feature Learning過程）Wake:自 下而上 一Encoder -RecognitionSleep:自上而下一Decoder -Generativelayer圖6逐層初始化的方法

15、（雙向神經(jīng)網(wǎng)絡(luò)）第二步：自頂向下的有監(jiān)督學(xué)習(xí)訓(xùn)練收斂后，編碼器就是我們要的第一層模型，而解碼器則不再需 要了。這時(shí)我們得到了原始數(shù)據(jù)的第一層抽象。固定第一層模型，原始 輸入就映射成第一層抽象，將其當(dāng)作輸入，如法炮制，可以繼續(xù)訓(xùn)練出 第二層模型，再根據(jù)前兩層模型訓(xùn)練出第三層模型，以此類推，直至訓(xùn) 練出最高層模型。由于深層模型具有很多局部最優(yōu)解，模型初始化的位 置將很大程度上決定最終模型的質(zhì)量。逐層初始化”的步驟就是讓模型處于一個(gè)較為接近全局最優(yōu)的位置，從而獲得更好的效果。逐層初始化完成后，深度學(xué)習(xí)模型只是學(xué)習(xí)獲得了一個(gè)可以良好代 表輸入的特征，這個(gè)特征可以最大程度上代表原輸入信號(hào)，還沒有學(xué)習(xí) 如

16、何去連結(jié)一個(gè)輸入和一個(gè)分類。為了實(shí)現(xiàn)分類，在編碼層添加一個(gè)分 類器（例如羅杰斯特回歸、支持向量機(jī) -SVM等），然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法（梯度下降法）去訓(xùn)練。將最后層的特征code輸入到最后的分類器，通過有標(biāo)簽樣本，通過監(jiān)督學(xué)習(xí)進(jìn)行微調(diào)，這也分兩種，一種是只調(diào)整分類器（黑色部分）：label另一種：通過有標(biāo)簽樣本，微調(diào)整個(gè)系統(tǒng)：（如果有足夠多的數(shù)據(jù),這個(gè)是最好的。 end-to-end learning 端對(duì)端學(xué)習(xí)）inputlabel.深度學(xué)習(xí)常用模型1、自動(dòng)編碼器 Auto Encoder3.2節(jié)訓(xùn)練方法中，呈現(xiàn)的是深度學(xué)習(xí)模型屬于自動(dòng)編碼器模型AutoEncoder,此外

17、常用的模型還有：稀疏自動(dòng)編碼器、卷積神經(jīng)網(wǎng)絡(luò)等。4. 2、稀疏自動(dòng)編碼器 Sparse Auto Encoder在Auto Encoder的基礎(chǔ)上力口上 L1的Regularity限制（L1主要是約束 每一層中的節(jié)點(diǎn)中大部分都要為 0,只有少數(shù)不為0,這就是Sparse名字 的來源），我們就可以得到 Sparse Auto Encoder法。其實(shí)就是限制每次 得到的表達(dá)code盡量稀疏。因?yàn)橄∈璧谋磉_(dá)往往比其他的表達(dá)要有效（人腦好像也是這樣的，某個(gè)輸入只是刺激某些神經(jīng)元，其他的大部分的神經(jīng)元是受到抑制的）。圖7稀疏自動(dòng)編碼器稀疏編碼是一種無監(jiān)督學(xué)習(xí)方法，用來尋找一組超完備”基向量來更有效的表示

18、樣本數(shù)據(jù)。稀疏編碼算法的目的就是找到一組基向量曲使得我們能將輸入向量 x表示為這些基向量的線性組合：x= 曲=1那么可以得到有個(gè)最優(yōu)化問題：乂冽|1-0|,其中,1為輸入，0為輸出通過求解這個(gè)最優(yōu)化式子，可以求得 內(nèi)與系數(shù)ai;如果加上稀疏規(guī)則限 制，得到：MIN | -0| + A (|al| + a2| + + |ai |)圖8稀疏自動(dòng)編碼器示意舉例4. 3、卷積神經(jīng)網(wǎng)絡(luò)CNN卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn) 在兩個(gè)方面，一方面它的神經(jīng)元間的連接是非全連接的，另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的（即相同的）。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似

19、于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度（對(duì)于很難學(xué)習(xí)的深層結(jié)構(gòu)來說，這是非常重要的），減少了權(quán)值的數(shù)量。BP網(wǎng)絡(luò)每一層節(jié)點(diǎn)是一個(gè)線性的一維排列狀態(tài)，層與層的網(wǎng)絡(luò)節(jié)點(diǎn)之間是全連接的。這樣設(shè)想一下，如果BP網(wǎng)絡(luò)中層與層之間的節(jié)點(diǎn)連接不再是全連接，而是局部連接的。這樣，就是一種最簡(jiǎn)單的一維卷積網(wǎng) 絡(luò)。把上述這個(gè)思路擴(kuò)展到二維，這就是我們?cè)诖蠖鄶?shù)參考資料上看到的卷積神經(jīng)網(wǎng)絡(luò)。具體參看下圖:-Spatial corrlafifli i$ ligcgl-Better 十口 put resources elsewhere1FULLY CONNECTED NEURAL NETExcmple： 1000 x10

20、0C iFnae IM hidden unTj 1012 partunctcrs*LOCALLY CONNECTED NEURAL NET1000 x1000 師 IM hidden units Frlter file： 10 x1-0100M paEigelT；ftOAlOi圖9全連接網(wǎng)絡(luò)與非全連接網(wǎng)絡(luò)非全連接：上圖左：全連接網(wǎng)絡(luò)。如果我們有 1000 x1000像素的圖像，有1百萬 個(gè)隱層神經(jīng)元，每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)，就有 1000 x1000 x1000000=10八12 個(gè)連接，也就是10人12個(gè)權(quán)值參數(shù)。上圖右：局部連接網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附近10 x1

21、0的窗口相連接，則1百萬個(gè)隱層神經(jīng)元就只有 100w乘以100,即10八8個(gè) 參數(shù)。其權(quán)值連接個(gè)數(shù)比原來減少了四個(gè)數(shù)量級(jí)對(duì)于上圖中被標(biāo)注為紅色節(jié)點(diǎn)的凈輸入，就等于所有與紅線相連接 的上一層神經(jīng)元節(jié)點(diǎn)值與紅色線表示的權(quán)值之積的累加。這樣的計(jì)算過 程，很多書上稱其為卷積Source pixel(4 MO) (0*0) (0 x0) (0 x0) (Ox 1)(Ox 1) (0,0)(Ox 1)火工2) 8圖10卷積神經(jīng)網(wǎng)絡(luò)神經(jīng)元計(jì)算（3 x3卷積核）權(quán)值共享:卷積神經(jīng)網(wǎng)絡(luò)另外一個(gè)特性是權(quán)值共享。隱層的參數(shù)個(gè)數(shù)和隱層的神經(jīng)元個(gè)數(shù)無關(guān)，只和卷積核（又稱濾波器）的大小和卷積核的種類多少有關(guān)。每一個(gè)卷積核

22、對(duì)應(yīng)一種特征，對(duì)于10 x10的卷積核，具有100個(gè)可調(diào)參數(shù)作為權(quán)重。注：卷積神經(jīng)網(wǎng)絡(luò)模型與深度學(xué)習(xí)模型是兩個(gè)不同概念。深度學(xué)習(xí)的概 念要更為寬泛一些。深度學(xué)習(xí)采用的模型為深層神經(jīng)網(wǎng)絡(luò)（ Deep Neural Networks, DNN）模型，即包含多個(gè)隱藏層（Hidden Layer,也稱隱含 層）的神經(jīng)網(wǎng)絡(luò)。經(jīng)典的深度學(xué)習(xí)理論可分為自動(dòng)編碼器，稀疏自動(dòng)編 碼器，卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)可以說是目前深度 學(xué)習(xí)體系中研究最多、應(yīng)用最為成功的一個(gè)模型。5.應(yīng)用領(lǐng)域深度學(xué)習(xí)在語音識(shí)別、圖像處理等領(lǐng)域已經(jīng)取得突破性發(fā)展。下面是基于深度學(xué)習(xí)開發(fā)出來的一些應(yīng)用程序：?盲人看照片F(xiàn)ace

23、book開發(fā)的一個(gè)移動(dòng)應(yīng)用，可以讓盲人或者視力障礙者像正常人一樣瀏覽照片。?實(shí)時(shí)語音翻譯微軟的Skype能夠?qū)⒄Z音實(shí)時(shí)翻譯成不同的語言。?自動(dòng)回復(fù)電子郵件Google的Mail可以代替您自動(dòng)回復(fù)電子郵件。?目標(biāo)識(shí)別Moodstocks （已經(jīng)被Google收購(gòu)）推出的智能手機(jī)圖像識(shí)別應(yīng)用程序Moodstocks Notes ,可通過照片識(shí)別書籍、CD、海報(bào)、傳單和酒標(biāo)等對(duì)象。?照片定位Google能夠根據(jù)照片進(jìn)行拍攝場(chǎng)景定位。?照片整理Google相冊(cè)可以自動(dòng)整理分類到常見的主題下面。?分類照片Yelp可以根據(jù)業(yè)務(wù)分支對(duì)照片進(jìn)行分類。?自動(dòng)駕駛自動(dòng)駕駛技術(shù)應(yīng)該是深度學(xué)習(xí)領(lǐng)域最為大家所知的應(yīng)用了。?臉部識(shí)別這個(gè)就無需解釋了。?文本圖