第9單元 人工智能概論

大學計算機9.1人工智能簡介人工智能技術如火如荼，其應用的廣度和深度不斷變化。這些變化將會深刻的影響人類的生活和工作方式?！私?、理解人工智能技術已成為基本的社會需求人工智能的概念

人工智能(AI)是計算機科學的一個分支，它力求了解智能的實質，生產(chǎn)出一種具備類似人類智能的智能機器。目的模擬人的意識、思維起起落落，幾經(jīng)興衰產(chǎn)生與發(fā)展誕生1943-19561956年夏天，香農(nóng)和一群年輕的學者在達特茅斯學院召開了一次研討會，歷時一個月。麥卡錫提出使用“人工智能”作為這一領域的名稱。黃金時代1956-1974迅速發(fā)展時期。程序新特點：可以解決代數(shù)應用題，可以證明幾何定理，可以學習和使用英語。政府機構投入了大筆資金。問題：使用傳統(tǒng)的人工智能方法進行研究，在語音識別、機器翻譯等領域長時間無突破。第一次低谷1974-1980項目難度評估不足，新的研究項目基本以失敗告終。人工智能研究遭遇瓶頸，樂觀期望遭到嚴重打擊。第一次繁榮1980-1987具備人工智能思想的“專家系統(tǒng)”

開始為一些大公司所采納。專家系統(tǒng)：能力來自于存儲的專業(yè)知識，解決某一特定領域問題。知識庫系統(tǒng)和知識工程成為研究的主要方向，再加上新型神經(jīng)網(wǎng)絡和反向傳播算法的提出使連接主義重獲新生。第二次低谷1987-1993遭遇了一系列財政問題：硬件市場需求突然下跌；專家系統(tǒng)難以升級維護費高，應用范圍窄。新的研究項目相繼失敗。再次發(fā)展1993-20051996年深藍大戰(zhàn)國際象棋冠軍卡斯伯羅夫：2：4。1997戰(zhàn)勝人類。此后，在國際象棋人機對弈領域，完敗人類。深藍團隊是把機器智能問題變成了一個大數(shù)據(jù)和大量計算的問題。越來越多的AI研究者們開始開發(fā)和使用復雜的數(shù)學工具。大數(shù)據(jù)時代2005-今天2005年是大數(shù)據(jù)元年，Google以巨大的優(yōu)勢打敗了全世界所有機器翻譯研究團隊。使用大量數(shù)據(jù)訓練出一個六元模型。大數(shù)據(jù)是一種思維方式的改變。今天智能問題逐漸變?yōu)閿?shù)據(jù)問題。全世界開始了新的一輪技術革命——智能革命。人工智能的主要流派符號主義連接主義行為主義人工智能技術知識表示神經(jīng)網(wǎng)絡控制理論知識圖譜深度學習機器人主要流派理論基礎核心技術又稱邏輯主義、心理學派或計算機學派。原理：人工智能源于數(shù)理邏輯。人類認知和思維的基本單元是符號，而認知過程就是符號表示上的一種運算。成果：啟發(fā)式程序邏輯理論家，發(fā)展了啟發(fā)式算法等，并在20世紀80年代取得很大發(fā)展。符號主義目前，以基于規(guī)則的系統(tǒng)為代表的符號主義，正向以神經(jīng)網(wǎng)絡，統(tǒng)計學習為代表的連接主義轉變。NLP知識圖譜結構示意

新變化又稱為仿生學派或生理學派。原理：主要為神經(jīng)網(wǎng)絡和神經(jīng)網(wǎng)絡間的連接機制和學習算法。成果：神經(jīng)網(wǎng)絡模型，多層網(wǎng)絡中的反向傳播（BP）算法。連接主義以工程技術手段模擬人腦神經(jīng)系統(tǒng)的結構和功能：非線性并行處理器來模擬人腦中眾多的神經(jīng)細胞（神經(jīng)元）；處理器的復雜連接關系模擬人腦中眾多神經(jīng)元之間的突觸行為。人工神經(jīng)網(wǎng)絡模型在一定程度上實現(xiàn)了人的右腦形象抽象思維功能的模擬。又稱進化主義或控制論學派。原理：基于“感知-行動”

方法，認為人工智能源于控制論。成果：

6足機器蟲。由150個傳感器和23個執(zhí)行器構成，能像蝗蟲一樣6足行走。行為主義

連接主義符號主義

行為主義三種流派起源不同互相借鑒走向融合9.2人工智能的主要技術研究領域的體系結構硬件/計算力、大數(shù)據(jù)算法行業(yè)解決方案具體技術技術方向基礎設置機器學習、深度學習、……機器視覺語音處理自然語言處理人機交互知識圖譜、……圖像識別圖像理解視頻處理語音識別語音理解語音合成機器翻譯語義理解情感分析金融、醫(yī)療、安防、交通等計算機視覺人機交互技術自然語言處理主要技術機器學習知識圖譜主要技術計算機視覺使用計算機模仿人類視覺系統(tǒng)。目的：讓計算機擁有類似人類提取、處理、理解和分析圖像以及圖像序列的能力。應用：自動駕駛、機器人、智能醫(yī)療等領域。根據(jù)解決的問題不同，形成五大研究領域計算機成像學圖像理解三維視覺動態(tài)視覺視頻編解碼機器學習研究計算機怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，通過知識結構的不斷完善與更新提升機器自身的性能?；跀?shù)據(jù)的機器學習從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預測。采用高質量的神經(jīng)網(wǎng)絡評估下棋局勢阿爾法Go原始樣本集特征提取特征樣本集監(jiān)督學習評價訓練部分預測模型預測部分機器學習的一般過程

監(jiān)督學習

非監(jiān)督學習

半監(jiān)督學習學習模式學習方法

機器學習

深度學習機器學習分類機器學習深度學習算法能夠像人一樣，從數(shù)據(jù)中找到信息，從而學習一些規(guī)律。以大數(shù)據(jù)為基礎，利用深度神經(jīng)網(wǎng)絡，模型處理更為復雜，模型對數(shù)據(jù)的理解更加深入。自然語言處理主要研究實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。NLP基礎技術NLP核心技術NLP核心技術NLP+詞匯表示與分析短語表示與分析語法語義表示與分析篇章表示與分析機器翻譯提問與問答信息檢索信息抽取聊天對話知識工程語言生成推薦系統(tǒng)搜索引擎智能客服……語音助手用戶畫像

大數(shù)據(jù)

云計算

機器學習

領域知識自然語言處理主要技術人機交互技術研究人和計算機之間的信息交換，主要包括人到計算機和計算機到人的兩部分信息交換，是人工智能領域重要的外圍技術。傳統(tǒng)：依靠交互設備進行。主要包括鍵盤、操縱桿、數(shù)據(jù)服裝、眼動跟蹤器、壓力筆……，打印機、頭盔式顯示器……。非傳統(tǒng)：包括語音交互、情感交互、體感交互及腦機交互等技術。

語音交互

情感交互人以自然語音或機器合成語音同計算機進行交互的綜合性技術。包括四部分：語音采集、語音識別、語義理解和語音合成。賦予計算機類似于人一樣的觀察、理解和生成各種情感的能力，使計算機像人一樣能進行自然、親切和生動的交互。挑戰(zhàn)：情感的描述，情感數(shù)據(jù)的獲取和處理過程，情感的表達。

體感交互以體感技術為基礎，通過肢體動作與周邊數(shù)字設備裝置和環(huán)境進行交互。運動追蹤、手勢識別、運動捕捉、面部表情識別等技術支撐。三類主要技術：慣性感測、光學感測以及光學聯(lián)合感測。

腦機交互不依賴于外圍神經(jīng)和肌肉等神經(jīng)通道，直接實現(xiàn)大腦與外界信息傳遞的通路。構成：信號采集、特征提取和命令輸出三個模塊。知識圖譜知識圖譜以符號形式描述物理世界中的概念及其相互關系，將所有不同種類的信息連接在一起而得到的一個關系網(wǎng)絡，提供了從“關系”的角度去分析問題的能力。重要價值：在于讓機器具備認知能力。知識來源

結構化知識非結構化知識半結構化知識知識加工

知識表示知識融合關系抽取事件抽取實體發(fā)現(xiàn)屬性分類知識圖譜

百科Schema常識……知識映射

知識檢索實體分類本體對齊實體消歧機器閱讀知識應用

問答推理聯(lián)想推薦數(shù)據(jù)增強知識圖譜的體系結構知識獲取知識源知識融合知識計算及應用實體鏈接Schema知識融合知識表示實體分類知識補全知識擴展百科常識知識檢索

問答推理聯(lián)想推薦數(shù)據(jù)增強非結構化知識關系抽取事件抽取實體發(fā)現(xiàn)結構化知識知識映射半結構化知識Parser屬性分類知識圖譜的技術流程9.3機器學習基礎實現(xiàn)人工智能的一個重要途徑。理論基礎：設計和分析一些讓計算機可以自動“學習”的算法。算法能從數(shù)據(jù)中自動分析獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進行預測。機器學習研究對象是人工智能，特別是如何在經(jīng)驗學習中改善算法的性能；研究能通過經(jīng)驗自動改進的計算機算法；用數(shù)據(jù)或以往的經(jīng)驗，優(yōu)化計算機程序的性能標準。機器學習的特征關注的問題并非所有問題都適合用機器學習解決（很多邏輯清晰的問題用規(guī)則就能高效和準確地處理）；沒有一個機器學習算法可以通用于所有問題。垃圾郵件識別文本情感褒貶分析圖像類別判斷分類問題票房收入房價預測回歸問題客戶群分類物體分類聚類問題監(jiān)督學習非監(jiān)督學習數(shù)據(jù)必須是有標簽。分類與回歸問題需要用已知結果的數(shù)據(jù)做訓練，屬于監(jiān)督學習。不對數(shù)據(jù)進行標明，讓機器自動去判斷。聚類的問題不需要已知標簽，屬于非監(jiān)督學習。微積分線性代數(shù)微分的計算及其幾何、物理含義是機器學習中大多數(shù)算法求解過程的核心。梯度下降法、牛頓法等。大多數(shù)機器學習算法和線性代數(shù)關系密切。向量的內積運算，矩陣乘法與分解。概率與統(tǒng)計機器學習的很多任務和統(tǒng)計層面數(shù)據(jù)分析是非常類似的。極大似然思想、樸素貝葉斯、隱馬爾科夫、隱變量混合概率模型。數(shù)學基礎分類問題回歸問題分類問題包括學習與分類兩個過程。邏輯回歸（工業(yè)界最常用）、支持向量機、隨機森林、樸素貝葉斯（NLP中常用）、深度神經(jīng)網(wǎng)絡（視頻、圖片、語音等多媒體數(shù)據(jù)中使用）等。回歸分析實際上就是根據(jù)統(tǒng)計數(shù)據(jù)建立一個能描述不同變量之間的關系的方程。線性回歸，普通最小二乘回歸，多元自適應回歸樣條等。聚類問題聚類是指將數(shù)據(jù)集劃分為若干類，使得類內之間的數(shù)據(jù)最為相似，類之間的數(shù)據(jù)相似度差別盡可能大。K均值、基于密度的聚類、層次聚類等。典型算法python語言動態(tài)的、面向對象的腳本語言。語言簡潔、易讀、可擴展。眾多開源科學計算軟件包都提供了Python的調用接口。適合工程技術、科研人員處理實驗數(shù)據(jù)、制作圖表，開發(fā)科學計算應用程序。R語言用于統(tǒng)計分析，圖形表示和報告的編程語言和軟件環(huán)境。具備高效的數(shù)據(jù)處理和存儲功能，擅長數(shù)據(jù)矩陣操作，提供大量適用于數(shù)據(jù)分析的工具，支持多種數(shù)據(jù)可視化輸出。語言基礎降維算法降維是機器學習中很重要的一種思想。在機器學習中經(jīng)常會碰到一些高維的數(shù)據(jù)集存在維度災難和特征冗余問題。常用算法：奇異值分解、主成分析、線性判斷分析等?；玖鞒虇栴}抽象獲取數(shù)據(jù)特征預處理特征選擇訓練模型與調優(yōu)模型診斷模型融合上線運行9.4人工神經(jīng)網(wǎng)絡簡介神經(jīng)網(wǎng)絡是一個非常寬泛的稱呼神經(jīng)網(wǎng)絡的基本類型神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡生物神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡單層神經(jīng)網(wǎng)絡多層神經(jīng)網(wǎng)絡兩層神經(jīng)網(wǎng)絡普通深度網(wǎng)絡卷積神經(jīng)網(wǎng)絡深度信念網(wǎng)絡Hopfield神經(jīng)網(wǎng)絡循環(huán)神經(jīng)網(wǎng)絡神經(jīng)元模型典型構成一個神經(jīng)元通常具有多個樹突(用來接受傳入信息)；一條軸突(用于傳遞信息)；軸突末梢跟其他神經(jīng)元的樹突產(chǎn)生連接，傳遞信息給其他多個神經(jīng)元。神經(jīng)元的構成抽象的神經(jīng)元模型輸入1輸入2輸入3求和激勵函數(shù)輸出W1W2W3典型模型典型的神經(jīng)元模型：3個輸入；1個輸出；2個計算功能。箭頭線稱為連接，每個連接都有一個權值。輸入可以類比為神經(jīng)元的樹突，而輸出可以類比為神經(jīng)元的軸突，計算可以類比為細胞核。連接與權重連接是神經(jīng)元模型中最重要的概念，每一個連接上都有一個權重。訓練神經(jīng)網(wǎng)絡就是讓權重的調整到最佳，使整個網(wǎng)絡的預測效果最好。訓練后,某輸入權重較高，則該輸入更重要。權重為零則表示該特征微不足道。Waa*W激勵函數(shù)

Sigmoid函數(shù)ReLU函數(shù)Softmax函數(shù)Sigmoid函數(shù)最常用的激勵函數(shù)。輸出處于0到1之間，適用于輸出概率的模型?？晌?，可以得到曲線上任意兩點之間的斜率。ReLU函數(shù)用來處理隱藏層。當X>0時，函數(shù)的輸出值為X；當X<=0時，輸出值為0。能夠有效緩解梯度消失問題，能以監(jiān)督的方式訓練深度神經(jīng)網(wǎng)絡。不足：神經(jīng)元死亡問題；輸出具有偏移問題。Softmax函數(shù)Softmax通常用于輸出層，用于多類分類問題。通過softmax函數(shù)，可以使得P(i)的范圍在[0,1]之間。在回歸和分類問題中，θ通常是待求參數(shù)，通過尋找使得P(i)最大的θi作為最佳參數(shù)。

神經(jīng)元模型的擴展輸出輸入1輸入2輸入3f輸出W1W2W3輸出將sum函數(shù)與激勵函數(shù)合并，代表神經(jīng)元的內部計算；一個神經(jīng)元可引出多個值相同的輸出；神經(jīng)元可以看作一個計算與存儲單元（對輸入進行計算。暫存計算結果，并傳遞到下一層）。求和激勵函數(shù)人工神經(jīng)網(wǎng)絡的構成典型的神經(jīng)網(wǎng)絡包含三個部分。結構指定網(wǎng)絡中的變量和它們的拓撲關系。（變量可以是神經(jīng)元連接的權重和神經(jīng)元的激勵值）。激勵函數(shù)用來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。依賴于網(wǎng)絡中的權重。學習規(guī)則指定網(wǎng)絡中的權重如何隨時間推進調整。依賴于神經(jīng)元的激勵值,

監(jiān)督者提供的目標值和當前權重的值等。單層神經(jīng)網(wǎng)絡輸入層輸出層X1X2X3Y1Y2Y3Y41958年，提出單層神經(jīng)網(wǎng)絡(感知器),第一個可以學習的人工神經(jīng)網(wǎng)絡。兩個層次：輸入層和輸出層。輸入單元只負責傳輸數(shù)據(jù)，輸出層里的輸出單元需要對前面一層的輸入進行計算。需要計算的層次稱為計算層擁有一個計算層

感知器中的權值通過訓練得到。感知器類似一個邏輯回歸模型，可以做簡單的線性分類任務。

輸入層中間層輸出層X1X2X3Y1Y2Y3兩層神經(jīng)網(wǎng)路結構典型構成包含三部分：輸入層、輸出層和中間層（隱藏層）。輸入層有3個單元；隱藏層有4個單元；輸出層有3個單元。多使用平滑函數(shù)sigmoid作為激勵函數(shù)輸入層中間層輸出層W(1)ABZW(2)11Y(1)Y(2)除了輸出層外，每層次都會默認存在一個偏置節(jié)點。偏置節(jié)點本質上是一個只含有存儲功能，且存儲值永遠為1的單元。帶偏置節(jié)點的兩層神經(jīng)網(wǎng)路結構神經(jīng)網(wǎng)絡的矩陣運算：g(

A*W(1)+Y(1))=

B;

g(

B*W(2)+Y(2))=

Z;A為輸入層矩陣，W(1)為輸入層權值矩陣，Y(1)為輸入層偏置節(jié)點的權值矩陣；B為中間層矩陣，W(2)為中間層權值矩陣，Y(2)為中間層偏置節(jié)點的權值矩陣。使用矩陣運算描述神經(jīng)網(wǎng)絡簡潔明了，不會受到節(jié)點數(shù)增多的影響（無論有多少節(jié)點參與運算，乘法兩端都只有一個變量）。神經(jīng)網(wǎng)絡大量使用矩陣運算來描述。本質：通過參數(shù)與激活函數(shù)來擬合特征與目標之間的真實函數(shù)關系。單層網(wǎng)絡只能做線性分類任務。兩層神經(jīng)網(wǎng)絡通過中間層和輸出層兩個線性分類任務結合實現(xiàn)非線性分類任務。對復雜的非線性分類任務，具有很好的分類效果。多層的神經(jīng)網(wǎng)絡的本質就是更復雜的函數(shù)擬合。基本結論模型的訓練目的：所有參數(shù)盡可能的與真實的模型逼近。給所有參數(shù)賦隨機值使用隨機參數(shù)值預測訓練數(shù)據(jù)中的樣本定義一個損失值loss為：loss=(T1-T)2預測目標為T1，真實目標為T。目標：所有訓練數(shù)據(jù)的損失和盡可能小。問題：調整參數(shù)，使損失函數(shù)的值最小。BP算法正向反向多次反復

正向傳播

反向傳播BP算法(即誤差反向傳播算法)適合于多層神經(jīng)元網(wǎng)絡，建立在梯度下降法基礎上。

輸入信息逐層處理并傳向輸出層。取輸出與期望的誤差的平方和作為目標函數(shù)，判定訓練是否完成。反向逐層求出目標函數(shù)對權值向量的梯度。依據(jù)特定規(guī)則調整權值矩陣。9.5深度學習基礎指在多層神經(jīng)網(wǎng)絡上運用各種機器學習算法解決圖像，文本等領域的識別、分類等問題的算法集合。大類上可以歸入神經(jīng)網(wǎng)絡，在具體實現(xiàn)上有許多變化。深度學習的概念核心是特征學習：可以用非監(jiān)督式或半監(jiān)督式的進行特征學習和特征分層。解決以往需要人工設計特征的重要難題。深度學習的特征訓練階段深度學習預測階段特征提取模型訓練區(qū)別傳統(tǒng)機器學習：需要事先人為定義一些特征。深度學習：特征是由算法自身通過學習得到。基本特征通過自動學習得到特征。實現(xiàn)特征表示和分類器的聯(lián)合優(yōu)化。表達結構更深，能力更強。具有提取全局特征和上下文信息的能力。形狀邊緣圖案特征普通多層神經(jīng)網(wǎng)絡輸入層中間層1中間層2W(1)A(1)A(2)ZW(2)輸出層A(3)W(3)參數(shù)三層神經(jīng)網(wǎng)絡。W(1)中有12個參數(shù)，W(2)中有16個參數(shù)，W(3)中有12個參數(shù)，所以整個神經(jīng)網(wǎng)絡的參數(shù)有40個。若輸入矩陣為A(1)，各層的參數(shù)矩陣分別為W(1)，W(2)，W(3)。輸出Z的推導公式如下：g(A(1)*W(1))=

A(2)

g(A(2)*W(2))=

A(3)g(A(3)*W(3))=Z模型調整可根據(jù)實際需求調整中間層的節(jié)點數(shù)輸入層中間層1中間層2W(1)A(1)A(2)ZW(2)輸出層W(3)A(3)參數(shù)中間層1：5個節(jié)點，中間層2：5個節(jié)點。整個網(wǎng)絡：55個參數(shù)。層數(shù)保持不變，參數(shù)數(shù)量增加，表示能力更好。表示能力是一個重要性質輸入層中間層1中間層2W(1)A(1)A(2)ZW(2)輸出層A(3)W(3)中間層3W(4)A(4)參數(shù)中間層1：4個節(jié)點，中間層2：4個節(jié)點。中間層3：3個節(jié)點。整個網(wǎng)絡：49個參數(shù)。有3個中間層。說明在參數(shù)數(shù)量接近情況下，也可用更深的層次去表達。常見的深度學習框架研究者將深度學習算法的相關代碼封裝成一個框架放到共享資源庫中供人們共享使用。隨著時間的推移，逐漸形成了多種不同的框架。不同框架適用的領域不完全一致，框架提供一系列的深度學習的組件（對于通用的算法，里面會有實現(xiàn)）。若需要新算法，用戶可自己定義，然后通過框架的函數(shù)接口使用自定義新算法。Theano深度學習庫高性能的符號計算及深度學習庫。官方網(wǎng)址：/software/theano/GitHub：/Theano/TheanoTensorFlow擁有產(chǎn)品級的高質量代碼，整體架構設計非常優(yōu)秀。相比于Theano，TensorFlow更成熟、更完善。官方網(wǎng)址：/TensorFlow深度學習庫Torch深度學習庫Torch是Facebook開源的庫，定位為LuaJIT上的一個高效的科學計算庫，支持大量的機器學習算法，同時以GPU計算優(yōu)先。官方網(wǎng)址：http://torch.ch/

GitHub：/torch/torch7Caffe深度學習庫Caffe是一個被廣泛使用的開源深度學習框架，在TensorFlow出現(xiàn)之前一直是深度學習領域GitHub?star最多的項目。官方網(wǎng)址：/

GitHub：/BVLC/caffeKeras庫深度學習庫Keras基于Python實現(xiàn)，崇尚極簡、高度模塊化的神經(jīng)網(wǎng)絡庫，可以同時運行在TensorFlow和Theano上。官方網(wǎng)址：keras.io

GitHub：/fchollet/kerasMXNet深度學習庫MXNet是一款開源、輕量級、可移植、靈活的深度學習庫，用戶可以混合使用符號編程模式和指令式編程模式，是AWS官方推薦的深度學習框架。官網(wǎng)網(wǎng)址：mxnet.io

GitHub：/dmlc/mxnetCNTK庫深度學習庫CNTK是微軟研究院的研發(fā)的開源深度學習框架，已經(jīng)發(fā)展成一個通用的、跨平臺的深度學習系統(tǒng)，在語音識別領域廣泛使用。官方網(wǎng)址：cntk.ai

GitHub：/Microsoft/CNTKDeeplearning4J庫深度學習庫Deeplearning4J，簡稱DL4J，是一個基于Java和Scala的開源分布式深度學習庫，核心目標是創(chuàng)建一個即插即用的解決方案原型。官方網(wǎng)址：/

GitHub:?/deeplearning4j/deeplearning4jLeaf庫深度學習庫Leaf是一個基于Rust語言的跨平臺深度學習框架，擁有清晰的架構，僅依賴計算庫Collenchyma。官方網(wǎng)址：/leaf/book

GitHub：/autumnai/leafDSSTNE深度學習庫DSSTNE是亞馬遜開源的稀疏神經(jīng)網(wǎng)絡框架，在訓練非常稀疏的數(shù)據(jù)時具有很大的優(yōu)勢。GitHub：/amznlabs/amazon-dsstne?DSSTNE目前只支持全連接的神經(jīng)網(wǎng)絡，不支持卷積網(wǎng)絡。如何選擇深度學習框架常見深度學習庫比較性能性能一部分主要由實現(xiàn)該框架的語言決定，一小部分原因該框架的實現(xiàn)的架構決定。理論上說，語言運行最快的仍舊是C或C++等；在相同的條件下Torch運行速度要快一些。活躍度非常重要的參考因素?；钴S的社區(qū)就意味著很多人在使用這個框架，會有更多人貢獻代碼。語言深度學習框架幾乎都支持Python，少部分框架只支持原生接口，例如Torch只支持Lua腳本，CNTK只支持C++。9.6卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡是一個包含卷積計算的深度前饋神經(jīng)網(wǎng)絡。能夠進行平移不變分類，也被稱為平移不變人工神經(jīng)網(wǎng)絡。本質上是一個多層感知機。卷積神經(jīng)網(wǎng)絡的優(yōu)缺點優(yōu)點局部連接，權值共享；自動選取學習；下采樣，減少數(shù)據(jù)量。缺點實現(xiàn)比較復雜，訓練所需時間長；不同的任務需要單獨訓練；多級特征物理含義不明確。卷積神經(jīng)網(wǎng)絡的構成-AlexNet輸入層隱藏層輸出層輸入層可以處理多維數(shù)據(jù)：一維卷積神經(jīng)網(wǎng)絡：接收一維或二維數(shù)組，一維數(shù)組常為時間或頻譜采樣，二維數(shù)組可能包含多個通道；二維卷積神經(jīng)網(wǎng)絡：接收二維或三維數(shù)組；三維卷積神經(jīng)網(wǎng)絡：接收四維數(shù)組。主要任務圖像的預處理去均值；歸一化；主成分分析；白化等。隱藏層卷積運算(本質是加權疊加)，提取局部特征。圖像的局部特性使傳統(tǒng)的神經(jīng)元全連接失去意義。特征選擇和信息過濾。通過預設的池化函數(shù)將單個點的結果替換為其相鄰區(qū)域的特征圖統(tǒng)計量。搭建在隱藏層的最后，向其它全連接層傳遞信號

卷積層

池化層

全連接層包含三部分

卷積1

池化1

卷積2

池化2

……

全連接

卷積層卷積核包含多個卷積核。卷積核有規(guī)律地掃秒輸入特征，對圖像上掃描區(qū)域進行卷積處理。使用多個卷積核分別卷積會得到多個特征圖。多次卷積可得到更高層次的