《工業(yè)大數(shù)據(jù)導(dǎo)論》 課件 第7章 工業(yè)大數(shù)據(jù)與新一代人工智能

工業(yè)大數(shù)據(jù)與新一代人工智能目錄傳統(tǒng)人工智能與新一代人工智能新一代人工智能的基礎(chǔ)算法工業(yè)大數(shù)據(jù)在新一代人工智能的定位010203學(xué)習(xí)目標(biāo)1.了解人工智能“三起兩落”的發(fā)展史以及每一階段的特征2.了解人工智能的基本概念、研究?jī)?nèi)容和實(shí)現(xiàn)方法3.了解新一代人工智能的研究?jī)?nèi)容及其去傳統(tǒng)人工智能的三大區(qū)別4.掌握深層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)的基本原理5.了解深度學(xué)習(xí)的發(fā)展方向6.了解工業(yè)大數(shù)據(jù)與新一代人工智能的關(guān)系01傳統(tǒng)人工智能與新一代人工智能傳統(tǒng)人工智能與新一代人工智能新一代人工智能及其與傳統(tǒng)人工智能區(qū)別人工智能發(fā)展史人工智能概述人工智能發(fā)展史自機(jī)械設(shè)備使人類從重復(fù)繁重的體力勞動(dòng)中解放以來，人們還希望能從腦力勞動(dòng)中解放出來，因而研究者們開始轉(zhuǎn)向智能化人工系統(tǒng)的研究。1956年，達(dá)特茅斯會(huì)議正式標(biāo)志著人工智能研究進(jìn)入第一次發(fā)展階段。斯坦福大學(xué)JohnMcCarthy教授麻省理工學(xué)院MarvinLeeMinsky教授卡內(nèi)基梅隆大學(xué)HerbertSimont卡內(nèi)基梅隆大學(xué)AllenNewell教授在美國(guó)召開的達(dá)特茅斯會(huì)議上正式確立“人工智能”為獨(dú)立的新興學(xué)科“信息理論之父”ClaudeElwoodShannonIBM公司NathanielRochester第一次發(fā)展與低谷階段知識(shí)人為提供，決策固化盡管這些成果在一定程度上可以代替人類重復(fù)性的腦力勞動(dòng)，但當(dāng)時(shí)的AI程序基本屬于確定性的輸入輸出，即輸入的對(duì)象特征、分析的規(guī)則都是人為制定，得到的輸出結(jié)果同樣是確定的，稱之為“知識(shí)人為提供，決策固化”。顯然，這也決定此類算法所能解決問題的局限性，導(dǎo)致第一次研究熱潮逐漸褪去。上世紀(jì)50～70年代是人工智能發(fā)展的第一次黃金時(shí)代。1.具有學(xué)習(xí)特性的“感知機(jī)模型”被提出2.“尤尼梅特”作為世界上首款工業(yè)機(jī)器人在通用公司生產(chǎn)線上服役工作3.IBM公司的360型計(jì)算機(jī)稱為第一款規(guī)?；a(chǎn)的計(jì)算機(jī)等第二次發(fā)展階段知識(shí)人為提供，決策靈活知識(shí)層面決策層面上世紀(jì)80年代，人工智能開始復(fù)蘇。專家系統(tǒng)隨機(jī)算法專家系統(tǒng)是一種可模擬人類專家解決相關(guān)領(lǐng)域問題的計(jì)算機(jī)程序系統(tǒng)，它被眾多公司采納并實(shí)現(xiàn)了市場(chǎng)化應(yīng)用。該系統(tǒng)由人機(jī)界面、知識(shí)庫(kù)、推理機(jī)、解釋器、綜合數(shù)據(jù)庫(kù)和知識(shí)獲取六大部分組成。計(jì)算機(jī)根據(jù)知識(shí)庫(kù)通過推理機(jī)對(duì)問題進(jìn)行分析學(xué)習(xí)。以蒙特卡羅樹搜索算法為代表的隨機(jī)算法是將抽取樣本進(jìn)行遍歷，減小計(jì)算量同時(shí)保障較優(yōu)解來解決上述問題，這種選取較優(yōu)解的方法使得決策更加靈活。隨機(jī)算法：蒙特卡羅樹搜索算法蒙特卡羅樹搜索（MonteCarloTreeSearch，MCTS）算法：它因賭博中多用到隨機(jī)算法而以賭城蒙特卡羅命名，其基本原理可通過簡(jiǎn)易的“黑箱摸球”示例理解。假定黑箱中有100個(gè)相同大小的球，每球貼有數(shù)字，大小不一；隨機(jī)取一球，再隨機(jī)取一球，挑數(shù)字大者，如此循環(huán)，挑出的球的數(shù)字至少不比上一次所挑數(shù)字??；隨取球次數(shù)增加，挑出的數(shù)字越接近箱中最大數(shù)。簡(jiǎn)言之，經(jīng)一定搜索采樣后，選擇樣本最優(yōu)者，其接近全局最優(yōu)但不一定是全局最優(yōu)。此類算法受歡迎在于：盡管遍歷數(shù)據(jù)集再作出決策固然能得到最優(yōu)解，但當(dāng)輸入為高維隨機(jī)變量時(shí)，可能的結(jié)果種類將達(dá)到指數(shù)級(jí)的數(shù)據(jù)量，這對(duì)計(jì)算機(jī)決策而言將造成維數(shù)災(zāi)難，隨機(jī)算法采用折中辦法，既減小計(jì)算量又保障較優(yōu)解，因而決策靈活?！吧钏{(lán)”戰(zhàn)勝國(guó)際象棋世界冠軍1997年，IBM公司的超級(jí)計(jì)算機(jī)“深藍(lán)”以3.5:2.5戰(zhàn)勝當(dāng)時(shí)的國(guó)際象棋世界冠軍卡斯帕羅夫。盡管卡斯帕羅夫本人及部分人認(rèn)為人有情緒波動(dòng)而計(jì)算機(jī)無此缺陷，才使深藍(lán)“作弊”勉勝，但是——（1）當(dāng)時(shí)的深藍(lán)計(jì)算機(jī)已使用專家系統(tǒng)，基于大量棋譜訓(xùn)練集遍歷所有走法；（2）由于“下一步棋”的走法可能性過多，故通過蒙特卡羅樹搜索決定較優(yōu)落子方法，使其在國(guó)際象棋方面有機(jī)會(huì)與頂級(jí)選手較量。因此，“深藍(lán)”的成功也標(biāo)志著人工智能往前大跨一步，實(shí)現(xiàn)“知識(shí)人為提供，決策靈活”。第二次低谷階段2.人工神經(jīng)網(wǎng)絡(luò)的理論模型可以解決專家系統(tǒng)的弊端，但其需要的超級(jí)計(jì)算能力與海量數(shù)據(jù)這兩大基礎(chǔ)在當(dāng)時(shí)無法實(shí)現(xiàn)。1.專家系統(tǒng)終究是依賴于人類整理的知識(shí)庫(kù)，無法實(shí)現(xiàn)對(duì)更復(fù)雜問題的求解；因此，人工智能的研究熱再次熄滅。第三次發(fā)展階段知識(shí)自主學(xué)習(xí)，決策靈活2016年，區(qū)別于深藍(lán)的勉勝，Google公司的智能機(jī)器人AlphaGo以4:1的大比分戰(zhàn)勝圍棋世界冠軍李世石，甚至李世石本人也對(duì)AlphaGo棋藝的大幅進(jìn)步而震驚。這一重大事件也標(biāo)志著人工智能終于迎來全新發(fā)展階段?！吧钏{(lán)”AlphaGo深藍(lán)嚴(yán)格意義上只可稱為“手工”程序。保留深藍(lán)的優(yōu)點(diǎn)基礎(chǔ)上，還真正實(shí)現(xiàn)自我學(xué)習(xí)的能力。李世石與AlphaGo的人機(jī)大戰(zhàn)第三次發(fā)展階段第三次發(fā)展源自計(jì)算機(jī)的計(jì)算量與海量數(shù)據(jù)兩大問題已不再是瓶頸，這也使得人工神經(jīng)網(wǎng)絡(luò)得以發(fā)揮作用；且“評(píng)價(jià)網(wǎng)絡(luò)”與“策略網(wǎng)絡(luò)”兩種深層神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于AlphaGo的圍棋算法中。1.評(píng)價(jià)網(wǎng)絡(luò)可根據(jù)當(dāng)前局勢(shì)計(jì)算己方最終的勝率；2.策略網(wǎng)絡(luò)則可以判斷對(duì)手最可能的落子點(diǎn)；3.決策仍是基于蒙特卡羅樹搜索算法確定己方的下一步最佳落子點(diǎn)。受限于專家系統(tǒng)，深藍(lán)更多只可適用于國(guó)際象棋的對(duì)弈。AlphaGo的算法則因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)自學(xué)習(xí)知識(shí)的特點(diǎn)沒有領(lǐng)域限制，更容易實(shí)現(xiàn)泛化。盡管人工神經(jīng)網(wǎng)絡(luò)往往在具備海量數(shù)據(jù)集的前提下才能發(fā)揮優(yōu)勢(shì)，這與人類大腦對(duì)于任意領(lǐng)域均能實(shí)現(xiàn)基于少量樣例便可進(jìn)行演繹推理的能力無法比擬，也正說明與強(qiáng)人工智能的愿景尚有差距，但技術(shù)的不斷突破與商業(yè)化應(yīng)用無疑使人工智能更進(jìn)一步。人工智能概述：基本概念人工智能（ArtificialIntelligence，AI）自誕生以來出現(xiàn)過多種定義。美國(guó)斯坦福大學(xué)人工智能研究中心的尼爾遜（Nelson）教授曾認(rèn)為，“人工智能是關(guān)于知識(shí)的學(xué)科——即怎樣表示知識(shí)以及怎樣獲得知識(shí)并使用知識(shí)的科學(xué)。”美國(guó)麻省理工學(xué)院的溫斯頓（Winston）教授則定義，“人工智能就是研究如何使計(jì)算機(jī)去做過去只有人才能做的智能工作。”人工智能：研究人類智能活動(dòng)的規(guī)律，通過計(jì)算機(jī)的軟硬件模擬、延伸和擴(kuò)展人的某些思維過程和智能行為，從而創(chuàng)造出具有一定智能程度的人工系統(tǒng)。從另一個(gè)角度，人工智能雖是計(jì)算機(jī)科學(xué)的一個(gè)分支，但又涉及心理學(xué)、哲學(xué)、語(yǔ)言學(xué)等多種社會(huì)科學(xué)，已遠(yuǎn)遠(yuǎn)超出計(jì)算機(jī)科學(xué)的范疇，因此她可獨(dú)立成為一門研究智能理論、方法、技術(shù)及應(yīng)用系統(tǒng)的新技術(shù)科學(xué)。人工智能概述：研究?jī)?nèi)容人類通過將小白鼠的聽覺中樞與視覺神經(jīng)進(jìn)行人為連接，發(fā)現(xiàn)聽覺中樞擁有視覺功能，驗(yàn)證了包括人類在內(nèi)的哺乳動(dòng)物的大腦中各塊區(qū)域都擁有類似的學(xué)習(xí)機(jī)制，這為研究具有通用性智能的機(jī)器或稱為具備多元智能的系統(tǒng)提供了理論基礎(chǔ)。但是考慮到通用性智能的實(shí)現(xiàn)復(fù)雜性，研究者們決定先從單一模塊分別實(shí)現(xiàn)突破。人工智能研究?jī)?nèi)容人類特征眼耳口鼻舌等感官語(yǔ)言交流能力運(yùn)動(dòng)能力學(xué)習(xí)能力情感規(guī)劃知識(shí)庫(kù)自主感知自然語(yǔ)言處理運(yùn)動(dòng)與控制機(jī)器學(xué)習(xí)情感社交智能規(guī)劃知識(shí)表示法人工智能概述：研究?jī)?nèi)容【自主感知】包括機(jī)器視覺、計(jì)算機(jī)視覺等圖像處理類技術(shù)，以及機(jī)器聽覺、語(yǔ)音識(shí)別等技術(shù)；【自然語(yǔ)言處理】就狹義角度而言，即將語(yǔ)音識(shí)別的結(jié)果以及其他來源作為自然語(yǔ)言處理的素材，并轉(zhuǎn)化成適于另一群體使用的語(yǔ)言結(jié)果的技術(shù)；【運(yùn)動(dòng)控制】智能系統(tǒng)如智能機(jī)器人能根據(jù)環(huán)境完成正確的運(yùn)動(dòng)并實(shí)現(xiàn)自主控制的技術(shù)；【機(jī)器學(xué)習(xí)】模擬人類的學(xué)習(xí)行為獲取新的知識(shí)并實(shí)現(xiàn)知識(shí)的轉(zhuǎn)化應(yīng)用，機(jī)器學(xué)習(xí)也是人工智能的核心技術(shù)，是計(jì)算機(jī)具備智能的根本途徑；【情感社交】計(jì)算機(jī)通過情感計(jì)算對(duì)人給予的反應(yīng)作出表情、姿態(tài)、語(yǔ)氣等的變化，實(shí)現(xiàn)人機(jī)交互更加和諧；【智能規(guī)劃】通過建立自我的世界模型，并與真實(shí)世界進(jìn)行對(duì)比，根據(jù)預(yù)測(cè)與現(xiàn)實(shí)的差別進(jìn)行計(jì)劃的制定與調(diào)整；【知識(shí)表示法】通過邏輯表示法或產(chǎn)生式表示法等表示方法搭建常識(shí)知識(shí)庫(kù)，用作計(jì)算機(jī)決策的知識(shí)來源之一。此外，人類也具備創(chuàng)造力，即在某些特定情況下的一種不依賴于量變而產(chǎn)生質(zhì)變的特殊模式，這也是人工智能尚待研究攻克的內(nèi)容之一。人工智能概述：實(shí)現(xiàn)方法【機(jī)器學(xué)習(xí)】正如Google所言，“先解決智能問題，再用智能解決一切問題?！比说母呒?jí)屬性在于可通過學(xué)習(xí)獲取知識(shí)，然后用于解決問題，并且良性循環(huán)，不斷提高；因而人工智能的關(guān)鍵就在于能否真正使計(jì)算機(jī)如人類一般進(jìn)行學(xué)習(xí)和提高，這便是為什么機(jī)器學(xué)習(xí)是人工智能的核心技術(shù)。從學(xué)習(xí)策略角度，機(jī)器學(xué)習(xí)可進(jìn)行如下分類。機(jī)器學(xué)習(xí)歸納學(xué)習(xí)：經(jīng)驗(yàn)性歸納學(xué)習(xí)事實(shí)上，分類與回歸問題本質(zhì)上均為根據(jù)輸入對(duì)輸出作預(yù)測(cè)，而分類問題的輸出是一種定性輸出，即離散型變量；而回歸問題的輸出則是一種定量輸出，即連續(xù)型變量。經(jīng)驗(yàn)性歸納學(xué)習(xí)主要用于解決分類問題和回歸問題：分類可理解為數(shù)據(jù)劃分界限，譬如輸入人臉圖片輸出人物身份識(shí)別結(jié)果；回歸可理解為數(shù)據(jù)擬合，譬如輸入人臉圖片輸出人物年齡預(yù)測(cè)。經(jīng)驗(yàn)性歸納學(xué)習(xí)決策樹模型算法樸素貝葉斯模型算法支持向量機(jī)算法等邏輯回歸算法歸納學(xué)習(xí)：經(jīng)驗(yàn)性歸納學(xué)習(xí)決策樹模型決策樹模型（DecisionTreeModel，DTM）是在已知各種情況發(fā)生概率的基礎(chǔ)上，通過構(gòu)成決策樹來求取各期望值的概率（非負(fù)數(shù)），評(píng)價(jià)事件風(fēng)險(xiǎn)來判斷其可行性的決策分析方法，是直觀運(yùn)用概率分析的一種樹狀結(jié)構(gòu)的圖解法，也是最簡(jiǎn)單的歸納學(xué)習(xí)算法，并且決策過程近似于人類在社會(huì)環(huán)境中的邏輯思維過程。建立決策樹模型主要包括四項(xiàng)內(nèi)容：1.模型欲實(shí)現(xiàn)的目標(biāo)；2.根節(jié)點(diǎn)，表示訓(xùn)練數(shù)據(jù)集；4.葉節(jié)點(diǎn)，表示模型的判定結(jié)果。3.內(nèi)部節(jié)點(diǎn)，表示多層測(cè)試條件，以對(duì)數(shù)據(jù)進(jìn)行分類純化；注：訓(xùn)練數(shù)據(jù)集是已知特征屬性的數(shù)據(jù)樣本，是決策樹結(jié)構(gòu)形成過程的數(shù)據(jù)源。歸納學(xué)習(xí)：經(jīng)驗(yàn)性歸納學(xué)習(xí)“高爾夫球場(chǎng)的顧客”問題在不同環(huán)境下，高爾夫球場(chǎng)的顧客量會(huì)出現(xiàn)很大的波動(dòng)，這當(dāng)然也會(huì)影響服務(wù)員人員的需求量。比如在下雨時(shí)，顧客量會(huì)很少，服務(wù)人員的需求量就會(huì)小，而在陰天時(shí)，顧客量可能就會(huì)多，服務(wù)人員的需求量自然就大。因此，球場(chǎng)可以記錄不同天氣情況下的顧客訪問量，從而預(yù)測(cè)出未來指定時(shí)間段內(nèi)的服務(wù)人員需求量。日期天氣氣溫（℃）相對(duì)濕度（%）有/無風(fēng)有/無顧客1晴2985無無2晴2790有無3多云2878無有4雨2196無有5雨2080無有6雨1870有無7多云1765有有8晴2295無無9晴2070無有10雨2480無有11晴2470有有12多云2290有有13多云2775無有14雨2180有無兩周高爾夫球場(chǎng)顧客數(shù)據(jù)集歸納學(xué)習(xí)：經(jīng)驗(yàn)性歸納學(xué)習(xí)“高爾夫球場(chǎng)的顧客”問題建立高爾夫球場(chǎng)顧客問題的決策樹模型：歸納學(xué)習(xí)：經(jīng)驗(yàn)性歸納學(xué)習(xí)“高爾夫球場(chǎng)的顧客”問題由此，本示例建立的決策樹模型將顧客打球時(shí)間與原因進(jìn)行了有效的分類，并為將來的實(shí)際待測(cè)數(shù)據(jù)集提供了預(yù)測(cè)模型，即只要根據(jù)今后的天氣相關(guān)指標(biāo)值便可推測(cè)出當(dāng)日是否會(huì)有顧客光臨，從而靈活調(diào)整雇員數(shù)量，包括固定員工與臨時(shí)工的合理搭配等。1.單論天氣情況，可得出第一層結(jié)論，即多云天氣時(shí)，顧客總是喜歡打高爾夫球，而晴雨天則視情況而定；2.晴天時(shí)，顧客喜歡在相對(duì)濕度低于70的日子里打高爾夫球，或在雨天時(shí)，只要無風(fēng)，也有狂熱的愛好者前來打球；但在晴雨天的其他情況下，顧客則不會(huì)選擇打球。上述決策樹模型的根節(jié)點(diǎn)的訓(xùn)練數(shù)據(jù)集即來自“兩周高爾夫球場(chǎng)顧客數(shù)據(jù)集”表格，其中天氣、氣溫、相對(duì)濕度、有/無風(fēng)等特征值為測(cè)試條件，且須遵從選擇可令子集純度更高的測(cè)試條件作為最優(yōu)特征值進(jìn)行劃分。根據(jù)決策樹模型可知：歸納學(xué)習(xí)：經(jīng)驗(yàn)性歸納學(xué)習(xí)樸素貝葉斯模型樸素貝葉斯模型（NaiveBayesianModel，NBM）算法也是一種基于概率論的預(yù)測(cè)算法。其核心法則是基于如下條件概率公式：

假設(shè)有特征：性別、有無紋身等，根據(jù)這些樣貌特征，我們訓(xùn)練出一個(gè)標(biāo)準(zhǔn)的“好人模型”和“壞人模型”。這樣，當(dāng)一個(gè)品行未知的人來以后，我們迅速獲取TA的樣貌特征向量，分布輸入“好人模型”和“壞人模型”，得到兩個(gè)概率值。如果“壞人模型”輸出的概率值大一些，那這個(gè)人很有可能就是個(gè)大壞蛋了。歸納學(xué)習(xí)：經(jīng)驗(yàn)性歸納學(xué)習(xí)邏輯回歸支持向量機(jī)支持向量機(jī)（SupportVectorMachine，SVM）算法通過尋找兩個(gè)平行的超平面并使之距離最大化實(shí)現(xiàn)分類。邏輯回歸（LogisticRegression，LR）算法通過擬合曲線實(shí)現(xiàn)分類或回歸。盡管用于分類的算法眾多，但因各自優(yōu)缺點(diǎn)而有各自的適用范圍。1.決策樹的優(yōu)點(diǎn)在于屬于白盒模型，即無需專業(yè)解讀，具有天然的解釋性；但缺點(diǎn)在于對(duì)異常值敏感，易導(dǎo)致樹結(jié)構(gòu)的巨大變化，以及對(duì)未出現(xiàn)過的值束手無策導(dǎo)致泛化能力不足；2.樸素貝葉斯模型優(yōu)點(diǎn)是其源于古典數(shù)學(xué)理論，分類效率穩(wěn)定，且對(duì)缺失數(shù)據(jù)不敏感；但其缺點(diǎn)在于各個(gè)特征相互獨(dú)立的假設(shè)在實(shí)際應(yīng)用中往往不成立，這對(duì)概率計(jì)算值的真實(shí)性造成影響；3.邏輯回歸的優(yōu)點(diǎn)是其計(jì)算代價(jià)低，易于實(shí)現(xiàn)；缺點(diǎn)在于易出現(xiàn)欠擬合，導(dǎo)致分類精度可能不高；4.持向量機(jī)的優(yōu)點(diǎn)在于其對(duì)異常值敏感度低，易于泛化；缺點(diǎn)是對(duì)大規(guī)模訓(xùn)練數(shù)據(jù)集難以實(shí)施，以及難以解決多分類的問題。歸納學(xué)習(xí)：遺傳算法遺傳算法的基本過程如下：確定實(shí)際問題的參數(shù)集并進(jìn)行編碼得到初始化的種群，再通過適應(yīng)度函數(shù)評(píng)價(jià)種群，若當(dāng)前解已滿足評(píng)價(jià)要求，則結(jié)束，此解即所求期望解；若當(dāng)前解不滿足停止規(guī)則，則進(jìn)行遺傳操作，包括選擇、交叉和變異，從而迭代產(chǎn)生新一種群，隨后重復(fù)評(píng)估適應(yīng)度及后續(xù)過程，直至得到期望解。遺傳算法（GeneticAlgorithm，GA）主要用于解決搜索問題。自上世紀(jì)90年代后，它的應(yīng)用已從函數(shù)優(yōu)化、車間調(diào)度等范圍擴(kuò)展至基于遺傳算法的機(jī)器學(xué)習(xí)領(lǐng)域，并且遺傳算法也正日益和人工神經(jīng)網(wǎng)絡(luò)、模糊推理及混沌理論等其他智能計(jì)算方法互相滲透融合。歸納學(xué)習(xí)：遺傳算法以典型的“袋鼠跳”來描述遺傳算法的求解過程。假定需要求解函數(shù)曲線的最大值，而函數(shù)曲線圖有多個(gè)極大、極小值?，F(xiàn)將曲線圖理解為一座山脈，有多處山峰與山谷，令隨機(jī)得到的一組解作為第一群袋鼠散落于山脈不同位置中，并讓袋鼠不斷往高處跳（逼近），直至有袋鼠跳至最高山峰處。袋鼠跳的方法有多種：1.

“爬山法”：由于是依賴隨機(jī)產(chǎn)生的單點(diǎn)往周邊進(jìn)行跳躍尋找高峰，故易導(dǎo)致到達(dá)局部最優(yōu)解即停止，而可能無法到達(dá)全局最優(yōu)解；1.遺傳算法：不以單點(diǎn)跳躍，而是多點(diǎn)并行，即隨機(jī)產(chǎn)生一群袋鼠散落于山脈中，每隔一個(gè)周期，對(duì)低海拔的袋鼠進(jìn)行全體射殺，剩下高海拔的袋鼠存活，并且存活的袋鼠可進(jìn)行繁殖，在此地產(chǎn)生更多的袋鼠，同時(shí)袋鼠可以往周邊跳躍尋找附近的高峰；如此循環(huán)，最后僅最高峰的袋鼠得以存活，即找到全局最優(yōu)解。若求最小值同理。2.

“模擬退火法”：通過令袋鼠有較大的跳躍量以解決遇到局部最優(yōu)解即停止的問題，而可以有足夠能量跳過局部點(diǎn)并在接近全局最優(yōu)解時(shí)降低跳躍量直至到達(dá)全局最優(yōu)解，但仍是單點(diǎn)跳躍，跳躍時(shí)間長(zhǎng)；注：遺傳算法具有其獨(dú)特的優(yōu)勢(shì)，即算法與問題涉及領(lǐng)域無關(guān)，適用廣泛，同時(shí)不采用確定性規(guī)則而以概率的變遷規(guī)則指導(dǎo)搜索方向；但其不足在于搜索速度較慢，欲得到精確解需較長(zhǎng)訓(xùn)練時(shí)間等。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)聯(lián)結(jié)學(xué)習(xí)主要指人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）算法，是一種模擬人腦神經(jīng)元網(wǎng)絡(luò)的信息處理模型，自上世紀(jì)50年代起，至今已發(fā)展60余年。經(jīng)歷了淺層神經(jīng)網(wǎng)絡(luò)到深層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)算法）的發(fā)展歷程。深層神經(jīng)網(wǎng)絡(luò)淺層神經(jīng)網(wǎng)絡(luò)單層線性感知機(jī)模型多層非線性感知機(jī)模型歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)淺層神經(jīng)網(wǎng)絡(luò)起初，F(xiàn)rankRosenblatt教授在由美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出的“人工神經(jīng)元模型”，或稱為“M-P神經(jīng)元模型”的基礎(chǔ)上，于1958年正式定義“感知機(jī)(MultilayerPerceptron，MLP)模型”。圖中的單層單神經(jīng)元感知機(jī)模型中，x1～xn為n個(gè)從研究對(duì)象提取的特征值，w為權(quán)重值，b為激活閾值，所有特征值xi通過線性加權(quán)和作為輸入，f為激活函數(shù)。當(dāng)模型完成輸入后，經(jīng)激活函數(shù)作用，若其值大于設(shè)定閾值，則輸出階躍值1激活，反之則輸出階躍值0抑制，從形式上仿照人體神經(jīng)元突觸處的興奮和抑制機(jī)制。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)淺層神經(jīng)網(wǎng)絡(luò)感知機(jī)模型還在于將各輸入值的權(quán)重定義為可變，通過設(shè)置基于誤分類的損失函數(shù)，利用梯度下降法對(duì)損失函數(shù)不斷迭代求得極小值，即可將權(quán)重調(diào)整至最接近真實(shí)的情況，這也使“感知機(jī)模型”被賦予學(xué)習(xí)的特性。但是單個(gè)神經(jīng)元的輸出只有0和1兩種情況，而實(shí)際對(duì)象的輸出往往有多種，需要通過多個(gè)神經(jīng)元共同完成分類。右圖是單層多神經(jīng)元感知機(jī)模型，由m個(gè)神經(jīng)元構(gòu)成，最多可區(qū)分出2^m種輸入模式。但無論神經(jīng)元個(gè)數(shù)有多少，它仍是單層的感知機(jī)模型。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)淺層神經(jīng)網(wǎng)絡(luò)在上世紀(jì)60年代末70年代初，盡管“感知機(jī)模型”調(diào)整權(quán)值的算法十分簡(jiǎn)潔，但隨著它的深入使用，研究者們遇到三層阻礙：1.單層的感知機(jī)模型只能解決可線性分割的問題，對(duì)于非線性分割問題如異或門則束手無策；2.當(dāng)時(shí)作為樣本輸入的數(shù)據(jù)量缺失；3.由于單層感知機(jī)模型的局限性，當(dāng)問題復(fù)雜度提高，多神經(jīng)元感知機(jī)模型的神經(jīng)元數(shù)量增加，分類結(jié)果也將呈指數(shù)級(jí)增長(zhǎng)，伴隨的是計(jì)算難度的指數(shù)級(jí)增長(zhǎng)，而當(dāng)時(shí)計(jì)算機(jī)的計(jì)算量是遠(yuǎn)遠(yuǎn)達(dá)不到要求的。因此，人工神經(jīng)網(wǎng)絡(luò)自身的“單層感知機(jī)模型”存在不足與時(shí)代發(fā)展階段的外部因素共同限制進(jìn)一步其發(fā)展。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)深層神經(jīng)網(wǎng)絡(luò)直至80年代，“深層神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，DNN）”的出現(xiàn)有效克服了“單層感知機(jī)模型”無法解決異或運(yùn)算的問題?！岸鄬印焙汀胺蔷€性”是“深層神經(jīng)網(wǎng)絡(luò)”的兩大特性：【多層】區(qū)別于單層感知機(jī)模型，其在輸入和輸出層間加入“隱層”，從而擴(kuò)展為多層感知機(jī)模型?！径鄬印矿w現(xiàn)在激活函數(shù)采用非線性函數(shù)。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)深層神經(jīng)網(wǎng)絡(luò)20世紀(jì)80-90年代21世紀(jì)至今80年代末90年代初，卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)等當(dāng)下熱門的人工神經(jīng)網(wǎng)絡(luò)算法，與深層神經(jīng)網(wǎng)絡(luò)同樣得到較好的發(fā)展，并在當(dāng)下均被稱為“深度學(xué)習(xí)”算法。但同時(shí)，神經(jīng)網(wǎng)絡(luò)的發(fā)展再次遇阻，此時(shí)的人工神經(jīng)網(wǎng)絡(luò)理論模型已取得可觀的進(jìn)展，卻仍然受制于當(dāng)時(shí)的計(jì)算機(jī)計(jì)算能力不足，以及可供使用的數(shù)據(jù)量無法達(dá)到訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)所需的要求。直到近年來，云計(jì)算等技術(shù)極大地提高計(jì)算系統(tǒng)的計(jì)算量，同時(shí)大數(shù)據(jù)的出現(xiàn)亦使得深層神經(jīng)網(wǎng)絡(luò)所需的海量數(shù)據(jù)不再成為制約，因此人工神經(jīng)網(wǎng)絡(luò)在自身理論成熟與外部技術(shù)環(huán)境支持的共同驅(qū)動(dòng)下，得到了空前的發(fā)展與應(yīng)用，也直接推動(dòng)了新一代人工智能的到來。演繹學(xué)習(xí)：分析學(xué)習(xí)【歸納學(xué)習(xí)】從經(jīng)驗(yàn)性歸納學(xué)習(xí)、遺傳算法、聯(lián)結(jié)學(xué)習(xí)等算法的實(shí)現(xiàn)原理可以看出，歸納學(xué)習(xí)是指在大量樣例的前提下總結(jié)一般規(guī)律，創(chuàng)立新的概念、理論，再用于預(yù)測(cè)分析、解決智能問題。【演繹學(xué)習(xí)】指在已知事實(shí)規(guī)律的前提下就少量樣例進(jìn)行推理分析，并不產(chǎn)生新的概念、知識(shí)，是一種基于解釋的學(xué)習(xí)策略，以分析學(xué)習(xí)為典型實(shí)現(xiàn)算法。相對(duì)于歸納學(xué)習(xí)，分析學(xué)習(xí)在可用訓(xùn)練數(shù)據(jù)不足的情況下較有優(yōu)勢(shì)。以珍稀物種中華鱘的識(shí)別為例，若歸納學(xué)習(xí)需要通過大量中華鱘圖片作為訓(xùn)練數(shù)據(jù)集得到識(shí)別中華鱘的算法模型，分析學(xué)習(xí)則是基于先驗(yàn)知識(shí)，即將中華鱘相較其他動(dòng)物所特有的特征屬性與訓(xùn)練數(shù)據(jù)共同作為輸入，分析少量的訓(xùn)練數(shù)據(jù)，明確這些樣例如何滿足中華鱘的目標(biāo)特征，則可基于邏輯推理而非統(tǒng)計(jì)推理對(duì)樣例進(jìn)行泛化。新一代人工智能及其與傳統(tǒng)人工智能區(qū)別人工智能自誕生以來每一次發(fā)展都會(huì)受阻，但沉默期之后也都會(huì)重新迎來曙光，現(xiàn)今正處于第三次發(fā)展階段。之所以稱為“新一代人工智能”，主要在于社會(huì)需求的變化、技術(shù)環(huán)境的變革以及人工神經(jīng)網(wǎng)絡(luò)理論的成熟這三大關(guān)鍵因素，這也是其與傳統(tǒng)人工智能的區(qū)別所在。有別于上世紀(jì)以學(xué)術(shù)牽引為主的AI研究，21世紀(jì)的人工智能則轉(zhuǎn)變?yōu)樾枨鬆恳?。隨著人們對(duì)智慧城市、智能醫(yī)療、智能交通、智能物流、智能機(jī)器人等各領(lǐng)域提出智能化的訴求，人工智能已走出小規(guī)模的實(shí)驗(yàn)室研究范圍，進(jìn)而走進(jìn)各個(gè)大小城市、企業(yè)等，形成大規(guī)模的AI研究熱。1.社會(huì)需求變化過去每一次人工智能低谷期，除去算法本身的局限性，往往還受限于時(shí)下的技術(shù)條件，譬如計(jì)算機(jī)的計(jì)算能力有限，訓(xùn)練數(shù)據(jù)樣本量有限等。如今計(jì)算機(jī)的超強(qiáng)計(jì)算能力，使得神經(jīng)網(wǎng)絡(luò)中可能出現(xiàn)的指數(shù)級(jí)計(jì)算量不再是技術(shù)壁壘；互聯(lián)網(wǎng)技術(shù)的普及與成熟使海量數(shù)據(jù)的獲取也變得便捷且低廉。技術(shù)環(huán)境的重大變革為人工智能的跨越式發(fā)展迎來重要契機(jī)。2.技術(shù)環(huán)境變革新一代人工智能及其與傳統(tǒng)人工智能區(qū)別2006年，Hinton等人提出的深度學(xué)習(xí)的概念，事實(shí)上可認(rèn)為是深層神經(jīng)網(wǎng)絡(luò)等的變相說法，解決的關(guān)鍵問題是可以自主地將提取的簡(jiǎn)單特征組合成更復(fù)雜的特征，進(jìn)而利用它們進(jìn)行預(yù)測(cè)、解決問題。與單層感知機(jī)模型不同，傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)均是對(duì)人工提取的特征進(jìn)行權(quán)重學(xué)習(xí)與優(yōu)化，而深度學(xué)習(xí)算法則是從原始輸入中自主提取基礎(chǔ)特征，進(jìn)而繼續(xù)多層復(fù)雜特征的提取，再對(duì)特征進(jìn)行學(xué)習(xí)與優(yōu)化，克服了人工特征提取的局限性。同時(shí)——(1)通過指數(shù)衰減法設(shè)置梯度下降算法中的學(xué)習(xí)率可讓模型快速接近較優(yōu)解并保持穩(wěn)定，加快訓(xùn)練速度；(2)通過正則化可有效避免訓(xùn)練過程中的過擬合現(xiàn)象；(3)通過控制參數(shù)的初始值或設(shè)置損失函數(shù)為凸函數(shù)可保證模型優(yōu)化能達(dá)到全局最優(yōu)解。因此深度學(xué)習(xí)算法在自主學(xué)習(xí)及自主優(yōu)化上的優(yōu)勢(shì)尤為凸顯。3.人工神經(jīng)網(wǎng)絡(luò)理論成熟人工智能機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)人工智能-機(jī)器學(xué)習(xí)-人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)關(guān)系圖新一代人工智能研究?jī)?nèi)容從研究?jī)?nèi)容方面看，“新一代人工智能”包括跨媒體智能、人機(jī)交互智能、群體智能與大數(shù)據(jù)智能等。1.跨媒體智能2.人機(jī)交互智能現(xiàn)代社會(huì)的信息傳播方式已不再是單一的文字、圖像、音頻或視頻等，而是多種形式相互融合，共同呈現(xiàn)，是跨媒體特性的集中表現(xiàn)?？缑襟w數(shù)據(jù)在綜合反映個(gè)體或群體行為信息的同時(shí)，也反映出此類信息數(shù)據(jù)關(guān)聯(lián)復(fù)雜、多源異構(gòu)等特征。相較于傳統(tǒng)的文本類數(shù)據(jù)，多種數(shù)據(jù)統(tǒng)一表征尚具有較大難度。因此，跨媒體智能的核心任務(wù)即是針對(duì)復(fù)雜的多媒體數(shù)據(jù)，探索出可聯(lián)合提取多種數(shù)據(jù)特征的綜合方法，并進(jìn)行識(shí)別與應(yīng)用。人機(jī)交互認(rèn)為人與機(jī)器的本質(zhì)是共存關(guān)系，即beingtogether，人機(jī)交互智能便是人的智慧同機(jī)器的智能結(jié)合在一起。新一代人工智能研究?jī)?nèi)容人機(jī)交互智能續(xù)=>莫拉維克悖論認(rèn)為：對(duì)計(jì)算機(jī)而言，實(shí)現(xiàn)邏輯推理等人類高級(jí)智慧只需要相對(duì)很少的計(jì)算能力，而實(shí)現(xiàn)感知、運(yùn)動(dòng)等低級(jí)智慧卻需要巨大的計(jì)算資源。換言之，“困難的問題是簡(jiǎn)單的，簡(jiǎn)單的問題是困難的”。因而，計(jì)算機(jī)除去代替重復(fù)性腦力勞動(dòng)外，通過基于海量數(shù)據(jù)集的算法訓(xùn)練達(dá)到與人類一般層面的溝通交流，便可為人類提供巨大的方便。但是某些高級(jí)智能如人類的“頓悟”、“創(chuàng)造力”等，則可完全發(fā)揮人獨(dú)有的優(yōu)勢(shì)，兩者共同解決生產(chǎn)生活中的各種問題。3.群體智能群體智能一般是指某些情況下，群體性的智能能超過群體中最優(yōu)秀個(gè)體所表現(xiàn)的智能。人工群體智能是在互聯(lián)網(wǎng)平臺(tái)下自然地集合眾多智慧的方法體現(xiàn)。以百科詞條編輯為例，人人可編輯且并不強(qiáng)迫人人參與，但又能借互聯(lián)網(wǎng)之手，匯集大眾的智慧，使得各種詞條釋義不因個(gè)的局限而有失偏頗。對(duì)于用戶而言，搜索關(guān)鍵詞得到的百科詞條解釋，便是海量修改數(shù)據(jù)截至當(dāng)前的呈現(xiàn)結(jié)果，實(shí)現(xiàn)知識(shí)共享。人工群體智能并不止于人與機(jī)器，還有機(jī)器與機(jī)器等共同完成智能任務(wù)。新一代人工智能研究?jī)?nèi)容互聯(lián)網(wǎng)與物聯(lián)技術(shù)真正使海量數(shù)據(jù)的采集存儲(chǔ)變?yōu)楝F(xiàn)實(shí)，再結(jié)合新一代人工智能中的深度學(xué)習(xí)等技術(shù)方可真正實(shí)現(xiàn)各領(lǐng)域的“大數(shù)據(jù)智能”。4.大數(shù)據(jù)智能以“智能交通出行”為例，居民出行的方式有多種，但基本都會(huì)選擇最快捷的出行方式，其中公共汽車也是眾多選項(xiàng)之一。公交系統(tǒng)將每一輛運(yùn)營(yíng)中車輛的位置信息實(shí)時(shí)采集并顯示于公交站臺(tái)，可幫助居民及時(shí)進(jìn)行合適交通工具的選擇；同時(shí)，通過將后續(xù)時(shí)段的路段交通狀況分析的具有高置信度的預(yù)測(cè)結(jié)果以APP等方式告知用戶，更有利于用戶的出行保障。以“智能船舶研究”為例，船舶是資產(chǎn)，它各方面的設(shè)計(jì)應(yīng)盡可能滿足用戶需求。制造商可在母型船的基礎(chǔ)上，與用戶共同完成船只的定制化設(shè)計(jì)制造；并且在船只交付使用后，制造商通過持續(xù)采集船只航行過程中的船速、吃水等各種實(shí)時(shí)狀態(tài)參數(shù)，并基于分析模型進(jìn)行綜合評(píng)估，可輔助船員完成對(duì)推進(jìn)系統(tǒng)、導(dǎo)航系統(tǒng)等的操作管理，以及定期給出船體維保建議等。顯然，大數(shù)據(jù)智能將在更多領(lǐng)域發(fā)揮重要作用。02新一代人工智能的基礎(chǔ)算法深層神經(jīng)網(wǎng)絡(luò)DNN深層神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，DNN）算法可有效解決具有非線性或異或特征的分類、回歸問題，它在原單層感知機(jī)模型基礎(chǔ)上進(jìn)行了多層變換和非線性變換，通過損失函數(shù)評(píng)價(jià)深層神經(jīng)網(wǎng)絡(luò)的分類、回歸效果。1.多層變換【必要性】多層的思想源自心理學(xué)出身的GeoffreyHinton（被譽(yù)為“人工智能教父”）針對(duì)單層感知機(jī)提出的“分布式知識(shí)表達(dá)”的概念，源自大腦對(duì)于任何事物的記憶并非存儲(chǔ)于單一的神經(jīng)元，而是分布式地存在于巨大的神經(jīng)元網(wǎng)絡(luò)中。以鋼片為例，假定有m種長(zhǎng)度值和n種寬度值——若按單層感知機(jī)模型表達(dá)，則需要m×n個(gè)神經(jīng)元參與才能將所有類型表達(dá)完全；若以分布式表達(dá)思想，通過2層神經(jīng)元分別為m和n個(gè)神經(jīng)元節(jié)點(diǎn)，則只需m+n個(gè)神經(jīng)元，即可表達(dá)m×n種鋼片類型；體現(xiàn)了線性增加的神經(jīng)元數(shù)目可實(shí)現(xiàn)指數(shù)級(jí)增加的概念數(shù)目的巨大優(yōu)勢(shì)。深層神經(jīng)網(wǎng)絡(luò)DNN【實(shí)現(xiàn)過程】對(duì)于線性可分的二分類問題，只需要一個(gè)輸入輸出即可實(shí)現(xiàn)；對(duì)于線性不可分?jǐn)?shù)據(jù)，則需進(jìn)行多次二分類，使之變?yōu)榫€性可分；而通過隱層設(shè)置多個(gè)節(jié)點(diǎn)即構(gòu)造多個(gè)二分類器，這便是隱層的物理意義所在。隱層數(shù)和每個(gè)隱層節(jié)點(diǎn)數(shù)的設(shè)置需要根據(jù)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效果進(jìn)行調(diào)整，但在初次搭建模型時(shí)可按如下方法進(jìn)行設(shè)置：（1）隱層數(shù)設(shè)置一般優(yōu)先考慮設(shè)置1個(gè)隱層。因?yàn)樵黾与[層數(shù)盡管可降低模型誤差，但也意味著模型復(fù)雜化，導(dǎo)致訓(xùn)練時(shí)間變長(zhǎng)且更易出現(xiàn)過擬合現(xiàn)象，而單隱藏層對(duì)絕大多數(shù)問題也已夠用。另外，為降低模型誤差，通過增加隱層節(jié)點(diǎn)數(shù)比增加隱層更易實(shí)現(xiàn)，但對(duì)于高維輸入數(shù)據(jù)樣例，或許增加隱層數(shù)的效果更佳。深層神經(jīng)網(wǎng)絡(luò)DNN（2）隱層節(jié)點(diǎn)數(shù)設(shè)置

單層感知機(jī)模型只是將所有輸入的加權(quán)和通過線性的激活函數(shù)得到模型結(jié)果，深度神經(jīng)網(wǎng)絡(luò)則是在加權(quán)和的基礎(chǔ)上通過非線性的激活函數(shù)和偏置項(xiàng)（常數(shù)項(xiàng)）進(jìn)行非線性變換，非線性激活函數(shù)作用于隱層和輸出層的每一個(gè)節(jié)點(diǎn)。事實(shí)證明，非線性變換的使用使得復(fù)雜分類和回歸的效果更加顯著。2.非線性變換深層神經(jīng)網(wǎng)絡(luò)DNN

tanh函數(shù)圖像3.損失函數(shù)以多分類問題為例，深層神經(jīng)網(wǎng)絡(luò)模型有n個(gè)輸出節(jié)點(diǎn)即代表共有n個(gè)類別，當(dāng)輸入一個(gè)待測(cè)樣例后，由于其最終只可能屬于其中一個(gè)類別，故對(duì)于最終輸出的n個(gè)概率值理論上只有一個(gè)接近1，而其他值接近0，這n個(gè)值即該樣例輸出的一個(gè)n維向量。此時(shí)則需通過損失函數(shù)對(duì)該n維向量進(jìn)行評(píng)價(jià)，而基于Softmax回歸方法的交叉熵便是一種常用的損失函數(shù)。

深層神經(jīng)網(wǎng)絡(luò)DNN

以一個(gè)三分類問題為例，建立其深層神經(jīng)網(wǎng)絡(luò)模型。深層神經(jīng)網(wǎng)絡(luò)DNN以一個(gè)三分類問題為例，建立其深層神經(jīng)網(wǎng)絡(luò)模型。三分類問題的深層神經(jīng)網(wǎng)絡(luò)原理圖深層神經(jīng)網(wǎng)絡(luò)DNN以一個(gè)三分類問題為例，建立其深層神經(jīng)網(wǎng)絡(luò)模型。但若當(dāng)前模型經(jīng)損失函數(shù)評(píng)價(jià)后效果不佳，則還需進(jìn)行修改，就需要通過“反向傳播算法”對(duì)模型進(jìn)行優(yōu)化，“反向傳播算法”是梯度下降算法與隨機(jī)梯度下降算法的綜合結(jié)果，它們的基礎(chǔ)都是梯度下降算法?！咎荻认陆邓惴ā咳魮p失函數(shù)較大，即模型分類效果不理想，則通過該算法調(diào)整單個(gè)節(jié)點(diǎn)的權(quán)重值W，如此循環(huán)迭代直至損失函數(shù)值達(dá)到極小值，也因此若節(jié)點(diǎn)數(shù)過多，則利用該算法進(jìn)行所有權(quán)重值的調(diào)整需要大量的訓(xùn)練時(shí)間，效率低下?！倦S機(jī)梯度下降算法】若采取隨機(jī)梯度下降算法，即每一次的優(yōu)化過程，只選擇一項(xiàng)數(shù)據(jù)進(jìn)行調(diào)整，而這盡管大大降低訓(xùn)練時(shí)間，卻也顯然無法保證模型整體的損失函數(shù)減小。反向傳播算法綜合兩者優(yōu)點(diǎn)，每次優(yōu)化過程均只選部分?jǐn)?shù)據(jù)進(jìn)行權(quán)重調(diào)整，實(shí)現(xiàn)高質(zhì)高效地優(yōu)化網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)CNN深層神經(jīng)網(wǎng)絡(luò)可解決復(fù)雜的非線性問題，但存在兩大不足。1.在輸入特征數(shù)增大到一定程度時(shí)會(huì)因計(jì)算量增加而使訓(xùn)練時(shí)間加長(zhǎng)；2.無法確保在模型架構(gòu)不變下對(duì)多維數(shù)據(jù)特征的識(shí)別保持不變性。卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）在上述兩方面體現(xiàn)出優(yōu)越性；卷積神經(jīng)網(wǎng)絡(luò)模型一般由輸入層、多個(gè)卷積層與池化層，以及全連接層和輸出層組成。卷積神經(jīng)網(wǎng)絡(luò)CNN首先將輸入的原始圖片分解成部分重合的小圖塊；然后把每個(gè)小圖塊通過卷積和池化用于提取圖片中人物的特征而忽略其他環(huán)境等無關(guān)要素；最后通過全連接層，即已建立的兒童分類器模型識(shí)別圖中是否為一個(gè)兒童從而進(jìn)行輸出判斷。以一張圖片中兒童的識(shí)別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN【一維數(shù)據(jù)與多維數(shù)據(jù)】一維數(shù)據(jù)：語(yǔ)音數(shù)據(jù)是時(shí)間維或頻率維的一維數(shù)據(jù)；二維數(shù)據(jù)：圖像數(shù)據(jù)因像素需要至少有“寬度×高度”兩個(gè)維度，其中黑白圖像在色彩通道只有一個(gè)灰度，因此為二維數(shù)據(jù)；三維數(shù)據(jù)：RGB圖像有三個(gè)色彩通道，因此為三維數(shù)據(jù)；多維數(shù)據(jù)：視頻數(shù)據(jù)在彩色圖像基礎(chǔ)上還有時(shí)間維度，因此為四維數(shù)據(jù)。1.輸入層對(duì)于輸入為多維數(shù)據(jù)的情況，深層神經(jīng)網(wǎng)絡(luò)仍將其展成一個(gè)一維向量，易出現(xiàn)相同特征在不同位置卻無法始終都能識(shí)別的情況，卷積神經(jīng)網(wǎng)絡(luò)通過卷積層與池化層能有效解決這個(gè)問題。以一張圖片中兒童的識(shí)別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN卷積過程是將原始輸入數(shù)據(jù)通過一塊限定大小的局部區(qū)域?qū)φ麄€(gè)數(shù)據(jù)的基礎(chǔ)特征依次進(jìn)行掃描并得到高抽象程度的中間數(shù)據(jù)的過程，其中該局部區(qū)域稱為卷積核，卷積核區(qū)域的輸入節(jié)點(diǎn)經(jīng)加權(quán)求和連接至下一層的一個(gè)節(jié)點(diǎn)。現(xiàn)假定有一組4×4的二維數(shù)據(jù)，并限定卷積核尺寸為2×2，則可得到一組3×3的二維數(shù)據(jù)。2.卷積層二維數(shù)據(jù)卷積過程原理圖以一張圖片中兒童的識(shí)別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN

若對(duì)于三維數(shù)據(jù)的卷積，如4×4×3的數(shù)據(jù)，實(shí)質(zhì)是三層4×4的二維數(shù)據(jù)，“3”代表該組數(shù)據(jù)的深度，其卷積表示卷積核圈定范圍下的三層數(shù)據(jù)均通過加權(quán)求和連接到下一層的一個(gè)節(jié)點(diǎn)上，且該三層數(shù)據(jù)中每一層的權(quán)重配比各不相同。此外，卷積處理后的節(jié)點(diǎn)矩陣相較于原始數(shù)據(jù)，矩陣深度通常會(huì)增加；因此，卷積過程是一個(gè)令特征量更突出的過程，同時(shí)能夠減小數(shù)據(jù)的計(jì)算量。以一張圖片中兒童的識(shí)別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN池化是進(jìn)一步減小數(shù)據(jù)量的過程，并且保障有效識(shí)別信息不丟失,主要功能是剔去除主要提取特征以外的冗余信息，基本原理如下：假定本例中的兒童圖像是對(duì)一張黑白圖像的卷積過程，則池化即通過設(shè)置一個(gè)灰度下限值ξ_0（ξ_0∈[0，255]），將輸出結(jié)果中值小于ξ_0的節(jié)點(diǎn)剔除，剩余數(shù)據(jù)則作為全連接層的輸入數(shù)據(jù)，實(shí)現(xiàn)進(jìn)一步減小數(shù)據(jù)量。3.池化層池化后的數(shù)據(jù)處理會(huì)像深層神經(jīng)網(wǎng)絡(luò)一樣繼續(xù)進(jìn)行分類或回歸問題的求解。以一張圖片中兒童的識(shí)別（二維數(shù)據(jù)）為例。由此可見，卷積神經(jīng)網(wǎng)絡(luò)的卷積與池化過程類似于人類觀察外部環(huán)境時(shí)，優(yōu)先關(guān)注顯眼的部分，體現(xiàn)主次之分，在保障效果的同時(shí)提高觀察效率。所以卷積神經(jīng)網(wǎng)絡(luò)在語(yǔ)音、圖像識(shí)別等領(lǐng)域中可發(fā)揮核心作用。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）算法主要擅長(zhǎng)處理和預(yù)測(cè)時(shí)間序列相關(guān)的問題，而深層神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)對(duì)于此類問題的處理效果并不好。在模型結(jié)構(gòu)上，深層神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)只是層與層之間進(jìn)行正向的全連接或部分連接，而循環(huán)神經(jīng)網(wǎng)絡(luò)還進(jìn)行節(jié)點(diǎn)間的反向連接。循環(huán)神經(jīng)網(wǎng)絡(luò)原理圖循環(huán)神經(jīng)網(wǎng)絡(luò)RNN如需要翻譯一句英文，同時(shí)輸入該句的多個(gè)單詞后啟動(dòng)翻譯，模型的隱層首先對(duì)第一個(gè)單詞翻譯為漢字，該漢字一方面作為最終結(jié)果輸出，另一方面在下一時(shí)刻與下一個(gè)單詞共同作為輸入，通過上下文情境實(shí)現(xiàn)更好地預(yù)測(cè)和翻譯后續(xù)的內(nèi)容，即通過歷史消息輔助當(dāng)前的決策。以中英文翻譯為例。但是直接利用RNN進(jìn)行基本的翻譯工作時(shí)，容易產(chǎn)生另一個(gè)問題——假定該句翻譯的正確答案為“某同學(xué)一度因?yàn)榉逝謫栴}，盡管擅長(zhǎng)舉重，卻在1000米跑步測(cè)試中成績(jī)不佳，但堅(jiān)持長(zhǎng)期鍛煉，如今舉重依然優(yōu)秀，跑步亦能取得良好?！睆闹胁浑y發(fā)現(xiàn)，依據(jù)前半部分擅長(zhǎng)舉重自然可以預(yù)測(cè)后半部分的舉重優(yōu)秀；但若依舊參照因肥胖問題而跑步不佳來預(yù)測(cè)“跑步亦能取得”之后的詞語(yǔ)，可能仍是“較差”等性質(zhì)的評(píng)價(jià)，而事實(shí)上已轉(zhuǎn)變?yōu)榱己?。這便需要一種機(jī)制來