《工業(yè)大數(shù)據(jù)導(dǎo)論》 課件 第7章 工業(yè)大數(shù)據(jù)與新一代人工智能

工業(yè)大數(shù)據(jù)與新一代人工智能目錄傳統(tǒng)人工智能與新一代人工智能新一代人工智能的基礎(chǔ)算法工業(yè)大數(shù)據(jù)在新一代人工智能的定位010203學(xué)習(xí)目標(biāo)1.了解人工智能“三起兩落”的發(fā)展史以及每一階段的特征2.了解人工智能的基本概念、研究內(nèi)容和實現(xiàn)方法3.了解新一代人工智能的研究內(nèi)容及其去傳統(tǒng)人工智能的三大區(qū)別4.掌握深層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)的基本原理5.了解深度學(xué)習(xí)的發(fā)展方向6.了解工業(yè)大數(shù)據(jù)與新一代人工智能的關(guān)系01傳統(tǒng)人工智能與新一代人工智能傳統(tǒng)人工智能與新一代人工智能新一代人工智能及其與傳統(tǒng)人工智能區(qū)別人工智能發(fā)展史人工智能概述人工智能發(fā)展史自機(jī)械設(shè)備使人類從重復(fù)繁重的體力勞動中解放以來，人們還希望能從腦力勞動中解放出來，因而研究者們開始轉(zhuǎn)向智能化人工系統(tǒng)的研究。1956年，達(dá)特茅斯會議正式標(biāo)志著人工智能研究進(jìn)入第一次發(fā)展階段。斯坦福大學(xué)JohnMcCarthy教授麻省理工學(xué)院MarvinLeeMinsky教授卡內(nèi)基梅隆大學(xué)HerbertSimont卡內(nèi)基梅隆大學(xué)AllenNewell教授在美國召開的達(dá)特茅斯會議上正式確立“人工智能”為獨立的新興學(xué)科“信息理論之父”ClaudeElwoodShannonIBM公司NathanielRochester第一次發(fā)展與低谷階段知識人為提供，決策固化盡管這些成果在一定程度上可以代替人類重復(fù)性的腦力勞動，但當(dāng)時的AI程序基本屬于確定性的輸入輸出，即輸入的對象特征、分析的規(guī)則都是人為制定，得到的輸出結(jié)果同樣是確定的，稱之為“知識人為提供，決策固化”。顯然，這也決定此類算法所能解決問題的局限性，導(dǎo)致第一次研究熱潮逐漸褪去。上世紀(jì)50～70年代是人工智能發(fā)展的第一次黃金時代。1.具有學(xué)習(xí)特性的“感知機(jī)模型”被提出2.“尤尼梅特”作為世界上首款工業(yè)機(jī)器人在通用公司生產(chǎn)線上服役工作3.IBM公司的360型計算機(jī)稱為第一款規(guī)模化生產(chǎn)的計算機(jī)等第二次發(fā)展階段知識人為提供，決策靈活知識層面決策層面上世紀(jì)80年代，人工智能開始復(fù)蘇。專家系統(tǒng)隨機(jī)算法專家系統(tǒng)是一種可模擬人類專家解決相關(guān)領(lǐng)域問題的計算機(jī)程序系統(tǒng)，它被眾多公司采納并實現(xiàn)了市場化應(yīng)用。該系統(tǒng)由人機(jī)界面、知識庫、推理機(jī)、解釋器、綜合數(shù)據(jù)庫和知識獲取六大部分組成。計算機(jī)根據(jù)知識庫通過推理機(jī)對問題進(jìn)行分析學(xué)習(xí)。以蒙特卡羅樹搜索算法為代表的隨機(jī)算法是將抽取樣本進(jìn)行遍歷，減小計算量同時保障較優(yōu)解來解決上述問題，這種選取較優(yōu)解的方法使得決策更加靈活。隨機(jī)算法：蒙特卡羅樹搜索算法蒙特卡羅樹搜索（MonteCarloTreeSearch，MCTS）算法：它因賭博中多用到隨機(jī)算法而以賭城蒙特卡羅命名，其基本原理可通過簡易的“黑箱摸球”示例理解。假定黑箱中有100個相同大小的球，每球貼有數(shù)字，大小不一；隨機(jī)取一球，再隨機(jī)取一球，挑數(shù)字大者，如此循環(huán)，挑出的球的數(shù)字至少不比上一次所挑數(shù)字小；隨取球次數(shù)增加，挑出的數(shù)字越接近箱中最大數(shù)。簡言之，經(jīng)一定搜索采樣后，選擇樣本最優(yōu)者，其接近全局最優(yōu)但不一定是全局最優(yōu)。此類算法受歡迎在于：盡管遍歷數(shù)據(jù)集再作出決策固然能得到最優(yōu)解，但當(dāng)輸入為高維隨機(jī)變量時，可能的結(jié)果種類將達(dá)到指數(shù)級的數(shù)據(jù)量，這對計算機(jī)決策而言將造成維數(shù)災(zāi)難，隨機(jī)算法采用折中辦法，既減小計算量又保障較優(yōu)解，因而決策靈活?！吧钏{(lán)”戰(zhàn)勝國際象棋世界冠軍1997年，IBM公司的超級計算機(jī)“深藍(lán)”以3.5:2.5戰(zhàn)勝當(dāng)時的國際象棋世界冠軍卡斯帕羅夫。盡管卡斯帕羅夫本人及部分人認(rèn)為人有情緒波動而計算機(jī)無此缺陷，才使深藍(lán)“作弊”勉勝，但是——（1）當(dāng)時的深藍(lán)計算機(jī)已使用專家系統(tǒng)，基于大量棋譜訓(xùn)練集遍歷所有走法；（2）由于“下一步棋”的走法可能性過多，故通過蒙特卡羅樹搜索決定較優(yōu)落子方法，使其在國際象棋方面有機(jī)會與頂級選手較量。因此，“深藍(lán)”的成功也標(biāo)志著人工智能往前大跨一步，實現(xiàn)“知識人為提供，決策靈活”。第二次低谷階段2.人工神經(jīng)網(wǎng)絡(luò)的理論模型可以解決專家系統(tǒng)的弊端，但其需要的超級計算能力與海量數(shù)據(jù)這兩大基礎(chǔ)在當(dāng)時無法實現(xiàn)。1.專家系統(tǒng)終究是依賴于人類整理的知識庫，無法實現(xiàn)對更復(fù)雜問題的求解；因此，人工智能的研究熱再次熄滅。第三次發(fā)展階段知識自主學(xué)習(xí)，決策靈活2016年，區(qū)別于深藍(lán)的勉勝，Google公司的智能機(jī)器人AlphaGo以4:1的大比分戰(zhàn)勝圍棋世界冠軍李世石，甚至李世石本人也對AlphaGo棋藝的大幅進(jìn)步而震驚。這一重大事件也標(biāo)志著人工智能終于迎來全新發(fā)展階段?！吧钏{(lán)”AlphaGo深藍(lán)嚴(yán)格意義上只可稱為“手工”程序。保留深藍(lán)的優(yōu)點基礎(chǔ)上，還真正實現(xiàn)自我學(xué)習(xí)的能力。李世石與AlphaGo的人機(jī)大戰(zhàn)第三次發(fā)展階段第三次發(fā)展源自計算機(jī)的計算量與海量數(shù)據(jù)兩大問題已不再是瓶頸，這也使得人工神經(jīng)網(wǎng)絡(luò)得以發(fā)揮作用；且“評價網(wǎng)絡(luò)”與“策略網(wǎng)絡(luò)”兩種深層神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于AlphaGo的圍棋算法中。1.評價網(wǎng)絡(luò)可根據(jù)當(dāng)前局勢計算己方最終的勝率；2.策略網(wǎng)絡(luò)則可以判斷對手最可能的落子點；3.決策仍是基于蒙特卡羅樹搜索算法確定己方的下一步最佳落子點。受限于專家系統(tǒng)，深藍(lán)更多只可適用于國際象棋的對弈。AlphaGo的算法則因為人工神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)知識的特點沒有領(lǐng)域限制，更容易實現(xiàn)泛化。盡管人工神經(jīng)網(wǎng)絡(luò)往往在具備海量數(shù)據(jù)集的前提下才能發(fā)揮優(yōu)勢，這與人類大腦對于任意領(lǐng)域均能實現(xiàn)基于少量樣例便可進(jìn)行演繹推理的能力無法比擬，也正說明與強(qiáng)人工智能的愿景尚有差距，但技術(shù)的不斷突破與商業(yè)化應(yīng)用無疑使人工智能更進(jìn)一步。人工智能概述：基本概念人工智能（ArtificialIntelligence，AI）自誕生以來出現(xiàn)過多種定義。美國斯坦福大學(xué)人工智能研究中心的尼爾遜（Nelson）教授曾認(rèn)為，“人工智能是關(guān)于知識的學(xué)科——即怎樣表示知識以及怎樣獲得知識并使用知識的科學(xué)?！泵绹槭±砉W(xué)院的溫斯頓（Winston）教授則定義，“人工智能就是研究如何使計算機(jī)去做過去只有人才能做的智能工作。”人工智能：研究人類智能活動的規(guī)律，通過計算機(jī)的軟硬件模擬、延伸和擴(kuò)展人的某些思維過程和智能行為，從而創(chuàng)造出具有一定智能程度的人工系統(tǒng)。從另一個角度，人工智能雖是計算機(jī)科學(xué)的一個分支，但又涉及心理學(xué)、哲學(xué)、語言學(xué)等多種社會科學(xué)，已遠(yuǎn)遠(yuǎn)超出計算機(jī)科學(xué)的范疇，因此她可獨立成為一門研究智能理論、方法、技術(shù)及應(yīng)用系統(tǒng)的新技術(shù)科學(xué)。人工智能概述：研究內(nèi)容人類通過將小白鼠的聽覺中樞與視覺神經(jīng)進(jìn)行人為連接，發(fā)現(xiàn)聽覺中樞擁有視覺功能，驗證了包括人類在內(nèi)的哺乳動物的大腦中各塊區(qū)域都擁有類似的學(xué)習(xí)機(jī)制，這為研究具有通用性智能的機(jī)器或稱為具備多元智能的系統(tǒng)提供了理論基礎(chǔ)。但是考慮到通用性智能的實現(xiàn)復(fù)雜性，研究者們決定先從單一模塊分別實現(xiàn)突破。人工智能研究內(nèi)容人類特征眼耳口鼻舌等感官語言交流能力運動能力學(xué)習(xí)能力情感規(guī)劃知識庫自主感知自然語言處理運動與控制機(jī)器學(xué)習(xí)情感社交智能規(guī)劃知識表示法人工智能概述：研究內(nèi)容【自主感知】包括機(jī)器視覺、計算機(jī)視覺等圖像處理類技術(shù)，以及機(jī)器聽覺、語音識別等技術(shù)；【自然語言處理】就狹義角度而言，即將語音識別的結(jié)果以及其他來源作為自然語言處理的素材，并轉(zhuǎn)化成適于另一群體使用的語言結(jié)果的技術(shù)；【運動控制】智能系統(tǒng)如智能機(jī)器人能根據(jù)環(huán)境完成正確的運動并實現(xiàn)自主控制的技術(shù)；【機(jī)器學(xué)習(xí)】模擬人類的學(xué)習(xí)行為獲取新的知識并實現(xiàn)知識的轉(zhuǎn)化應(yīng)用，機(jī)器學(xué)習(xí)也是人工智能的核心技術(shù)，是計算機(jī)具備智能的根本途徑；【情感社交】計算機(jī)通過情感計算對人給予的反應(yīng)作出表情、姿態(tài)、語氣等的變化，實現(xiàn)人機(jī)交互更加和諧；【智能規(guī)劃】通過建立自我的世界模型，并與真實世界進(jìn)行對比，根據(jù)預(yù)測與現(xiàn)實的差別進(jìn)行計劃的制定與調(diào)整；【知識表示法】通過邏輯表示法或產(chǎn)生式表示法等表示方法搭建常識知識庫，用作計算機(jī)決策的知識來源之一。此外，人類也具備創(chuàng)造力，即在某些特定情況下的一種不依賴于量變而產(chǎn)生質(zhì)變的特殊模式，這也是人工智能尚待研究攻克的內(nèi)容之一。人工智能概述：實現(xiàn)方法【機(jī)器學(xué)習(xí)】正如Google所言，“先解決智能問題，再用智能解決一切問題?！比说母呒墝傩栽谟诳赏ㄟ^學(xué)習(xí)獲取知識，然后用于解決問題，并且良性循環(huán)，不斷提高；因而人工智能的關(guān)鍵就在于能否真正使計算機(jī)如人類一般進(jìn)行學(xué)習(xí)和提高，這便是為什么機(jī)器學(xué)習(xí)是人工智能的核心技術(shù)。從學(xué)習(xí)策略角度，機(jī)器學(xué)習(xí)可進(jìn)行如下分類。機(jī)器學(xué)習(xí)歸納學(xué)習(xí)：經(jīng)驗性歸納學(xué)習(xí)事實上，分類與回歸問題本質(zhì)上均為根據(jù)輸入對輸出作預(yù)測，而分類問題的輸出是一種定性輸出，即離散型變量；而回歸問題的輸出則是一種定量輸出，即連續(xù)型變量。經(jīng)驗性歸納學(xué)習(xí)主要用于解決分類問題和回歸問題：分類可理解為數(shù)據(jù)劃分界限，譬如輸入人臉圖片輸出人物身份識別結(jié)果；回歸可理解為數(shù)據(jù)擬合，譬如輸入人臉圖片輸出人物年齡預(yù)測。經(jīng)驗性歸納學(xué)習(xí)決策樹模型算法樸素貝葉斯模型算法支持向量機(jī)算法等邏輯回歸算法歸納學(xué)習(xí)：經(jīng)驗性歸納學(xué)習(xí)決策樹模型決策樹模型（DecisionTreeModel，DTM）是在已知各種情況發(fā)生概率的基礎(chǔ)上，通過構(gòu)成決策樹來求取各期望值的概率（非負(fù)數(shù)），評價事件風(fēng)險來判斷其可行性的決策分析方法，是直觀運用概率分析的一種樹狀結(jié)構(gòu)的圖解法，也是最簡單的歸納學(xué)習(xí)算法，并且決策過程近似于人類在社會環(huán)境中的邏輯思維過程。建立決策樹模型主要包括四項內(nèi)容：1.模型欲實現(xiàn)的目標(biāo)；2.根節(jié)點，表示訓(xùn)練數(shù)據(jù)集；4.葉節(jié)點，表示模型的判定結(jié)果。3.內(nèi)部節(jié)點，表示多層測試條件，以對數(shù)據(jù)進(jìn)行分類純化；注：訓(xùn)練數(shù)據(jù)集是已知特征屬性的數(shù)據(jù)樣本，是決策樹結(jié)構(gòu)形成過程的數(shù)據(jù)源。歸納學(xué)習(xí)：經(jīng)驗性歸納學(xué)習(xí)“高爾夫球場的顧客”問題在不同環(huán)境下，高爾夫球場的顧客量會出現(xiàn)很大的波動，這當(dāng)然也會影響服務(wù)員人員的需求量。比如在下雨時，顧客量會很少，服務(wù)人員的需求量就會小，而在陰天時，顧客量可能就會多，服務(wù)人員的需求量自然就大。因此，球場可以記錄不同天氣情況下的顧客訪問量，從而預(yù)測出未來指定時間段內(nèi)的服務(wù)人員需求量。日期天氣氣溫（℃）相對濕度（%）有/無風(fēng)有/無顧客1晴2985無無2晴2790有無3多云2878無有4雨2196無有5雨2080無有6雨1870有無7多云1765有有8晴2295無無9晴2070無有10雨2480無有11晴2470有有12多云2290有有13多云2775無有14雨2180有無兩周高爾夫球場顧客數(shù)據(jù)集歸納學(xué)習(xí)：經(jīng)驗性歸納學(xué)習(xí)“高爾夫球場的顧客”問題建立高爾夫球場顧客問題的決策樹模型：歸納學(xué)習(xí)：經(jīng)驗性歸納學(xué)習(xí)“高爾夫球場的顧客”問題由此，本示例建立的決策樹模型將顧客打球時間與原因進(jìn)行了有效的分類，并為將來的實際待測數(shù)據(jù)集提供了預(yù)測模型，即只要根據(jù)今后的天氣相關(guān)指標(biāo)值便可推測出當(dāng)日是否會有顧客光臨，從而靈活調(diào)整雇員數(shù)量，包括固定員工與臨時工的合理搭配等。1.單論天氣情況，可得出第一層結(jié)論，即多云天氣時，顧客總是喜歡打高爾夫球，而晴雨天則視情況而定；2.晴天時，顧客喜歡在相對濕度低于70的日子里打高爾夫球，或在雨天時，只要無風(fēng)，也有狂熱的愛好者前來打球；但在晴雨天的其他情況下，顧客則不會選擇打球。上述決策樹模型的根節(jié)點的訓(xùn)練數(shù)據(jù)集即來自“兩周高爾夫球場顧客數(shù)據(jù)集”表格，其中天氣、氣溫、相對濕度、有/無風(fēng)等特征值為測試條件，且須遵從選擇可令子集純度更高的測試條件作為最優(yōu)特征值進(jìn)行劃分。根據(jù)決策樹模型可知：歸納學(xué)習(xí)：經(jīng)驗性歸納學(xué)習(xí)樸素貝葉斯模型樸素貝葉斯模型（NaiveBayesianModel，NBM）算法也是一種基于概率論的預(yù)測算法。其核心法則是基于如下條件概率公式：

假設(shè)有特征：性別、有無紋身等，根據(jù)這些樣貌特征，我們訓(xùn)練出一個標(biāo)準(zhǔn)的“好人模型”和“壞人模型”。這樣，當(dāng)一個品行未知的人來以后，我們迅速獲取TA的樣貌特征向量，分布輸入“好人模型”和“壞人模型”，得到兩個概率值。如果“壞人模型”輸出的概率值大一些，那這個人很有可能就是個大壞蛋了。歸納學(xué)習(xí)：經(jīng)驗性歸納學(xué)習(xí)邏輯回歸支持向量機(jī)支持向量機(jī)（SupportVectorMachine，SVM）算法通過尋找兩個平行的超平面并使之距離最大化實現(xiàn)分類。邏輯回歸（LogisticRegression，LR）算法通過擬合曲線實現(xiàn)分類或回歸。盡管用于分類的算法眾多，但因各自優(yōu)缺點而有各自的適用范圍。1.決策樹的優(yōu)點在于屬于白盒模型，即無需專業(yè)解讀，具有天然的解釋性；但缺點在于對異常值敏感，易導(dǎo)致樹結(jié)構(gòu)的巨大變化，以及對未出現(xiàn)過的值束手無策導(dǎo)致泛化能力不足；2.樸素貝葉斯模型優(yōu)點是其源于古典數(shù)學(xué)理論，分類效率穩(wěn)定，且對缺失數(shù)據(jù)不敏感；但其缺點在于各個特征相互獨立的假設(shè)在實際應(yīng)用中往往不成立，這對概率計算值的真實性造成影響；3.邏輯回歸的優(yōu)點是其計算代價低，易于實現(xiàn)；缺點在于易出現(xiàn)欠擬合，導(dǎo)致分類精度可能不高；4.持向量機(jī)的優(yōu)點在于其對異常值敏感度低，易于泛化；缺點是對大規(guī)模訓(xùn)練數(shù)據(jù)集難以實施，以及難以解決多分類的問題。歸納學(xué)習(xí)：遺傳算法遺傳算法的基本過程如下：確定實際問題的參數(shù)集并進(jìn)行編碼得到初始化的種群，再通過適應(yīng)度函數(shù)評價種群，若當(dāng)前解已滿足評價要求，則結(jié)束，此解即所求期望解；若當(dāng)前解不滿足停止規(guī)則，則進(jìn)行遺傳操作，包括選擇、交叉和變異，從而迭代產(chǎn)生新一種群，隨后重復(fù)評估適應(yīng)度及后續(xù)過程，直至得到期望解。遺傳算法（GeneticAlgorithm，GA）主要用于解決搜索問題。自上世紀(jì)90年代后，它的應(yīng)用已從函數(shù)優(yōu)化、車間調(diào)度等范圍擴(kuò)展至基于遺傳算法的機(jī)器學(xué)習(xí)領(lǐng)域，并且遺傳算法也正日益和人工神經(jīng)網(wǎng)絡(luò)、模糊推理及混沌理論等其他智能計算方法互相滲透融合。歸納學(xué)習(xí)：遺傳算法以典型的“袋鼠跳”來描述遺傳算法的求解過程。假定需要求解函數(shù)曲線的最大值，而函數(shù)曲線圖有多個極大、極小值。現(xiàn)將曲線圖理解為一座山脈，有多處山峰與山谷，令隨機(jī)得到的一組解作為第一群袋鼠散落于山脈不同位置中，并讓袋鼠不斷往高處跳（逼近），直至有袋鼠跳至最高山峰處。袋鼠跳的方法有多種：1.

“爬山法”：由于是依賴隨機(jī)產(chǎn)生的單點往周邊進(jìn)行跳躍尋找高峰，故易導(dǎo)致到達(dá)局部最優(yōu)解即停止，而可能無法到達(dá)全局最優(yōu)解；1.遺傳算法：不以單點跳躍，而是多點并行，即隨機(jī)產(chǎn)生一群袋鼠散落于山脈中，每隔一個周期，對低海拔的袋鼠進(jìn)行全體射殺，剩下高海拔的袋鼠存活，并且存活的袋鼠可進(jìn)行繁殖，在此地產(chǎn)生更多的袋鼠，同時袋鼠可以往周邊跳躍尋找附近的高峰；如此循環(huán)，最后僅最高峰的袋鼠得以存活，即找到全局最優(yōu)解。若求最小值同理。2.

“模擬退火法”：通過令袋鼠有較大的跳躍量以解決遇到局部最優(yōu)解即停止的問題，而可以有足夠能量跳過局部點并在接近全局最優(yōu)解時降低跳躍量直至到達(dá)全局最優(yōu)解，但仍是單點跳躍，跳躍時間長；注：遺傳算法具有其獨特的優(yōu)勢，即算法與問題涉及領(lǐng)域無關(guān)，適用廣泛，同時不采用確定性規(guī)則而以概率的變遷規(guī)則指導(dǎo)搜索方向；但其不足在于搜索速度較慢，欲得到精確解需較長訓(xùn)練時間等。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)聯(lián)結(jié)學(xué)習(xí)主要指人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）算法，是一種模擬人腦神經(jīng)元網(wǎng)絡(luò)的信息處理模型，自上世紀(jì)50年代起，至今已發(fā)展60余年。經(jīng)歷了淺層神經(jīng)網(wǎng)絡(luò)到深層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)算法）的發(fā)展歷程。深層神經(jīng)網(wǎng)絡(luò)淺層神經(jīng)網(wǎng)絡(luò)單層線性感知機(jī)模型多層非線性感知機(jī)模型歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)淺層神經(jīng)網(wǎng)絡(luò)起初，F(xiàn)rankRosenblatt教授在由美國心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出的“人工神經(jīng)元模型”，或稱為“M-P神經(jīng)元模型”的基礎(chǔ)上，于1958年正式定義“感知機(jī)(MultilayerPerceptron，MLP)模型”。圖中的單層單神經(jīng)元感知機(jī)模型中，x1～xn為n個從研究對象提取的特征值，w為權(quán)重值，b為激活閾值，所有特征值xi通過線性加權(quán)和作為輸入，f為激活函數(shù)。當(dāng)模型完成輸入后，經(jīng)激活函數(shù)作用，若其值大于設(shè)定閾值，則輸出階躍值1激活，反之則輸出階躍值0抑制，從形式上仿照人體神經(jīng)元突觸處的興奮和抑制機(jī)制。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)淺層神經(jīng)網(wǎng)絡(luò)感知機(jī)模型還在于將各輸入值的權(quán)重定義為可變，通過設(shè)置基于誤分類的損失函數(shù)，利用梯度下降法對損失函數(shù)不斷迭代求得極小值，即可將權(quán)重調(diào)整至最接近真實的情況，這也使“感知機(jī)模型”被賦予學(xué)習(xí)的特性。但是單個神經(jīng)元的輸出只有0和1兩種情況，而實際對象的輸出往往有多種，需要通過多個神經(jīng)元共同完成分類。右圖是單層多神經(jīng)元感知機(jī)模型，由m個神經(jīng)元構(gòu)成，最多可區(qū)分出2^m種輸入模式。但無論神經(jīng)元個數(shù)有多少，它仍是單層的感知機(jī)模型。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)淺層神經(jīng)網(wǎng)絡(luò)在上世紀(jì)60年代末70年代初，盡管“感知機(jī)模型”調(diào)整權(quán)值的算法十分簡潔，但隨著它的深入使用，研究者們遇到三層阻礙：1.單層的感知機(jī)模型只能解決可線性分割的問題，對于非線性分割問題如異或門則束手無策；2.當(dāng)時作為樣本輸入的數(shù)據(jù)量缺失；3.由于單層感知機(jī)模型的局限性，當(dāng)問題復(fù)雜度提高，多神經(jīng)元感知機(jī)模型的神經(jīng)元數(shù)量增加，分類結(jié)果也將呈指數(shù)級增長，伴隨的是計算難度的指數(shù)級增長，而當(dāng)時計算機(jī)的計算量是遠(yuǎn)遠(yuǎn)達(dá)不到要求的。因此，人工神經(jīng)網(wǎng)絡(luò)自身的“單層感知機(jī)模型”存在不足與時代發(fā)展階段的外部因素共同限制進(jìn)一步其發(fā)展。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)深層神經(jīng)網(wǎng)絡(luò)直至80年代，“深層神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，DNN）”的出現(xiàn)有效克服了“單層感知機(jī)模型”無法解決異或運算的問題?！岸鄬印焙汀胺蔷€性”是“深層神經(jīng)網(wǎng)絡(luò)”的兩大特性：【多層】區(qū)別于單層感知機(jī)模型，其在輸入和輸出層間加入“隱層”，從而擴(kuò)展為多層感知機(jī)模型?！径鄬印矿w現(xiàn)在激活函數(shù)采用非線性函數(shù)。歸納學(xué)習(xí)：聯(lián)結(jié)學(xué)習(xí)深層神經(jīng)網(wǎng)絡(luò)20世紀(jì)80-90年代21世紀(jì)至今80年代末90年代初，卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)等當(dāng)下熱門的人工神經(jīng)網(wǎng)絡(luò)算法，與深層神經(jīng)網(wǎng)絡(luò)同樣得到較好的發(fā)展，并在當(dāng)下均被稱為“深度學(xué)習(xí)”算法。但同時，神經(jīng)網(wǎng)絡(luò)的發(fā)展再次遇阻，此時的人工神經(jīng)網(wǎng)絡(luò)理論模型已取得可觀的進(jìn)展，卻仍然受制于當(dāng)時的計算機(jī)計算能力不足，以及可供使用的數(shù)據(jù)量無法達(dá)到訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)所需的要求。直到近年來，云計算等技術(shù)極大地提高計算系統(tǒng)的計算量，同時大數(shù)據(jù)的出現(xiàn)亦使得深層神經(jīng)網(wǎng)絡(luò)所需的海量數(shù)據(jù)不再成為制約，因此人工神經(jīng)網(wǎng)絡(luò)在自身理論成熟與外部技術(shù)環(huán)境支持的共同驅(qū)動下，得到了空前的發(fā)展與應(yīng)用，也直接推動了新一代人工智能的到來。演繹學(xué)習(xí)：分析學(xué)習(xí)【歸納學(xué)習(xí)】從經(jīng)驗性歸納學(xué)習(xí)、遺傳算法、聯(lián)結(jié)學(xué)習(xí)等算法的實現(xiàn)原理可以看出，歸納學(xué)習(xí)是指在大量樣例的前提下總結(jié)一般規(guī)律，創(chuàng)立新的概念、理論，再用于預(yù)測分析、解決智能問題?！狙堇[學(xué)習(xí)】指在已知事實規(guī)律的前提下就少量樣例進(jìn)行推理分析，并不產(chǎn)生新的概念、知識，是一種基于解釋的學(xué)習(xí)策略，以分析學(xué)習(xí)為典型實現(xiàn)算法。相對于歸納學(xué)習(xí)，分析學(xué)習(xí)在可用訓(xùn)練數(shù)據(jù)不足的情況下較有優(yōu)勢。以珍稀物種中華鱘的識別為例，若歸納學(xué)習(xí)需要通過大量中華鱘圖片作為訓(xùn)練數(shù)據(jù)集得到識別中華鱘的算法模型，分析學(xué)習(xí)則是基于先驗知識，即將中華鱘相較其他動物所特有的特征屬性與訓(xùn)練數(shù)據(jù)共同作為輸入，分析少量的訓(xùn)練數(shù)據(jù)，明確這些樣例如何滿足中華鱘的目標(biāo)特征，則可基于邏輯推理而非統(tǒng)計推理對樣例進(jìn)行泛化。新一代人工智能及其與傳統(tǒng)人工智能區(qū)別人工智能自誕生以來每一次發(fā)展都會受阻，但沉默期之后也都會重新迎來曙光，現(xiàn)今正處于第三次發(fā)展階段。之所以稱為“新一代人工智能”，主要在于社會需求的變化、技術(shù)環(huán)境的變革以及人工神經(jīng)網(wǎng)絡(luò)理論的成熟這三大關(guān)鍵因素，這也是其與傳統(tǒng)人工智能的區(qū)別所在。有別于上世紀(jì)以學(xué)術(shù)牽引為主的AI研究，21世紀(jì)的人工智能則轉(zhuǎn)變?yōu)樾枨鬆恳ｋS著人們對智慧城市、智能醫(yī)療、智能交通、智能物流、智能機(jī)器人等各領(lǐng)域提出智能化的訴求，人工智能已走出小規(guī)模的實驗室研究范圍，進(jìn)而走進(jìn)各個大小城市、企業(yè)等，形成大規(guī)模的AI研究熱。1.社會需求變化過去每一次人工智能低谷期，除去算法本身的局限性，往往還受限于時下的技術(shù)條件，譬如計算機(jī)的計算能力有限，訓(xùn)練數(shù)據(jù)樣本量有限等。如今計算機(jī)的超強(qiáng)計算能力，使得神經(jīng)網(wǎng)絡(luò)中可能出現(xiàn)的指數(shù)級計算量不再是技術(shù)壁壘；互聯(lián)網(wǎng)技術(shù)的普及與成熟使海量數(shù)據(jù)的獲取也變得便捷且低廉。技術(shù)環(huán)境的重大變革為人工智能的跨越式發(fā)展迎來重要契機(jī)。2.技術(shù)環(huán)境變革新一代人工智能及其與傳統(tǒng)人工智能區(qū)別2006年，Hinton等人提出的深度學(xué)習(xí)的概念，事實上可認(rèn)為是深層神經(jīng)網(wǎng)絡(luò)等的變相說法，解決的關(guān)鍵問題是可以自主地將提取的簡單特征組合成更復(fù)雜的特征，進(jìn)而利用它們進(jìn)行預(yù)測、解決問題。與單層感知機(jī)模型不同，傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)均是對人工提取的特征進(jìn)行權(quán)重學(xué)習(xí)與優(yōu)化，而深度學(xué)習(xí)算法則是從原始輸入中自主提取基礎(chǔ)特征，進(jìn)而繼續(xù)多層復(fù)雜特征的提取，再對特征進(jìn)行學(xué)習(xí)與優(yōu)化，克服了人工特征提取的局限性。同時——(1)通過指數(shù)衰減法設(shè)置梯度下降算法中的學(xué)習(xí)率可讓模型快速接近較優(yōu)解并保持穩(wěn)定，加快訓(xùn)練速度；(2)通過正則化可有效避免訓(xùn)練過程中的過擬合現(xiàn)象；(3)通過控制參數(shù)的初始值或設(shè)置損失函數(shù)為凸函數(shù)可保證模型優(yōu)化能達(dá)到全局最優(yōu)解。因此深度學(xué)習(xí)算法在自主學(xué)習(xí)及自主優(yōu)化上的優(yōu)勢尤為凸顯。3.人工神經(jīng)網(wǎng)絡(luò)理論成熟人工智能機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)人工智能-機(jī)器學(xué)習(xí)-人工神經(jīng)網(wǎng)絡(luò)-深度學(xué)習(xí)關(guān)系圖新一代人工智能研究內(nèi)容從研究內(nèi)容方面看，“新一代人工智能”包括跨媒體智能、人機(jī)交互智能、群體智能與大數(shù)據(jù)智能等。1.跨媒體智能2.人機(jī)交互智能現(xiàn)代社會的信息傳播方式已不再是單一的文字、圖像、音頻或視頻等，而是多種形式相互融合，共同呈現(xiàn)，是跨媒體特性的集中表現(xiàn)?？缑襟w數(shù)據(jù)在綜合反映個體或群體行為信息的同時，也反映出此類信息數(shù)據(jù)關(guān)聯(lián)復(fù)雜、多源異構(gòu)等特征。相較于傳統(tǒng)的文本類數(shù)據(jù)，多種數(shù)據(jù)統(tǒng)一表征尚具有較大難度。因此，跨媒體智能的核心任務(wù)即是針對復(fù)雜的多媒體數(shù)據(jù)，探索出可聯(lián)合提取多種數(shù)據(jù)特征的綜合方法，并進(jìn)行識別與應(yīng)用。人機(jī)交互認(rèn)為人與機(jī)器的本質(zhì)是共存關(guān)系，即beingtogether，人機(jī)交互智能便是人的智慧同機(jī)器的智能結(jié)合在一起。新一代人工智能研究內(nèi)容人機(jī)交互智能續(xù)=>莫拉維克悖論認(rèn)為：對計算機(jī)而言，實現(xiàn)邏輯推理等人類高級智慧只需要相對很少的計算能力，而實現(xiàn)感知、運動等低級智慧卻需要巨大的計算資源。換言之，“困難的問題是簡單的，簡單的問題是困難的”。因而，計算機(jī)除去代替重復(fù)性腦力勞動外，通過基于海量數(shù)據(jù)集的算法訓(xùn)練達(dá)到與人類一般層面的溝通交流，便可為人類提供巨大的方便。但是某些高級智能如人類的“頓悟”、“創(chuàng)造力”等，則可完全發(fā)揮人獨有的優(yōu)勢，兩者共同解決生產(chǎn)生活中的各種問題。3.群體智能群體智能一般是指某些情況下，群體性的智能能超過群體中最優(yōu)秀個體所表現(xiàn)的智能。人工群體智能是在互聯(lián)網(wǎng)平臺下自然地集合眾多智慧的方法體現(xiàn)。以百科詞條編輯為例，人人可編輯且并不強(qiáng)迫人人參與，但又能借互聯(lián)網(wǎng)之手，匯集大眾的智慧，使得各種詞條釋義不因個的局限而有失偏頗。對于用戶而言，搜索關(guān)鍵詞得到的百科詞條解釋，便是海量修改數(shù)據(jù)截至當(dāng)前的呈現(xiàn)結(jié)果，實現(xiàn)知識共享。人工群體智能并不止于人與機(jī)器，還有機(jī)器與機(jī)器等共同完成智能任務(wù)。新一代人工智能研究內(nèi)容互聯(lián)網(wǎng)與物聯(lián)技術(shù)真正使海量數(shù)據(jù)的采集存儲變?yōu)楝F(xiàn)實，再結(jié)合新一代人工智能中的深度學(xué)習(xí)等技術(shù)方可真正實現(xiàn)各領(lǐng)域的“大數(shù)據(jù)智能”。4.大數(shù)據(jù)智能以“智能交通出行”為例，居民出行的方式有多種，但基本都會選擇最快捷的出行方式，其中公共汽車也是眾多選項之一。公交系統(tǒng)將每一輛運營中車輛的位置信息實時采集并顯示于公交站臺，可幫助居民及時進(jìn)行合適交通工具的選擇；同時，通過將后續(xù)時段的路段交通狀況分析的具有高置信度的預(yù)測結(jié)果以APP等方式告知用戶，更有利于用戶的出行保障。以“智能船舶研究”為例，船舶是資產(chǎn)，它各方面的設(shè)計應(yīng)盡可能滿足用戶需求。制造商可在母型船的基礎(chǔ)上，與用戶共同完成船只的定制化設(shè)計制造；并且在船只交付使用后，制造商通過持續(xù)采集船只航行過程中的船速、吃水等各種實時狀態(tài)參數(shù)，并基于分析模型進(jìn)行綜合評估，可輔助船員完成對推進(jìn)系統(tǒng)、導(dǎo)航系統(tǒng)等的操作管理，以及定期給出船體維保建議等。顯然，大數(shù)據(jù)智能將在更多領(lǐng)域發(fā)揮重要作用。02新一代人工智能的基礎(chǔ)算法深層神經(jīng)網(wǎng)絡(luò)DNN深層神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，DNN）算法可有效解決具有非線性或異或特征的分類、回歸問題，它在原單層感知機(jī)模型基礎(chǔ)上進(jìn)行了多層變換和非線性變換，通過損失函數(shù)評價深層神經(jīng)網(wǎng)絡(luò)的分類、回歸效果。1.多層變換【必要性】多層的思想源自心理學(xué)出身的GeoffreyHinton（被譽為“人工智能教父”）針對單層感知機(jī)提出的“分布式知識表達(dá)”的概念，源自大腦對于任何事物的記憶并非存儲于單一的神經(jīng)元，而是分布式地存在于巨大的神經(jīng)元網(wǎng)絡(luò)中。以鋼片為例，假定有m種長度值和n種寬度值——若按單層感知機(jī)模型表達(dá)，則需要m×n個神經(jīng)元參與才能將所有類型表達(dá)完全；若以分布式表達(dá)思想，通過2層神經(jīng)元分別為m和n個神經(jīng)元節(jié)點，則只需m+n個神經(jīng)元，即可表達(dá)m×n種鋼片類型；體現(xiàn)了線性增加的神經(jīng)元數(shù)目可實現(xiàn)指數(shù)級增加的概念數(shù)目的巨大優(yōu)勢。深層神經(jīng)網(wǎng)絡(luò)DNN【實現(xiàn)過程】對于線性可分的二分類問題，只需要一個輸入輸出即可實現(xiàn)；對于線性不可分?jǐn)?shù)據(jù)，則需進(jìn)行多次二分類，使之變?yōu)榫€性可分；而通過隱層設(shè)置多個節(jié)點即構(gòu)造多個二分類器，這便是隱層的物理意義所在。隱層數(shù)和每個隱層節(jié)點數(shù)的設(shè)置需要根據(jù)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效果進(jìn)行調(diào)整，但在初次搭建模型時可按如下方法進(jìn)行設(shè)置：（1）隱層數(shù)設(shè)置一般優(yōu)先考慮設(shè)置1個隱層。因為增加隱層數(shù)盡管可降低模型誤差，但也意味著模型復(fù)雜化，導(dǎo)致訓(xùn)練時間變長且更易出現(xiàn)過擬合現(xiàn)象，而單隱藏層對絕大多數(shù)問題也已夠用。另外，為降低模型誤差，通過增加隱層節(jié)點數(shù)比增加隱層更易實現(xiàn)，但對于高維輸入數(shù)據(jù)樣例，或許增加隱層數(shù)的效果更佳。深層神經(jīng)網(wǎng)絡(luò)DNN（2）隱層節(jié)點數(shù)設(shè)置

單層感知機(jī)模型只是將所有輸入的加權(quán)和通過線性的激活函數(shù)得到模型結(jié)果，深度神經(jīng)網(wǎng)絡(luò)則是在加權(quán)和的基礎(chǔ)上通過非線性的激活函數(shù)和偏置項（常數(shù)項）進(jìn)行非線性變換，非線性激活函數(shù)作用于隱層和輸出層的每一個節(jié)點。事實證明，非線性變換的使用使得復(fù)雜分類和回歸的效果更加顯著。2.非線性變換深層神經(jīng)網(wǎng)絡(luò)DNN

tanh函數(shù)圖像3.損失函數(shù)以多分類問題為例，深層神經(jīng)網(wǎng)絡(luò)模型有n個輸出節(jié)點即代表共有n個類別，當(dāng)輸入一個待測樣例后，由于其最終只可能屬于其中一個類別，故對于最終輸出的n個概率值理論上只有一個接近1，而其他值接近0，這n個值即該樣例輸出的一個n維向量。此時則需通過損失函數(shù)對該n維向量進(jìn)行評價，而基于Softmax回歸方法的交叉熵便是一種常用的損失函數(shù)。

深層神經(jīng)網(wǎng)絡(luò)DNN

以一個三分類問題為例，建立其深層神經(jīng)網(wǎng)絡(luò)模型。深層神經(jīng)網(wǎng)絡(luò)DNN以一個三分類問題為例，建立其深層神經(jīng)網(wǎng)絡(luò)模型。三分類問題的深層神經(jīng)網(wǎng)絡(luò)原理圖深層神經(jīng)網(wǎng)絡(luò)DNN以一個三分類問題為例，建立其深層神經(jīng)網(wǎng)絡(luò)模型。但若當(dāng)前模型經(jīng)損失函數(shù)評價后效果不佳，則還需進(jìn)行修改，就需要通過“反向傳播算法”對模型進(jìn)行優(yōu)化，“反向傳播算法”是梯度下降算法與隨機(jī)梯度下降算法的綜合結(jié)果，它們的基礎(chǔ)都是梯度下降算法。【梯度下降算法】若損失函數(shù)較大，即模型分類效果不理想，則通過該算法調(diào)整單個節(jié)點的權(quán)重值W，如此循環(huán)迭代直至損失函數(shù)值達(dá)到極小值，也因此若節(jié)點數(shù)過多，則利用該算法進(jìn)行所有權(quán)重值的調(diào)整需要大量的訓(xùn)練時間，效率低下?！倦S機(jī)梯度下降算法】若采取隨機(jī)梯度下降算法，即每一次的優(yōu)化過程，只選擇一項數(shù)據(jù)進(jìn)行調(diào)整，而這盡管大大降低訓(xùn)練時間，卻也顯然無法保證模型整體的損失函數(shù)減小。反向傳播算法綜合兩者優(yōu)點，每次優(yōu)化過程均只選部分?jǐn)?shù)據(jù)進(jìn)行權(quán)重調(diào)整，實現(xiàn)高質(zhì)高效地優(yōu)化網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)CNN深層神經(jīng)網(wǎng)絡(luò)可解決復(fù)雜的非線性問題，但存在兩大不足。1.在輸入特征數(shù)增大到一定程度時會因計算量增加而使訓(xùn)練時間加長；2.無法確保在模型架構(gòu)不變下對多維數(shù)據(jù)特征的識別保持不變性。卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）在上述兩方面體現(xiàn)出優(yōu)越性；卷積神經(jīng)網(wǎng)絡(luò)模型一般由輸入層、多個卷積層與池化層，以及全連接層和輸出層組成。卷積神經(jīng)網(wǎng)絡(luò)CNN首先將輸入的原始圖片分解成部分重合的小圖塊；然后把每個小圖塊通過卷積和池化用于提取圖片中人物的特征而忽略其他環(huán)境等無關(guān)要素；最后通過全連接層，即已建立的兒童分類器模型識別圖中是否為一個兒童從而進(jìn)行輸出判斷。以一張圖片中兒童的識別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN【一維數(shù)據(jù)與多維數(shù)據(jù)】一維數(shù)據(jù)：語音數(shù)據(jù)是時間維或頻率維的一維數(shù)據(jù)；二維數(shù)據(jù)：圖像數(shù)據(jù)因像素需要至少有“寬度×高度”兩個維度，其中黑白圖像在色彩通道只有一個灰度，因此為二維數(shù)據(jù)；三維數(shù)據(jù)：RGB圖像有三個色彩通道，因此為三維數(shù)據(jù)；多維數(shù)據(jù)：視頻數(shù)據(jù)在彩色圖像基礎(chǔ)上還有時間維度，因此為四維數(shù)據(jù)。1.輸入層對于輸入為多維數(shù)據(jù)的情況，深層神經(jīng)網(wǎng)絡(luò)仍將其展成一個一維向量，易出現(xiàn)相同特征在不同位置卻無法始終都能識別的情況，卷積神經(jīng)網(wǎng)絡(luò)通過卷積層與池化層能有效解決這個問題。以一張圖片中兒童的識別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN卷積過程是將原始輸入數(shù)據(jù)通過一塊限定大小的局部區(qū)域?qū)φ麄€數(shù)據(jù)的基礎(chǔ)特征依次進(jìn)行掃描并得到高抽象程度的中間數(shù)據(jù)的過程，其中該局部區(qū)域稱為卷積核，卷積核區(qū)域的輸入節(jié)點經(jīng)加權(quán)求和連接至下一層的一個節(jié)點。現(xiàn)假定有一組4×4的二維數(shù)據(jù)，并限定卷積核尺寸為2×2，則可得到一組3×3的二維數(shù)據(jù)。2.卷積層二維數(shù)據(jù)卷積過程原理圖以一張圖片中兒童的識別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN

若對于三維數(shù)據(jù)的卷積，如4×4×3的數(shù)據(jù)，實質(zhì)是三層4×4的二維數(shù)據(jù)，“3”代表該組數(shù)據(jù)的深度，其卷積表示卷積核圈定范圍下的三層數(shù)據(jù)均通過加權(quán)求和連接到下一層的一個節(jié)點上，且該三層數(shù)據(jù)中每一層的權(quán)重配比各不相同。此外，卷積處理后的節(jié)點矩陣相較于原始數(shù)據(jù)，矩陣深度通常會增加；因此，卷積過程是一個令特征量更突出的過程，同時能夠減小數(shù)據(jù)的計算量。以一張圖片中兒童的識別（二維數(shù)據(jù)）為例。卷積神經(jīng)網(wǎng)絡(luò)CNN池化是進(jìn)一步減小數(shù)據(jù)量的過程，并且保障有效識別信息不丟失,主要功能是剔去除主要提取特征以外的冗余信息，基本原理如下：假定本例中的兒童圖像是對一張黑白圖像的卷積過程，則池化即通過設(shè)置一個灰度下限值ξ_0（ξ_0∈[0，255]），將輸出結(jié)果中值小于ξ_0的節(jié)點剔除，剩余數(shù)據(jù)則作為全連接層的輸入數(shù)據(jù)，實現(xiàn)進(jìn)一步減小數(shù)據(jù)量。3.池化層池化后的數(shù)據(jù)處理會像深層神經(jīng)網(wǎng)絡(luò)一樣繼續(xù)進(jìn)行分類或回歸問題的求解。以一張圖片中兒童的識別（二維數(shù)據(jù)）為例。由此可見，卷積神經(jīng)網(wǎng)絡(luò)的卷積與池化過程類似于人類觀察外部環(huán)境時，優(yōu)先關(guān)注顯眼的部分，體現(xiàn)主次之分，在保障效果的同時提高觀察效率。所以卷積神經(jīng)網(wǎng)絡(luò)在語音、圖像識別等領(lǐng)域中可發(fā)揮核心作用。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）算法主要擅長處理和預(yù)測時間序列相關(guān)的問題，而深層神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)對于此類問題的處理效果并不好。在模型結(jié)構(gòu)上，深層神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)只是層與層之間進(jìn)行正向的全連接或部分連接，而循環(huán)神經(jīng)網(wǎng)絡(luò)還進(jìn)行節(jié)點間的反向連接。循環(huán)神經(jīng)網(wǎng)絡(luò)原理圖循環(huán)神經(jīng)網(wǎng)絡(luò)RNN如需要翻譯一句英文，同時輸入該句的多個單詞后啟動翻譯，模型的隱層首先對第一個單詞翻譯為漢字，該漢字一方面作為最終結(jié)果輸出，另一方面在下一時刻與下一個單詞共同作為輸入，通過上下文情境實現(xiàn)更好地預(yù)測和翻譯后續(xù)的內(nèi)容，即通過歷史消息輔助當(dāng)前的決策。以中英文翻譯為例。但是直接利用RNN進(jìn)行基本的翻譯工作時，容易產(chǎn)生另一個問題——假定該句翻譯的正確答案為“某同學(xué)一度因為肥胖問題，盡管擅長舉重，卻在1000米跑步測試中成績不佳，但堅持長期鍛煉，如今舉重依然優(yōu)秀，跑步亦能取得良好?！睆闹胁浑y發(fā)現(xiàn)，依據(jù)前半部分擅長舉重自然可以預(yù)測后半部分的舉重優(yōu)秀；但若依舊參照因肥胖問題而跑步不佳來預(yù)測“跑步亦能取得”之后的詞語，可能仍是“較差”等性質(zhì)的評價，而事實上已轉(zhuǎn)變?yōu)榱己?。這便需要一種機(jī)制來