人工智能基礎(chǔ)知識(shí)培訓(xùn)課件

人工智能基礎(chǔ)知識(shí)培訓(xùn)口人工智能的定義·

英文全稱：artificialintelligence(人工的、人造的智能),簡(jiǎn)稱Al。·定義：人工智能，是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能行為的理論、方法、技術(shù)及應(yīng)用系統(tǒng)

的一門綜合性科學(xué)?！?/p>

目的：使計(jì)算機(jī)系統(tǒng)具備執(zhí)行“通常需要人類智能才能完成的任務(wù)”的能力?！?/p>

人工智能的基本概念■

人工智能的基本概念口人工智能的關(guān)鍵點(diǎn)·

屬于什么學(xué)科：AI的本質(zhì)屬性，是一門科學(xué)，是一個(gè)技術(shù)領(lǐng)域。它涉及到了計(jì)算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、哲學(xué)、心理學(xué)等多種學(xué)科的知識(shí)。但總體上，歸類于計(jì)算機(jī)學(xué)科之下?！?/p>

研究什么對(duì)象：AI

的研究目的，是讓一個(gè)“系統(tǒng)”具備智能。這個(gè)“系統(tǒng)”,可以是一套軟件程序，也可以是一

臺(tái)計(jì)算機(jī)，甚至是一個(gè)機(jī)器人?！?/p>

什么是智能：目前看來，能夠像人一樣感知、理解、思考、判斷、決策，就是實(shí)現(xiàn)了人工智能?！?/p>

人工智能的基本概念口智能的維度認(rèn)知能力：理解、學(xué)習(xí)、推理、記憶等適應(yīng)能力：解決問題、應(yīng)對(duì)環(huán)境變化等HELL0

自主能力：獨(dú)立完成任務(wù)、自主決策等■

人工智能的基本概念口人工智能的學(xué)派·

符號(hào)主義學(xué)派：認(rèn)為人類認(rèn)知和思維的基本單元是符號(hào)，而認(rèn)知過程就是在符號(hào)表示上的一種運(yùn)算。致力于使用某種符號(hào)來描述人類的認(rèn)知過程，并把這種符號(hào)輸入到能處理符號(hào)的計(jì)算機(jī)中，從而模擬人類的認(rèn)知過程?！?/p>

聯(lián)結(jié)主義學(xué)派：模擬人腦的工作方式，使用神經(jīng)網(wǎng)絡(luò)來模擬人腦神經(jīng)元的連接方式和學(xué)習(xí)算法?！?/p>

行為主義學(xué)派：強(qiáng)調(diào)從行為的角度來理解智能。認(rèn)為智能體應(yīng)該通過與環(huán)境的交互來學(xué)習(xí)和適應(yīng)，而不是僅僅通過符號(hào)處理。·

進(jìn)化學(xué)派：對(duì)生物進(jìn)化進(jìn)行模擬，使用遺傳算法和遺傳編程?！?/p>

貝葉斯學(xué)派：使用概率規(guī)則及其依賴關(guān)系進(jìn)行推理。·

類推學(xué)派符號(hào)主義人工智能

聯(lián)結(jié)主義三大學(xué)派行為主義基于知識(shí)的方法·專家系統(tǒng)：基于規(guī)則、“知識(shí)+推理”·知識(shí)圖譜：結(jié)構(gòu)化的知識(shí)表示、存儲(chǔ)基于學(xué)習(xí)的方法·機(jī)器學(xué)習(xí)：通過數(shù)據(jù)進(jìn)行訓(xùn)練，建立自動(dòng)學(xué)習(xí)模型

·深度學(xué)習(xí)：基于神經(jīng)網(wǎng)絡(luò)，構(gòu)建自動(dòng)學(xué)習(xí)方法基于仿生的方法·行為主義：模擬生物行為，進(jìn)行學(xué)習(xí)·進(jìn)化計(jì)算：模擬生物的進(jìn)化過程，進(jìn)行優(yōu)化■

人工智能的基本概念口人工智能的研究方法0203口人工智能的分類(按智能水平)·弱人工智能

(Weak

Al)

:只專精于單一任務(wù)或一組相關(guān)的任務(wù)，不具備通用智能能力。目前，人類就處于這個(gè)階段?！?qiáng)人工智能

(Strong

Al)

:具有一定的通用智能能力，能夠理解、學(xué)習(xí)并應(yīng)用于各種不同的任務(wù)。

目前，這個(gè)還處于理論和研究階段，還沒落地?！こ斯ぶ悄?/p>

(SuperAl)

:在幾乎所有方面都超過人類智能，包括創(chuàng)造力、社交技能等。超人工智能■

人工智能的基本概念是未來的終極形態(tài)，我們假設(shè)它能夠?qū)崿F(xiàn)。口萌芽階段·17世紀(jì)，萊布尼茨、托馬斯·霍布斯和笛卡兒等率先提出：是否可以將人類理性的思考系統(tǒng)，轉(zhuǎn)化為代數(shù)學(xué)或幾何學(xué)體系?·在查爾斯·

巴貝奇(Charles

Babbage)的分析機(jī)、赫爾曼·何樂禮(HermanHollerith)的制表機(jī)、阿蘭·

圖靈(AlanTuring)的圖

靈機(jī)，以及Z3、珍妮機(jī)、MarkI

、ENIAC等一系列發(fā)明的接力推動(dòng)下，人類終于進(jìn)入了數(shù)字電子計(jì)算機(jī)時(shí)代。·

1950年，阿蘭·

圖靈在《心靈(Mind)》雜志上發(fā)表了一篇非常重要的論文，名叫《計(jì)算機(jī)器與智能(ComputingMachineryand

Intlligence)》。圖靈在論文中仔細(xì)討論了創(chuàng)造“智能機(jī)器”的可能性。由于“智能”一詞很難定義，他提出了著名的圖靈測(cè)試?！?/p>

人工智能的發(fā)展歷程口萌芽階段(圖靈測(cè)試)圖靈測(cè)試：多名評(píng)委在隔開的情況下，通過設(shè)備向一個(gè)機(jī)器人和一名人類隨意提問。多次問答后，若超過30%的人不能確定被測(cè)者是人還是機(jī)器，那么,該機(jī)具備人類智能?！?/p>

人工智能的發(fā)展歷程計(jì)算機(jī)應(yīng)答

真人提問

真人應(yīng)答向應(yīng)答者提問給發(fā)問者應(yīng)答口正式誕生·

1955年9月，約翰·麥卡錫(J.McCarthy)、

馬文·

明斯基(M.L.Minsky)、

克勞德·香農(nóng)(C.E.Shannon)、納撒尼爾·

羅切斯特

(N.Rochester)共同提出了一個(gè)關(guān)于機(jī)器智能的研究項(xiàng)目，首次引入了“ArtificialIntelligence”這個(gè)詞，也就是人工智能?！?/p>

1956年6月，在剛才那4個(gè)人的召集下，十余位來自不同領(lǐng)域的專家，聚集在美國新罕布什爾州漢諾威鎮(zhèn)的達(dá)特茅斯學(xué)院，召開了一場(chǎng)為期將近兩月的人工智能學(xué)術(shù)研討會(huì)，就是著名的達(dá)特茅斯會(huì)議

(Dartmouthworkshop)。·

達(dá)特茅斯會(huì)議，標(biāo)志著人工智能作為一個(gè)研究領(lǐng)域正式誕生，也被后人視為現(xiàn)代人工智能的起點(diǎn)。■

人工智能的發(fā)展歷程口第一次浪潮·1955年，赫伯特西蒙(Herbert

A.Simon,也譯為司馬賀)和艾倫紐維爾(Alen

Newell)開發(fā)的一個(gè)名為“邏輯理論家(Logic

Theorist)”的程序。

·

1957年，赫伯特·西蒙等人在“邏輯理論家”的基礎(chǔ)上，又推出了通用問題解決器(General

Problem

Solver,GPS)。·1957年，美國康奈爾大學(xué)的心理學(xué)家和計(jì)算機(jī)科學(xué)家弗蘭克羅森布拉特(Frank

Rosenblatt),在一臺(tái)IBM-704計(jì)算機(jī)上，模擬實(shí)現(xiàn)了一種叫感知機(jī)(Perceptron)”的神經(jīng)網(wǎng)絡(luò)模型?！?958年，約翰·麥卡錫正式發(fā)布了自己開發(fā)的人工智能編程語言—LISP(LISTPROCESSING,意思是“表處理”)。·

1959年，IBM科學(xué)家亞瑟·塞繆爾在自家首臺(tái)商用計(jì)算機(jī)IBM701上，成功編寫了一套西洋跳棋程序。·1959年，美國發(fā)明家喬治德沃爾(George

Devol)與約瑟夫英格伯格(Joseph

Engelberger)發(fā)明了人類首臺(tái)工業(yè)機(jī)器人—Unimate。

·

1966年，美國麻省理工學(xué)院的魏澤鮑姆

(Joseph

Weizenbaum),發(fā)布了世界上第一個(gè)聊天機(jī)器人

ELIZA。·

1966年，查理·

羅森(Charlie

Rosen)領(lǐng)導(dǎo)的美國斯坦福研究所(SRI),

研發(fā)成功了首臺(tái)人工智能機(jī)器人—Shakey。·1969年，馬文·

明斯基和西蒙派珀特(SeymourPapert)寫了一本書《感知機(jī)：計(jì)算幾何學(xué)導(dǎo)論》的書，對(duì)羅森布萊特的感知器提出了質(zhì)疑?！?973年，數(shù)學(xué)家萊特希爾(Lightil)向英國政府提交了一份關(guān)于人工智能的研究報(bào)告(著名的《萊特希爾報(bào)告》)。報(bào)告對(duì)當(dāng)時(shí)的機(jī)器人技術(shù)、語言

處理技術(shù)和圖像識(shí)別技術(shù)進(jìn)行了嚴(yán)厲且猛烈的批評(píng)，指出人工智能那些看上去宏偉的目標(biāo)根本無法實(shí)現(xiàn)，研究已經(jīng)徹底失敗。隨后，人工智能進(jìn)入了第

一個(gè)發(fā)展低谷，也被稱為“AI

Winter(AI之冬)”?！?/p>

人工智能的發(fā)展歷程口第二次浪潮·

1968年，美國科學(xué)家愛德華·費(fèi)根鮑姆(Edward

Feigenbaum)提出了第一個(gè)專家系統(tǒng)——DENDRAL,并對(duì)知識(shí)庫給出了初步的定義。這標(biāo)志著專家系統(tǒng)的誕生?！?972年，美國醫(yī)生兼科學(xué)家愛德華-H肖特利夫

(Edward

H.Shortife)創(chuàng)建了可以幫助進(jìn)行醫(yī)學(xué)診斷的專家系統(tǒng)—

MYCIN?！?980年，卡耐基梅隆大學(xué)研發(fā)的專家系統(tǒng)XCON(eXpertCONfigurer)正式商用，為當(dāng)時(shí)的計(jì)算機(jī)巨頭公司DEC每年省下數(shù)干萬美金。·1981年，日本經(jīng)濟(jì)產(chǎn)業(yè)省撥款8.5億美元，支持第五代計(jì)算機(jī)項(xiàng)目。·1983年，美國國防部高級(jí)研究計(jì)劃局(DARPA)

通過戰(zhàn)略計(jì)算促進(jìn)會(huì)

(Strategic

Computing

Initiative)”,重啟對(duì)人工智能研究的資助。

·1984年，由美國微電子與計(jì)算機(jī)技術(shù)公司發(fā)起的Cyc項(xiàng)目(“超級(jí)百科全書”項(xiàng)目)正式啟動(dòng)?！?/p>

1987年，蘋果和IBM

公司生產(chǎn)的臺(tái)式機(jī)，在性能上已經(jīng)超過了

Symbolics的Al計(jì)算機(jī)，導(dǎo)致Al硬件市場(chǎng)需求土崩瓦解·到了80年代晚期，戰(zhàn)略計(jì)算促進(jìn)會(huì)大幅削減對(duì)AI的資助。DARPA

的新任領(lǐng)導(dǎo)也認(rèn)為AI并非“下一個(gè)浪潮”,削減了對(duì)其的投資。Al,進(jìn)入了第二次低谷階段?！?/p>

人工智能的發(fā)展歷程樣本輸入建議非專家用戶知識(shí)庫專家規(guī)則引擎專家系統(tǒng)■

人工智能的發(fā)展歷程口第二次浪潮(專家系統(tǒng))用戶

界面口第三次浪潮(萌芽階段)·1982年，約翰·霍普菲爾德(JohnHopfield)在自己的論文中重點(diǎn)介紹了Hopfield網(wǎng)絡(luò)模型(模型原型早期由其他科學(xué)家提出)?！?986年，戴維·魯梅爾哈特(David

Rumelhart)、杰弗里：辛頓

(Geofrey

Hinton)和羅納德威廉姆斯(Ronald

Wiliams)

等人共同提出了一種適用于多層感知器

(MLP)

的算法，叫做反向傳播算法

(Backpropagation,

簡(jiǎn)稱BP算法)?！?995年，克里娜柯爾特斯(Corinna

Cortes)和弗拉基米爾

·萬普尼克(Vladimir

Vapnik)開發(fā)了支持向量機(jī)(Support

Vector

Machine,SVM)?！?/p>

1988年，貝爾實(shí)驗(yàn)室的Yann

LeCun(楊立昆)等人，提出了卷積神經(jīng)網(wǎng)絡(luò)?！?990年，美國認(rèn)知科學(xué)家、心理語言學(xué)家杰弗里艾爾曼(Jefrey

EIman)提出了首個(gè)遞歸神經(jīng)網(wǎng)絡(luò)——艾爾曼網(wǎng)絡(luò)模型?！?997年，德國計(jì)算機(jī)科學(xué)家瑟普·霍克賴特(Sepp

Hochreiter)及其導(dǎo)師于爾根施密德胡伯(Jurgen

Schmichuber)開發(fā)了用于遞歸神經(jīng)網(wǎng)絡(luò)的LSTM(長(zhǎng)短期記憶網(wǎng)絡(luò))。·

1997年5月3日至11日，“深藍(lán)”以2勝1負(fù)3平的成績(jī)，險(xiǎn)勝國際象棋世界冠軍卡斯帕羅夫，震驚了世界?！?/p>

人工智能的發(fā)展歷程口第三次浪潮(爆發(fā)階段)·2006年，多倫多大學(xué)的杰弗里·辛頓發(fā)表了重要的論文《Reducingthedimensionalityofdatawithneuralnetworks(用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)維數(shù))》,提出深度信念網(wǎng)絡(luò)(Deep

Belief

Network)。深度學(xué)習(xí)

(Deeping

Learning),正式誕生了。·2009年，在斯坦福任教的華裔科學(xué)家李飛飛，正式發(fā)布了大型圖像數(shù)據(jù)集——ImageNet?！?012年，杰弗里辛頓和他的學(xué)生伊利亞蘇茨克沃(Ilya

Sutskever)和亞歷克斯克里切夫斯基(Alex

Kizhevsky)參加了ImageNet

的大規(guī)模視覺識(shí)別挑戰(zhàn)賽，以壓倒性優(yōu)勢(shì)獲得第一名?！?014年，蒙特利爾大學(xué)博士生伊恩·古德費(fèi)洛

(lan

Goodfellow),提出了生成對(duì)抗網(wǎng)絡(luò)

(GANs,Generative

Adversarial

Networks)?！?016年3月，DeepMind開發(fā)的人工智能圍棋程序AIphaGo(阿爾法狗),對(duì)戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝，震驚了全

世界。·

2017年12月，

Google

機(jī)器翻譯團(tuán)隊(duì)發(fā)表了論文《Attention

is

l

you

need(你所需要的，就是注意力)》,提出只使用“自我注意力(SelfAttention)”機(jī)制來訓(xùn)練自然語言模型，并將這種架構(gòu)命名為transformer。·2018年6月，OpenA

I

發(fā)布了第一版的GPT系列模型——GPT-1。·2022年11月，OpenA

I發(fā)布了基于GPT模型的人工智能對(duì)話應(yīng)用服務(wù)——ChatGPT?！?/p>

人工智能的發(fā)展歷程卷積神經(jīng)網(wǎng)絡(luò)

LSTMIBM

Watson

IBM深藍(lán)

模型SVM

(支持向量機(jī))遞歸神經(jīng)網(wǎng)絡(luò)MYCIN

萊特希爾報(bào)告DENDRAL第一次低谷ImageNetSpaun

AlphaGoHinton深度學(xué)習(xí)ChatGPT第三次熱潮

Transformer■

人工智能的發(fā)展歷程19501960197019801990200020102020ELIZAShakey機(jī)器學(xué)習(xí)達(dá)特茅斯會(huì)議圖靈測(cè)試SNARC第二次熱潮BP

算法□整體發(fā)展過程CycHopfieldXCON生成對(duì)抗網(wǎng)絡(luò)OpenAl

AlexNetLISP誕生感知機(jī)第一次熱潮第二次低谷GPT-11860年代-19世紀(jì)中

19世紀(jì)中-20世紀(jì)初

20世紀(jì)40年代-現(xiàn)在

現(xiàn)在-未來■

人工智能的發(fā)展歷程第二次工業(yè)革命

電氣化時(shí)代第四次工業(yè)革命

智能時(shí)代第三次工業(yè)革命

信息化時(shí)代第一次工業(yè)革命

蒸汽時(shí)代口第四次工業(yè)革命電氣應(yīng)用

流水線出現(xiàn)

專業(yè)管理層機(jī)械應(yīng)用

工廠出現(xiàn)

工人階級(jí)人工智能新材料

清潔能源信息技術(shù)

原子能

空間技術(shù)第一次信息革命第二次信息革命■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)口機(jī)器學(xué)習(xí)的定義·機(jī)器學(xué)習(xí)的核心思想，是構(gòu)建一個(gè)可以從數(shù)據(jù)中學(xué)習(xí)的模型，并利用這個(gè)模型來進(jìn)行預(yù)測(cè)或決策。

·

機(jī)器學(xué)習(xí)(MachineLearning),是人工智能的一個(gè)重要分支。口機(jī)器學(xué)習(xí)的類別機(jī)器學(xué)習(xí)不是一個(gè)具體的模型或算法。它包括了很多種類型，例如：·

監(jiān)督學(xué)習(xí)

(SupervisedLearning):

算法從帶有標(biāo)簽的數(shù)據(jù)集中學(xué)習(xí)，即每個(gè)訓(xùn)練樣本都有一個(gè)已知的結(jié)果。

·

非監(jiān)督學(xué)習(xí)

(UnsupervisedLeanring):

算法從沒有標(biāo)簽的數(shù)據(jù)集中學(xué)習(xí)。·

半監(jiān)督學(xué)習(xí)

(Semi-supervisedLeanring):結(jié)合了少量的帶標(biāo)簽數(shù)據(jù)和大量的未帶標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練。·

強(qiáng)化學(xué)習(xí)

(ReinforcementLeanring)

:通過試錯(cuò)的方式，學(xué)習(xí)哪些行為可以獲得獎(jiǎng)勵(lì)，哪些行為會(huì)導(dǎo)致懲罰?！?/p>

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)·

深度神經(jīng)網(wǎng)絡(luò)：CNN、RNN、LSTM等模型·

生成對(duì)抗網(wǎng)絡(luò)：GAN

模型·

強(qiáng)化學(xué)習(xí)：DQN、PPO等算法·

預(yù)訓(xùn)練模型：BERT、GPT

等2010-現(xiàn)在·

隨機(jī)森林：RF

算法·

集成學(xué)習(xí)：AdaBoost、XGBoost等算法

·特征工程：特征選擇、特征降維等2000-2010·

決策樹：ID3、C4.5

等算法

·

支持向量機(jī)：SVM

算法·

貝葉斯網(wǎng)絡(luò)：BN算法1980-2000■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)口機(jī)器學(xué)習(xí)的算法演變■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)口深度學(xué)習(xí)·深度學(xué)習(xí)，具體來說，是深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)?！ど疃葘W(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支。機(jī)器學(xué)習(xí)底下有一條“神經(jīng)網(wǎng)絡(luò)”路線，而深度學(xué)習(xí)，是加強(qiáng)人工智能(Artificial

Intelligence)機(jī)器學(xué)習(xí)(Machine

Learning)神經(jīng)網(wǎng)絡(luò)(Neural

Network

Learning)深度學(xué)習(xí)(Deep

Learning)版的“神經(jīng)網(wǎng)絡(luò)”學(xué)習(xí)。知識(shí)圖譜監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)進(jìn)化算法群體智能符號(hào)主義聯(lián)結(jié)主義統(tǒng)計(jì)主義行為主義專家系統(tǒng)機(jī)器學(xué)習(xí)■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)口深度學(xué)習(xí)人工智能神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)口神經(jīng)網(wǎng)絡(luò)·神經(jīng)網(wǎng)絡(luò)是聯(lián)結(jié)主義的代表?！ど窠?jīng)網(wǎng)絡(luò)是模仿人腦的工作原理，建立神經(jīng)元之間的聯(lián)結(jié)模型，以此實(shí)現(xiàn)人工神經(jīng)運(yùn)算。軸突末梢軸突樹突細(xì)胞核■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)輸入層

輸出層隱藏層1

隱藏層2口深度學(xué)習(xí)深度學(xué)習(xí)所謂的“深度”,是指神經(jīng)網(wǎng)絡(luò)中“隱藏層”的層級(jí)更“深”:·經(jīng)典機(jī)器學(xué)習(xí)算法使用的神經(jīng)網(wǎng)絡(luò)，具有輸入層、一個(gè)或兩個(gè)“隱藏層”和一個(gè)輸出層?！ど疃葘W(xué)習(xí)算法使用了更多的“隱藏層”(數(shù)百個(gè))。它的能力更加強(qiáng)大，讓神經(jīng)網(wǎng)絡(luò)能夠完成更困難的工作?！?/p>

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)隱藏層口神經(jīng)網(wǎng)絡(luò)的幾大經(jīng)典模型·

卷積神經(jīng)網(wǎng)絡(luò)

(Convolutional

Neural

Network,CNN)

·

循環(huán)神經(jīng)網(wǎng)絡(luò)

(Recurrent

Neural

Network,RNN)·

生成對(duì)抗網(wǎng)絡(luò)

(Generative

Adversarial

Network,GAN)

·

長(zhǎng)短期記憶網(wǎng)絡(luò)

(Long

Short-Term

Memory,LSTM)·Transformer

(轉(zhuǎn)換器)圖片來自網(wǎng)絡(luò)O

BackfedlroutCellhput(ellNoisy

InoutCollHddenCell●Probablstic

HddenCall●

spling

Hodn

Cell0utputCellO

Match

inputOutputCellRecurentCell●

Memary

Cetloifferant

MemaryCell

KemelO

CorvolutionorPoodA

mostly

complete

chart

ofNeural

Networksc2016FodorwPerceptron(P)

feed

forward(F)Radial

Bass

Network(F9F)AecurentAordNetwork(8N?Lorg/ShtTemMemony(STM?GstedaecrentyhtfGA)DenoisingAE(DAE)■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)Deep

Convoutionat

Network(DCN)

Decornclutionsl

Network(DN)DeepComolutionstlnverse

Craphics

Network(0OCN)MarkovChain(MC)Hopfatd

Network0HN)Boltzmann

Machine(EM)Hesticted

BM(RSM)Deap

BaUaf

Network(DBN)Desp

Feed

Forward(0FF)VaiationalAE(VAE)AutoEncoder(AE)5parse

AE(5AE)■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)口卷積神經(jīng)網(wǎng)絡(luò)

(CNN)·是一種專門設(shè)計(jì)用于處理具有網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)(如圖像和視頻)的深度學(xué)習(xí)模型?！ぴ谟?jì)算機(jī)視覺領(lǐng)域取得了顯著的成功，尤其是在圖像分類、物體檢測(cè)、語義分割等任務(wù)中表現(xiàn)突出。

·基本組成部分：卷積層、激活函數(shù)、池化層、全連接層。向量特征圖池化特征圖輸入層

卷積層

池化層

卷積層池化層

全連接層輸

出向量化池化窗口池化特征圖池化

卷積和激活

池化輸入圖像

特征圖過濾器

卷積和激活特征圖口循環(huán)神經(jīng)網(wǎng)絡(luò)

(RNN)·一種特殊的神經(jīng)網(wǎng)絡(luò)架構(gòu)，專門設(shè)計(jì)用于處理序列數(shù)據(jù)，例如時(shí)間序列數(shù)據(jù)、文本序列、語音信號(hào)等。·

與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同，RNN

可以處理可變長(zhǎng)度的輸入序列，并且能夠記住先前的輸入以影響后續(xù)的輸出?！ず诵乃枷胧窃诰W(wǎng)絡(luò)中引入循環(huán)連接，允許信息在不同的時(shí)間步之間流動(dòng)。這樣，每個(gè)時(shí)間步的輸出不僅可以作為

下一個(gè)時(shí)間步的輸入，還可以影響當(dāng)前時(shí)間步的輸出。這種設(shè)計(jì)使得RNN

能夠捕捉序列數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系?！鰴C(jī)器學(xué)習(xí)和深度學(xué)習(xí)圖片來自網(wǎng)絡(luò)Wht+1[uWht-1[uWhtUWh|uUnfoldVVV真實(shí)樣本隱空間判別器Discriminator生成器Generator生成假樣本微調(diào)訓(xùn)練口生成對(duì)抗網(wǎng)絡(luò)

(GAN)·采用了一種對(duì)抗式的訓(xùn)練方法，其中兩個(gè)神經(jīng)網(wǎng)絡(luò)相互競(jìng)爭(zhēng)：一個(gè)稱為生成器(Generator),另一個(gè)稱為判別器

(Discriminator)

。

這兩個(gè)網(wǎng)絡(luò)的目標(biāo)是相反的，但最終它們共同協(xié)作以生成高質(zhì)量的數(shù)據(jù)樣本。

·非常適用于圖片生成、圖像分割、視頻預(yù)測(cè)、風(fēng)格遷移等?！?/p>

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)圖片來自網(wǎng)絡(luò)隨機(jī)噪聲D是否正確?OutputProbabilities

SoftmaxLinearAdd

&

NormFeedForwardAdd&NormMulti-HeadAttention

N×Add&NormMaskedMulti-HeadAttentionPositionalEncodingInputEmbeddingInputs(shiftedright)□Transformer(轉(zhuǎn)換器)·一種基于自注意力機(jī)制的深度學(xué)習(xí)模型，最初由Google

研

究人員在2017年提出，用于處理序列數(shù)據(jù)?！?/p>

通過自注意力機(jī)制，允許模型在處理序列的任何元素時(shí)，同時(shí)考慮序列中的所有其他元素并給出不同元素的重要程度，從而極大地提高了模型在語言理解、情感分析、語音識(shí)別等復(fù)雜任務(wù)中的表現(xiàn)?！ransformer

模型因其高效和強(qiáng)大的性能，已經(jīng)成為自然語

言處理領(lǐng)域的標(biāo)準(zhǔn)架構(gòu)之一?！?/p>

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)OutputEmbeddingOutputsAdd&NormMulti-HeadAttention圖片來自網(wǎng)絡(luò)Add&NormFeedForwardPositionalEncodingNxNVIDIA.CUDANVIDIA

GPU昇騰開發(fā)框架TensorFlowPyTorchKerasMXNetCaffeTheanoChainerMindSpore

(昇思)

PaddlePaddle(飛槳)cuDNNCUDA

Deep

Neural

NetworkCANN統(tǒng)一異構(gòu)計(jì)算架構(gòu)程序語言PythonJuliaRJavaC/C++JavaScriptSwiftMATLABScala■

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)口深度學(xué)習(xí)的框架■

大模型和AIGC口大模型

(Large

Model)

的定義·大模型，是具有龐大參數(shù)規(guī)模和復(fù)雜計(jì)算結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型。

·絕大多數(shù)大模型的基礎(chǔ)核心結(jié)構(gòu)，都是Transformer及其變體?！?/p>

目前常說的大模型，主要是大語言模型

(Large

Language

Model)?？诖竽Ｐ偷墓ぷ鳈C(jī)制·大模型在通用性、精度和效率等方面具有顯著優(yōu)勢(shì)。·

它可以通過預(yù)訓(xùn)練或其它方式，在大型數(shù)據(jù)集上進(jìn)行學(xué)習(xí)。再通過微調(diào)，高效處理計(jì)算機(jī)視覺、自然語言處理等復(fù)雜任務(wù)。基于深度學(xué)習(xí)架構(gòu)Transformer通過海量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練面向應(yīng)用場(chǎng)景進(jìn)行微調(diào)服務(wù)于不同類型用戶■

大模型和AIGC預(yù)訓(xùn)練模型訓(xùn)練數(shù)據(jù)微調(diào)特定任務(wù)

數(shù)據(jù)模型口預(yù)訓(xùn)練和微調(diào)·

預(yù)訓(xùn)練：使用大量無標(biāo)注數(shù)據(jù)訓(xùn)練語言模型的過程。賦予了模型一定的通用性，適應(yīng)多種不同下游任務(wù)的能力。·

微調(diào)：在預(yù)訓(xùn)練的基礎(chǔ)上，使用標(biāo)注數(shù)據(jù)(即特定任務(wù)的數(shù)據(jù))進(jìn)一步訓(xùn)練模型，使其適應(yīng)特定的應(yīng)用或任務(wù)?！?/p>

大模型和AIGC特定任務(wù)

數(shù)據(jù)特定任務(wù)

數(shù)據(jù)模型模型對(duì)比大模型小模型參數(shù)量與規(guī)模數(shù)十億乃至數(shù)萬億個(gè)參數(shù)幾百萬到幾千萬之間訓(xùn)練與運(yùn)行速度訓(xùn)練和運(yùn)行時(shí)間較長(zhǎng)，需要更多的計(jì)算資源訓(xùn)練和運(yùn)行速度較快，需要的計(jì)算資

源相對(duì)較少準(zhǔn)確性和能力通常能夠達(dá)到更高的準(zhǔn)確率在某些簡(jiǎn)單任務(wù)上也能達(dá)到不錯(cuò)的準(zhǔn)確率，但處理復(fù)雜模式時(shí)可能會(huì)受限應(yīng)用場(chǎng)景適用于對(duì)準(zhǔn)確性和復(fù)雜性要求高的場(chǎng)景，如文本生成、對(duì)話系統(tǒng)、機(jī)器翻譯等更適合資源有限的環(huán)境，比如移動(dòng)設(shè)備、嵌入式系統(tǒng)等，或者對(duì)于實(shí)時(shí)性有較高要求的應(yīng)用可解釋性由于結(jié)構(gòu)復(fù)雜，往往難以解釋其決策過程通常更容易理解和解釋，便于調(diào)試和維護(hù)借助知識(shí)蒸餾等技術(shù)，大模型的能力可以傳給小模型。作為樣本價(jià)值判斷模型，小模型可以幫助大模型快速學(xué)習(xí)?！?/p>

大模型和AIGC口大模型和小模型口大模型的類別·

語言大模型(以文本數(shù)據(jù)進(jìn)行訓(xùn)練)·

視覺大模型(以圖像數(shù)據(jù)進(jìn)行訓(xùn)練)·

多模態(tài)大模型(文本和圖像都有)NLP自然語言處理大模型語言大模型視覺大模型

多模態(tài)大模型transformer

注意力機(jī)制■

大模型和AIGC口大模型的類別·行業(yè)大模型：訓(xùn)練數(shù)據(jù)集更加廣泛，覆蓋的領(lǐng)域更加全面。·

通用大模型：訓(xùn)練數(shù)據(jù)來自特定行業(yè)，應(yīng)用于專門的領(lǐng)域(例如金融、醫(yī)療、法律、工業(yè))。性價(jià)比更高專業(yè)性更強(qiáng)

數(shù)據(jù)更安全參數(shù)規(guī)模大泛化能力強(qiáng)

支持多模態(tài)行業(yè)大模型通用大模型■

大模型和AIGC應(yīng)

用

層金融醫(yī)療教育傳媒工業(yè)法律模型層GPTLLaMAPaLM文心一言通義干問混元軟件層操作系統(tǒng)數(shù)據(jù)庫中間件程序語言開發(fā)框架異構(gòu)框架硬件層AI芯片存儲(chǔ)芯片服務(wù)器磁陣電源設(shè)備散熱設(shè)備■

大模型和AIGC口大模型的產(chǎn)業(yè)鏈■

大模型和AIGC口大模型的商業(yè)模式·

訂閱模式·API

服務(wù)模式·

平臺(tái)服務(wù)模式·

定制化服務(wù)模式·

廣告和推廣模式·

數(shù)據(jù)授權(quán)模式CV

大模型

科學(xué)計(jì)算大模型模型管理模型部署干億參數(shù)超大模型

圖算融合策略昇騰NLP

大模型

多模態(tài)大模型模型訓(xùn)練

數(shù)據(jù)處理混合自動(dòng)并行

集群調(diào)試調(diào)優(yōu)工具鯤鵬盤古大模型ModeIArts

AI開發(fā)平臺(tái)Mindspore人工智能框架Al算力資源■

大模型和AIGC口盤古大模型(舉例)算法深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)遷移學(xué)習(xí)預(yù)訓(xùn)練模型數(shù)據(jù)數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)標(biāo)注數(shù)據(jù)存儲(chǔ)算力GPUTPUNPUFPGA口模型

(Al)

的發(fā)展要素■

大模型和AIGC口模型的分類·分析式AI

(決策式AI)

:利

用Al來輔助或自動(dòng)化決策過程，能識(shí)別數(shù)據(jù)中的隱藏規(guī)律，指導(dǎo)基于數(shù)據(jù)

洞察的決策過程?！ど墒紸I:

通過已有數(shù)據(jù)的學(xué)習(xí)和識(shí)別，以適當(dāng)?shù)姆夯芰?，生成文本、圖片、代碼、音頻和視頻等

相關(guān)內(nèi)容?！?/p>

大模型和AIGC■

大模型和AIGC□

AIGC的定義·AIGC

(人工智能生成內(nèi)容):使用人工智能技術(shù)來自動(dòng)創(chuàng)建或生成內(nèi)容?！ど傻膬?nèi)容可以包括文本、代碼、圖像、音樂、視頻等?！?/p>

大模型和AIGC□

AIGC的發(fā)展前提·深度學(xué)習(xí)技術(shù)的出現(xiàn)和崛起，使得AIGC開始成為可能?！AN的發(fā)明，是AIGC發(fā)展的一個(gè)重要里程碑，尤其在圖像和視頻生成方面。

·GPT系列、BERT等模型的出現(xiàn)，極大地推動(dòng)了文本生成技術(shù)的發(fā)展?？趦?nèi)容生成的方式·

PGC:Professional

Generated

Content

(

專業(yè)生成內(nèi)容),由專業(yè)的內(nèi)容創(chuàng)作者或團(tuán)隊(duì)進(jìn)行創(chuàng)作、編輯和發(fā)布的內(nèi)容?！?/p>

UGC:User

Generated

Content(用戶生成內(nèi)容),由普通用戶或受眾參與創(chuàng)作、編輯和發(fā)布的內(nèi)容?！?/p>

AIGC:

ArificialIntelligenceGeneratedContent(人工智能生成內(nèi)容),利用人工智能技術(shù)和自然語言處理技術(shù)來生成

內(nèi)容。內(nèi)容生產(chǎn)方式PGCUGCAIGC互聯(lián)網(wǎng)形態(tài)Web1.0Web2.0Web3.0生產(chǎn)主體專業(yè)人非專業(yè)人人工智能核心特點(diǎn)內(nèi)容質(zhì)量高內(nèi)容豐富度高生產(chǎn)效率高■

大模型和AIGC類型大模型名稱生成文本GPT系列、文心一言、通義千問、盤古、Claude3、Diffusion-LM、Chinchilla等文生圖DALL

·E2、StableDiffusion、Midjourney、Pixeling千象、DreamGaussian

百度AI作畫、通義萬相等文生音頻MusicLM、ElevenLabs、Wondershare

Filmora、Reecho睿聲、天工SkyMusic、琴樂大模型、FunAudioLLM、MusicGen等文生視頻Sora、Stable

Video

Diffusion、Vidu等■

大模型和AIGC口大模型GPT版本發(fā)布時(shí)間參數(shù)特點(diǎn)GPT-12018.61.17億最初的GPT模型，主要展示Transformer架構(gòu)在文本生成任務(wù)中的應(yīng)用。GPT-22019.215億引入了更大的模型規(guī)模和更多的層，顯著提升了文本生成的質(zhì)量和多樣性。GPT-32020.51250-1750億參數(shù)量是GPT-2的100多倍。它展示了在多種自然語言處理任務(wù)上的強(qiáng)

大能力，包括文本生成、翻譯、摘要等。GPT-3.52022.31540-1750億引入了更多的訓(xùn)練數(shù)據(jù)和優(yōu)化算法，提升了模型的性能和多樣性。InstructGPT2022.3未公開代碼數(shù)據(jù)訓(xùn)練和人類偏好對(duì)齊。ChatGPT2022.11未公開