2023學(xué)年完整公開課版神經(jīng)網(wǎng)絡(luò)

機器學(xué)習(xí)

——神經(jīng)網(wǎng)絡(luò)頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程內(nèi)容綱要神經(jīng)網(wǎng)絡(luò)概述123能力提升在于實踐4人工神經(jīng)元單層與多層感知器BP神經(jīng)網(wǎng)絡(luò)5總結(jié)6API和應(yīng)用案例激活函數(shù)7頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機器學(xué)習(xí)

——神經(jīng)網(wǎng)絡(luò)頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元細胞結(jié)構(gòu)細胞體（Cellbody）樹突(Dendrites)軸突(Axon)突觸

(Synapticterminals)當樹突將生物電信號傳遞到細胞體時，若引起細胞膜內(nèi)和膜外的電位差超過閾值，則神經(jīng)元進入興奮狀態(tài)，繼續(xù)產(chǎn)生神經(jīng)沖動傳導(dǎo)下去。人腦中有1011-1012個神經(jīng)元每個神經(jīng)元平均與104

個其他神經(jīng)元相連接形成神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元的突觸可根據(jù)自身經(jīng)驗調(diào)整大小和連接強度生物神經(jīng)元的學(xué)習(xí)機制——Hebbianlearning“Neuronsthatfiretogether,wiretogether.”神經(jīng)網(wǎng)絡(luò)概述McCulloch&Pitts(1943)被公認為第一個人工神經(jīng)網(wǎng)絡(luò)的設(shè)計者(MPmodel)試圖通過用計算模型模擬生物神經(jīng)系統(tǒng)的方法來理解生物神經(jīng)系統(tǒng)的工作模式高度并行性使得其計算效率非常高有助于理解神經(jīng)表示的“分布式”特征

早期的“專家系統(tǒng)”是用大量“如果-就”(If-Then)規(guī)則定義的，自上而下的思路人工神經(jīng)網(wǎng)絡(luò)

(ArtificialNeuralNetwork)，標志著另外一種自下而上的思路麥克洛奇(McCulloch)皮茨(Pitts)神經(jīng)網(wǎng)絡(luò)概述1985年，GeoffreyHinton使用BP算法（Back-propagationalgorithm，proposedin1969，practicablein1974）來計算網(wǎng)絡(luò)參數(shù)

1989年，YannLeCun等人使用深度神經(jīng)網(wǎng)絡(luò)來識別手寫體字符。圖像認知過程的理解聲音的理解深度學(xué)習(xí)-CNN和RNN頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機器學(xué)習(xí)

——神經(jīng)網(wǎng)絡(luò)頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程人工神經(jīng)元人工神經(jīng)元人工神經(jīng)元顯然w，p，和1分別對應(yīng)著人工神經(jīng)元的權(quán)值、輸入和閾值在這個問題中建立的神經(jīng)元采用的激活函數(shù)為二值函數(shù)（階躍函數(shù)）二值函數(shù)可以做二分類——邏輯單元

x1x2xnw1w2wnyiny110bf(.)人工神經(jīng)元MP模型采用的激活函數(shù)為二值函數(shù)可進行邏輯運算又稱閾值邏輯單元（TLU，ThresholdLogicUnit）將不同的輸入轉(zhuǎn)換為0或1的輸出神經(jīng)元的權(quán)值與閾值可以統(tǒng)一起來

閾值人工神經(jīng)元TLU可進行邏輯運算基本邏輯運算包括否定運算（非，┐，～

）合取運算（與，∧）析取運算（或，∨，可兼或）P┐P0(F)1(T)1(T)0(F)PQP∧Q000010100111PQP∨Q000011101111人工神經(jīng)元其他常用邏輯運算條件運算（如果…則，→）等值運算（當且僅當

，?）PQP→Q001011100111PQP?Q001010100111顯然P?Q

（P→Q）∧（Q→P

)y1fx1x222x0-3x0x1x2WXT輸出1001×(-3)+0×2+0×2=-3<001011×(-3)+0×2+1×2=-1<001101×(-3)+1×2+0×2=-1<001111×(-3)+1×2+1×2=1>01合取，與（AND）x1∧x2人工神經(jīng)元x0x1x2WXT輸出1001×(-1)+0×2+0×2=-1<001011×(-1)+0×2+1×2=1>011101×(-1)+1×2+0×2=1>011111×(-1)+1×2+1×2=3>01析取，或（OR）x1

∨x2y2fx1x222x0-1人工神經(jīng)元頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機器學(xué)習(xí)

——神經(jīng)網(wǎng)絡(luò)頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程激活函數(shù)

激活函數(shù)激活函數(shù)1-1u激活函數(shù)1-1u激活函數(shù)Sigmoid函數(shù)，其特點是單調(diào)遞增、光滑且具有漸近值，具有解析上的優(yōu)點和神經(jīng)生理學(xué)特征。1-1utanh是雙曲函數(shù)中的一個，tanh()為雙曲正切。在數(shù)學(xué)中，雙曲正切“tanh”是由雙曲正弦和雙曲余弦推導(dǎo)而來。激活函數(shù)ReLU函數(shù)：分段線性函數(shù)，把所有的負值都變?yōu)?，而正值不變，這種操作被成為單側(cè)抑制。頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機器學(xué)習(xí)

——神經(jīng)網(wǎng)絡(luò)頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程單層與多層感知器單層與多層感知器1958年Rosenblatt提出建立在MP神經(jīng)元模型上，以解決線性可分的兩類問題最簡單的機器學(xué)習(xí)方法之一與MP稍有不同，兩類記為{+1，-1}最簡單的感知器

單層與多層感知器單層感知器輸入層輸出層單層與多層感知器多層感知器單層與多層感知器單層與多層感知器將上述的式子轉(zhuǎn)換為矩陣表達式：單層與多層感知器將第二層的前向傳播計算過程推廣到網(wǎng)絡(luò)中的任意一層，則:頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機器學(xué)習(xí)

——神經(jīng)網(wǎng)絡(luò)頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。BP網(wǎng)絡(luò)的標準學(xué)習(xí)算法BP神經(jīng)網(wǎng)絡(luò)算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播V.S.誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP算法直觀解釋情況一直觀表達當誤差對權(quán)值的偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負，實際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe>0，此時Δwho<0BP神經(jīng)網(wǎng)絡(luò)BP算法直觀解釋情況二直觀表達當誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。e<0,此時Δwho>0who頭歌教學(xué)研究中心頭歌人工智能專業(yè)系列課程全面