神經(jīng)網(wǎng)絡(luò)與應(yīng)用

神經(jīng)網(wǎng)絡(luò)與應(yīng)用第一頁，共十九頁，編輯于2023年，星期三人工神經(jīng)網(wǎng)絡(luò)發(fā)展萌芽期閥值加權(quán)和模型(MP模型）Hebb學(xué)習(xí)律上世紀(jì)四十年代第一次高潮期電子線路模擬感知器大規(guī)模投入研究上世紀(jì)五六十年代沉寂期

異或運(yùn)算不可表示

多層感知器學(xué)習(xí)規(guī)則不知上世紀(jì)八十年代初復(fù)興期Hopfield網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)…至今第二頁，共十九頁，編輯于2023年，星期三生物神經(jīng)元神經(jīng)元細(xì)胞體突起樹突軸突生物神經(jīng)元構(gòu)成第三頁，共十九頁，編輯于2023年，星期三標(biāo)準(zhǔn)M-P模型圖v1v4v3v2…vnθiwi1wi2wi3wi4winF(ui)ui第四頁，共十九頁，編輯于2023年，星期三標(biāo)準(zhǔn)M-P模型數(shù)學(xué)描述神經(jīng)元狀態(tài)Ui=∑Wij*Vj-θij神經(jīng)元輸出Vi=f（Ui）階躍函數(shù)Vi=f（Ui）=1 Ui>0 0 Ui<=0 第五頁，共十九頁，編輯于2023年，星期三典型神經(jīng)網(wǎng)絡(luò)應(yīng)用自適應(yīng)諧振理論（ART）該模型主要包括ART1、ART2和ART3，它們可以對任意多和任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。ART1主要用于二值輸入，ART2和ART3主要用于連續(xù)信號輸入。該類模型主要用于模式識別（如雷達(dá)、聲納的信號識別）。缺點(diǎn)是對轉(zhuǎn)換、失真及規(guī)模的變化較為敏感。雪崩模型（Avalanche）該類神經(jīng)網(wǎng)絡(luò)模型可以學(xué)習(xí)、記憶和重現(xiàn)隨機(jī)復(fù)雜度的時(shí)空模式。主要用于連續(xù)的語音識別和教學(xué)機(jī)器人。缺點(diǎn)是調(diào)節(jié)困難。Hopfield神經(jīng)網(wǎng)絡(luò)模型它是由相同處理單元構(gòu)成的單層自聯(lián)想網(wǎng)絡(luò)模型。主要用于從片段中進(jìn)行圖像和數(shù)據(jù)的完全恢復(fù)。第六頁，共十九頁，編輯于2023年，星期三典型神經(jīng)網(wǎng)絡(luò)應(yīng)用對流傳播模型（CPN）該類神經(jīng)網(wǎng)絡(luò)模型是一種在功能上作為統(tǒng)計(jì)最優(yōu)化和概率密度函數(shù)分析的網(wǎng)絡(luò)模型。主要用于圖像壓縮、統(tǒng)計(jì)分析、貸款應(yīng)用打分。缺點(diǎn)是對任何類型的問題均需大量的處理單元和連接。反傳神經(jīng)網(wǎng)絡(luò)模型（BP）該類神經(jīng)網(wǎng)絡(luò)模型是一多層映射神經(jīng)網(wǎng)絡(luò)。采用的是最小均方差的學(xué)習(xí)方式，是目前使用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。主要用于語言綜合、語言識別、自適應(yīng)控制等。缺點(diǎn)是它僅僅是有監(jiān)督的一種學(xué)習(xí)方式，而且需要大量的輸入、輸出樣本。第七頁，共十九頁，編輯于2023年，星期三神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)反饋型網(wǎng)絡(luò)前向型網(wǎng)絡(luò)連續(xù)型網(wǎng)絡(luò)離散型網(wǎng)絡(luò)網(wǎng)絡(luò)性能學(xué)習(xí)方式有監(jiān)督型網(wǎng)絡(luò)無監(jiān)督型網(wǎng)絡(luò)突觸性質(zhì)一階線性網(wǎng)絡(luò)高階非線性網(wǎng)絡(luò)第八頁，共十九頁，編輯于2023年，星期三誤差反向傳播網(wǎng)絡(luò)（BP）第九頁，共十九頁，編輯于2023年，星期三調(diào)整權(quán)值誤差反向傳播過程實(shí)際上是通過計(jì)算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)f2’相乘來求得δki由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層的δki反向傳遞來求出隱含層權(quán)值的變化量Δw2ki。然后計(jì)算同樣通過將ei與該層激活函數(shù)的一階導(dǎo)數(shù)f1’相乘，而求得δij，以此求出前層權(quán)值的變化量Δw1ij如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差ek逐層的反推算到第一層為止第十頁，共十九頁，編輯于2023年，星期三神經(jīng)網(wǎng)絡(luò)適用場景神經(jīng)網(wǎng)絡(luò)的局限性和優(yōu)勢非典型解決方案神經(jīng)網(wǎng)絡(luò)與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)神經(jīng)網(wǎng)絡(luò)方法才能顯示出其優(yōu)越性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測等問題,神經(jīng)網(wǎng)絡(luò)往往是最有利的工具。2.海量數(shù)據(jù)處理神經(jīng)網(wǎng)絡(luò)對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應(yīng)性。第十一頁，共十九頁，編輯于2023年，星期三神經(jīng)網(wǎng)絡(luò)工具包重量級工具M(jìn)atlabJooneEditor構(gòu)建網(wǎng)絡(luò)很方便更新滯后Joone例子豐富，提供很多種網(wǎng)絡(luò)及工具支持云計(jì)算EncogForJava第十二頁，共十九頁，編輯于2023年，星期三神經(jīng)網(wǎng)絡(luò)工具包--Joone第十三頁，共十九頁，編輯于2023年，星期三神經(jīng)網(wǎng)絡(luò)工具包—EncogForJava第十四頁，共十九頁，編輯于2023年，星期三意向度模型架構(gòu)圖賣家買家買家數(shù)據(jù)收集偏好信息行為信息客戶信息反饋信息網(wǎng)站模型管理ANN模型數(shù)據(jù)預(yù)處理器訓(xùn)練器輸出處理營銷匹配意向度計(jì)算模型訓(xùn)練第十五頁，共十九頁，編輯于2023年，星期三意向度模型應(yīng)用場景意向度模型后臺接待系統(tǒng)訪客精準(zhǔn)營銷探頭瀏覽網(wǎng)站①②④計(jì)算意向度訪客識別③模型優(yōu)化WEBIM接待人員聊天數(shù)據(jù)反饋⑤第十六頁，共十九頁，編輯于2023年，星期三意向度數(shù)據(jù)模型第十七頁，共十九頁，編輯于2023年，星期三構(gòu)造BP神經(jīng)網(wǎng)絡(luò)選擇BP神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)被廣泛采用，在大數(shù)據(jù)量處理上具有很好的性能構(gòu)造神經(jīng)網(wǎng)絡(luò)2