(人工智能)游戲編程中的(人工智能)技術(shù)(20210120193610)

1、LOGObeikezhangYOUR COMPANY NAME IS HERE專(zhuān)業(yè)丨專(zhuān)注丨精心|卓越 隨心編輯，值得下載（人工智能）游戲編程中的（人工智能）技術(shù)XXX)(年XX月XX日游戲編程中的人工智能技術(shù)(連載之一 )用平常語(yǔ)言介紹神經(jīng)網(wǎng)絡(luò)(NeuralNetworksinPlainEnglish)因?yàn)槲覀儧](méi)有很好了解大腦， 我們經(jīng)常試圖用最新的技術(shù)作為一種模型來(lái)解釋它。 在我童年的時(shí) 候，我們都堅(jiān)信大腦是一部電話交換機(jī)。(否則它仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；能是什么呢？ )我當(dāng)時(shí)仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某 公司；運(yùn)營(yíng)；看到英國(guó)著名神經(jīng)學(xué)家謝

2、林頓把大腦的工作挺有趣地比作一部電報(bào)機(jī)。 更早些時(shí)候， 弗羅伊德經(jīng)常把大腦比作一部水力發(fā)電機(jī)，而萊布尼茨則把它比作了一臺(tái)磨粉機(jī)。我仍；之上； 且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；聽(tīng)人說(shuō)，古希臘人把大腦功能想象為一付 彈弓。顯然，目前要來(lái)比喻大腦的話，那只可能是一臺(tái)數(shù)字電子計(jì)算機(jī)了。 JohnR.Searle 注1神經(jīng)網(wǎng)絡(luò)介紹( IntroductiontoNeuralNetworks ) 曾有很長(zhǎng)一個(gè)時(shí)期， 人工神經(jīng)網(wǎng)絡(luò)對(duì)我來(lái)說(shuō)是完全神秘的東西。 當(dāng)然， 有關(guān)它們我在文獻(xiàn)中已經(jīng) 讀過(guò)了，我也能描述它們的結(jié)構(gòu)和工作機(jī)理， 但我始終沒(méi)有能“啊哈！”一聲， 如同你頭腦中一個(gè)難于理解的概念

3、有幸突然得到理解時(shí)的感覺(jué)那樣。我的頭上好象一直有個(gè)榔頭在敲著， 或者像電影 AnimalHouse（ 中文片名為“動(dòng)物屋” ） 中那個(gè)在痛苦地尖叫“先生，謝謝您，再給我一個(gè) 啊！”的可憐家伙那樣。 我無(wú)法把數(shù)學(xué)概念轉(zhuǎn)換成實(shí)際的應(yīng)用。 有時(shí)我甚至想把我讀過(guò)的所有神 經(jīng)網(wǎng)絡(luò)的書(shū)的作者都抓起來(lái)，把他們縛到一棵樹(shù)上，大聲地向他們吼叫：“不要再給我數(shù)學(xué)了， 快給我一點(diǎn) 實(shí)際 東西吧！”。但無(wú)需說(shuō)，這是永遠(yuǎn)不可能發(fā)生的事情。我不得不自己來(lái)填補(bǔ)這個(gè)空隙.由此我做了在那種條件下唯一可以做的事情。我開(kāi)始干起來(lái)了。這樣幾個(gè)星期后， 在一個(gè)美麗的日子里， 當(dāng)時(shí)我在蘇格蘭海邊度假， 當(dāng)我越過(guò)一層薄霧凝視著狹 長(zhǎng)的海灣

4、時(shí)， 我的頭腦突然受到一個(gè)沖擊。 一下子悟到了人工神經(jīng)網(wǎng)絡(luò)是怎樣工作的。 我得到“啊 哈！”的感覺(jué)了！但我此時(shí)身邊只有一個(gè)帳篷和一個(gè)睡袋，仍；之上；且；當(dāng)下；和；可是；能 夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；有半盒子的脆玉米片，沒(méi)有電腦可以讓我迅速寫(xiě)出一些代碼來(lái)證實(shí) 我的直覺(jué)。 Arghhhhh ！這時(shí)我才想到我應(yīng)該買(mǎi)一臺(tái)手提電腦。不管怎樣，幾天后我回到家了， 我立刻讓我的手指在鍵盤(pán)上飛舞起來(lái)。幾個(gè)小時(shí)后我的第一人工神經(jīng)網(wǎng)絡(luò)程序終于編成和運(yùn)行 了，仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；且工作得挺好！自然，代 碼寫(xiě)的有點(diǎn)亂，需要進(jìn)行整理，但它確實(shí)已能工作了，仍；之上；且；當(dāng)下；和；可是

5、；能夠； 倆；見(jiàn)；某公司；運(yùn)營(yíng)；且，更重要的是，我仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)； 某公司；運(yùn)營(yíng)；知道它為什么能工作！我可以告訴你，那天我是一位非常得意的人。我希望本書(shū)傳遞給你的就是這種“啊哈！ ”感覺(jué)。 當(dāng)我們學(xué)完遺傳算法時(shí)， 你可能已嘗到了一點(diǎn) 感覺(jué)，但你希望這種感覺(jué)是美妙的話，那就要等把神經(jīng)網(wǎng)絡(luò)部分整個(gè)學(xué)完。生物學(xué)的神經(jīng)網(wǎng)絡(luò) - 大腦.你的大腦是一塊灰色的、像奶凍一樣的東西。它仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn);某公司；運(yùn)營(yíng)；不像電腦中的 CPU那樣，利用單個(gè)的處理單元來(lái)進(jìn)行工作。如果你有一具新鮮地保 存到福爾馬林中的尸體，用一把鋸子小心地將它的頭骨鋸開(kāi)，搬掉頭蓋骨后

6、，你就能看到熟悉的腦組 織皺紋。大腦的外層象一個(gè)大核桃那樣，全部都是起皺的圖0左，這一層組織就稱(chēng)皮層（Cortex）。如果你再小心地用手指把整個(gè)大腦從頭顱中端岀來(lái)，再去拿一把外科醫(yī)生用的手術(shù)刀， 將大腦切成片,那么你將看到大腦有兩層圖0右：灰色的外層（這就是“灰質(zhì)”一詞的來(lái)源，但沒(méi)有經(jīng)過(guò)福爾馬林固 定的新鮮大腦實(shí)際是粉紅色的。）和白色的內(nèi)層。灰色層只有幾毫米厚，其中緊密地壓縮著幾十億個(gè) 被稱(chēng)作neuron （神經(jīng)細(xì)胞、神經(jīng)元）的微小細(xì)胞。白色層在皮層灰質(zhì)的下面，占據(jù)了皮層的大部分 空間，是由神經(jīng)細(xì)胞相互之間的無(wú)數(shù)連接組成。皮層象核桃一樣起皺，這可以把一個(gè)很大的表面區(qū)域 塞進(jìn)到一個(gè)較小的空間里。

7、這仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；光滑 的皮層相比能容納更多的神經(jīng)細(xì)胞。人的大腦大約含有1OG （即100億）個(gè)這樣的微小處理單元；一只螞蟻的大腦大約也有 250,000個(gè)。以下表丨顯示了人和幾種動(dòng)物的神經(jīng)細(xì)胞的數(shù)目。圖0大腦的外形和切片形狀表丨人和幾種動(dòng)物的神經(jīng)細(xì)胞的數(shù)目動(dòng)物神經(jīng)細(xì)胞的數(shù)目（數(shù)量級(jí)）蝸牛10,000(=10A4)蜜蜂100,000( =10A5 )蜂雀10,000,000(=10A7)老鼠100,000,000(=10A8 )人類(lèi)10,000,000,000(=10A10)大象100,000,000,000 (=10A11)圖1神經(jīng)細(xì)胞的結(jié)構(gòu)在人的生

8、命的最初9個(gè)月內(nèi)，這些細(xì)胞以每分鐘 25,000個(gè)的驚人速度被創(chuàng)建岀來(lái)。神經(jīng)細(xì)胞和人身 上任何其他類(lèi)型細(xì)胞十分不同，每個(gè)神經(jīng)細(xì)胞都長(zhǎng)著一根像電線一樣的稱(chēng)為軸突（axon ）的東西，它的長(zhǎng)度有時(shí)伸展到幾厘米譯注，用來(lái)將信號(hào)傳遞給其他的神經(jīng)細(xì)胞。神經(jīng)細(xì)胞的結(jié)構(gòu)如圖1所示。它由一個(gè)細(xì)胞體（soma）、一些樹(shù)突（dendrite）、和一根可以很長(zhǎng)的軸突組成。神經(jīng)細(xì)胞體是一顆 星狀球形物，里面有一個(gè)核（nucleus）。樹(shù)突由細(xì)胞體向各個(gè)方向長(zhǎng)岀，本身可有分支，是用來(lái)接收 信號(hào)的。軸突也有許多的分支。軸突通過(guò)分支的末梢（terminal）和其他神經(jīng)細(xì)胞的樹(shù)突相接觸，形成所謂的突觸（Synapse，圖中未

9、畫(huà)岀），一個(gè)神經(jīng)細(xì)胞通過(guò)軸突和突觸把產(chǎn)生的信號(hào)送到其他的神經(jīng)細(xì) 胞。每個(gè)神經(jīng)細(xì)胞通過(guò)它的樹(shù)突和大約10,000個(gè)其他的神經(jīng)細(xì)胞相連。這就使得你的頭腦中所有神經(jīng)細(xì)胞之間連接總計(jì)可能有l(wèi),000,000,000,000,000 個(gè)。這比100兆個(gè)現(xiàn)代電話交換機(jī)的連線數(shù)目仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；多。所以毫不奇怪為什么我們有時(shí)會(huì)產(chǎn)生 頭疼毛病!有趣的事實(shí)曾經(jīng)有人估算過(guò)，如果將一個(gè)人的大腦中所有神經(jīng)細(xì)胞的軸突和樹(shù)突依次連接起來(lái)，仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；拉成一根直線，可從地球連到月亮，再?gòu)脑铝练祷氐厍颉Ｈ绻训厍蛏纤腥四X的軸突和樹(shù)突連接

10、起來(lái)，則可以伸展到離開(kāi)們最近的星系！神經(jīng)細(xì)胞利用電-化學(xué)過(guò)程交換信號(hào)。輸入信號(hào)來(lái)自另一些神經(jīng)細(xì)胞。這些神經(jīng)細(xì)胞的軸突末梢（也 就是終端）和本神經(jīng)細(xì)胞的樹(shù)突相遇形成突觸（synapse ），信號(hào)就從樹(shù)突上的突觸進(jìn)入本細(xì)胞。信 號(hào)在大腦中實(shí)際怎樣傳輸是一個(gè)相當(dāng)復(fù)雜的過(guò)程，但就我們而言，重要的是把它看成和現(xiàn)代的計(jì)算機(jī)一樣，利用一系列的0和1來(lái)進(jìn)行操作。就是說(shuō)，大腦的神經(jīng)細(xì)胞也只有兩種狀態(tài)：興奮（ fire ）和 不興奮（即抑制）。發(fā)射信號(hào)的強(qiáng)度不變，變化的僅僅是頻率。神經(jīng)細(xì)胞利用一種我們?nèi)裕恢?；且?當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；不知道的方法，把所有從樹(shù)突上突觸進(jìn)來(lái)的信號(hào)進(jìn)行相加，如

11、果全部信號(hào)的總和超過(guò)某個(gè)閥值，就會(huì)激發(fā)神經(jīng)細(xì)胞進(jìn)入興奮（fire ）狀態(tài)，這時(shí)就會(huì)有一個(gè)電信號(hào)通過(guò)軸突發(fā)送出去給其他神經(jīng)細(xì)胞。如果信號(hào)總和沒(méi)有達(dá)到閥值，神經(jīng)細(xì)胞就不會(huì)興奮起來(lái)。這樣的解釋有點(diǎn)過(guò)分簡(jiǎn)單化，但已能滿(mǎn)足我們的目的。神經(jīng)細(xì)胞利用電-化學(xué)過(guò)程交換信號(hào)。輸入信號(hào)來(lái)自另一些神經(jīng)細(xì)胞。這些神經(jīng)細(xì)胞的軸突末梢（也 就是終端）和本神經(jīng)細(xì)胞的樹(shù)突相遇形成突觸（synapse ），信號(hào)就從樹(shù)突上的突觸進(jìn)入本細(xì)胞。信 號(hào)在大腦中實(shí)際怎樣傳輸是一個(gè)相當(dāng)復(fù)雜的過(guò)程，但就我們而言，重要的是把它看成和現(xiàn)代的計(jì)算機(jī)一樣，利用一系列的0和1來(lái)進(jìn)行操作。就是說(shuō)，大腦的神經(jīng)細(xì)胞也只有兩種狀態(tài)：興奮（ fire ）和 不

12、興奮（即抑制）。發(fā)射信號(hào)的強(qiáng)度不變，變化的僅僅是頻率。神經(jīng)細(xì)胞利用一種我們?nèi)?；之上；且?當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；不知道的方法，把所有從樹(shù)突上突觸進(jìn)來(lái)的信號(hào)進(jìn)fire ）狀態(tài)，這時(shí)就會(huì)有行相加，如果全部信號(hào)的總和超過(guò)某個(gè)閥值，就會(huì)激發(fā)神經(jīng)細(xì)胞進(jìn)入興奮（一個(gè)電信號(hào)通過(guò)軸突發(fā)送出去給其他神經(jīng)細(xì)胞。如果信號(hào)總和沒(méi)有達(dá)到閥值，神經(jīng)細(xì)胞就不會(huì)興奮起 來(lái)。這樣的解釋有點(diǎn)過(guò)分簡(jiǎn)單化，但已能滿(mǎn)足我們的目的。正是由于數(shù)量巨大的連接，使得大腦具備難以置信的能力。盡管每一個(gè)神經(jīng)細(xì)胞僅僅工作于大約100Hz的頻率，但因各個(gè)神經(jīng)細(xì)胞都以獨(dú)立處理單元的形式仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某

13、公司；運(yùn)營(yíng)；行工作著，使人類(lèi)的大腦具有下面這些非常明顯的特點(diǎn)：能實(shí)現(xiàn)無(wú)監(jiān)督的學(xué)習(xí)。有關(guān)我們的大腦的難以置信的事實(shí)之一，就是它們能夠自己進(jìn)行學(xué)習(xí)，而不需 要導(dǎo)師的監(jiān)督教導(dǎo)。如果一個(gè)神經(jīng)細(xì)胞在一段時(shí)間內(nèi)受到高頻率的刺激，則它和輸入信號(hào)的神經(jīng)細(xì)胞之間的連接強(qiáng)度就會(huì)按某種過(guò)程改變，使得該神經(jīng)細(xì)胞下一次受到激勵(lì)時(shí)更容易興奮。這一機(jī)制是50多年以前由DonardHebb 在他寫(xiě)的OrganinationofBehavior書(shū)中闡述的。他寫(xiě)道：“當(dāng)神經(jīng)細(xì)胞A的一個(gè)軸突重復(fù)地或持久地激勵(lì)另一個(gè)神 經(jīng)細(xì)胞B后，則其中的一個(gè)或同時(shí)兩個(gè)神經(jīng)細(xì)胞就會(huì)發(fā)生 一種生長(zhǎng)過(guò)程或新陳代謝式的變化，使得勵(lì)B細(xì)胞之一的A細(xì)胞，它的

14、效能會(huì)增加”仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；此相反的就是，如果一個(gè)神經(jīng)細(xì)胞 在一段時(shí)間內(nèi)不受到激勵(lì)，那么它的連接的有效性就會(huì)慢慢地衰減。這一現(xiàn)象就稱(chēng)可塑性( plasticity )。對(duì)損傷有冗余性 (tolerance) 。 大腦即使有很大一部分受到了損傷，它仍然能夠執(zhí)行復(fù)雜的工作。一 個(gè)著名的試驗(yàn)就是訓(xùn)練老鼠在一個(gè)迷宮中行走。然后，科學(xué)家們將其大腦一部分一部分地、越來(lái)越大 地加以切除。他們發(fā)現(xiàn)，即使老鼠的很大的一部大腦被切除后，它們?nèi)匀荒茉诿詫m中找到行走路徑。 這一事實(shí)證明了，在大腦中，知識(shí)仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)； 不是保存在一個(gè)

15、局部地方。另外所作的一些試驗(yàn)則表明，如果大腦的一小部分受到損傷，則神經(jīng)細(xì)胞 能把損傷的連接重新生長(zhǎng)出來(lái)。處理信息的效率極高。 神經(jīng)細(xì)胞之間電 -化學(xué)信號(hào)的傳遞，仍；之上；且；當(dāng)下；和；可是；能夠； 倆；見(jiàn)；某公司；運(yùn)營(yíng)；一臺(tái)數(shù)字計(jì)算機(jī)中 CPU 的數(shù)據(jù)傳輸相比，速度是非常慢的，但因神經(jīng)細(xì)胞 采用了仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；行的工作方式，使得大腦能 夠同時(shí)處理大量的數(shù)據(jù)。例如，大腦視覺(jué)皮層在處理通過(guò)我們的視網(wǎng)膜輸入的一幅圖象信號(hào)時(shí)，大約 只要 100ms 的時(shí)間就能完成?？紤]到你的神經(jīng)細(xì)胞的平均工作頻率只有 100Hz ， 100ms 的時(shí)間就 意味只能完成 10

16、 個(gè)計(jì)算步驟！想一想通過(guò)我們眼睛的數(shù)據(jù)量有多大，你就可以看到這真是一個(gè)難以 置信的偉大工程了。善于歸納推廣。 大腦和數(shù)字計(jì)算機(jī)不同，它極擅長(zhǎng)的事情之一就是模式識(shí)別，仍；之上；且；當(dāng)下； 和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；能根據(jù)已熟悉信息進(jìn)行歸納推廣 (generlize) 。例如，我們 能夠閱讀他人所寫(xiě)的手稿上的文字，即使我們以前從來(lái)沒(méi)見(jiàn)過(guò)他所寫(xiě)的東西 它是有意識(shí)的。意識(shí)(consciousness )是神經(jīng)學(xué)家和人工智能的研究者廣泛而又熱烈地在辯論的一 個(gè)話題。有關(guān)這一論題已有大量的文獻(xiàn)岀版了，但對(duì)于意識(shí)實(shí)際究竟是什么，至今尚未取得實(shí)質(zhì)性的 統(tǒng)一看法。我們甚至不能同意只有人類(lèi)才有意識(shí)，或

17、者包括動(dòng)物王國(guó)中人類(lèi)的近親在內(nèi)才有意識(shí)。一 頭猩猩有意識(shí)嗎？你的貓有意識(shí)嗎？上星期晚餐中被你吃掉的那條魚(yú)有意識(shí)嗎？因此，一個(gè)人工神經(jīng)網(wǎng)絡(luò)(Artificial neural network,簡(jiǎn)稱(chēng)ANN)就是要在當(dāng)代數(shù)字計(jì)算機(jī)現(xiàn)有規(guī)模的約束下，來(lái)模擬這種大量的仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；行性，仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；在實(shí)現(xiàn)這一工作時(shí)，使它能顯示許 多和生物學(xué)大腦相類(lèi)似的特性。下面就讓我們瞧瞧它們的表演吧！3數(shù)字版的神經(jīng)網(wǎng)絡(luò)(TheDigitalVersion)上面我們看到了生物的大腦是由許多神經(jīng)細(xì)胞組成，同樣，模擬大腦的人工神經(jīng)網(wǎng)絡(luò)

18、ANN是由許多叫做人工神經(jīng)細(xì)胞(Artificialneuron ，也稱(chēng)人工神經(jīng)原，或人工神經(jīng)元)的細(xì)小結(jié)構(gòu)模塊組成。人 工神經(jīng)細(xì)胞就像真實(shí)神經(jīng)細(xì)胞的一個(gè)簡(jiǎn)化版，但采用了電子方式來(lái)模擬實(shí)現(xiàn)。一個(gè)人工神經(jīng)網(wǎng)絡(luò)中需要使用多少個(gè)數(shù)的人工神經(jīng)細(xì)胞，差別可以非常大。有的神經(jīng)網(wǎng)絡(luò)只需要使用10個(gè)以?xún)?nèi)的人工神經(jīng)細(xì)胞，而有的神經(jīng)網(wǎng)絡(luò)可能需要使用幾千個(gè)人工神經(jīng)細(xì)胞。這完全取決于這些人工神經(jīng)網(wǎng)絡(luò)準(zhǔn)備實(shí)際用來(lái)做什么。有趣的事實(shí)有一個(gè)叫HugodeGaris的同行，曾在一個(gè)雄心勃勃的工程中創(chuàng)建仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；訓(xùn)練了一個(gè)包含1000,000,000 個(gè)人工神經(jīng)細(xì)胞的網(wǎng)絡(luò)。這個(gè)人

19、工神經(jīng)網(wǎng)絡(luò)被他非常巧妙地建立起來(lái)了，它采用蜂房式自動(dòng)機(jī)結(jié)構(gòu)，目的就是為一機(jī)器客戶(hù)定制一個(gè)叫做 CAMBrainMachine(“ CAM大腦機(jī)器”)的機(jī)器CAM就是CellularAutomataMachi ne的縮寫(xiě))。此人曾自夸地宣稱(chēng)這一人工網(wǎng)絡(luò)機(jī)器將會(huì)有一只貓的智能。許多神經(jīng)網(wǎng)絡(luò)研究人員認(rèn)為他是在“登星”了，但不幸的是，雇用他的公司在他的夢(mèng)想 尚未實(shí)現(xiàn)之前就破產(chǎn)了。此人仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)； 猶他州，是猶他州大腦工程(UtahBrai nProject )的領(lǐng)導(dǎo)。時(shí)間將會(huì)告訴我們他的思想最終是否能變成實(shí)際有意義的東西。譯注我想你仍；之上；且；當(dāng)下；和；

20、可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；可能很想知道，一個(gè)人工神 經(jīng)細(xì)胞究竟是一個(gè)什么樣的東西？但是，它實(shí)際上什么東西也不像；它只是一種抽象。仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；是讓我們來(lái)察看一下圖2吧，這是表示一個(gè)人工神經(jīng)細(xì)胞的一種形式。譯注HugodeGaris 仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；為猶他州立大 學(xué)教授，有關(guān)他和他的 CAM機(jī)器，可在該校網(wǎng)站的一個(gè)網(wǎng)頁(yè)上看到報(bào)道，其上有真實(shí)的照片，見(jiàn) http:/8/degaris圖2 一個(gè)人工神經(jīng)細(xì)胞圖中，左邊幾個(gè)灰底圓中所標(biāo)字母 w代表浮點(diǎn)數(shù)，稱(chēng)為權(quán)重(weight，或權(quán)值，權(quán)數(shù))。進(jìn)

21、入人工 神經(jīng)細(xì)胞的每一個(gè)input(輸入)都仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)； 一個(gè)權(quán)重w相聯(lián)系，正是這些權(quán)重將決定神經(jīng)網(wǎng)絡(luò)的整體活躍性。你仍；之上；且；當(dāng)下；和；可 是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；暫時(shí)可以設(shè)想所有這些權(quán)重都被設(shè)置到了-1和1之間的一個(gè)隨機(jī)小數(shù)。因?yàn)闄?quán)重可正可負(fù)，故能對(duì)仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)； 它關(guān)聯(lián)的輸入施加不同的影響，如果權(quán)重為正，就會(huì)有激發(fā)( excitory )作用，權(quán)重為負(fù)，則會(huì)有抑 制(in hibitory )作用。當(dāng)輸入信號(hào)進(jìn)入神經(jīng)細(xì)胞時(shí)，它們的值將仍；之上；且；當(dāng)下；和；可是； 能夠；倆；見(jiàn)；某公司；

22、運(yùn)營(yíng)；它們對(duì)應(yīng)的權(quán)重相乘，作為圖中大圓的輸入。大圓的核是一個(gè)函數(shù)，叫激勵(lì)函數(shù) (activationfunction) ，它把所有這些新的、經(jīng)過(guò)權(quán)重調(diào)整后的輸入全部加起來(lái)，形成單個(gè)的激勵(lì)值 (activationvalue) 。激勵(lì)值也是一浮點(diǎn)數(shù)，且同樣可正可負(fù)。然后，再根據(jù)激勵(lì)值來(lái) 產(chǎn)生函數(shù)的輸出也即神經(jīng)細(xì)胞的輸出：如果激勵(lì)值超過(guò)某個(gè)閥值(作為例子我們假設(shè)閥值為1.0 )，就會(huì)產(chǎn)生一個(gè)值為 1 的信號(hào)輸出；如果激勵(lì)值小于閥值 1.0 ，則輸出一個(gè) 0。這是人工神經(jīng)細(xì)胞激勵(lì) 函數(shù)的一種最簡(jiǎn)單的類(lèi)型。在這里，從激勵(lì)值產(chǎn)生輸出值是一個(gè)階躍函數(shù) 譯注 。看一看圖 3 后你就能猜到為什么有這樣的名稱(chēng)。

23、圖3 階躍激勵(lì)函數(shù)譯注由圖可知階躍函數(shù)是一元的，而激勵(lì)函數(shù)既然能把多個(gè)輸入相加應(yīng)為多元，故需加以區(qū)別。 如果到目前為止你對(duì)這些仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；沒(méi)有獲得 很多感覺(jué)，那也不必?fù)?dān)心。竅門(mén)就是 :不要企圖去感覺(jué)它，暫時(shí)就隨波逐流地跟我一起向前走吧。在 經(jīng)歷本章的若干處后，你最終就會(huì)開(kāi)始弄清楚它們的意義。而仍；之上；且；當(dāng)下；和；可是；能夠； 倆；見(jiàn)；某公司；運(yùn)營(yíng)；，就放松一點(diǎn)繼續(xù)讀下去吧。3.1 仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)； 需要一些數(shù)學(xué)了( NowforSomeMath )今后討論中， 我將盡量把數(shù)學(xué)降低到絕對(duì)少量， 但學(xué)習(xí)一些

24、數(shù)學(xué)記號(hào)對(duì)下面仍； 之上； 且；當(dāng)下； 和； 可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；是很有用的。我將把數(shù)學(xué)一點(diǎn)一點(diǎn)地喂給你，在到達(dá)有關(guān)章節(jié) 時(shí)向你介紹一些新概念。 我希望采用這樣的方式能使你的頭腦能更舒適地吸收所有的概念， 仍；之上； 且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；使你在開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)的每個(gè)階段都能看到怎樣 把數(shù)學(xué)應(yīng)用到工作中。仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；首先讓我們 來(lái)看一看，怎樣把我在此之前告訴你的所有知識(shí)用數(shù)學(xué)方式表達(dá)出來(lái)。一個(gè)人工神經(jīng)細(xì)胞 (從仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；開(kāi)始，我將把“人工神經(jīng)細(xì)胞”簡(jiǎn)稱(chēng)它為“神經(jīng)細(xì)胞

25、”)可個(gè)有入意n代表總數(shù)?？梢杂孟旅娴臄?shù)學(xué)表達(dá)式來(lái)代表所有 n 個(gè)輸入：x1,x2,x3,x4,x5,.,xn同樣 n 個(gè)權(quán)重可表達(dá)為 :w1,w2,w3,w4,w5.,wn 請(qǐng)記住意激勵(lì)值就是所有輸入與它們對(duì)應(yīng)權(quán)重的之乘積之總和意因此意仍；之上；且；當(dāng)下；和；可 是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；就可以寫(xiě)為 :a=w1x1+w2x2+w3x3+w4x4+w5x5+.+wnxn以這種方式寫(xiě)下的求和式，我在第5章“建立一個(gè)更好的遺傳算法”中已提到，可以用希臘字母藝來(lái)簡(jiǎn)化：注：神經(jīng)網(wǎng)絡(luò)的各個(gè)輸入， 以及為各個(gè)神經(jīng)細(xì)胞的權(quán)重設(shè)置， 都可以看作一個(gè) n 維的向量。 你在許多技術(shù) 文獻(xiàn)中常?？梢钥吹绞且赃@

26、樣的方式來(lái)引用的。下面我們來(lái)考察在程序中應(yīng)該怎樣實(shí)現(xiàn)？假設(shè)輸入數(shù)組和權(quán)重?cái)?shù)組均已初始化為xn和wn，則求和的代碼如下 :doubleactivation=0;for(inti=0;in;+i) activation+=x*w;圖4以圖形的方式表示了此方程。請(qǐng)別忘記，如果激勵(lì)值超過(guò)了閥值，神經(jīng)細(xì)胞就輸岀1；如果激活小于閥值，則神經(jīng)細(xì)胞的輸岀為 0。這和一個(gè)生物神經(jīng)細(xì)胞的興奮和抑制是等價(jià)的。我們假設(shè)一個(gè)神經(jīng) 細(xì)胞有5個(gè)輸入，他們的權(quán)重w都初始化成正負(fù)1之間的隨機(jī)值（-ivwvl）。表2說(shuō)明了激勵(lì)值的求 和計(jì)算過(guò)程。圖4神經(jīng)細(xì)胞的激勵(lì)函數(shù)如果我們假定激活所需閥值=1，則因激勵(lì)值1.1激活閥值1，所以

27、這個(gè)神經(jīng)細(xì)胞將輸岀1。在進(jìn)一步讀下去之前，請(qǐng)你一定要確切弄懂激勵(lì)函數(shù)怎樣計(jì)算。表2神經(jīng)細(xì)胞激勵(lì)值的計(jì)算輸入權(quán)重輸入*權(quán)重的乘積運(yùn)行后總和0-0.200.51-0.3-01.13.2行，我知道什么是神經(jīng)細(xì)胞了，但用它來(lái)干什么呢？人工神之上;大腦里的生物神經(jīng)細(xì)胞和其他的神經(jīng)細(xì)胞是相互連接在一起的。為了創(chuàng)建一個(gè)人工神經(jīng)網(wǎng)絡(luò)，經(jīng)細(xì)胞也要以同樣方式相互連接在一起。為此可以有許多不同的連接方式， 其中最容易理解仍;且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；且也是最廣泛地使用的，就是如圖5所示那樣, 把神經(jīng)細(xì)胞一層一層地連結(jié)在一起。 這一種類(lèi)

28、型的神經(jīng)網(wǎng)絡(luò)就叫前饋網(wǎng)絡(luò) （ feedforwordnetwork ） 這一名稱(chēng)的由來(lái)，就是因?yàn)榫W(wǎng)絡(luò)的每一層神經(jīng)細(xì)胞的輸出都向前饋送（ feed ）到了它們的下一層（在 圖中是畫(huà)在它的上面的那一層 ），直到獲得整個(gè)網(wǎng)絡(luò)的輸出為止。圖5 一個(gè)前饋網(wǎng)絡(luò)由圖可知，網(wǎng)絡(luò)共有三層（譯注：輸入層不是神經(jīng)細(xì)胞，神經(jīng)細(xì)胞只有兩層）。輸入層中的每個(gè)輸入 都饋送到了隱藏層，作為該層每一個(gè)神經(jīng)細(xì)胞的輸入；然后，從隱藏層的每個(gè)神經(jīng)細(xì)胞的輸出都連到 了它下一層（即輸出層）的每一個(gè)神經(jīng)細(xì)胞。圖中僅僅畫(huà)了一個(gè)隱藏層，作為前饋網(wǎng)絡(luò)，一般地可以 有任意多個(gè)隱藏層。但在對(duì)付你將處理的大多數(shù)問(wèn)題時(shí)一層通常是足夠的。事實(shí)上，有一些問(wèn)

29、題甚至 根本不需要任何隱藏單元， 你只要把那些輸入直接連結(jié)到輸出神經(jīng)細(xì)胞就行了。 另外，我為圖 5 選擇 的神經(jīng)細(xì)胞的個(gè)數(shù)也是完全任意的。 每一層實(shí)際都可以有任何數(shù)目的神經(jīng)細(xì)胞， 這完全取決于要解決 的問(wèn)題的復(fù)雜性。但神經(jīng)細(xì)胞數(shù)目愈多，網(wǎng)絡(luò)的工作速度也就愈低，由于這一緣故，以及為了其他的 幾種原因（我將在第 9 章作出解釋?zhuān)?，網(wǎng)絡(luò)的規(guī)?？偸且蟊３直M可能的小。到此我能想象你或許已對(duì)所有這些信息感到有些茫然了。我認(rèn)為，在這種情況下，我能做的最好的事 情，就是向你介紹一個(gè)神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)世界中的實(shí)際應(yīng)用例子， 它有望使你自己的大腦神經(jīng)細(xì)胞得到 興奮！不錯(cuò)吧？好的，下面就來(lái)了 .你可能已聽(tīng)到或讀到過(guò)神

30、經(jīng)網(wǎng)絡(luò)常常用來(lái)作模式識(shí)別。 這是因?yàn)樗鼈兩朴诎岩环N輸入狀態(tài) （它所企圖 識(shí)別的模式）映射到一種輸出狀態(tài)（它曾被訓(xùn)練用來(lái)識(shí)別的模式）。下面我們來(lái)看它是怎么完成的。 我們以字符識(shí)別作為例子。 設(shè)想有一個(gè)由 8x8 個(gè)格子組成的一塊面板。 每一個(gè)格子里放了一個(gè)小燈，每個(gè)小燈都可獨(dú)立地被打開(kāi)（格子變亮）或關(guān)閉（格子變黑），這樣面 板就可以用來(lái)顯示十個(gè)數(shù)字符號(hào)。圖 6 顯示了數(shù)字“4”。圖6 用于字符顯示的矩陣格點(diǎn)要解決這一問(wèn)題，我們必需設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，它接收面板的狀態(tài)作為輸入，然后輸出一個(gè)或 0；輸出 1 代表 ANN 確認(rèn)已顯示了數(shù)字“4 ”，而輸0 出表示沒(méi)有顯示“4”。因此，神經(jīng)網(wǎng)絡(luò)需要有 6

31、4 個(gè)輸入 （每一個(gè)輸入代表面板的一個(gè)具體格點(diǎn) ）和由許多神經(jīng)細(xì)胞組成的一個(gè)隱藏層，仍；之 上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；有僅有一個(gè)神經(jīng)細(xì)胞的輸出層，隱藏層的 所有輸出都饋送到它。 我真希望你能在你的頭腦中畫(huà)出這個(gè)圖來(lái)， 因?yàn)橐覟槟惆阉羞@些小圓和連 線統(tǒng)統(tǒng)畫(huà)出來(lái)確實(shí)不是一樁愉快的事 一笑 。一旦神經(jīng)網(wǎng)絡(luò)體系創(chuàng)建成功后，它必須接受訓(xùn)練來(lái)認(rèn) 出數(shù)字“ 4”。為此可用這樣一種方法來(lái)完成：先把神經(jīng)網(wǎng)的所有權(quán)重初始化為任意值。然后給它一 系列的輸入，在本例中，就是代表面板不同配置的輸入。對(duì)每一種輸入配置，我們檢查它的輸出是什 么，仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公

32、司；運(yùn)營(yíng)；調(diào)整相應(yīng)的權(quán)重。如果我們送 給網(wǎng)絡(luò)的輸入模式不是“則4我”們，知道網(wǎng)絡(luò)應(yīng)該輸出一個(gè) 0 。因此每個(gè)非“4”字符時(shí)的網(wǎng)絡(luò)權(quán)重應(yīng)進(jìn)行調(diào)節(jié)，使得它的輸出趨向于 0。當(dāng)代表“ 4 ”的模式輸送給網(wǎng)絡(luò)時(shí)，則應(yīng)把權(quán)重調(diào)整到使輸出 趨向于 1。如果你考慮一下這個(gè)網(wǎng)絡(luò)，你就會(huì)知道要把輸出增加到 10 是很容易的。然后通過(guò)訓(xùn)練，就可以 使網(wǎng)絡(luò)能識(shí)別 0 到 9 的所有數(shù)字。但為什么我們到此停止呢？我們?nèi)?；之上；且；?dāng)下；和；可是； 能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；可以進(jìn)一步增加輸出，使網(wǎng)絡(luò)能識(shí)別字母表中的全部字符。這本質(zhì)上 就是手寫(xiě)體識(shí)別的工作原理。對(duì)每個(gè)字符，網(wǎng)絡(luò)都需要接受許多訓(xùn)練，使它認(rèn)識(shí)此文字的各種

33、不同的 版本。到最后，網(wǎng)絡(luò)不單能認(rèn)識(shí)已經(jīng)訓(xùn)練的筆跡，仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)； 某公司；運(yùn)營(yíng)；顯示了它有顯著的歸納和推廣能力。也就是說(shuō)，如果所寫(xiě)文字換了一種筆跡，它和訓(xùn) 練集中所有字跡都略有不同，網(wǎng)絡(luò)仍然有很大幾率來(lái)認(rèn)出它。正是這種歸納推廣能力，使得神經(jīng)網(wǎng)絡(luò) 已經(jīng)成為能夠用于無(wú)數(shù)應(yīng)用的一種無(wú)價(jià)的工具， 從人臉識(shí)別、 醫(yī)學(xué)診斷， 直到跑馬賽的預(yù)測(cè)， 另外仍； 之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；有電腦游戲中的bot （作為游戲角色的 機(jī)器人）的導(dǎo)航，或者硬件的 robot （真正的機(jī)器人）的導(dǎo)航。這種類(lèi)型的訓(xùn)練稱(chēng)作有監(jiān)督的學(xué)習(xí)(supervisedlear n

34、ig )，用來(lái)訓(xùn)練的數(shù)據(jù)稱(chēng)為訓(xùn)練集(trainin gset )。調(diào)整權(quán)重可以采用許多不同的方法。對(duì)本類(lèi)問(wèn)題最常用的方法就是反向傳播(backpropagation ，簡(jiǎn)稱(chēng)backprop或BP)方法。有關(guān)反向傳播問(wèn)題，我將會(huì)在本書(shū)的后面，當(dāng) 你已能訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別鼠標(biāo)走勢(shì)時(shí)，再來(lái)進(jìn)行討論。在本章剩余部分我將集中注意力來(lái)考察另外 的一種訓(xùn)練方式，即根本不需要任何導(dǎo)師來(lái)監(jiān)督的訓(xùn)練，或稱(chēng)無(wú)監(jiān)督學(xué)習(xí)(un supervisedlearnig )。這樣我已向你介紹了一些基本的知識(shí)，仍；之上；且；當(dāng)下；和；可是；能夠；倆；見(jiàn)；某公司；運(yùn)營(yíng)；讓我們來(lái)考察一些有趣的東西，仍；之上；且；當(dāng)下；和；可是；能夠

35、；倆；見(jiàn)；某公司；運(yùn) 營(yíng)；向你介紹第一個(gè)代碼工程。4.聰明的掃雷機(jī)工程(SmartMinesweeperProject )我要向你介紹的第一個(gè)完整例子，是怎么使用神經(jīng)網(wǎng)絡(luò)來(lái)控制具有人工智能的掃雷機(jī)的行為。掃雷機(jī)工作在一個(gè)很簡(jiǎn)單的環(huán)境中，那里只有掃雷機(jī)以及隨機(jī)散布的許多地雷。圖7運(yùn)行中的演示程序。本帖隱藏的內(nèi)容盡管書(shū)上圖形畫(huà)成了黑白色，但當(dāng)你運(yùn)行程序時(shí)性能最好的掃雷機(jī)將顯現(xiàn)為紅色。地雷，你可能已經(jīng)猜到，就是那些小方形。工程的目標(biāo)是創(chuàng)建一個(gè)網(wǎng)絡(luò)，它不需要從我們這里得到任何幫助， 就能自己進(jìn)行演化(evolve )去尋找地雷。為了實(shí)現(xiàn)這一功能，網(wǎng)絡(luò)的權(quán)重將被編碼到基因組 中，仍；之上；且；當(dāng)下；和；可是；能夠