腦啟發(fā)計算解析

腦啟發(fā)計算這個題目的內(nèi)容叫腦啟發(fā)計算。其實我覺得我們中國的文字很有意思，我們在翻譯的時候，我們說 翻譯成計算機(jī)是很準(zhǔn)確的，其實這個詞進(jìn)入中國的時候我們就對它就很強(qiáng)的工作，我們希望它跟腦一樣，通過腦的工作原理我們從當(dāng)中能提取什么內(nèi)容。那人工智能年，實際上計算機(jī)發(fā)展也差不多是這樣的時候。我們都知道計算機(jī)的整個架構(gòu)，計算機(jī)是怎么工作的？是基于一種很簡單的架構(gòu)，輸入輸出，但最重要的一點(diǎn)是 和內(nèi)存，這兩點(diǎn)之間數(shù)據(jù)的交換。我們真正在實現(xiàn)這個架構(gòu)的時候會構(gòu)建很多的總線，比如控制的總線、地址的總線、數(shù)據(jù)的總線，最基本的原理就是希望內(nèi)存和之間有很好的交換。就是由于這樣的構(gòu)成造成了很大的瓶頸，我們知道深度學(xué)習(xí)有很多好的突破，今天早上我們也看到了他們做的顯卡。為什么在深度學(xué)習(xí)里需要 的計算會有問題呢？就是因為總線的架構(gòu)會阻礙內(nèi)存和 之間信息的交流。不管你內(nèi)存加多大，之間就像一個單路的信息通道。我們再看腦的工作方式，腦是一個很有意思的構(gòu)建。生物體在一開始的時候是沒有大腦的，然后慢慢在一些神經(jīng)的末端會有膨大的部分，然后再慢慢形成腦。我們現(xiàn)在對腦的解剖學(xué)上面已經(jīng)有了很好的認(rèn)識，這里面有兩張圖，是解剖圖。腦里面最基本的單元就是神經(jīng)元，神經(jīng)元之間通過突觸聯(lián)接。我們想講的是腦做的推理或者計算，都基于這樣的構(gòu)造。首先講人的大腦有 億個神經(jīng)元，也就是說我們現(xiàn)在一般的機(jī)器最多核，但是我們的腦子里面是有億個神經(jīng)元的計算。第二點(diǎn)就是它是非常強(qiáng)的連接關(guān)系，有萬億個突觸的連接，平均每個神經(jīng)元之間有 個連接。這種連接造成了后面會講的，比如說我們發(fā)現(xiàn)腦的頻率或者是主頻并不高，大約是赫茲到 赫茲之間，但它能做很復(fù)雜的運(yùn)算，也就是因為這樣的連接。假定是個連接的話，兩層就可以做到一兆，三層就可以做到 G腦的H作是非常低頻率的，而且是一個非常非常充分連接的計算系統(tǒng)。我們另外看到腦里的信號，連接的速度也不是很快的。我們有些實驗，大家也可以自己做一下實驗。腦的信號在神經(jīng)里面的傳輸速度大概是每秒鐘米到米，你怎么來看呢？比如說你彎一下手指頭，你再試一下腳指頭，大概彎手指頭的速度可以達(dá)到腳指頭頻率的兩倍，原因很簡單，大腦到手的距離是到腳距離的一半。還有一個特征我們沒有看到，就是腦是非常非常低功耗的系統(tǒng)，人大概是瓦的功耗，腦是占據(jù)了人三分之一的能耗的銷量，雖然腦的重量沒有那么大，但是消耗了人體的三分之一的能量。腦也只有瓦的功能，有時候我們在講現(xiàn)在的人機(jī)大戰(zhàn)，他對面的選手就是早晨起來喝牛奶，吃個面包就可以比賽了。這個角度來講腦是非常非常有效率的機(jī)構(gòu)。我們總結(jié)起來看一下，就是說實際上腦的主頻并不快，達(dá)到就是到赫茲，信號傳輸?shù)乃俣纫膊豢欤歉卟l(fā)的。另外一點(diǎn)， 的研究院做過的研究，這是獼猴的大腦，腦里面有很多的分層，但其實你會發(fā)現(xiàn)這些腦的各個功能分區(qū)之間也存在一些長線連接。舉個例子說，你負(fù)責(zé)視覺的部分的大腦皮層和你負(fù)責(zé)聽覺的部分也有連接在這邊發(fā)生。我們對應(yīng)現(xiàn)在的神經(jīng)元網(wǎng)絡(luò)構(gòu)建分層的，早上微軟的同事在介紹他們的工作，構(gòu)建了深度學(xué)習(xí)網(wǎng)絡(luò)跨層之間的反饋，這個方式其實跟腦的這種工作機(jī)理是有借鑒，他是非常非常充分連接而且有一些長線連接的構(gòu)造?？偨Y(jié)下來，我們再看看今天做的這些深度學(xué)習(xí)的算法，其實本質(zhì)上是用這種神經(jīng)元的方式，我們叫做一個人工的神經(jīng)元，實際上對大腦的神經(jīng)元做了非常非常多的簡化。剛剛?cè)绻蠹铱茨菑垐D，里面有很多的細(xì)節(jié)，里面做的不是一個簡單的運(yùn)算，也不是簡單的電信號，在突觸上面實際上做的是物質(zhì)的傳輸，而且分很多種，有的物質(zhì)傳輸是為它的信號增強(qiáng)，有的是為它的信號的抑制的作用。所以腦子里面發(fā)生了很多的化學(xué)或者生物變化，而我們現(xiàn)在這種人工的神經(jīng)元實際上是很簡單的物理模型，基本上可以看成說一個電線接個電燈泡的過程。即便是這樣的過程當(dāng)我們把層數(shù)變得很深的時候，當(dāng)我們用大數(shù)據(jù)的辦法用訓(xùn)練的時候，它仍然給我們帶來很好的結(jié)果。過去幾年在模式識別的問題上，這種深度學(xué)習(xí)的技術(shù)得到了很好的應(yīng)用，仿造大腦構(gòu)建這樣一個簡化的物理結(jié)構(gòu)，當(dāng)這個結(jié)構(gòu)足夠大的時候，在圖像、視頻，語音中取得了突破性的結(jié)果，我們也看到一些用循環(huán)神經(jīng)元網(wǎng)絡(luò)做一些在自然語言理解上，做機(jī)器翻譯方面都有好的結(jié)果，當(dāng)然還有最近的圍棋。我們把這個稍微總結(jié)一下，看了一下為什么講現(xiàn)在的計算機(jī)或者計算體系架構(gòu)跟腦還有很大的差異呢？計算機(jī)我們講是摩爾定律，讓計算機(jī)越來越強(qiáng)大。事實上如果你仔細(xì)想摩爾定律并沒有讓計算機(jī)的計算變得越來越快，是什么讓計算機(jī)越來越快呢？是因為計算機(jī)的主頻越來越高。這個圖上從 到最早的 ，主頻大概是兆赫，現(xiàn)在可能到，從左上角這張圖來看，在早期 年開始計算機(jī)的主頻是一個線性的變化，往上在走，所以越來越快。但是我們可以看到大概在 年到 年的時候，計算機(jī)的主頻出現(xiàn)了停滯，這是什么造成的呢？因為摩爾定律上芯片越來越小，那同時計算機(jī)的主頻越來越快。造成了這個散熱成了很大的問題，到 年和 年的時候，實際上在每平方厘米的功耗大概已經(jīng)到了 瓦。我記得我們小時候家里頭烤火的爐子，可能也就是 瓦，面積有幾百平方厘米，比 的功耗密度低一個數(shù)量級。有這么大功耗造成你的計算機(jī)真正在實現(xiàn)的時候，沒法讓主頻越來越高。所以從那年開始以后，計算機(jī)開始在其他方面做得更快，把它變得更多核，所以多核是讓計算機(jī)變得越來越多的一種方式。但是我們也有很多做計算的同事也說，不管你有多少核，總是把一個核累死。很多的計算和調(diào)度方面都會有問題。所以從整個的發(fā)展趨勢來看，實際上我們的計算和腦的結(jié)構(gòu)是完全不一樣的。因為我們?nèi)绻颜麄€計算機(jī)發(fā)展，比如說按照主頻，安全功耗畫一條曲線的話，我們可以看到事實上整個計算機(jī)的芯片上的發(fā)展，實際上是在往右上角走的。從最早的、的U到和C只是增長率越走越慢，由于功耗的原因。但是我們反看大腦，大腦是左下角，主頻是到赫茲，主頻是毫瓦的區(qū)間?？梢灾v現(xiàn)有的計算機(jī)體系架構(gòu)不是很好的能幫助像腦一樣的工作模式。我們總結(jié)一下，可以看到其實計算機(jī)基于馮諾伊曼的架構(gòu)，里面計算的單元、存儲的單元、通信的單元是彼此分離的。在我們的大腦當(dāng)中這幾塊內(nèi)容是集成在一起的，因為我們很難去想象到大腦中哪一部分是存儲器，哪一部分是計算器，然后哪一部分是做數(shù)據(jù)傳輸?shù)?。另外一點(diǎn)是說整個計算機(jī)是主頻率很高，功耗非常高。腦是主頻很低，功耗也非常低的。特別有一點(diǎn)，我們每一個神經(jīng)元或者每一個計算單元的連接都是上千個連接，這跟我們的計算機(jī)里面很不一樣。如果從這個角度來講，從計算機(jī)體系架構(gòu)最底層來看，有沒有什么辦法讓計算機(jī)能更像腦這種方式工作。所以這邊有一個項目，取了“突觸”作為項目的名字。一個很大的目標(biāo)就是說希望我們讓計算機(jī)不再像以前那樣，是一個高功耗的，希望是一個很低功耗的，同時還可以很容易把這種規(guī)模做上去，比如說 個芯片就可以增加 倍的能力。這個項目的宏大目標(biāo)是希望，因為我們知道人腦大概是億個神經(jīng)元，貓的大腦約有億神經(jīng)元，當(dāng)時有這樣一個目標(biāo)，人腦的容積那么大，大概是升多。我們希望構(gòu)建一個計算系統(tǒng)，可以在升的空間里，人工神經(jīng)元達(dá)到貓腦的數(shù)量級。這是過去幾年的進(jìn)展，最近可能大家也看到一些新聞，我們也有一些芯片出來，專門做一些跟神經(jīng)元相關(guān)的計算。 年的時候是 個神經(jīng)元，前年我們已經(jīng)能集成到 萬個神經(jīng)元，再一個單芯片上。但是這個單芯片上它的功耗只有 毫瓦，下面有一個圖，用紅外照相機(jī)拍的圖這是芯片真正工作的狀態(tài)。左半邊就是 芯片,毫瓦跟手機(jī)里面的芯片差不多。右邊是一個附屬的卡，做數(shù)據(jù)的輸出輸入的，紅的發(fā)亮。這樣的一種芯片是可以達(dá)到目標(biāo)。右下角也做了很多的應(yīng)用嘗試，這是模式識別,多類的一個目標(biāo)檢測的系統(tǒng)，當(dāng)時是這種一塊芯片就可以做到實時的模式識別，比如說識別它是車還是人，是自行車還是建筑物的構(gòu)思。大家可以想象一下，原來我們做這種模式的系統(tǒng)，如果做到實時的話，單 是不行的，做不到實時，在圖像質(zhì)量非常高的情況下， 只需要毫瓦就可以做到實時分析，如果我們用做的話是幾百瓦，這是功率上非常大的提升。這個目標(biāo)做出來之后也基本實現(xiàn)了，我們能夠讓一個貓腦的計算能力的系統(tǒng)，放再一個大概升的空間里。因為它功耗非常低，所以也不需要做很好的散熱，整個系統(tǒng)可以很高密集的集成。像這樣的芯片技術(shù)能帶來什么呢？我們也看比如說這種其他公司的同事也在講和，這里面有很多新的應(yīng)用。比如說眼鏡上來說，有很多有視覺障礙的人，如果說他弱視或者是看不清楚東西。他戴眼鏡有什么好處呢？這個眼鏡就會相當(dāng)于一個攝像頭，實時采集周邊的信息，做目標(biāo)識別，告訴他前面有條路，左邊有一個屋子，他耳朵上掛了一個耳麥，把圖像的信息變成了語音的信息提示她。這樣的一個技術(shù)是很有用的，因為它很低功耗。我們說手機(jī)上也就是幾十毫瓦就到頂了，傳統(tǒng)的模式識別的算法如果識別的話，可能是百瓦的功耗級別。還有一個場景是說我們因為是低功耗，比如我們在做一些的場景，因為很多的的場景是森林防火，我們沒有辦法布一個很復(fù)雜的計算設(shè)備到遠(yuǎn)端，你的電和網(wǎng)絡(luò)鋪進(jìn)去很難。低功耗的設(shè)備，本身是我這個設(shè)備有一些終端智能，可以做模式識別，比如可以識別周邊溫度的變化，識別周邊環(huán)境的變化，可能就用一點(diǎn)點(diǎn)的太陽能就可以支撐他的工作。平時也不需要去用網(wǎng)絡(luò)連接，當(dāng)他發(fā)現(xiàn)問題的時候，比如說某些地方有異常的溫度變化，或者是有些地方有禁區(qū)，這時候他做了識別以后把這個信號再傳回他的服務(wù)器端。這樣一個場景的話低功耗也是非常重要的。其實在這個領(lǐng)域里面仍然有非常非常多的事情要做，因為大腦遠(yuǎn)比我們現(xiàn)在的計算系統(tǒng)要有效率的多。今年是人工智能的周年，事實上遠(yuǎn)在 多年前古希臘的亞里士多德，他在形式演繹