腦機(jī)融合綜述課件

腦機(jī)融合調(diào)研2017.3.15腦機(jī)接口腦：指有機(jī)生命形式的腦或神經(jīng)系統(tǒng)，目前對(duì)大腦的運(yùn)動(dòng)皮層、感覺皮層和視覺皮層研究的比較充分機(jī)：任何處理或計(jì)算的設(shè)備從信息傳輸?shù)慕嵌确譃樗念悾耗X到機(jī)機(jī)到腦腦到腦腦機(jī)融合腦機(jī)接口——原理腦到機(jī)基本原理：通過(guò)腦信號(hào)檢測(cè)技術(shù)獲取神經(jīng)系統(tǒng)的活動(dòng)變化，在對(duì)這些信號(hào)進(jìn)行分類識(shí)別，分辨出引發(fā)腦信號(hào)變化的動(dòng)作意圖，再用計(jì)算機(jī)把思維活動(dòng)變成命令信號(hào)驅(qū)動(dòng)外部設(shè)備，從而達(dá)到腦對(duì)外部環(huán)境的直接控制。機(jī)到腦基本原理：通過(guò)對(duì)生物的大腦或者其他神經(jīng)系統(tǒng)的特定部位施加精細(xì)編碼的外部刺激（如微電刺激、光刺激），來(lái)喚醒或控制生物的某些特定感受和行為。腦到腦大腦與大腦之間的網(wǎng)絡(luò)通信是通過(guò)將一個(gè)大腦的神經(jīng)信號(hào)實(shí)時(shí)解碼，并將解碼結(jié)果重新編碼直接傳輸?shù)搅硪粋€(gè)大腦。腦機(jī)融合是腦機(jī)接口技術(shù)發(fā)展的必然趨勢(shì)。腦機(jī)接口——VEP類型SSVEP（VEP：visualevokedpotential）SSVEP簡(jiǎn)單來(lái)說(shuō)就是屏幕上一堆方塊以固定頻率（一般8-15Hz）閃爍，受試者“選擇”——將視線集中在這個(gè)方塊上，比如以12Hz閃爍的方塊，則視覺區(qū)收集到的腦電信號(hào)中可以識(shí)別出12Hz及其諧波，這樣控制端就知道，受試者就完成了一次選擇。這一“選擇”轉(zhuǎn)化為命令操控輸出設(shè)備，就是BCI的一般用途了。成績(jī)雖然突出，SSVEP仍存在很多問題。眼睛盯著閃爍的方塊看極易疲勞，對(duì)視力不好的尤甚。TVEP（暫態(tài)視覺誘發(fā)電位）CVEP腦機(jī)接口——運(yùn)動(dòng)想象類型MI（motorimagery）運(yùn)動(dòng)想象是一種自發(fā)性腦電信號(hào)。截至目前的研究表明，人的腦電信號(hào)存在幾種節(jié)律，其中mu和beta節(jié)律被認(rèn)為與人的運(yùn)動(dòng)有關(guān)。實(shí)際運(yùn)動(dòng)的時(shí)候可以檢測(cè)到這兩種節(jié)律，但即便只是“想象”著運(yùn)動(dòng)一下，運(yùn)動(dòng)區(qū)也可能會(huì)產(chǎn)生這兩種節(jié)律——酷！

因?yàn)檫@回應(yīng)了最初研發(fā)BCI的目的：為無(wú)法使用大腦-肌肉通路與外界交流的人提供新的交流通道。2014巴西世界杯開場(chǎng)時(shí)小男孩在“機(jī)械盔甲”的幫助下一腳開球，國(guó)內(nèi)沒有提技術(shù)方面的信息，應(yīng)該就是使用該種方式的成果。最大的問題是，MI能做到的任務(wù)數(shù)太少了，而隨著任務(wù)數(shù)增加準(zhǔn)確率下降得可怕。由兩分類到三（加腳部活動(dòng)）、四（加舌頭活動(dòng)）分類任務(wù)，十多年時(shí)間過(guò)去了，MI方向依然在苦苦掙扎。四分類的準(zhǔn)確率目前只有70%左右，這還是用戶訓(xùn)練+數(shù)據(jù)優(yōu)化+高復(fù)雜度算法+長(zhǎng)時(shí)間調(diào)參的結(jié)果。腦機(jī)融合系統(tǒng)：概念腦機(jī)融合系統(tǒng)是通過(guò)腦機(jī)接口技術(shù)，以綜合利用生物（包括人類和非人類生物體）和機(jī)器能力的計(jì)算系統(tǒng)。與傳統(tǒng)的計(jì)算系統(tǒng)相比，腦機(jī)融合計(jì)算系統(tǒng)有三個(gè)重要特征：（1）對(duì)生物體的感知更加全面，包含觀行為理解和神經(jīng)信號(hào)解碼（2）生物體也作為系統(tǒng)的感知體、計(jì)算體和執(zhí)行體（3）多層次、多粒度的綜合利用生物體和機(jī)器的能力，達(dá)到系統(tǒng)智能的極大增強(qiáng)近半個(gè)多世紀(jì)的人工智能研究表明，機(jī)器在搜索、計(jì)算、存儲(chǔ)、優(yōu)化等方面具有人類無(wú)法比擬的優(yōu)勢(shì)，然而在感知、推理、歸納和學(xué)習(xí)等方面尚無(wú)法與人類智能相匹敵。鑒于機(jī)器智能與人類智能的互補(bǔ)性，我們多年前提出了混合智能(CyborgIntelligence，CI)的研究新思路（來(lái)自吳校長(zhǎng)的《混合智能概念與新進(jìn)展》）腦機(jī)融合系統(tǒng)：面臨問題如何獲取穩(wěn)定的神經(jīng)信號(hào)目前國(guó)內(nèi)外已經(jīng)研發(fā)出各種微電極、光成像系統(tǒng)來(lái)克服這一困難。如何有效地對(duì)生物的神經(jīng)系統(tǒng)進(jìn)行干預(yù)因?yàn)榇竽X是一個(gè)神經(jīng)元連接的巨型復(fù)雜系統(tǒng)。（這個(gè)問題不需要咱們考慮）如何設(shè)計(jì)植入式設(shè)備并提高其生物兼容性設(shè)備植入通常導(dǎo)致炎癥和生物排斥反應(yīng)。（這個(gè)問題不需要咱們考慮）如何充分融合機(jī)器智能和生物智能機(jī)器端的智能可以極大提高腦機(jī)融合系統(tǒng)的能力，同樣，生物體的接入也能提高系統(tǒng)的各種能力，如何將兩者融合在一起，并在智能層面形成一股合力，相互增強(qiáng)依然是個(gè)難題。需要我們?cè)谙到y(tǒng)層面進(jìn)行考慮。EEG應(yīng)用案例加速學(xué)習(xí)計(jì)劃主要專注于非侵入性測(cè)量與任務(wù)學(xué)習(xí)相關(guān)的神經(jīng)和其他生理數(shù)據(jù)，最終目標(biāo)是實(shí)現(xiàn)個(gè)人學(xué)習(xí)效率翻倍。先進(jìn)大腦監(jiān)測(cè)公司（AdvancedBrainMonitoring,Inc.）開發(fā)了一套自適應(yīng)和交互式的神經(jīng)教育技術(shù)（交互式神經(jīng)教育技術(shù)InteractiveNeuro-EducationalTechnology,orI-NET?）以加快技能學(xué)習(xí)，并且將這些工具納入名為自適應(yīng)峰值性能訓(xùn)練(AdaptivePeakPerformanceTrainer，APPT?)的閉環(huán)系統(tǒng)。實(shí)驗(yàn)任務(wù)采用步槍射擊訓(xùn)練，同時(shí)了包括課堂學(xué)習(xí)和實(shí)際操作，要求感官、運(yùn)動(dòng)、和認(rèn)知技能。APPT?系統(tǒng)利用了學(xué)習(xí)階段的腦電圖、心電圖、呼吸速率和眼動(dòng)追蹤特征。該系統(tǒng)可以通過(guò)推導(dǎo)生理狀態(tài)變化的集成算法，為受訓(xùn)者提供連續(xù)的實(shí)時(shí)生理監(jiān)測(cè)和反饋（視覺、聽覺或觸覺）。初步研究表明，對(duì)比參照組，I-NET/APPT的使用可以提高兩到三倍的新兵學(xué)習(xí)效率。腦機(jī)接口系統(tǒng)基本構(gòu)件信號(hào)采集受試者頭部帶一個(gè)電極帽，采集EEG信號(hào)，放大10000倍，預(yù)處理轉(zhuǎn)化為數(shù)字信號(hào)。信號(hào)分析利用FFT、小波分析等算法從經(jīng)過(guò)預(yù)處理的EEG信號(hào)中提取能夠表達(dá)受試者意圖的特征向量。特征向量提取后交給分類器，分類器的輸出作為控制器的輸入?？刂破鲗⒁逊诸惖男盘?hào)轉(zhuǎn)化為實(shí)際的動(dòng)作。深度學(xué)習(xí)有一些成果表現(xiàn)在基于大數(shù)據(jù)的語(yǔ)音識(shí)別、人臉識(shí)別。在人工智能模擬人類的各個(gè)智能當(dāng)中，感知能力依然很初步。解決方案是，人和機(jī)相互協(xié)同，基于腦機(jī)結(jié)合的基礎(chǔ)上，使得認(rèn)知在更高層面上得到發(fā)展。我目前正在看的就是基于卷積神經(jīng)網(wǎng)絡(luò)的EEG信號(hào)識(shí)別技術(shù)技術(shù)調(diào)研（斯坦福的《2030年的人工智能與生活》）深度學(xué)習(xí)是一類學(xué)習(xí)方法，促進(jìn)了在圖像、視頻標(biāo)記和運(yùn)動(dòng)中的目標(biāo)識(shí)別，并且在其他感知領(lǐng)域都有重大影響，比如音頻、語(yǔ)音和自然語(yǔ)言處理。強(qiáng)化學(xué)習(xí)是一個(gè)框架，能將機(jī)器學(xué)習(xí)的重點(diǎn)從模式識(shí)別轉(zhuǎn)變到經(jīng)驗(yàn)驅(qū)動(dòng)的序列決策上。它有望推動(dòng)人工智能應(yīng)用的前進(jìn)，在現(xiàn)實(shí)世界中做出決策。雖然在過(guò)去數(shù)十年，強(qiáng)化學(xué)習(xí)限制于學(xué)術(shù)界，但如今我們也看到了一些實(shí)際的成果。神經(jīng)形態(tài)計(jì)算是一系列尋求模擬生物神經(jīng)網(wǎng)絡(luò)從而改進(jìn)計(jì)算機(jī)系統(tǒng)硬件效率和穩(wěn)健性的技術(shù)，它取代了用獨(dú)立的輸入/輸出、處理指令、存儲(chǔ)模塊的舊方法。謝謝！那么，如果現(xiàn)在放開搞“腦機(jī)連接”，危險(xiǎn)在哪里呢？對(duì)照以上原則，我們可以歸納出以下幾方面的可能風(fēng)險(xiǎn)。其一，由于現(xiàn)今人類對(duì)自己的大腦與自我意識(shí)的關(guān)聯(lián)的認(rèn)識(shí)還非常有限，也對(duì)認(rèn)知性智能與自由意志之間的關(guān)聯(lián)的認(rèn)識(shí)基本為零，在這樣無(wú)知的前提下貿(mào)然實(shí)施大腦直接干涉，很有可能將人類的自我意識(shí)（或曰“靈魂”）嚴(yán)重破壞甚至徹底抹除。其二，就算沒有抹除，在作為認(rèn)知材料的“信息”和控制人的行為的“信號(hào)”之間不能做到基本分離的社會(huì)和技術(shù)條件下，有了