PDF解除密碼-腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)-55正式版_第1頁
PDF解除密碼-腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)-55正式版_第2頁
PDF解除密碼-腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)-55正式版_第3頁
PDF解除密碼-腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)-55正式版_第4頁
PDF解除密碼-腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)-55正式版_第5頁
已閱讀5頁,還剩50頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

No.202217腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)中國信息通信研究院2022年11月版權(quán)聲明本報告版權(quán)屬于中國信息通信研究院,并受法律保護。轉(zhuǎn)載、摘編或利用其它方式使用本報告文字或者觀點的,應(yīng)注明“來源:中國信息通信研究院”。違反上述聲明者,本院將追究其相關(guān)法律責任。前 言腦科學問題是人類社會面臨的基礎(chǔ)科學問題之一,是人類理解自然和理解人類本身的待深入探索領(lǐng)域,而腦機接口是有效探索手段之一。我們站在通往未知世界的偉大旅程起點上,探索大腦之途勢必艱辛而具有挑戰(zhàn)。在國家戰(zhàn)略和頂層設(shè)計的引領(lǐng)下,在科技創(chuàng)新不斷更迭促進下,在人民大眾的期待關(guān)注下,腦機接口技術(shù)將在面向世界科技前沿、面向國家重大需求、面向人民生命健康的科技創(chuàng)新主戰(zhàn)場上發(fā)揮重要作用。為此提出“腦智芯連,思行無礙”這一行業(yè)發(fā)展總體愿景,并針對此愿景目標的實現(xiàn),嘗試勾畫出在不遠的未來,腦機接口產(chǎn)業(yè)發(fā)展的藍圖和愿景期望。希望產(chǎn)業(yè)各方能夠在此愿景描繪的不同場景下開展更多研究、開發(fā)、交流與合作,共同繪制腦機接口產(chǎn)業(yè)美好的未來。研究過程中,我們開展了大量走訪調(diào)研,就腦機接口系統(tǒng)的總體愿景目標、系統(tǒng)應(yīng)滿足的需求及關(guān)鍵指標、關(guān)鍵技術(shù)發(fā)展現(xiàn)狀和趨勢、腦機接口系統(tǒng)的應(yīng)用場景和業(yè)界訴求等問題廣泛征詢專家學者意見,得到了行業(yè)多方的大力支持,并獲得了大量有價值的第一手信息和觀點。調(diào)研工作覆蓋國內(nèi)十多個省份的主要高校、科研機構(gòu)和企事業(yè)單位,主要包括清華大學、天津大學、北京理工大學、昆明理工大學、杭州電子科技大學、電子科技大學、西安交通大學、上海大學、國防科技大學、中科院深圳先進院、中科院半導(dǎo)體所、之江實驗室、博??悼萍迹ǔV荩┕煞萦邢薰尽⒄憬瓘娔X科技有限公司、山東海天智能工程有限公司、浙江柔靈科技有限公司、西安臻泰智能科技有限公司、北京華腦技術(shù)發(fā)展有限公司、上海韶腦傳感技術(shù)有限公司、中電云腦(天津)科技有限公司、無錫傲意科技有限公司、藍色傳感(北京)科技有限公司、上海念通智能科技有限公司、北京品馳醫(yī)療設(shè)備有限公司等,在此向所有專家提供的專業(yè)支持和寶貴建議致以衷心的鳴謝。目 錄一、腦機接口系統(tǒng)的總體愿景 1(一)腦機接口發(fā)展概述 1(二)總體愿景 3二、腦機接口系統(tǒng)應(yīng)滿足的需求及關(guān)鍵指標 5(一)需求 5(二)關(guān)鍵指標 8三、腦機接口關(guān)鍵技術(shù) 15(一)采集技術(shù) 17(二)刺激技術(shù) 22(三)范式編碼技術(shù) 25(四)解碼算法技術(shù) 29四、典型應(yīng)用場景案例和需求 33(一)腦狀態(tài)檢測 33(二)神經(jīng)調(diào)控 37(三)對外交互 41五、展望與建議 45(一)未來展望 45(二)發(fā)展建議 47圖目錄圖1腦機接口系統(tǒng)的五大需求支撐愿景實現(xiàn) 4圖2腦機接口系統(tǒng)的關(guān)鍵指標 5圖3腦機接口關(guān)鍵技術(shù) 16表目錄表1腦機接口系統(tǒng)的關(guān)鍵指標 8腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)一、腦機接口系統(tǒng)的總體愿景(一)腦機接口發(fā)展概述大腦是我們思想、情感、感知、行動和記憶的源泉,大腦的復(fù)雜性賦予我們?nèi)祟愔腔?,同時使我們每個人都獨一無二。近年來,研究大腦認知的神經(jīng)科學已經(jīng)在分子細胞、關(guān)鍵元器件、軟硬件開發(fā)、應(yīng)用系統(tǒng)、儀器儀表等多方面取得進展和突破,使得腦機接口產(chǎn)業(yè)的商業(yè)應(yīng)用逐漸成為可能。腦機接口是指在有機生命形式的腦與具有處理或計算能力的設(shè)備之間,創(chuàng)建用于信息交換的連接通路,實現(xiàn)信息交換及控制。腦機接口按照信號采集方式不同主要分為植入和非植入兩種技術(shù)路線。植入式腦機接口是有創(chuàng)方式,是指對深入到顱骨以下的組織進行信號采集和記錄。常見技術(shù)手段包括皮層腦電圖(Electrocorticogram,ECoG)、單個神經(jīng)元的動作電位(Spike)和局部場電位(localfieldpotential,LFP)。也有技術(shù)以介入為手段,以創(chuàng)傷性較小的方式將電極送入顱內(nèi)血管來采集腦電信號。植入式腦機接口記錄的信號時空分辨率高、信息量大,能夠?qū)?fù)雜任務(wù)進行實時、精確控制。植入式腦機接口技術(shù)主要應(yīng)用在醫(yī)療領(lǐng)域,最有可能率先落地并帶來市場收益的是神經(jīng)替代、神經(jīng)調(diào)控相關(guān)技術(shù)和產(chǎn)品。神經(jīng)替代腦機接口技術(shù)是為了彌補特殊人群因器官損傷導(dǎo)致的信息收發(fā)能力缺損,采用腦機接口技術(shù)把感覺信息直接寫入腦,或是將腦意圖信息從腦內(nèi)讀出,解碼后實現(xiàn)對外交互,完成意愿動作。神經(jīng)替代腦機接口1腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)技術(shù)國內(nèi)外都已經(jīng)進入科研臨床階段,主要針對感覺和/或運動神經(jīng)損傷人員(如癱瘓、失語和失明患者)做基本功能替代或功能重建。神經(jīng)調(diào)控腦機接口技術(shù)是進行精神狀態(tài)實時解析并精準刺激調(diào)控腦內(nèi)神經(jīng)活動的異常狀態(tài)。對記憶喪失、中重度抑郁、精神分裂、毒癮戒斷等病癥來說,神經(jīng)調(diào)控腦機接口技術(shù)比藥物治療更為精確高效。由于當前精神類疾病發(fā)作的理論模型尚未建立,且治療靶點不明,因此神經(jīng)調(diào)控腦機接口技術(shù)主要進行神經(jīng)機理探索和治療嘗試,輔助提升此類病癥的診療水平,還無法進行廣泛臨床治療。非植入式腦機接口采用無創(chuàng)采集技術(shù)在頭皮表面或附近采集大腦響應(yīng)信號。常用技術(shù)手段包括腦電圖(electroencephalography,EEG)、功能近紅外光譜(Functionalnear-infraredspectroscopy,fNIRS)、腦磁圖(magnetoencephalography,MEG)、功能核磁共振成像(FunctionalMagneticResonanceImaging,fMRI)。非植入式腦機接口由于安全無創(chuàng),因此得到了廣泛的研究與產(chǎn)業(yè)應(yīng)用,但受限于在腦外采集信號的強度與噪聲干擾,目前可實現(xiàn)的腦機交互性能有限。非植入式腦機接口技術(shù)可應(yīng)用在更廣泛的生活生產(chǎn)領(lǐng)域,正逐步在康復(fù)訓練、教育娛樂、智能生活、生產(chǎn)制造等眾多方面為人類帶來福祉。產(chǎn)業(yè)界在非植入腦機接口領(lǐng)域普遍重視面向產(chǎn)業(yè)和消費領(lǐng)域的研究,配合虛擬現(xiàn)實、增強現(xiàn)實、眼動儀、外骨骼等外設(shè),利用非植入式腦機接口系統(tǒng)開展多場景應(yīng)用探索,如:運動康復(fù)訓練;利用用戶腦波創(chuàng)造音樂和控制電器;利用用戶情緒識別數(shù)據(jù)個性化推薦用戶2腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)潛在喜好產(chǎn)品;對用戶情緒進行識別感知以提示預(yù)警,從而實現(xiàn)疲勞駕駛提醒和安全生產(chǎn)等等。腦機接口已成全球科技前沿熱點,在面向未來的科技創(chuàng)新發(fā)展中占有重要地位。世界主要國家和地區(qū)都在加快腦機接口產(chǎn)業(yè)布局,積極開展相關(guān)技術(shù)研發(fā)。腦機接口技術(shù)也將帶動和引發(fā)其他技術(shù)的未來發(fā)展。腦機接口技術(shù)是人與機器、人與人工智能交互的終極手段,也是連接數(shù)字虛擬世界和現(xiàn)實物理世界的核心基礎(chǔ)支撐技術(shù)之一,同時其與量子計算、云計算、大數(shù)據(jù)等信息通信(ICT)技術(shù)的結(jié)合將成為各領(lǐng)域新的重要研究方向??梢源_定地說,受益于技術(shù)的不斷革新與突破,腦機接口將會顯著提升人類生活質(zhì)量。(二)總體愿景腦科學問題是人類社會面臨的基礎(chǔ)科學問題之一,是人類理解自然和人類本身的“終極疆域”,而腦機接口是破解該“終極疆域”的有效手段之一。在國家戰(zhàn)略的積極推動下,在科技創(chuàng)新不斷更迭促進下,在人民大眾期待關(guān)注下,腦機接口技術(shù)將發(fā)揮重要作用。腦機接口技術(shù)涉及腦科學、人工智能技術(shù)、信息通信技術(shù)、電子信息技術(shù)和材料學。未來的腦機接口技術(shù),應(yīng)實現(xiàn)“腦智芯連,思行無礙”這一行業(yè)發(fā)展總體愿景。其中,“腦”寓意為大腦和思維意圖,“智”寓意為人工智能和類腦智能,“芯”寓意為以芯片為代表的外部設(shè)備,“連”有通訊、接口、協(xié)同三重含義。通過“腦智芯連”的科學融合,實現(xiàn)“思行無礙”的目標,即期待大腦及人類智能和外部設(shè)備相互連接后,人3腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)類的思想和行為控制之間,不再有疾病和空間的障礙;人類的能力得到顯著增強,不再承受神經(jīng)疾病帶來的痛苦。為促進“腦智芯連,思行無礙”這一愿景目標的實現(xiàn),報告提出腦機接口系統(tǒng)應(yīng)滿足“準確、高效、穩(wěn)定、易用和安全”五大需求。腦機接口系統(tǒng)應(yīng)具有準確的大腦意圖解碼算法;高效的信息解碼效率,快速地反饋響應(yīng)和執(zhí)行任務(wù);穩(wěn)定的設(shè)備性能與抗干擾能力;易用、輕便、舒適的使用體驗;安全的植入、采集和信息傳送保障。來源:中國信息通信研究院圖1腦機接口系統(tǒng)的五大需求支撐愿景實現(xiàn)腦機接口應(yīng)從性能指標與可用性指標兩個方面有效衡量腦機接口系統(tǒng)是否滿足五大需求。性能指標主要體現(xiàn)在響應(yīng)時間、識別正確率、可輸出指令數(shù)量和菲茨吞吐量四個易量化指標;可用性指標主要體現(xiàn)在易用性、長效性、魯棒性、安全性和互操作性五個指標。這些指標在不同技術(shù)路線下、不同應(yīng)用場景下的需求各有差異,但基本涵4腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)蓋了腦機接口技術(shù)和系統(tǒng)各方面要求。經(jīng)過分析和產(chǎn)業(yè)調(diào)研,報告也給出了為促進愿景目標實現(xiàn)的各指標的建議值,從而為業(yè)界的技術(shù)創(chuàng)新和系統(tǒng)開發(fā)提供一定的參考。來源:中國信息通信研究院圖2腦機接口系統(tǒng)的關(guān)鍵指標腦機接口總體愿景的實現(xiàn)也離不開核心關(guān)鍵技術(shù)的支撐。關(guān)鍵技術(shù)包括采集技術(shù)、刺激技術(shù)、范式編碼技術(shù)和解碼算法技術(shù)。關(guān)鍵技術(shù)面向不同場景衍生出不同應(yīng)用。本報告就當前主流應(yīng)用場景進行歸納并分為三類,分別是腦狀態(tài)檢測、神經(jīng)調(diào)控和對外交互技術(shù)等。二、腦機接口系統(tǒng)應(yīng)滿足的需求及關(guān)鍵指標(一)腦機接口系統(tǒng)應(yīng)滿足的需求1.準確在腦疾病診斷、行為輔助決策、外設(shè)交互控制等應(yīng)用場景下,共5腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)性需求是系統(tǒng)能穩(wěn)定做出識別正確率較高的判斷,即系統(tǒng)虛警概率低,識別精確,這樣外部計算設(shè)備才能對大腦的需求正確反饋。識別正確率是系統(tǒng)核心需求之一。2.高效腦機接口技術(shù)產(chǎn)業(yè)發(fā)展和應(yīng)用一個重要前提就是高效,最好能夠達到和肢體響應(yīng)一樣甚至更快的效率,實現(xiàn)人機快速響應(yīng)。指令交互、打字、控制機械外骨骼等應(yīng)用場景下如出現(xiàn)秒級延誤則給用戶體驗帶來較為負面的影響。這要求系統(tǒng)快速解碼識別大腦意圖并做出反饋,響應(yīng)時間是衡量快速響應(yīng)的核心關(guān)鍵指標。系統(tǒng)快速響應(yīng)性能,需要范式編碼、算法解碼和系統(tǒng)通信技術(shù)相互配合。在實際應(yīng)用落地過程中,也應(yīng)兼顧“快”、“準”、“穩(wěn)”等方面協(xié)同發(fā)展。3.穩(wěn)定腦機接口本質(zhì)上是一套通信系統(tǒng),在不同的應(yīng)用場景下,都需要考慮系統(tǒng)各項指標的穩(wěn)定和抗干擾能力,即系統(tǒng)的長效性和魯棒性。長效性是指系統(tǒng)需要保持長期性能穩(wěn)定。系統(tǒng)能在較長時間內(nèi)各項性能指標不出現(xiàn)較大波動。魯棒性是指系統(tǒng)在一定的外部干擾情況下,依然能夠保持穩(wěn)定的工作性能指標。在植入式腦機接口應(yīng)用場景中,由于電極易于失效,系統(tǒng)更側(cè)重長效性指標;而在非植入式場景,由于信號易受干擾,更加側(cè)重系統(tǒng)魯棒性。6腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)4.易用易用包含“輕便”與“便捷”兩個含義。“輕便”在非植入情形下指腦機接口系統(tǒng)輕巧便于攜帶,在植入情形下指植入物尺寸小、重量輕。沉重的腦機接口系統(tǒng)一方面可能導(dǎo)致用戶接觸時造成身體壓迫,產(chǎn)生不適感,不利于長期使用。另一方面不利于外出攜帶,難以采集大范圍的腦信號,從而難以實現(xiàn)更廣泛的場景應(yīng)用?!氨憬荨笔侵改X機接口系統(tǒng)具有操作便捷性。一方面需要降低使用者的操作復(fù)雜性,避免復(fù)雜的調(diào)試和維護等工作。尤其是在消費場景下,有必要盡量縮短設(shè)備部署時間、人機適應(yīng)時間,實現(xiàn)快速交互。這就需要盡量減少和壓縮模型訓練時長,調(diào)試時長,從而提升用戶對產(chǎn)品的接受度。另一方面普及無線信號傳輸,擺脫有線束縛,使用起來更加方便。此外,可考慮與智能外設(shè),如智能耳機等終端設(shè)備進行系統(tǒng)化設(shè)計,提升使用的舒適性、便攜性。5.安全腦機接口系統(tǒng)作為一種人機交互系統(tǒng),在安全方面要考慮的因素包括:系統(tǒng)需要在軟件和硬件方面,能有效防御外部惡意攻擊,避免數(shù)據(jù)被竊或惡意篡改,系統(tǒng)需要內(nèi)置一定的安全自檢機制;在機制和制度保障方面,需要有合法合規(guī)的信息與科技倫理制度、法規(guī)、倡議、指南和標準,確保神經(jīng)隱私與神經(jīng)權(quán)利不受侵犯,保障系統(tǒng)用戶的人身健康安全。對植入式腦機接口系統(tǒng)來說,在電極材料選擇上要考慮散熱性能、要確保植入后人體安全,需要對植入物的質(zhì)量、形狀、功7腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)耗和應(yīng)用場合進行限定,以避免損害生物組織。對于非植入式腦機接口技術(shù)來說,不當?shù)氖褂梅椒赡艽嬖跐撛诘娜松戆踩[患,需要對腦機接口系統(tǒng)的使用安全性做嚴格要求。(二)腦機接口系統(tǒng)的關(guān)鍵指標目前腦機接口技術(shù)正從“學術(shù)科學探索”走向“應(yīng)用轉(zhuǎn)化落地”。為推進產(chǎn)業(yè)落地工作的開展,本報告從性能和可用性兩方面提出滿足五大需求的腦機接口系統(tǒng)關(guān)鍵指標。性能指標包括響應(yīng)時間、識別正確率、可輸出指令數(shù)量和菲茨吞吐量,可用性指標包括易用性、長效性、魯棒性、安全性和互操作性。易用性指標進一步通過準備時長、輕便性和舒適性體現(xiàn)。表1腦機接口系統(tǒng)的關(guān)鍵指標腦機接口系統(tǒng)關(guān)鍵指標衡量指標響應(yīng)時間識別正確率性能指標可輸出指令數(shù)量菲茨吞吐量易用性長效性可用性指標魯棒性安全性互操作性來源:中國信息通信研究院8腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)1.性能指標在腦機接口研究中,往往以信息傳輸速率(Informationtransferrate,ITR)作指標評價系統(tǒng)的性能。ITR的大小與系統(tǒng)的響應(yīng)時間、識別正確率與可輸出指令數(shù)量相關(guān),是一項綜合反映腦機接口系統(tǒng)多方面性能的指標。但僅以ITR作為性能指標,很多時候無法體現(xiàn)響應(yīng)時間、識別正確率與可輸出指令數(shù)量分項指標各自的重要性,甚至可能導(dǎo)致某項關(guān)鍵指標被忽視。因此本報告在分析系統(tǒng)性能指標時,從響應(yīng)時間、識別正確率、可輸出指令數(shù)量和菲茨吞吐量四個方面,綜合評估描述腦機接口系統(tǒng)應(yīng)具備的性能。(1)響應(yīng)時間響應(yīng)時間是指腦機接口系統(tǒng)對使用者單次腦意圖響應(yīng)所需的時長,具體包括單次響應(yīng)所需的信號采集時長、腦信息解碼時長(又稱計算時長)和系統(tǒng)通信時長三部分。其中,所需的信號采集時長指腦機接口系統(tǒng)采集解碼用生理信號所需要的時長。腦信息解碼時長是指系統(tǒng)對所采信號進行解碼以理解用戶意圖所需的時長。系統(tǒng)通信時長是數(shù)據(jù)包在系統(tǒng)各模塊間傳遞的時延。響應(yīng)時間可以有效反映腦機接口系統(tǒng)的通信效率,也是反映人機交互順暢與否的核心關(guān)鍵指標。在不同范式、應(yīng)用場景下,系統(tǒng)響應(yīng)時間差異較大。對于頭皮腦電(Electroencephalograph,EEG)、皮層腦電圖(Electrocorticogram,ECoG)等實時性較高的電信號采集系統(tǒng)來說,比較理想的響應(yīng)時間是:在腦狀態(tài)檢測場景下建議不大于10秒,在神經(jīng)調(diào)控場景和對外交互場景9腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)下建議不大于1秒。對于以功能近紅外光譜(Functionalnear-infraredspectroscopy,fNIRS)為代表的信號采集系統(tǒng)來說,由于血流動力學參數(shù)變化較觸發(fā)事件具有滯后性,因此此類系統(tǒng)的交互響應(yīng)時間較長。(2)識別正確率識別正確率是指腦機接口系統(tǒng)為識別人腦意圖進行解碼的正確率,該指標是衡量系統(tǒng)性能的核心指標。在腦機打字、腦控機器人等特定場景下,識別正確率經(jīng)常用任務(wù)成功率表示。任務(wù)成功率是指成功完成控制任務(wù)的次數(shù)和控制任務(wù)執(zhí)行總次數(shù)之間的比值。比較理想的識別正確率在腦狀態(tài)檢測場景下不應(yīng)小于85%,在神經(jīng)調(diào)控場景下不應(yīng)小于95%,在對外交互場景下不應(yīng)小于95%。對腦機接口離線數(shù)據(jù)進行調(diào)參時,往往因為樣本量較小而容易造成模型的過擬合。為驗證腦機接口系統(tǒng)的泛化性,本報告中的識別正確率建議由實時在線驗證實驗所得(建議被試數(shù)量不少于10例)。(3)可輸出指令數(shù)量可輸出指令數(shù)量即腦機接口系統(tǒng)可以解碼的腦意圖種類,該指標可反映系統(tǒng)的交互能力??奢敵龅闹噶顢?shù)越多反映系統(tǒng)可解碼的大腦意識越豐富、可執(zhí)行任務(wù)的行為越豐富。因此在睡眠檢測、情緒識別、腦機打字等場景下,可輸出指令數(shù)量對評價系統(tǒng)性能具有較高參考價值。從理想值看,睡眠檢測場景下建議檢出睡眠種類不應(yīng)小于5種,情緒識別場景下建議檢出情緒種類不應(yīng)小于4種,在腦機打字場景下10腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)建議輸出字符種類不應(yīng)低于40種。在機器人、機械臂、無人機等復(fù)雜外部設(shè)備控制中,自由度不應(yīng)小于6種??奢敵鲋噶顢?shù)量和實際使用需求有關(guān),需根據(jù)具體場景需求確定最佳范圍。(4)菲茨吞吐量控制能力是指腦機接口系統(tǒng)將大腦神經(jīng)活動轉(zhuǎn)化為外設(shè)在實際場景中完成復(fù)雜控制操作的能力,腦機接口系統(tǒng)的控制能力和工作效率可用菲茨吞吐量1(FittsThroughput)指標衡量。腦機接口系統(tǒng)的菲茨吞吐量定義為:難度系數(shù)與移動到目標位置所需時間的比值,其中,難度系數(shù)是交互移動距離和目標尺寸兩者比值取對數(shù)。菲茨吞吐量來源于菲茨定律(FittsLaw),這是主要用于人機交互和人體工程學的人體運動預(yù)測模型,用難度系數(shù)和吞吐量來分別衡量任務(wù)難度和控制效果。在腦機接口研究中也多采用菲茨吞吐量作為系統(tǒng)控制效果的衡量指標。以腦控虛擬鼠標移動為例,虛擬鼠標從起始物體A移動到目標物體B的難度系數(shù)由AB之間的距離以及目標物體B的尺寸決定,AB間距離越大,目標物體B的尺寸越小,難度系數(shù)越大。不同難度系數(shù)下虛擬鼠標到達目標的所需時間不同,菲茨吞吐量是同時考慮運動速度和控制準確度的綜合指標,數(shù)值越高體現(xiàn)腦機接口系統(tǒng)的控制效果越好。通常菲茨吞吐量達到0.7bits/s可實現(xiàn)較為流暢的控制效ISO9241-9:2000標準詳細說明了非鍵盤輸入設(shè)備的性能要求,并利用菲茨吞吐量作為性能度量。11腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)果,1bits/s是更為理想的指標。2.可用性指標可用性也是腦機接口系統(tǒng)走向產(chǎn)業(yè)落地的關(guān)鍵,是除了性能指標之外的另一系統(tǒng)評價維度。系統(tǒng)可用性的衡量指標包括:易用性、長效性、魯棒性、安全性和互操作性。(1)易用性易用性又可通過腦機接口系統(tǒng)的使用準備時長、輕便性和舒適性三個指標反映。準備時長是指人員在腦機接口系統(tǒng)使用之前所需的準備時長和人機協(xié)同訓練時長之和。準備時長具體包括調(diào)試準備時間、阻抗調(diào)整時間等。人機協(xié)同訓練時長與系統(tǒng)使用者對系統(tǒng)的使用熟練度以及解碼算法是否需要現(xiàn)場采集訓練數(shù)據(jù)相關(guān)。此外,部分腦機接口系統(tǒng)需要針對不同使用者定制不同的解碼算法參數(shù),也會導(dǎo)致人機協(xié)同訓練時間較長,從而使系統(tǒng)的易用性降低。非植入腦機接口系統(tǒng)比較理想的準備時長建議不大于3分鐘。植入式腦機接口系統(tǒng)由于需要比較繁瑣的植入過程,因此準備時長較長,需要盡量優(yōu)化植入手段,提高系統(tǒng)易用性。輕便性是指腦機接口系統(tǒng)的輕質(zhì)與便攜。輕質(zhì)是指對使用者而言符合人體工學,且不造成明顯傷害和負擔。通常以重量指標衡量輕便性,為確保人體頸椎以上部分不受傷害。比較理想的頭戴式腦機接口12腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)系統(tǒng)(含外設(shè))重量不應(yīng)大于500克,不超過200克將是更為理想的目標。便攜是指易用使用和攜帶,信號傳輸方式是衡量便攜的重要指標之一。比較理想的便攜方式是擺脫有線連接,以藍牙、Wi-Fi、超寬帶或其他先進的無線通信方式進行數(shù)據(jù)傳輸。舒適性同樣是易用性的重要指標,體現(xiàn)在范式設(shè)計、外形設(shè)計、材料選取等方面。當前業(yè)內(nèi)廣泛使用的范式多源自二十世紀九十年代,歷經(jīng)三十余年發(fā)展,范式雖然奠定了實驗研究的基礎(chǔ),但其交互方式普遍存在不符合人類自然行為的問題,由此導(dǎo)致面向消費級產(chǎn)品時用戶接受度和配合度較低,即便是在醫(yī)學領(lǐng)域應(yīng)用也比較受限。因此舒適性以可定量定性的體驗感、滿意度等作為主要衡量指標,特別是對腦機接口消費級產(chǎn)品的落地具有重要意義。(2)長效性長效性指系統(tǒng)可穩(wěn)定持續(xù)使用的時間,是用來衡量系統(tǒng)穩(wěn)定性的重要考量。在非植入場景下,長效性體現(xiàn)在系統(tǒng)續(xù)航時間長。例如娛樂游戲時系統(tǒng)不會因用戶出汗等干擾導(dǎo)致系統(tǒng)性能下降。在植入場景下,長效性體現(xiàn)在系統(tǒng)不會受生物組織分泌物和免疫系統(tǒng)干擾導(dǎo)致性能下降,電池續(xù)航需要能夠保證8小時以上的持續(xù)腦電信號傳輸與分析。因此建議比較理想的非植入場景下,單次的穩(wěn)定可用時長不小于3小時;植入場景下,有些國家規(guī)定穩(wěn)定可用時長不應(yīng)小于1年,常規(guī)情況下,醫(yī)療器械的理想植入時間是10年以上。13腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)(3)魯棒性魯棒性指標用來衡量腦機接口系統(tǒng)對抗外部擾動變化的能力。腦機接口系統(tǒng)需要在各類外部干擾環(huán)境下使用。正常環(huán)境本身就存在大量干擾信號,此外還包括強磁環(huán)境、超聲波診斷治療環(huán)境、放射治療環(huán)境等。這就要求腦機接口系統(tǒng)在所處的環(huán)境中,能夠有效屏蔽大部分外界干擾,保證交互響應(yīng)時間、識別正確率等性能指標維持在一個較高的水平。此外,在使用過程中,腦狀態(tài)也不是一成不變的,因此魯棒性還體現(xiàn)在具有一定的自適應(yīng)能力,可隨用戶狀態(tài)變化而自適應(yīng)調(diào)整,確保系統(tǒng)性能指標在較小的范圍內(nèi)波動。(4)安全性安全性是腦機接口系統(tǒng)可用性的重要指標。一是要保障腦機接口系統(tǒng)整體安全和數(shù)據(jù)安全。硬件和軟件具備基礎(chǔ)的安全防范能力和手段,防護手段到位,確保能夠有效抵御外部攻擊,避免系統(tǒng)被篡改而做出錯誤指令。同時要確保使用者的信息不外泄,尤其是需要聯(lián)網(wǎng)使用的設(shè)備,例如解碼算法、腦電數(shù)據(jù)上云的系統(tǒng)需要確保信息安全;二是要確保人身健康安全。需要在符合常規(guī)安全要求基礎(chǔ)之上,做出更適合腦機接口系統(tǒng)的安全專用要求。三是要符合科技倫理安全。需要制定完備的科技倫理制度,確保隱私信息不外泄、風險可控、尊重生命權(quán)利、增進人類福祉、保障公平公正。14腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)(5)互操作性互操作性是腦機接口系統(tǒng)應(yīng)用落地和廣泛發(fā)展的重要指標,體現(xiàn)了腦機接口系統(tǒng)之間實現(xiàn)跨系統(tǒng)訪問、雙向連接和交互控制的能力。互操作性一方面體現(xiàn)在同類型系統(tǒng)之間保持框架一致和接口一致,另一方面體現(xiàn)在腦機接口系統(tǒng)能在電腦、手機、增強現(xiàn)實(AR)設(shè)備、虛擬現(xiàn)實(VR)設(shè)備等其他智能終端上互通互用和即插即用。系統(tǒng)應(yīng)根據(jù)此方面的技術(shù)標準要求,開發(fā)相關(guān)接口和可互通的系統(tǒng)平臺?;ゲ僮餍阅芰χ笜丝梢酝ㄟ^系統(tǒng)符合互操作標準的程度來衡量。三、腦機接口關(guān)鍵技術(shù)腦機接口作為新興技術(shù),為大腦與外部直接交互提供了新的解決思路,在新一輪的技術(shù)升級中被給予厚望。腦機接口產(chǎn)業(yè)落地有賴于關(guān)鍵技術(shù)的突破和革新。目前全球在腦機接口關(guān)鍵技術(shù)研究方面發(fā)展蓬勃,但依然存在亟需解決的若干問題。對此,業(yè)界也正在嘗試多種手段予以突破。腦機接口關(guān)鍵技術(shù)包括采集技術(shù)、刺激技術(shù)、范式編碼技術(shù)、解碼算法技術(shù)、外設(shè)技術(shù)和系統(tǒng)化技術(shù)。其中,采集技術(shù)研發(fā)重點包括采集端和信號處理端。采集端常規(guī)技術(shù)手段包括電采集、磁采集、近紅外采集等手段,其中電采集為主流研發(fā)方向,磁和近紅外等采集技術(shù)因為成本和技術(shù)成熟度等制約,距離應(yīng)用落地相對更遠。信號處理端涉及模擬芯片和數(shù)字芯片。由于當前腦機接口系統(tǒng)所用的數(shù)字芯片多為行業(yè)通用芯片,所以重點介紹模擬芯片的發(fā)展。刺激技術(shù)重點介15腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)紹腦深部電極刺激(DeepBrainStimulation,DBS)閉環(huán)控制的進展,以及腦機接口技術(shù)在助盲領(lǐng)域的最新進展。范式編碼和解碼算法技術(shù)介紹了當前主流研究進展。由于外控技術(shù)和系統(tǒng)化技術(shù)的創(chuàng)新多在于工程集成,因此不在此介紹。腦機接口技術(shù)的應(yīng)用場景按照信息流向分為腦狀態(tài)檢測、神經(jīng)調(diào)控和對外交互三類。從信息流向來看,腦狀態(tài)檢測是信息從大腦流向外部和外設(shè),神經(jīng)調(diào)控則是信息從外部和外設(shè)流向大腦,而對外交互則是信息的雙向流動,因此重點圍繞信息的利用、交互和反饋來介紹腦機接口系統(tǒng)在不同場景下的典型應(yīng)用以及系統(tǒng)在各方面性能上的需求。來源:中國信息通信研究院圖3腦機接口關(guān)鍵技術(shù)16腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)(一)采集技術(shù)1.植入式電極植入式微電極是腦機交互的關(guān)鍵基礎(chǔ),被廣泛應(yīng)用于基礎(chǔ)神經(jīng)科學、腦疾病的診斷治療以及腦機交互通信等領(lǐng)域。植入式微電極通過將以離子為載體的神經(jīng)電信號轉(zhuǎn)換為以電子為載體的電流或電壓信號,從而獲取大腦神經(jīng)電活動信息。植入到大腦中的微電極可以高空間分辨率和時間分辨率方式,精確記錄電極附近單個神經(jīng)元的動作電位,從而實時監(jiān)測大腦活動。傳統(tǒng)的植入式微電極由金屬和硅等硬質(zhì)材料制備而成,形成了以密西根電極和猶他電極為主的硬質(zhì)電極。隨著微納加工技術(shù)和電極材料不斷發(fā)展,微電極趨向于柔性、小型化、高通量和集成化發(fā)展,形成了以微絲電極、硅基電極和柔性電極為主的多元化發(fā)展局面。高性能柔性微電極對長期穩(wěn)定慢性記錄具有重要意義。硬質(zhì)微電極和腦組織之間存在機械失配問題,會對生物體的正?;顒釉斐衫^發(fā)性腦損傷,不適用于長時間的慢性實驗。具有高生物相容性的柔性微電極器件有利于緩解免疫反應(yīng),提高信號質(zhì)量,對實現(xiàn)大腦活動長期穩(wěn)定的慢性記錄具有重要意義。利用低楊氏模量生物材料和高性能界面材料制備柔性電極成為該領(lǐng)域的熱點。高通量微電極將為拓展全腦神經(jīng)科學研究奠定重要基礎(chǔ)。為了獲取更豐富的神經(jīng)元動態(tài),神經(jīng)微電極被要求同時記錄盡可能多的單個神經(jīng)元的電活動。現(xiàn)有植入式微電極通量遠小于大腦神經(jīng)元數(shù)目,發(fā)17腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)展新型高通量微電極,實現(xiàn)批量化的高時空分辨率腦電信號采集,對于追蹤神經(jīng)環(huán)路活動以及解析全腦尺度的神經(jīng)網(wǎng)絡(luò)功能等基礎(chǔ)神經(jīng)科學研究至關(guān)重要。多功能微電極有力促進多種激勵方式綜合調(diào)控。通過集成電刺激、藥物注射和光刺激等功能,植入式微電極在讀取生物體大腦活動信息的同時,還能調(diào)控生物體生命活動,實現(xiàn)生物體和外部設(shè)備的雙向通信。研究多功能的神經(jīng)微電極器件,搭建閉環(huán)系統(tǒng),可實現(xiàn)癲癇等腦疾病的診治和神經(jīng)功能恢復(fù)等應(yīng)用。2.非植入式電極非植入式電極應(yīng)用場景廣泛。非植入式電極不需要進行手術(shù)植入,直接放置于頭皮上即可進行腦電信號采集,因此也稱為無創(chuàng)電極,其安全無創(chuàng)特性更易被使用者接受,因此在非臨床腦疾病診療、消費級腦科學應(yīng)用等場景中得到了廣泛的應(yīng)用。改進的干電極是電極產(chǎn)業(yè)落地的主流選項。隨著基于頭皮腦電的腦機接口系統(tǒng)在便攜性、快速應(yīng)用及舒適度等方面的應(yīng)用需求增長,電極的改進成為亟需解決的關(guān)鍵問題。傳統(tǒng)的濕電極盡管信號質(zhì)量好,但其專業(yè)的操作需求,耗時長,用后清洗等固有缺點無法規(guī)避。因此無膏的干電極技術(shù)逐漸發(fā)展起來以適應(yīng)新的應(yīng)用場景和需求。基于金屬材料或?qū)щ娋酆衔锊牧系亩嗄_柱式/爪式干電極、基于導(dǎo)電纖維的刷毛式干電極、基于微機械加工工藝的微針電極及電容式電極等,在提高使用便捷性的同時,也通過材料改進和結(jié)構(gòu)設(shè)計優(yōu)化不斷地降低18腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)電極與皮膚的接觸阻抗,提高使用舒適度和應(yīng)用性。凝膠半干電極具有潛在的廣闊應(yīng)用前景。干電極實現(xiàn)了腦機接口系統(tǒng)的便捷應(yīng)用,但其與頭皮的電連接僅靠微量的汗液,接觸阻抗較高,且強烈依賴于壓力,因此舒適度和信號質(zhì)量及穩(wěn)定性成為該項技術(shù)需要突破的技術(shù)難題。半干電極利用材料或結(jié)構(gòu)特性,釋放少量導(dǎo)電液到頭皮,以降低電極與頭皮的界面阻抗?;诓牧象w系的凝膠半干電極物理化學特性可調(diào),通過材料組分配比的優(yōu)化可兼顧電化學特性和機械特性,從而得到使用舒適度較好且信號質(zhì)量可與濕電極匹敵的性能,是一種極具應(yīng)用前景的電極技術(shù)。3.芯片隨著集成電路技術(shù)的快速發(fā)展以及電路與神經(jīng)科學融合研究的持續(xù)探索,腦信號采集技術(shù)朝著微型化、輕量化、高通量、分布式采集的方向不斷前進。針對腦機接口的應(yīng)用、算法、硬件以及范式的研究內(nèi)容也逐漸豐富,植入式與非植入式腦機接口系統(tǒng)通過電極與采集硬件對腦信號進行采集、處理和解碼,從而實現(xiàn)對腦科學基礎(chǔ)理論、腦疾病以及腦控外設(shè)的探索與研究。腦信號采集芯片是將腦信號直接轉(zhuǎn)化為數(shù)字信號的核心硬件,也是腦信號讀取與解碼,腦部疾病診斷與調(diào)控所依賴的工具。針對腦部信號的生理特性以及應(yīng)用場景,在定制化腦信號采集芯片設(shè)計過程中存在諸多技術(shù)挑戰(zhàn)。精密放大器是腦信號采集芯片中的核心模塊,在腦機接口應(yīng)用場景中需要滿足多重技術(shù)參數(shù)要求。對于19腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)腦信號來說,其幅值微弱(幾十μV到幾個mV)、頻率低(0.5Hz到kHz),因此易受外界噪聲干擾,從而導(dǎo)致信號質(zhì)量不佳。為了保持最佳的信號質(zhì)量,腦信號采集模塊的部分關(guān)鍵參數(shù),例如信號噪聲、共模抑制比(CMRR)、電源抑制比(PSRR)、增益匹配、運動偽影等需要優(yōu)化。多個腦信號采集參數(shù)之間存在相互制約的關(guān)系,多參數(shù)的統(tǒng)籌優(yōu)化是當前腦信號采集芯片設(shè)計的核心問題之一。信號噪聲是腦信號采集過程中最大的干擾源之一。由于前端放大器的閃爍噪聲與腦信號在頻譜上部分重疊,采取簡單的濾波工作難以提取純凈腦信號,因此對較低頻率的腦信號使用斬波放大技術(shù),將所采集的信號調(diào)制到較高頻率以避開放大器的閃爍噪聲。斬波技術(shù)在交流耦合儀表放大器中實現(xiàn)了良好噪聲和功耗平衡,但放大器的輸入阻抗在斬波調(diào)制過程中會降低到兆歐范圍以下,導(dǎo)致信號在進入放大器前產(chǎn)生衰減。為解決輸入阻抗降低的問題,有團隊提升了正反饋回路的輸入阻抗。還有團隊采用電容組對輸入阻抗升壓回路的電容進行校準,也有團隊采用調(diào)整電路耦合的方式來切換斬波器和輸入電容的位置,避免因斬波調(diào)制導(dǎo)致的輸入阻抗降低。共模抑制比是衡量系統(tǒng)應(yīng)對環(huán)境干擾的關(guān)鍵參數(shù)。針對微弱腦信號,高共模抑制比可以保證信號不被共模擾動2掩蓋,從而提高信號質(zhì)量。此外,在多通道神經(jīng)信號采集過程中,由于電極在植入大腦后產(chǎn)生的一系列生物相容性問題,導(dǎo)致電極阻抗可能隨植入時間增多而明共模擾動也稱共模干擾,是電源線對環(huán)境中的電子設(shè)備產(chǎn)生的一種干擾。20腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)顯提升(數(shù)個月后可高達100kΩ至數(shù)MΩ),繼而影響腦信號的信噪比以及系統(tǒng)共模抑制比。為保證采集信號質(zhì)量,前端放大器電路采用共模反饋技術(shù)以及共模前饋技術(shù)以提高系統(tǒng)級共模抑制比。采集芯片的微型化設(shè)計是植入式腦機接口系統(tǒng)核心技術(shù)挑戰(zhàn)之一。為了將采集芯片縮小至可植入的尺寸范圍,針對片上有源/無源器件的微型化是相關(guān)研究中的技術(shù)難題。具有電容耦合的全差分放大器結(jié)構(gòu)通過采用晶體管搭建的偽電阻(PseudoResistor)結(jié)構(gòu)可大幅縮小片上無源器件的面積,同時偽電阻提供了較大的阻抗以及較低的高通截止頻率,適合設(shè)計微型化的腦信號采集芯片。采用時分復(fù)用/正交頻分復(fù)用等技術(shù)通過固定的采集單元對多個通道的腦信號進行同步采集,也可明顯降低片上面積。針對不同的腦機接口應(yīng)用以及采集芯片面對的一些技術(shù)難題,國內(nèi)外有許多團隊提出了解決方案。例如針對采集過程中的電極間直流偏置引起斬波放大器輸出飽和的問題,一種直流伺服反饋回路技術(shù)通過積分器將輸出端的直流分量提取并反饋至輸入端,有效抑制了電極間的直流偏置。對于采集芯片的超低功耗需求,有團隊設(shè)計了基于反相器結(jié)構(gòu)的超低壓斬波放大器,非常適合植入式場景。針對芯片微型化的問題,放大器與DAC結(jié)合的數(shù)字-模擬混合反饋技術(shù)可大幅縮小采集芯片的片上面積。針對腦信號采集過程中的共模干擾問題,基于電荷泵(chargepump)的共模反饋技術(shù)通過對輸入端的共模擾動信號進行動態(tài)反饋,能有效抵抗高達15V的共模擾動。對于采集芯片的無21腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)線供電問題,線圈的無線電感傳輸技術(shù)被應(yīng)用在植入式腦機接口芯片中,通過外部傳輸線圈以及中繼線圈和片上耦合線圈,實現(xiàn)了對體內(nèi)采集芯片的無線供電以及采集到的腦電信號無線傳輸。體表網(wǎng)絡(luò)無線傳輸技術(shù)(Bodyareanetwork,BAN)解決了無線供電時線圈難對準的問題,利用被試者的身體表面對采集到的信號以及能量進行無線傳輸,適用于可穿戴的腦機接口場景。在提升系統(tǒng)集成度方面,目前已有將信號采集、存儲、以及基于AI的信號歸類識別等模塊集成在一起的腦機接口片上系統(tǒng),實現(xiàn)了較高的系統(tǒng)集成度。針對于高通量植入式腦機接口芯片,有些公司設(shè)計了帶有動作電位識別的高集成度采集芯片,該芯片與數(shù)千個柔性電極相結(jié)合,實現(xiàn)了對高通量腦信號的采集。(二)刺激技術(shù)1.閉環(huán)腦深部電刺激技術(shù)腦深部電極刺激(DeepBrainStimulation,DBS)一種非常具有代表性的植入式電極刺激技術(shù)。DBS通過植入體內(nèi)的腦起搏器發(fā)放弱電脈沖,刺激癲癇、帕金森的病灶腦區(qū),抑制病灶區(qū)神經(jīng)元的異常無規(guī)則放電,進而抑制相關(guān)癥狀,使患者恢復(fù)自如活動和自理能力。傳統(tǒng)的DBS調(diào)參需要基于微電極信號分析、刺激效果分析、影像定位、核磁分析等多技術(shù)手段選擇治療觸點。借助腦機接口技術(shù),腦內(nèi)電極不僅具有單向刺激功能,還可進行周圍神經(jīng)元信號采集,以做到精準觸點選擇。就技術(shù)發(fā)展進度看,目前可以做到信號采集之后由醫(yī)生根22腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)據(jù)生物標志物和與患者的交互反饋進行觸點選擇,未來還將向自適應(yīng)角度發(fā)展,自適應(yīng)技術(shù)研發(fā)方向包括:通過優(yōu)化的信號處理方法實現(xiàn)自適應(yīng)調(diào)控。如在機器學習、深度學習基礎(chǔ)上對患者腦電數(shù)據(jù)進行預(yù)測分類,為醫(yī)生提供分類結(jié)果以助于診斷,提升觸點選擇的精準度。另外,在患者體態(tài)姿勢發(fā)生變化導(dǎo)致電極與靶組織之間距離改變時,例如咳嗽、打噴嚏、深呼吸時,可根據(jù)誘發(fā)復(fù)合動作電位調(diào)控刺激以避免發(fā)生瞬時過度刺激。通過刺激參數(shù)空間拓展改善自適應(yīng)調(diào)控。刺激參數(shù)空間包括觸點、幅度、頻率、脈寬的選擇。目前在常用單極恒頻刺激的基礎(chǔ)上已開發(fā)交叉電脈沖模式、變頻刺激及多觸電不同頻刺激技術(shù),極大地拓寬了刺激參數(shù)空間,實現(xiàn)更好的癥狀調(diào)控。依托多樣生物標志物實現(xiàn)自適應(yīng)刺激調(diào)控。當前國內(nèi)外知名DBS廠商正在嘗試基于生物標志物實現(xiàn)自適應(yīng)刺激調(diào)控,例如檢測神經(jīng)遞質(zhì)濃度,通過血清素、去甲腎上腺素、多巴胺脫氧血紅蛋白度、氧合血紅蛋白的濃度識別治療效果并作為依據(jù)來動態(tài)調(diào)整刺激幅度。也有基于血流水平、范圍或預(yù)定血流值矩陣等血流信息調(diào)節(jié)刺激幅度、脈沖寬度、脈沖率和占空比等指標。通過磁共振相融DBS技術(shù)實現(xiàn)自適應(yīng)調(diào)控下的腦網(wǎng)絡(luò)探索?,F(xiàn)有磁共振兼容DBS技術(shù)解決了在強磁場下電極發(fā)熱、移位及感應(yīng)電流等安全隱患,使植入DBS的患者能在3.0T磁共振下進行長時間的同步刺激及掃描。在解決臨床需求的同時,也使DBS成為探索刺激相23腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)關(guān)腦網(wǎng)絡(luò)變化的直接媒介,通過功能磁共振解析刺激相關(guān)局部及整體腦網(wǎng)絡(luò)改變,為新靶點的發(fā)現(xiàn)及適應(yīng)癥的拓展提供依據(jù)。2.視覺調(diào)控技術(shù)植入式視覺調(diào)控技術(shù)對盲人群體提高生活質(zhì)量具有重大意義,相關(guān)研究已經(jīng)開展。全球絕大多數(shù)研究團隊在開環(huán)視覺重建的研究中,研究方向逐漸從視網(wǎng)膜刺激向皮層刺激轉(zhuǎn)移。目前主要集中在電刺激初級視覺皮層(V1)以獲得人工視覺感知。這就需要進行刺激電極的植入。最新的實驗已經(jīng)植入了超過10塊猶他陣列,通道數(shù)達到1024。該系統(tǒng)還包括采集視頻的攝像頭,采集到的圖像信息通過信號處理獲得簡單的二維灰度圖像(目前還沒有具有色彩的植入式人工視知覺輸入),并據(jù)此刺激初級視覺皮層神經(jīng)元。受試者通過植入電極可以在有限的視野范圍內(nèi)看到一些灰度調(diào)制的低分辨率點陣圖像。目前的研究結(jié)果表明,用小電流電刺激初級視覺皮層神經(jīng)元(V1neurons)會激活直徑數(shù)百微米的皮層區(qū)域,從而獲得簡單的視覺知覺,稱為光幻視(phosphenes)。電刺激可以改變大腦皮層的信息流,影響到正常視覺觀測內(nèi)容。由于電刺激是相對粗糙的刺激方式,因此獲得的視覺感知也相對粗糙。目前研究致力于通過多個電極同時刺激,讓受試者感知到具體圖像或連貫動作。2020年發(fā)表在Science上的研究結(jié)果表明,通過植入大規(guī)模1024通道電極并進行訓練,可以使非人靈長類正確識別字母,辨識運動方向等。如何通過不同模式刺激增強受試者感知連貫形狀的能力,并最大限度向其傳遞視覺信息依然是未來研究重點。24腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)目前的植入式視覺調(diào)控研究多為開環(huán)腦機接口系統(tǒng),開環(huán)腦機接口系統(tǒng)難以實現(xiàn)精確刺激模型,且電刺激也難以與真實的視覺刺激保持一致,因此存在不可控風險且難以實現(xiàn)精細視覺輸入。因此閉環(huán)視覺調(diào)控是未來重要的技術(shù)探索方向。(三)范式編碼技術(shù)大腦的各種思維與響應(yīng)活動千變?nèi)f化,且同時發(fā)生,因此很難直接從中準確解碼特定類型的活動。在腦機接口系統(tǒng)中,用范式來表征對預(yù)定義的大腦意圖的編碼方案。范式定義為:在編碼任務(wù)中,對希望識別的大腦意圖用可檢測、可區(qū)分、可采集的腦信號予以對應(yīng),從而實現(xiàn)對大腦意圖的可識別輸出。在過去的幾十年中,出現(xiàn)了許多腦機接口范式,常見典型的有運動想象范式、穩(wěn)態(tài)視覺誘發(fā)電位范式、P300范式。這些范式往往根據(jù)是否有外部刺激和輔助而分為被動式和主動式范式。1.被動式范式視覺誘發(fā)電位刺激范式P300朝向界面布局優(yōu)化、人臉圖像拼寫和融合物理刺激方向發(fā)展。傳統(tǒng)的視覺P300電位刺激范式下,拼寫器允許受試者通過閃爍不同的行和列來選擇目標,但沒有考慮兩個相鄰符號連續(xù)閃爍對結(jié)果的影響。近年有大量研究針對P300電位刺激范式的拼寫界面布局開展優(yōu)化工作,有效消除了相鄰符號閃爍帶來的影響。一些研究發(fā)現(xiàn)面部符號可以比傳統(tǒng)P300字符拼寫范式誘導(dǎo)更25腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)高的P300電位。因此許多研究嘗試用人臉圖像代替數(shù)字或字母符號,使每個符號在以一定頻率閃爍時都會變成人臉圖像,而不是簡單的顏色或大小變化,實現(xiàn)了P300電位刺激范式的解碼性能提升。最近也有研究發(fā)現(xiàn),在視覺P300電位刺激范式中添加其他形式的物理刺激可以提高使用者的表現(xiàn),例如使用偏光鏡增強刺激、基于積極情緒的視聽組合刺激、引入聲音和視頻刺激等方式。因此將P300電位與其他物理刺激融合的范式研究也是近年的熱點。穩(wěn)態(tài)視覺誘發(fā)電位(Steady-statevisualevokedpotentials,SSVEP)刺激范式朝向更高效、更舒適和更自然發(fā)展。SSVEP范式腦機接口主要應(yīng)用方向包括:高速率腦機接口打字交互系統(tǒng)、特殊群體腦機報警系統(tǒng)、自然場景的腦機目標選擇系統(tǒng)等。為支撐上述三大應(yīng)用場景,SSVEP范式的主要發(fā)展趨勢包括:更高效:SSVEP范式編碼從最初4目標編碼已發(fā)展至160目標編碼,且編碼的識別響應(yīng)性能也在持續(xù)提升,因而實現(xiàn)的高速率SSVEP-BCI系統(tǒng)的性能也在不斷提升。后續(xù)SSVEP會持續(xù)研究更高效、可分性更好的范式編碼。更舒適:SSVEP范式刺激的最佳頻帶為8~15Hz,該頻帶的多目標閃爍刺激雖然實現(xiàn)的系統(tǒng)性能優(yōu)異,但也容易誘發(fā)視覺疲勞,因而在實際落地應(yīng)用中受到了一定的阻力。目前SSVEP舒適刺激的方式主要包括降低亮度變化率、提高刺激頻率、減小刺激目標面積以及采用空間編碼(外周視野)刺激等。上述研究已取得了較大的進展,并26腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)不斷繼續(xù)推進中。更自然:SSVEP刺激范式的每個刺激塊需要按固定頻率進行閃爍且具有一定的面積,因而在實際應(yīng)用過程中僅與腦機打字場景最為貼合,即將字符繪于對應(yīng)的閃爍目標塊上即可。目前已有部分SSVEP范式采用空間編碼的方式將中央視野區(qū)域空出,在視野外周進行刺激編碼,進而實現(xiàn)更貼近自然應(yīng)用場景的應(yīng)用。也有適當降低SSVEP閃爍塊面積并與生活場景結(jié)合的編碼思路,受限于刺激面積變小對響應(yīng)強度的影響,為保障系統(tǒng)的識別正確率與響應(yīng)速度,此類應(yīng)用的SSVEP編碼目標數(shù)較少。此外,SSVEP的主要響應(yīng)腦區(qū)位于后腦枕葉,因而往往需要佩戴腦電帽,不利于生活自然場景使用。為解決該問題,部分研究采用時頻混合或時空頻融合的編碼方式,嘗試提升無毛發(fā)區(qū)的SSVEP響應(yīng)強度,取得了一定的進展。為了SSVEP腦機接口在生活場景落地,上述研究仍在持續(xù)推進中。2.主動式范式運動想象(MotorImagery,MI)范式朝向更精細發(fā)展。運動想象是一種非常重要的主動式腦機接口范式,用于識別大腦對四肢和舌頭的運動意圖。其無需外界條件刺激和明顯的動作輸出就能誘發(fā)大腦感覺運動皮層的特定響應(yīng)。現(xiàn)已廣泛應(yīng)用于基于腦機接口的假肢、機械臂和輪椅等設(shè)備控制、字符拼寫及臨床中風康復(fù)治療等場景。基于運動想象范式的腦機接口已經(jīng)發(fā)展多年,經(jīng)過數(shù)十年的研究,大肢體部位的MI控制已經(jīng)基本發(fā)展成熟,而對更細微運動做出想象27腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)并有效識別(例如不同手指的伸縮、握拳、不同手勢的運動想象等)是運動想象范式編碼的發(fā)展方向。運動相關(guān)皮層電位范式朝向多肢體運動意圖解碼和連續(xù)運動解碼發(fā)展。運動相關(guān)皮層電位(Movement-relatedcorticalpotential,MRCP)是一種可以從低頻頭皮腦電中捕捉到的與運動規(guī)劃、執(zhí)行相關(guān)的神經(jīng)活動信號。MRCP主要由三部分組成,即與運動準備相關(guān)的準備電位(Readinesspotential,RP)、與運動發(fā)生、起始相關(guān)的運動電位(Motorpotential,MP)以及與運動執(zhí)行、運動性能相關(guān)的運動監(jiān)測電位(Movement-monitoringpotential,MMP)。相較于SSVEP和P300等被動式腦機接口范式,MRCP和運動想象是不依賴于外部刺激的、由人體真實運動意圖誘發(fā)的主動式腦機接口范式。而相較于運動想象,MRCP不依賴于重復(fù)的運動想象。因此,MRCP具有自然、真實、可以反映人的實際運動意圖等優(yōu)點。典型的MRCP范式包括點到點的上肢運動(如center-out)、連續(xù)運動追蹤式的上肢運動(如PTT)、指定動作類型的上肢或下肢運動(如手腕內(nèi)旋/外旋)等。由于MRCP具有可反映運動意圖的特性,其對發(fā)展與運動康復(fù)、運動功能診斷、日常生活輔助等相關(guān)的運動腦機接口具有重要價值。目前,MRCP主要發(fā)展趨勢包括從單肢體到多肢體的運動意圖解碼、從離散分類問題到連續(xù)回歸問題的連續(xù)運動參數(shù)解析、與神經(jīng)假肢、外骨骼、機械臂等外設(shè)結(jié)合的人體運動增強和康復(fù)治療等。28腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)(四)解碼算法技術(shù)1.植入式主流解碼技術(shù)卡爾曼濾波器成為當前主流解碼方法。以運動控制為例,早期的植入式腦機接口解碼大都使用維納濾波器線性解碼系統(tǒng)。此類解碼系統(tǒng)不包含運動學過程模型,而是將群體神經(jīng)元的反應(yīng)作為輸入,將空間坐標內(nèi)的運動速率作為輸出,通過最優(yōu)線性估計的方法進行解碼。早期很多腦機接口實驗室都用該方法進行解碼。后來,為滿足控制過程中的解碼連續(xù)性需求,需要有運動模型作參考以修正和優(yōu)化解碼器輸出,卡爾曼濾波器成為當前的主流解碼方法,其在離線、實時以及臨床試驗中都得到了廣泛的應(yīng)用。卡爾曼濾波的優(yōu)點是算法簡單,而且可以不需考慮神經(jīng)元具體編碼內(nèi)容即可解碼,因此可以實時快速解碼。其缺點在于解碼效果一般,且每次實驗之前都需較長的校準時間,另外,卡爾曼濾波解碼的系統(tǒng)魯棒性相對較差。為解決這些問題,國際上提出了很多方法,其中最具前景的方法主要包括類腦解碼器設(shè)計和神經(jīng)學習。類腦解碼器成為新一代解碼方法。最近一些皮層神經(jīng)元群體編碼特性研究結(jié)果表明,雖然大量的神經(jīng)元被記錄并用于腦機接口的解碼,但因大腦神經(jīng)元的信息編碼相對于運動是冗余的,用于控制的神經(jīng)元群體反應(yīng)維度要低于神經(jīng)元數(shù)量。因此在理論上可以找到一個隱藏或潛在的低維狀態(tài)空間來描述在該控制條件下的有效神經(jīng)元群體反應(yīng),并將這個狀態(tài)空間中的潛變量映射到相關(guān)行為或運動控制變量用于29腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)運動控制。將這些編碼特性應(yīng)用于解碼器設(shè)計,得到類腦的解碼器可用于腦機接口控制。目前學術(shù)研究結(jié)果表明,此類穩(wěn)定子空間是存在的。此方法的優(yōu)勢是雖然記錄到的神經(jīng)元群體信號有高噪聲且會發(fā)生變化,但其在子空間上的動力學過程一直穩(wěn)定,因此可以有效去除不穩(wěn)定記錄以及神經(jīng)元發(fā)放變化帶來的干擾,從而獲得更為魯棒的腦機接口系統(tǒng)。神經(jīng)學習提供新的解碼思路。當前還有一種前沿的腦機接口解碼方法是通過訓練大腦進行學習來使用腦機接口,即神經(jīng)學習(也稱腦機學習)。腦機接口系統(tǒng)中存在兩個學習系統(tǒng),一個是解碼器的機器學習,另外一個就是具有強大學習能力的神經(jīng)系統(tǒng)。腦機接口初期的實驗都體現(xiàn)了大腦學習本身的重要意義,但如何讓大腦學會使用腦機接口的解決方案尚不完善。腦機接口系統(tǒng)在使用過程中,閉環(huán)控制的練習可以導(dǎo)致神經(jīng)元為適應(yīng)用戶的運動系統(tǒng)而發(fā)生變化。因此,閉環(huán)過程中的解碼器與開環(huán)時的解碼器可能完全不同,結(jié)果表明提供快速的反饋比過濾錯誤更為重要,因此誕生了改進閉環(huán)性能的技術(shù),一般被稱為閉環(huán)解碼器適應(yīng)(Closed-LoopdecoderAdaptation,CLDA)。此類方法根據(jù)閉環(huán)腦機接口使用期間記錄的數(shù)據(jù)實時改進解碼器,讓解碼器根據(jù)用戶當前神經(jīng)信號的性質(zhì)來決定解碼器的結(jié)構(gòu)。此外,用戶的神經(jīng)系統(tǒng)也在實時學習如何應(yīng)用這個解碼器。兩者的相互結(jié)合以及相互促進得到了一個“腦機雙學習”的融合式腦機接口系統(tǒng)。此系統(tǒng)可以在神經(jīng)信號不穩(wěn)定時依然輸出穩(wěn)定的表現(xiàn),且僅需少量校準即30腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)可即插即用,同時魯棒性極高,在適應(yīng)新的應(yīng)用場景時有同時保留已學控制技巧并探索新控制方式的特性,因此極大的提高了腦機接口系統(tǒng)在實際應(yīng)用中的可能性。2.非植入式主流解碼技術(shù)分解算法是非植入式腦機接口系統(tǒng)的主流解碼算法。分解算法廣泛應(yīng)用于腦機接口系統(tǒng)的去噪與意圖解碼。分解算法通常使用矩陣分解或提取空間濾波器來增加不同類別意圖的解碼可分離性。大多數(shù)分解算法都是為特征提取而設(shè)計的,矩陣特征分解后通常需要連接到分類器。獨立成分分析(ICA)是使用廣泛的分解算法之一。ICA一方面可對不同源信號進行特征分析,另一方面還可用于去噪(例如去除眨眼成分、偽影信號等)。在解碼腦意圖時,不同腦機接口范式的分解算法存在差異。運動想象范式解碼多采用通用空間模式(CSP)及衍生算法。CSP可最大化不同分布的方差信號,例如對左右手運動想象進行分類。在CSP基礎(chǔ)上逐漸衍生出濾波器組CSP(FBCSP)、提議判別濾波器組CSP(DFBCSP)、臨時約束的稀疏組空間模式(TSGSP)等。穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)解碼多采用典型相關(guān)分析(CCA)及衍生算法。CCA算法有效解決了以往非空域分解算法難于處理的導(dǎo)聯(lián)挑選問題。近十年學者提出諸多CCA改進算法,例如濾波器組CCA(FBCCA)、任務(wù)相關(guān)成分分析(TRCA)、集成TRCA(eTRCA)、任務(wù)相關(guān)成分分析算法(mTRCA、TDCA等)。視覺P300電位解碼算法依托xDAWN算法和DCPM算法。目前有增強P300誘發(fā)電位的31腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)xDAWN算法以及將空間模式提取和模式匹配結(jié)合的DCPM算法。近十年以黎曼幾何為代表的流形算法在腦機接口系統(tǒng)中廣泛應(yīng)用。黎曼幾何算法通??梢杂糜趯ΨQ正定(SPD)矩陣的空間上應(yīng)用運算,進而提供一個統(tǒng)一的框架來處理不同的腦機接口范式。例如基于最小均值距離(MDM)和帶有測地線濾波(FgMDM)算法對MI任務(wù)進行分類。MDM類似于使用歐式距離而不是黎曼距離的最近鄰算法。FgMDM將協(xié)方差投影到切線空間,將線性判別分析(LDA)應(yīng)用于切線向量,然后將它們投影回帶有選定分量的SPD空間。黎曼框架由于具有擴展性,因此易于多場景應(yīng)用并與機器學習方法結(jié)合。深度學習算法在近年被引入腦機接口解碼研究?;贑NN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的Shal-lowConvNet和DeepConvNet模仿了FBCSP中的時間和空間濾波器,性能接近FBCSP。進一步利用深度可分離卷積代替普通卷積提出的EEGNet在SSVEP范式應(yīng)用中取得了很好的效果。CNN網(wǎng)絡(luò)模型具有的批處理歸一化功能也可用于視覺P300范式的解碼。進一步還有諸多深度學習的改進模型,例如CNN-RNN架構(gòu)、CNN-LSTM架構(gòu)。還有一些研究側(cè)重于腦機接口的數(shù)據(jù)擴增,進而得到更多的訓練數(shù)據(jù),提升解碼效果。典型的數(shù)據(jù)擴增網(wǎng)絡(luò)模型包括循環(huán)的對抗網(wǎng)絡(luò)(RGAN)、增強MI數(shù)據(jù)的C-LSTM模型等。遷移學習算法的進步是腦機接口走向應(yīng)用落地的關(guān)鍵。許多機器學習算法的訓練數(shù)據(jù)與測試數(shù)據(jù)來自相同的特征分布。此類算法在腦機接口應(yīng)用中,雖然面向單個被試在短時間內(nèi)可以取得良好性能,但32腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)在不同被試或相同被試不同時間的情況下性能則大幅下降。這些問題被稱為跨被試和跨時間的可變性問題。為了減輕這兩個問題的影響,通常需要一個校準階段來在每個會話開始時收集足夠的訓練數(shù)據(jù),但這會明顯增加系統(tǒng)使用的準備時間。遷移學習旨在利用源域中的先驗信息改進目標域中預(yù)測函數(shù)的學習過程,解決跨會話和跨主體的可變性問題。腦機接口的早期遷移學習算法側(cè)重于分解算法的改進。而后黎曼幾何法進一步促進了腦機接口的遷移學習算法進步。近年來,深度學習算法也開始應(yīng)用于遷移學習領(lǐng)域。此外,其他領(lǐng)域的遷移學習方法也在腦機接口研究中有一定的借鑒,例如信息幾何(STIG)的光譜傳輸算法在快速序列視覺呈現(xiàn)范式(RSVP)的驗證;融合轉(zhuǎn)移分量分析(TCA)和聯(lián)合分布適應(yīng)(JDA)提出的用于腦機接口的流形嵌入知識轉(zhuǎn)移(MEKT)方法。四、典型應(yīng)用場景和需求(一)腦狀態(tài)檢測1.腦功能評估與輔助診斷(1)場景描述腦機接口系統(tǒng)已逐步應(yīng)用于腦功能評估與輔助診斷。由于頭皮腦電(Electroencephalograph,EEG)信號具有高度非線性且隨機特點,使用信號處理技術(shù)可以很容易區(qū)分正常和異常的大腦活動,因此腦部受傷等癥狀或疾病都可以使用腦電圖來診斷許多與神經(jīng)病學相關(guān)的疾病,例如癲癇、睡眠障礙、腫瘤、抑郁癥、自閉癥等疾病。33腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)(2)關(guān)鍵需求在準確方面,基于腦信號解碼的疾病輔助診斷已逐漸在臨床上應(yīng)用落地。經(jīng)過對產(chǎn)業(yè)相關(guān)技術(shù)現(xiàn)狀的調(diào)研,此類系統(tǒng)最關(guān)鍵的指標即為識別正確率,通常需要達到90%以上。當然,也并非一味追求高識別正確率,而由不同疾病以及支撐技術(shù)發(fā)展現(xiàn)狀決定。在高效方面,腦功能評估與輔助診斷對系統(tǒng)的響應(yīng)交互速度要求相對不高,大致有15分鐘出結(jié)果即可。當然根據(jù)技術(shù)發(fā)展水平而言,實際操作中還是越快越好。但是對人機協(xié)同訓練時長要求較高,因為抑郁癥、自閉癥等患者的測試配合度通常遠低于常人,準備過程的耗時需要盡量縮短。在穩(wěn)定方面,腦疾病輔助診斷設(shè)備的需求不高,通常是在固定的使用環(huán)境應(yīng)用,對外界干擾可以做一定的場地限制。在易用方面,腦疾病輔助診斷設(shè)備的需求相對較低,檢測過程通常不會持續(xù)太久,且在臨床環(huán)境使用,使用者對輕便的需求相對不明顯,只要不對使用者造成明顯負擔即可。2.腦紋識別(1)場景描述在當前的數(shù)字信息社會中,個人身份驗證技術(shù)是個人和企業(yè)安全系統(tǒng)中必不可少的工具。腦紋具有高隱蔽性、不可竊取性、不可仿制性以及必須活體等方面的獨特優(yōu)勢,因此在機密性、安全性要求較高34腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)的應(yīng)用場合中,可以使用腦電波進行身份識別。(2)關(guān)鍵需求在準確方面,基于腦電信號的身份驗證、識別將在個人消費支付、軍事設(shè)備控制上應(yīng)用落地。經(jīng)過對產(chǎn)業(yè)相關(guān)技術(shù)現(xiàn)狀的調(diào)研,我們認為腦電身份驗證系統(tǒng)最關(guān)鍵的指標即為驗證識別正確率,通常需要大于等于99%。在高效方面,基于腦電的身份驗證和識別對系統(tǒng)的響應(yīng)交互速度有一定要求。在穩(wěn)定采集腦電信號的前提下,一般需要1分鐘內(nèi)輸出結(jié)果。在公安刑偵、金融支付等場合均需要應(yīng)用任務(wù)能快速部署,因此設(shè)備的準備過程耗時需要盡量縮短。在穩(wěn)定方面,腦電身份驗證識別對系統(tǒng)的穩(wěn)定性要求較高。具體體現(xiàn)在三個方面:一是具有跨任務(wù)狀態(tài)的穩(wěn)定性;二是具有跨時段的穩(wěn)定性;三是具有跨系統(tǒng)的穩(wěn)定性。前兩者的穩(wěn)定性可以通過算法模型來增強。最后的跨系統(tǒng)的穩(wěn)定性,需要腦機接口行業(yè)盡快建立起數(shù)據(jù)采集的通用標準。在易用方面,腦電身份驗證識別對系統(tǒng)便攜易用需求相對較高,驗證識別過程通常不能持續(xù)太久,最好是干電極、金屬電極或者生物凝膠電極等易用操作傳感設(shè)備,避免使用操作繁瑣的濕電極。3.安全監(jiān)控(1)場景描述35腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)傳統(tǒng)的安全生產(chǎn)監(jiān)管模式長期以來都是圍繞制度安全和設(shè)備安全展開,對人員狀態(tài)突變造成的安全事故無法預(yù)測預(yù)警,當事故發(fā)生后無法對現(xiàn)場人員進行及時發(fā)現(xiàn)救助,也無法從人員角度對安全隱患進行排查分析。腦機接口系統(tǒng)基于對大腦狀態(tài)的實時讀取和解析,將作業(yè)人員和生產(chǎn)作業(yè)安全相關(guān)的大腦狀態(tài)進行了綜合數(shù)字化呈現(xiàn),結(jié)合大數(shù)據(jù)技術(shù)賦能人員安全生產(chǎn)監(jiān)管,實現(xiàn)人員安全事故的預(yù)測預(yù)警、事故發(fā)生的自動報警和現(xiàn)場反饋自救,也讓管理者能夠從人員安全數(shù)據(jù)的角度進行風險隱患排查。因此腦機接口系統(tǒng)可用于危化品生產(chǎn)、施工作業(yè)、應(yīng)急救援、冶煉生產(chǎn)等眾多場景。(2)關(guān)鍵需求在準確方面,由于涉及作業(yè)人員的安全,系統(tǒng)必須具有極高識別正確率,確保在極端狀態(tài)下準確及時的進行事故預(yù)警和報警。為此,要保留適度的算法冗余度,在降低誤報率的條件下盡量提升準確度,確保在安全事故發(fā)生時準確率達到99%以上。在高效方面,復(fù)雜工況環(huán)境要求腦機接口系統(tǒng)做到無干擾快速響應(yīng)。為此,要搭建以高精度微弱腦電信號采集和實時分析系統(tǒng),結(jié)合高效穩(wěn)定的無線傳輸技術(shù),具有互操作性的跨平臺應(yīng)用程序接口,最終實現(xiàn)即戴即用、實時監(jiān)測和秒級響應(yīng)。在穩(wěn)定方面,工業(yè)場景的規(guī)模化商用要解決三個主要問題,一是在工況作業(yè)等高噪聲強干擾場景中獲取高信噪比的腦電信號,需要積累各種作業(yè)工況環(huán)境中腦電參數(shù)數(shù)據(jù)庫,不斷優(yōu)化工程算法濾波器,36腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)提升整體信號質(zhì)量;二是少量通道條件下實現(xiàn)復(fù)雜腦狀態(tài)實時分析計算。工業(yè)場景的條件限制導(dǎo)致只能采用少量信息通道,這對低信息量條件下的實時腦狀態(tài)分析對算法提出了更高的要求;三是腦機接口系統(tǒng)在工業(yè)場景規(guī)模化商用中,不同群體和個體之間的差異對于魯棒性構(gòu)成了嚴峻挑戰(zhàn)。為此,需要根據(jù)實際場景數(shù)據(jù)不斷優(yōu)化算法,迭代數(shù)據(jù)模型,提升腦機接口系統(tǒng)的魯棒性。在易用方面,在真實惡劣環(huán)境中應(yīng)用要確保高精度微弱腦電信號采集設(shè)備小型化、便攜化、可穿戴。這需要在已有防護裝備中進行便攜化腦機接口系統(tǒng)的嵌入式改造,并在電極性能、人因工程、材料設(shè)計、防水防塵等諸多方面進行優(yōu)化定型,既要滿足現(xiàn)場人員無痕式佩戴的舒適度體驗,又要適應(yīng)各種高溫、高濕、高粉塵的外界強干擾環(huán)境,保證高精度腦電信號的穩(wěn)定采集和傳輸效率。(二)神經(jīng)調(diào)控神經(jīng)調(diào)控技術(shù)利用植入性或非植入性技術(shù),采用電刺激或藥物手段改變中樞神經(jīng)、外周神經(jīng)或自主神經(jīng)系統(tǒng)活性從而來改善患病人群的癥狀。腦機接口相關(guān)的神經(jīng)調(diào)控技術(shù)主要包括腦深部電極刺激(DBS)、迷走神經(jīng)刺激(VNS)、經(jīng)顱磁刺激(TMS)、經(jīng)顱交流刺激(tACS)、經(jīng)顱直流刺激(tDCS)、經(jīng)顱超聲刺激(TUS)、經(jīng)顱電刺激和神經(jīng)反饋(Neurofeedback)技術(shù)。37腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)1.有創(chuàng)神經(jīng)調(diào)控(1)場景描述DBS是典型的有創(chuàng)型神經(jīng)調(diào)控技術(shù)。傳統(tǒng)的方法是通過脈沖電刺激實現(xiàn)調(diào)控。其電流、頻率、脈寬等參數(shù)通過醫(yī)生“試錯”的方式對調(diào)控效果進行觀察并調(diào)整。隨著腦機接口技術(shù)的進步,閉環(huán)的神經(jīng)調(diào)控通過增加感知模塊可以對不同腦狀態(tài)進行實時調(diào)控,這種刺激效果更靈活,更適應(yīng)、更自動化,從而達到更好的治療效果和更小的副作用。國外已經(jīng)進入成熟商業(yè)化應(yīng)用的領(lǐng)域包括癲癇、帕金森、強迫癥等,正在探索中的疾病包括成癮、抑郁、阿爾茲海默癥等神經(jīng)疾病。(2)關(guān)鍵需求在準確方面,應(yīng)用于醫(yī)療領(lǐng)域的神經(jīng)調(diào)控設(shè)備產(chǎn)生的脈沖刺激有一定限制,對神經(jīng)組織損失較小且可逆,同時神經(jīng)調(diào)控具備短期和長期的兩種作用機制,因此,對識別正確率未作苛刻要求。在高效方面,人機交互響應(yīng)速度隨病種而導(dǎo)致要求不同。癲癇等疾病對快速響應(yīng)的要求較高,在腦電已發(fā)生改變且臨床癥狀出現(xiàn)前做出判斷,并以刺激方式抑制癲癇發(fā)作?,F(xiàn)有的商業(yè)設(shè)備數(shù)據(jù)顯示,約秒計算時間能完成癲癇發(fā)作的監(jiān)測和刺激的反饋。對于抑郁、帕金森等疾病,對快速響應(yīng)交互性要求則相對較低,不大于4秒即可。在穩(wěn)定方面,采用微創(chuàng)或有創(chuàng)神經(jīng)調(diào)控技術(shù)能夠在一定程度上避免顱骨對采集和刺激信號造成衰減,因此在復(fù)雜環(huán)境下通常能夠?qū)崿F(xiàn)38腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)人機穩(wěn)定交互以及快速應(yīng)用體驗。但要防止在極端惡劣環(huán)境條件下應(yīng)用此技術(shù)(例如,電磁干擾、極端溫度、壓力變化),從而對設(shè)備產(chǎn)生信號干擾,從實踐來看,已有證據(jù)表明RFID設(shè)備、高壓氧倉、強電磁干擾環(huán)境有可能導(dǎo)致信號偽跡,從而產(chǎn)生誤刺激。閉環(huán)神經(jīng)調(diào)控的應(yīng)用由于以有創(chuàng)或微創(chuàng)為主,因此對長期穩(wěn)定使用要求較高。一方面要求神經(jīng)界面能夠長期穩(wěn)定進行采集和刺激,減少由于纖維蛋白增生導(dǎo)致的采集和刺激失效;另一方面要求功耗更低以降低人體損害,以及電池容量更大以實現(xiàn)長期工作,避免頻繁更換電池等二次手術(shù)造成新的創(chuàng)傷。從當前技術(shù)發(fā)展來看,神經(jīng)刺激器的工作有效期已經(jīng)從傳統(tǒng)的三至五年延長至十年甚至更長時間,并已開發(fā)安全的可充電技術(shù),滿足在人體內(nèi)長期穩(wěn)定的工作需求。在易用方面,植入醫(yī)療器械為滿足更加輕便的需求當前多通過微創(chuàng)方案解決。傳統(tǒng)的神經(jīng)刺激器體積較大,約30cm3左右,且需要在胸內(nèi)和腦內(nèi)植入并通過引線連接。采用微創(chuàng)技術(shù)則可實現(xiàn)輕便性目標,植入體的體積僅需顱骨切除,或者磨骨即可植入,從而減少手術(shù)創(chuàng)傷以及術(shù)后并發(fā)癥幾率,因此有創(chuàng)植入正在朝向微創(chuàng)植入方向發(fā)展。2.無創(chuàng)神經(jīng)調(diào)控(1)場景描述孤獨癥(又稱自閉癥)譜系障礙是一種嚴重的神經(jīng)發(fā)育疾病,據(jù)美國疾病控制與預(yù)防中心(CDC)2021年12月調(diào)查結(jié)果顯示,在過去二十年里美國自閉癥患病率持續(xù)上升,2018年調(diào)查的8歲兒童中39腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)自閉癥患病率為2.27%,高于上一個報告期(2016年)的1.85%。我國的自閉癥患病率調(diào)查數(shù)據(jù)為至少1%。作為腦機接口技術(shù)的重要研究和應(yīng)用方向,基于神經(jīng)反饋的數(shù)字療法是自閉癥領(lǐng)域技術(shù)發(fā)展的前沿和必然趨勢。國際公認的應(yīng)用行為分析(appliedbehavioranalysis,ABA)療法有效率一般不超過50%?,F(xiàn)已有實踐表明,疑似或確診的孤獨癥譜系障礙患者在康復(fù)過程中,針對社交與交流缺陷,通過非侵入式可穿戴腦機接口系統(tǒng),結(jié)合智能神經(jīng)反饋訓練技術(shù),進行基于大腦實時信號的評測和閉環(huán)干預(yù),并與應(yīng)用行為分析、言語治療、作業(yè)(職能)治療等方法結(jié)合,能夠促進神經(jīng)可塑性,提高社交腦功能,提升行為訓練效果。(2)關(guān)鍵需求在準確方面,需要以醫(yī)療級別腦電帽90%以上的信號精度記錄腦電波,以85%以上的識別正確率解碼社交腦的腦電生物學指標,并以符合患者學習風格的方式提供反饋。在高效方面,需要能夠在200Hz以上的采樣率、2000ms以內(nèi)的解碼和反饋速度,以非人工的方式為患者提供有效的強化。在穩(wěn)定方面,有實踐表明,通過符合患者學習風格的方式構(gòu)建交互方式,讓超過95%的患者堅持每周使用系統(tǒng)3次以上,總時長超過每周3小時則使用效果較好。且腦機接口系統(tǒng)與應(yīng)用軟件的通訊方式在實踐中表明,需要有穩(wěn)定的短距離無線連接能力,通信線路在3小時內(nèi)應(yīng)保持不中斷。40腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)在易用方面,應(yīng)用軟件需要具有互操作性,能適配多種主流操作系統(tǒng)、多款市面主流終端設(shè)備,操作需要降低門檻、降低專業(yè)知識門檻,讓康復(fù)機構(gòu)初級康復(fù)師、患者及家屬均可快速入門使用。系統(tǒng)也應(yīng)不需要涂抹導(dǎo)電膏和佩戴有線設(shè)備等,這樣能促進患者在醫(yī)院以外的地方接受治療。(三)對外交互1.協(xié)助溝通(1)場景描述腦機接口可為漸凍癥、中風康復(fù)患者等失去語言交流功能的人員實現(xiàn)腦電打字系統(tǒng),提高患者的生活質(zhì)量。未來還可應(yīng)用于人與人之間的隱秘交互,該交互過程無聲響和無肢體動作。腦機打字從技術(shù)應(yīng)用角度可分為植入式腦機接口打字系統(tǒng)與非植入式腦機接口打字系統(tǒng)。上述兩種系統(tǒng)對關(guān)鍵特征的需求存在差異。植入式腦機接口打字系統(tǒng)對使用者會造成一定的腦部創(chuàng)傷,但由于采集的信號質(zhì)量更高,因此具有更強的系統(tǒng)性能。因此植入式腦機打字系統(tǒng)在快速響應(yīng)、高準確率、長期穩(wěn)定方面需求強烈。同時受限于植入式系統(tǒng)的技術(shù)發(fā)展現(xiàn)狀,存在穩(wěn)定交互、快速應(yīng)用、輕便易用方面的需求,使用者只需要在固定、安全、噪聲穩(wěn)定的環(huán)境長期使用即可。非植入式腦機接口打字系統(tǒng)相比植入式腦機打字系統(tǒng)采集的信41腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)號質(zhì)量較低,但具有快速應(yīng)用、安全無創(chuàng)的特點。該系統(tǒng)在快速響應(yīng)交互、識別正確率方面的要求較高,但系統(tǒng)性能低于植入式系統(tǒng)。非植入式腦機打字系統(tǒng)在快速應(yīng)用體驗、輕便性、抗干擾實現(xiàn)穩(wěn)定交互方面也有很高的需求。但在長時穩(wěn)定交互方面要求較植入式系統(tǒng)相對較低。最近,也有通過介入式植入電極的腦機接口打字系統(tǒng)。該系統(tǒng)通過顱內(nèi)血管的支架式電極采集信號,避免了對腦組織的創(chuàng)傷。此種植入方式的腦機接口系統(tǒng)除了在快速響應(yīng)、高準確率及輕便易用方面有很高的要求,而且對長效性的要求也非常高。(2)關(guān)鍵需求在準確方面,識別正確率指標是腦機打字系統(tǒng)的核心競爭力,通常腦機打字系統(tǒng)的正確率應(yīng)高于95%才具有較好的實用效果。在高效方面,腦機打字系統(tǒng)優(yōu)劣的重要指標之一就是響應(yīng)時間。腦機打字系統(tǒng)的單次響應(yīng)時間理想值在0.5秒~1.5秒之間,響應(yīng)時間低于0.5秒時較難保持識別正確率,單次響應(yīng)時間超過1.5秒也將導(dǎo)致用戶體驗較差。在穩(wěn)定方面,目前的腦機打字系統(tǒng)大多應(yīng)用于固定環(huán)境,因此對抗干擾性能的要求并不迫切。但從需求出發(fā),在未來腦機打字系統(tǒng)用于人與人之間隱秘交互方面則需具備較強的抗干擾穩(wěn)定交互能力。植入式腦機接口系統(tǒng)都需要保證至少1年的穩(wěn)定使用時長,1年是長期隨訪期的最低要求,也是可以開展臨床試驗的最低要求。作為醫(yī)療器42腦機接口總體愿景與關(guān)鍵技術(shù)研究報告(2022年)械,穩(wěn)定使用時長最好在十年以上。在易用方面,植入式腦機打字系統(tǒng)的輕便性要求相對較低,在脖子以上的非植入式系統(tǒng)配重不應(yīng)大于500g,最好小于200g,同時最好能減少導(dǎo)電膏的使用。在準備時長方面,植入式需要手術(shù)花費一定時間。非植入式腦機打字系統(tǒng)目前需要在10分鐘內(nèi)完成裝配準備調(diào)試,該時間越短越好。在人機協(xié)同訓練時長方面,植入式與非植入式系統(tǒng)均希望采用“冷啟動”的方式,即使用者可直接開展系統(tǒng)應(yīng)用,機器在使用過程中快速迭代解碼算法,在10分鐘甚至更短時間內(nèi)達到針對個體優(yōu)化的腦信息解碼精準度。2.面向醫(yī)療康復(fù)的外設(shè)控制(1)場景描述據(jù)估計,世界上近1%的人口患有腦血管疾病后遺癥。這些后遺癥包括運動功能受損、一般認知缺陷、生成或處理語言困難以及情緒狀態(tài)的改變,這些現(xiàn)象是中風后常見現(xiàn)象。這些患者中近30%患有慢性運動障礙,其中偏癱是中風后最

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論