心理生理信息感知關(guān)鍵技術(shù)及應(yīng)用

1、項(xiàng)目名稱： 心理生理信息感知關(guān)鍵技術(shù)及應(yīng)用提名獎(jiǎng)種： 20182018年度國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng) 主要完成人： 胡斌、徐向民、鄭文明、栗覓、馬義德、趙慶林 完成單位： 蘭州大學(xué)、華南理工大學(xué)、東南大學(xué)、北京工業(yè)大學(xué) 項(xiàng)目簡(jiǎn)介：當(dāng)前，腦科學(xué)及新一代人工智能的發(fā)展迫切需要有效地量化 “感” + +“知”人體的心理生理信息。通過(guò)有效感知人體心理生理信息并進(jìn) 行深入的量化分析，一方面可以對(duì)心理障礙（如抑郁、狂躁）實(shí)施客 觀量化評(píng)估，繼而實(shí)現(xiàn)早期診斷、早期干預(yù)；另一方面，對(duì)于豐富我 國(guó)安防和反恐甄別手段、 提升軍事人員履職能力等具有重要意義。 同 時(shí)，新一代人工智能中的“人機(jī)混合智能”特別強(qiáng)調(diào)機(jī)器的“類人

2、” 智能協(xié)同能力，而有效感知人體心理生理信息，理解人的情感、注意 等認(rèn)知心理狀態(tài)是實(shí)現(xiàn)人機(jī)混合智能的前提。然而，心理生理信息具有時(shí)序性、多變性和復(fù)雜性等特征，如何 在自然情境中普適地、 有效地獲取心理生理信息就成為心理生理信息 量化感知所面臨的一個(gè)首要難題； 另外，心理生理信息所具有的非結(jié) 構(gòu)化、低價(jià)值密度等特點(diǎn)也使其有效量化分析變得異常困難； 最大的 挑戰(zhàn)還在于認(rèn)知心理狀態(tài)與心理生理信息之間的映射關(guān)系異常復(fù)雜， 易受個(gè)體差異、時(shí)間及所處環(huán)境的影響，如何找出具有可靠性、復(fù)現(xiàn) 性和普遍性的關(guān)聯(lián)關(guān)系就成為能否實(shí)現(xiàn)量化感知的關(guān)鍵。鑒于此，本項(xiàng)目提出了“心理生理計(jì)算理論及方法” ，旨在創(chuàng)新 生物傳感及

3、普適化心理生理信息獲取技術(shù)， 探索特征優(yōu)化、 多模數(shù)據(jù) 融合等智能算法，依據(jù)心理生理學(xué)建立面向認(rèn)知心理狀態(tài)與功能的新 型計(jì)算理論與方法。本項(xiàng)目從普適化生理信號(hào)、語(yǔ)音、表情、眼動(dòng)等 多模態(tài)感知信號(hào)入手，發(fā)明了便攜式生物傳感設(shè)備及心理生理數(shù)據(jù)量 化分析方法，對(duì)“心理生理計(jì)算理論及方法”進(jìn)行了有效的實(shí)踐，主 要技術(shù)發(fā)明包括：一、提出了面向心理生理信息量化感知的便攜式腦電信號(hào)采集、 實(shí)時(shí)去噪、電極部署及量化分析的一體化解決方案，開(kāi)發(fā)了在功耗、 精度、采樣率等多項(xiàng)技術(shù)指標(biāo)上均優(yōu)于國(guó)際知名商業(yè)產(chǎn)品的便攜式腦 電傳感器，結(jié)合優(yōu)選的極簡(jiǎn)電極部署方案以及創(chuàng)新的眼電偽跡去除和 特征提取算法，解決了腦電信號(hào)的普適化

4、高質(zhì)量采集和有效傳輸?shù)入y 題，實(shí)現(xiàn)了以腦電信號(hào)為主、前額溫度為輔的心理狀態(tài)有效評(píng)估，研 制出了第一個(gè)便攜式三導(dǎo)聯(lián)抑郁障礙評(píng)估系統(tǒng)， 在抑郁障礙量化評(píng)估 及持續(xù)性監(jiān)測(cè)等問(wèn)題上取得了重大突破。二、提出了針對(duì)語(yǔ)音信息有效量化感知的核半監(jiān)督判別分析方法，實(shí)現(xiàn)了基于說(shuō)話人懲罰圖學(xué)習(xí)算法的特征維數(shù)約簡(jiǎn)，解決了語(yǔ)音信息受個(gè)體差異影響較大而導(dǎo)致情感識(shí)別率較低的難題，并提出首個(gè)基于中文語(yǔ)音的心理狀態(tài)識(shí)別方法，通過(guò)量化分析中文語(yǔ)音幀不同特 征的時(shí)序模式，通過(guò)多段語(yǔ)音幀集成學(xué)習(xí)產(chǎn)生最終的心理狀態(tài)評(píng)估結(jié) 果。同時(shí)，填補(bǔ)了當(dāng)前基于語(yǔ)音的抑郁狀態(tài)識(shí)別僅限于英語(yǔ)、德語(yǔ)等 少數(shù)語(yǔ)種，缺乏中文語(yǔ)音分析和評(píng)估系統(tǒng)的空白。三、提出

5、了針對(duì)面部表情有效量化感知的圖像顏色恒溫性處理及 姿態(tài)歸一化方法，在提升圖像濾波和分塊效果的同時(shí)， 一定程度上解 決了人臉姿態(tài)變化造成表情類內(nèi)差異大的問(wèn)題， 并基于面部動(dòng)作分塊 單元的組合及順序關(guān)系，結(jié)合 AAMAAM 模型實(shí)現(xiàn)了視頻序列中的面部表 情有效識(shí)別。 同時(shí)整合面部表情和語(yǔ)音， 提出了基于核降秩回歸的情 感識(shí)別融合算法，在心理狀態(tài)的多模融合分析方面取得重要突破。四、提出了基于瞳孔直徑的“情感帶寬”新概念，發(fā)明了針對(duì)個(gè) 體情感反應(yīng)異常程度的有效量化分析方法。 通過(guò)瞳孔直徑這一物理指 標(biāo)客觀地度量正性、 負(fù)性情緒體驗(yàn)的大小和范圍， 解決了以往個(gè)體對(duì) 于外界情緒體驗(yàn)的主觀評(píng)分方法所存在的模

6、糊性、 不確定性、 缺乏整 體性和動(dòng)態(tài)性等問(wèn)題， 研制出了第一臺(tái)情感帶寬心理狀態(tài)測(cè)試儀， 實(shí) 現(xiàn)了基于瞳孔直徑的抑郁障礙有效量化評(píng)估。本項(xiàng)目核心技術(shù)共獲授權(quán)發(fā)明專利 2020 多項(xiàng)，其中核心發(fā)明專利 1010項(xiàng)（包括美國(guó)發(fā)明專利1 1項(xiàng)），發(fā)表相關(guān)SCISCI論文4040余篇，累計(jì)被 引用次數(shù)達(dá)到 16001600多次。專家鑒定認(rèn)為，本項(xiàng)目成果立題新穎，創(chuàng) 新性強(qiáng)，并具有重大的推廣應(yīng)用價(jià)值，經(jīng)濟(jì)效益和社會(huì)效益顯著，與 國(guó)內(nèi)外同類技術(shù)研究相比較， 其整體技術(shù)指標(biāo)達(dá)到國(guó)際先進(jìn)水平， 部 分達(dá)到國(guó)際領(lǐng)先水平。 同時(shí)，本項(xiàng)目部分核心技術(shù)及應(yīng)用分別獲教育 部科學(xué)研究?jī)?yōu)秀成果獎(jiǎng) 20162016年度技術(shù)發(fā)

7、明一等獎(jiǎng)和 2020 1 1 5 5年度自然科 學(xué)二等獎(jiǎng)。目前，通過(guò)與產(chǎn)業(yè)界積極合作，聯(lián)合攻關(guān)，本項(xiàng)目涉及的 各項(xiàng)技術(shù)發(fā)明及創(chuàng)新理論已經(jīng)在廣州匯智通信技術(shù)有限公司、 德賽信 息科技有限公司、瑞士 RUI-TechRUI-Tech GmbHGmbH、宏智力科技有限公司、廣 東省中山市讀書(shū)郎電子有限公司等多家企業(yè)的相關(guān)產(chǎn)品中得到了應(yīng) 用，產(chǎn)生經(jīng)濟(jì)效益約 2020億元。相關(guān)原型產(chǎn)品還用于包括北京安定醫(yī)院、上海精神衛(wèi)生中心、天水市第三人民醫(yī)院、軍事醫(yī)學(xué)科學(xué)院在內(nèi)的多家醫(yī)療或科研機(jī)構(gòu)的臨床和前沿研究工作中， 涉及抑郁障礙的臨 床研究及輔助診斷、 單兵典型情緒的實(shí)時(shí)監(jiān)控等， 累計(jì)開(kāi)展臨床實(shí)驗(yàn) 170017

8、00多人次。 20172017年本項(xiàng)目獲批軍委科技委有關(guān)軍事人員精神狀態(tài) 評(píng)估的重大項(xiàng)目立項(xiàng)，項(xiàng)目總金額達(dá)到 30003000萬(wàn)元。由此可見(jiàn)，本項(xiàng) 目核心技術(shù)已經(jīng)取得了突出的實(shí)際應(yīng)用效果， 經(jīng)濟(jì)效益和社會(huì)效益顯 著?？陀^評(píng)價(jià)：1)1)成果鑒定意見(jiàn)20162016年5 5月 1818日由蘭州大學(xué)組織召開(kāi)的專家鑒定會(huì)認(rèn)為，本項(xiàng) 目成果立題新穎，創(chuàng)新性強(qiáng)，并具有重大的推廣應(yīng)用價(jià)值，經(jīng)濟(jì)效益 和社會(huì)效益顯著， 與國(guó)內(nèi)外同類技術(shù)研究相比較， 其整體技術(shù)指標(biāo)達(dá) 到國(guó)際先進(jìn)水平，部分達(dá)到國(guó)際領(lǐng)先水平。2)2) 項(xiàng)目曾獲科技獎(jiǎng)勵(lì)情況“心理生理信息感知關(guān)鍵技術(shù)及應(yīng)用”獲得 20162016 年度教育部科學(xué) 研究

9、優(yōu)秀成果獎(jiǎng)技術(shù)發(fā)明一等獎(jiǎng)。 “魯棒人臉視覺(jué)特征的提取、建模 與識(shí)別的理論和方法研究”獲得 20152015 年度教育部科學(xué)研究?jī)?yōu)秀成果 獎(jiǎng)自然科學(xué)二等獎(jiǎng)。推廣應(yīng)用情況：通過(guò)與產(chǎn)業(yè)界積極合作， 聯(lián)合攻關(guān)， 本項(xiàng)目涉及的各項(xiàng)技術(shù)發(fā)明 及創(chuàng)新理論已經(jīng)深圳宏智力科技有限公司、上海樂(lè)相科技有限公司、 深圳市德力凱醫(yī)療設(shè)備股份有限公司、 廣東省中山市讀書(shū)郎電子有限公司、惠州德賽信息科技有限公司、廣州匯智通信技術(shù)有限公司、北 京愛(ài)生科貿(mào)有限公司、瑞士 RUI-TechRUI-Tech GmbHGmbH公司等企業(yè)的產(chǎn)品中得 到了的應(yīng)用，累計(jì)經(jīng)濟(jì)效益約 2020億元人民幣。而相關(guān)原型產(chǎn)品也已 經(jīng)用于北京安定醫(yī)院

10、、上海精神衛(wèi)生中心、蘭州市第三人民醫(yī)院、天 水市第三人民醫(yī)院等多家國(guó)內(nèi)醫(yī)療機(jī)構(gòu)的心理障礙診斷臨床實(shí)驗(yàn)和 軍事醫(yī)學(xué)科學(xué)院、中國(guó)科學(xué)院心理研究所計(jì)算網(wǎng)絡(luò)心理實(shí)驗(yàn)室等多家 科研機(jī)構(gòu)的相關(guān)研究，累計(jì)開(kāi)展臨床實(shí)驗(yàn)17001700多人次。20172017年本項(xiàng)目獲批軍委科技委有關(guān)軍事人員精神狀態(tài)評(píng)估的重大項(xiàng)目立項(xiàng)，項(xiàng)目總金額達(dá)到30003000萬(wàn)元。主要知識(shí)產(chǎn)權(quán)證明目錄:知識(shí) 產(chǎn)權(quán) 類別知識(shí)產(chǎn)權(quán) 具體名稱家地 國(guó) 區(qū)授權(quán)號(hào)授權(quán)日期證書(shū)編號(hào)權(quán)利人發(fā)明人專利有效狀態(tài)發(fā)明專利一種腦電與溫度相結(jié)合的抑郁人群判定方法中國(guó)ZL201610709400.9201711032680688蘭州大學(xué)胡斌；趙慶林；彭 宏；周昱

11、；李志學(xué)；彭茹；馬永昊有效發(fā)明專利一種基于單幅圖像的顏色恒常性處理方法中國(guó)ZL201110248011.8201304101170427華南理工大學(xué)徐向民；翁俊武；葉佳木有效發(fā)明專利一種基于核半監(jiān)督的語(yǔ)言情感識(shí)別方法中國(guó)ZL201310549224.3201609072231331東南大學(xué)鄭文明；徐新洲；趙 力；魏昕；余華；黃 程韋；劉健剛有效發(fā)明專利一種情感帶寬測(cè)定方法和系統(tǒng)中國(guó)ZL201410440520.4201508261771700北京工業(yè)大學(xué)栗覓；呂勝富；王剛；鐘寧有效發(fā)明專利一種便攜式腦電采集方法中國(guó)ZL201510511712.4201609212246716蘭州大學(xué)胡斌；趙慶

12、林；彭宏有效發(fā)明專利一種可穿戴的并饋天線中國(guó)ZL201510398584.7201608242210462蘭州大學(xué)胡斌、高國(guó)平、彭宏、 賀樂(lè)樂(lè)、趙晉寧、田曉龍有效發(fā)明專利一種基于AAM模型的視頻序列人臉識(shí)別方法中國(guó)ZL201310445776.X201702082372744華南理工大學(xué)徐向民；陳曉仕；黃卓彬；林旭斌有效發(fā)明專利一種姿態(tài)歸一化的非正面人類表情識(shí)別方法中國(guó)ZL201310261775.X201705242494604東南大學(xué)鄭文明；馮天從有效發(fā)明專利一種基于說(shuō)話人懲罰的獨(dú)立于說(shuō)話人語(yǔ)言情感識(shí)別方法中國(guó)ZL201410078383.4201608242198004東南大學(xué)鄭文明；徐

13、新洲；趙 力；黃程韋；余華；吳塵；查誠(chéng)有效發(fā)明專利Affective BandwidthMeasurement andAffective DisorderDetermination美國(guó)14/731,92820170103US009532711B2北京工業(yè)大學(xué)MiLi;Sengfulv;GangWang; NingZhong有效主要完成人情況:姓名排名職務(wù)/職稱工作單位/完成單位對(duì)本項(xiàng)目技術(shù)創(chuàng)造性貢獻(xiàn)胡斌1院長(zhǎng)/ 教授蘭州大學(xué)/ 蘭州大學(xué)項(xiàng)目負(fù)責(zé)人，負(fù)責(zé)項(xiàng)目總體思路、技術(shù)方法、技術(shù)路線的 設(shè)計(jì)，對(duì)發(fā)明創(chuàng)新一、二、三、四均有重要貢獻(xiàn)，提出了 心理生理可計(jì)算理論及方法，確立了心理生理學(xué)與信息科 學(xué)相

14、融合的研究方向。發(fā)明創(chuàng)新一主要提出面向心理生理 信息量化感知的便攜式腦電信號(hào)采集、實(shí)時(shí)去噪、電極部 署及量化分析的一體化解決方案，研制出了具有國(guó)際先進(jìn) 水平的便攜式腦電采集系統(tǒng)，實(shí)現(xiàn)了以腦電信號(hào)為主、前 額溫度為輔的抑郁障礙有效評(píng)估；發(fā)明創(chuàng)新二主要提出了 基于中文語(yǔ)音的抑郁障礙識(shí)別方法，填補(bǔ)了當(dāng)前國(guó)際上基 于語(yǔ)音的抑郁障礙識(shí)別僅限于英語(yǔ)、德語(yǔ)等少數(shù)語(yǔ)種，缺 乏中文語(yǔ)音分析和評(píng)估系統(tǒng)的空白；發(fā)明創(chuàng)新三主要整合 了語(yǔ)音和面部表情，提出了面向心理狀態(tài)評(píng)估的多模融合 分析方法；發(fā)明創(chuàng)新四主要基于“情感帶寬”技術(shù)，聯(lián)合 提出了面向抑郁患者注意偏向的量化評(píng)估方法，實(shí)現(xiàn)了抑 郁障礙的有效客觀評(píng)估。以第一作者

15、/通訊作者發(fā)表相關(guān)SCI論文40余篇，獲得相關(guān)授權(quán)國(guó)家發(fā)明專利4項(xiàng)。2016年獲得教育部科學(xué)研究?jī)?yōu)秀成果獎(jiǎng)技術(shù)發(fā)明一等獎(jiǎng)，2014年獲得第五屆中國(guó)僑界貢獻(xiàn)獎(jiǎng)。徐向民2副院長(zhǎng)/教授華南理工大 學(xué)/華南理 工大學(xué)項(xiàng)目主要完成人，對(duì)發(fā)明創(chuàng)新三有重要貢獻(xiàn)，主要提出了 一種針對(duì)面部表情有效量化感知的圖像顏色恒溫性處理方 法，實(shí)現(xiàn)了基于 AAM模型的視頻序列人臉識(shí)別。以第一作 者/通訊作者發(fā)表相關(guān) SCI論文11篇，獲得相關(guān)授權(quán)國(guó)家 發(fā)明專利3項(xiàng)。鄭文明3主任/ 教授東南大學(xué)/東南大學(xué)項(xiàng)目主要完成人，對(duì)發(fā)明創(chuàng)新一、二、三均有重要貢獻(xiàn)。 發(fā)明創(chuàng)新一主要提出了針對(duì)腦電信號(hào)的有效通道選擇和新 型特征選擇算法；發(fā)

16、明創(chuàng)新二主要提出了針對(duì)語(yǔ)音信息有 效量化感知的核半監(jiān)督判別分析方法，實(shí)現(xiàn)了基于說(shuō)話人 懲罰圖學(xué)習(xí)算法的特征維數(shù)約簡(jiǎn)，解決了語(yǔ)音信息受個(gè)體 差異影響較大而導(dǎo)致情感識(shí)別率較低的難題。發(fā)明創(chuàng)新三 主要提出了針對(duì)面部表情圖像的姿態(tài)歸一化方法，一定程 度上解決了人臉姿態(tài)變化造成表情類內(nèi)差異大的冋題。以 第一作者/通訊作者發(fā)表相關(guān) SCI論文20余篇，獲得相關(guān) 授權(quán)國(guó)家發(fā)明專利 4項(xiàng)。2015年獲得教育部科學(xué)研究?jī)?yōu)秀 成果獎(jiǎng)自然科學(xué)二等獎(jiǎng)。栗覓4副教授北京工業(yè)大 學(xué)/北京工 業(yè)大學(xué)項(xiàng)目主要完成人，對(duì)發(fā)明創(chuàng)新四有重要貢獻(xiàn)，主要提出了“情感帶寬”新概念，通過(guò)瞳孔直徑這一物理指標(biāo)客觀地 度量正性、負(fù)性情緒體驗(yàn)的

17、大小和范圍。以第一作者/通訊作者發(fā)表SCI論文10篇，獲得相關(guān)授權(quán)國(guó)家發(fā)明專利4項(xiàng)，相關(guān)授權(quán)美國(guó)發(fā)明專利 1項(xiàng)。馬義德5教授蘭州大學(xué)/蘭州大學(xué)項(xiàng)目主要完成人，對(duì)發(fā)明創(chuàng)新三有重要貢獻(xiàn)，主要對(duì)PCNN進(jìn)行深入研究，將其應(yīng)用于面部表情圖像處理中，并提出 多種改進(jìn)算法及融合算法，對(duì)圖像處理、圖像分割、圖像 識(shí)別等均有良好的效果。以第一作者/通訊作者發(fā)表SCI論 文20余篇。趙慶林6副教授蘭州大學(xué)/ 蘭州大學(xué)項(xiàng)目主要完成人，對(duì)發(fā)明創(chuàng)新一有重要貢獻(xiàn)，用極簡(jiǎn)電極 部署方案以及創(chuàng)新的眼電偽跡去除和特征提取算法，解決 了腦電信號(hào)的普適化高質(zhì)量采集和有效傳輸?shù)入y題。以第 一作者/通訊作者發(fā)表SCI論文3篇，獲得授權(quán)國(guó)家發(fā)明專 利2項(xiàng)（第二完成人）。完成人合作關(guān)系說(shuō)明:20092009年以來(lái)，項(xiàng)目第一完成人胡斌教授先后主持了國(guó)家自然科學(xué)基金面上項(xiàng)目，