視聽覺信息的認知計算

1、 附件2 : 重大研究方案“視聽覺信息的認知計算 2021年度工程指南 與人類視聽覺感知密切相關的圖像、語音和文本語言信 息在社會、經(jīng)濟和國家平安等領域中扮演著重要角色， 并在今后 一段時間內(nèi)仍將迅猛增長。這類信息可被人類直接感知和理解， 也可用計算機進行處理，但計算機的處理能力遠遜于人類且處理 效率遠不能滿足當今社會的開展需求。如何借鑒人類的認知機理 和相關數(shù)學的最新研究成果， 建立新的計算模型和方法， 從而大 幅度提高計算機對這類信息的理解能力與處理效率， 不僅可有力 推動信息科學的快速開展，也將為國民經(jīng)濟和社會開展做出重大 奉獻。 一、科學目標 本重大研究方案的總體科學目標是： 圍繞國家

2、重大需求，充 分發(fā)揮信息科學、生命科學和數(shù)理科學的交叉優(yōu)勢， 從人類的視 聽覺認知機理出發(fā)，研究并構(gòu)建新的計算模型與計算方法， 提高 計算機對非結(jié)構(gòu)化視聽覺感知信息的理解能力和海量異構(gòu)信息 的處理效率，克服圖像、語音和文本語言信息處理所面臨的 瓶頸困難，為確保國家平安與公共平安、推動信息效勞及相關產(chǎn) 業(yè)開展以及提高國民生活和健康水平做出重要奉獻。具體表現(xiàn) 為：在視聽覺信息處理的根底理論研究方面取得重要進展； 在視 聽覺信息協(xié)同計算、自然語言漢語理解以及與視聽覺認知相 關的腦一機接口等三項關鍵技術方面取得重大突破； 集成上述相 關研究成果，研制具有自然環(huán)境感知與智能行為決策能力的無人 駕駛車輛驗

3、證平臺，主要性能指標到達世界先進水平，從而提升 我國在視聽覺信息處理領域的整體研究實力， 培養(yǎng)具有國際影響 力的優(yōu)秀人才與團隊，為國家平安和社會開展提供相關研究環(huán)境 與技術支撐。 二、核心科學問題 本重大研究方案將圍繞“感知特征提取、表達與整合、“感 知數(shù)據(jù)的機器學習與理解和“多模態(tài)信息協(xié)同計算等核心科 學問題，組織并實施如下四個主要方面的研究工作。 一 圖像與視覺信息計算。 主要研究圖像與視覺信息計算的認知機理， 視覺根本特征的 提取與選擇，物體識別與圖像內(nèi)容理解， 復雜場景下運動目標的 行為分析等。提出假設干圖像與視覺信息的高效計算模型， 取得國 際公認的原創(chuàng)性研究成果在 Nature,

4、Science, IEEE Trans.Nature, Science, IEEE Trans. PAMIPAMI 等刊物上發(fā)表高水平論文，培養(yǎng)具有國際影響力的優(yōu)秀 人才與研究團隊。 二 語音與聽覺信息計算。 主要研究聽感知機理與音頻場景分析， 自然環(huán)境下的語音識 別與合成，口語對話分析與理解等。 取得國際上有影響的原創(chuàng)性 研究成果，提出假設干語音與聽覺信息的有效計算模型， 在本領域 國際權威刊物上發(fā)表高水平論文， 培養(yǎng)具有國際影響力的優(yōu)秀人 才與研究團隊。 三 自然語言漢語理解。 主要研究語言加工的認知機理，語言知識建模和語義計算模 型，基于語義理解的機器翻譯方法， 面向網(wǎng)絡的漢語適度理解模

5、 型和系列分析工具，支持自然環(huán)境下口語對話分析、 識別與理解 的關鍵技術等。在國內(nèi)已有相關成果的根底上， 統(tǒng)籌構(gòu)建大規(guī)模 高標準漢語語義知識庫。將上述研究成果應用到語言漢語信 息處理典型系統(tǒng)中，顯著提高對自然語言 句子、段落、篇章 的理解能力，并在網(wǎng)絡信息檢索、過濾和知識獲取方面得到驗證。 四 多模態(tài)信息的協(xié)同計算與腦一機接口。 主要研究多模態(tài)感知信息協(xié)同的認知機理與計算模型， 基于 視聽覺信息融合的模式識別與環(huán)境交互方法， 跨模態(tài)視頻信息檢 索與網(wǎng)絡敏感信息過濾技術等。大幅度提高跨模態(tài)視頻信息檢索 的查準率，顯著提升本領域整體研究實力。 研究與視聽覺認知相關的腦信號提取、腦區(qū)定位與腦功能網(wǎng)

6、絡分析方法和技術，腦一機交互中的信號傳輸、處理與控制技術， 與視聽覺認知相關的腦一機接口典型應用。 在改善殘疾人生活質(zhì) 量和功能康復等方面得到驗證或應用，為延伸和提高人類行為控 制能力提供新技術。 三、關鍵技術與集成驗證平臺 在上述研究工作的根底上，本重大研究方案進一步開展與視 聽覺信息處理相關的關鍵技術和集成驗證平臺研究。 一 視聽覺信息協(xié)同計算的關鍵技術。 研究機器視聽覺信息的協(xié)同計算模型及系統(tǒng)實現(xiàn)技術， 基于 視聽覺信息融合的模式識另 U U 技術與驗證系統(tǒng)， 跨模態(tài)視頻信息檢 索與網(wǎng)絡敏感信息過濾技術及應用。 基于多模態(tài)協(xié)同計算模型的 網(wǎng)絡視頻信息搜索的查準率比同期國外最好水平高 5

7、5 吩 10%10%并 在網(wǎng)絡信息平安與效勞等領域得到驗證。 二 白然語言漢語理解關鍵技術。 研究漢語通用詞匯的標準化語義知識庫及其構(gòu)建技術， 面向 網(wǎng)絡的漢語適度理解模型及系列分析工具的實現(xiàn)技術， 支持自然 環(huán)境下口語對話分析、 識別與理解的關鍵技術。 在國內(nèi)現(xiàn)有相關 成果的根底上，統(tǒng)籌構(gòu)建漢語語義知識庫， 漢語通用詞匯規(guī)模不 小于 5 5萬詞，帶有語義標注的漢語平衡語料庫規(guī)模不小于 1 1 千萬 字。將研究成果應用到網(wǎng)絡環(huán)境下的漢語處理系統(tǒng)中， 信息檢索 與知識獲取的準確率比現(xiàn)有最好技術提高 20%Z20%Z 上。 三與視聽覺認知相關的腦 一機接口關鍵技術。 研究與視聽覺認知相關的腦信號提

8、取、腦區(qū)定位與腦功能網(wǎng) 絡分析技術，腦一機交互中的信號傳輸、處理、控制技術及系統(tǒng) 實現(xiàn)，與視聽覺認知相關的腦一機接口典型應用。 所提無創(chuàng)腦一 機接口信息提取與分析等技術處于同期國際領先水平， 在改善殘 疾人生活質(zhì)量和功能康復等方面得到驗證或應用。 四無人駕駛車輛集成驗證平臺。 集成上述根底理論與關鍵技術的相關研究成果， 將傳統(tǒng)視覺 計算模型與新的視覺認知模型相結(jié)合，實現(xiàn)環(huán)境感知與建模方法 新突破；實現(xiàn)多傳感器跨模態(tài)跨尺度信息融合， 生成高質(zhì)量三維 場景認知地圖，構(gòu)建高性能智能車輛無人駕駛驗證平臺； 提供新 的基于人一車一路狀態(tài)綜合分析的智能輔助平安駕駛關鍵技術； 在國防、智能輔助平安駕駛等相關

9、領域得到驗證或應用并產(chǎn)生重 要影響。 四、20212021 年度擬資助的研究工程 本重大研究方案主要以“培育工程、“重點支持工程和 “集成工程的形式予以資助，三類工程在資助強度和實現(xiàn)目標 上有所不同。對有較好的創(chuàng)新學術思路和研究價值， 但尚需進一 步探索研究的申請工程，將以“培育工程方式予以資助。對有 很好的創(chuàng)新學術思想和研究價值，有良好的研究根底和成果積 累，且對研究方案總體目標有較大奉獻的申請工程，將以“重點 支持工程的方式予以資助。對實現(xiàn)研究方案總體目標有決定作 用的研究方向，將以更大支持強度的“集成工程方式予以資助。 根據(jù)工程執(zhí)行的年度進展情況或考察結(jié)果， 本重大研究方案將適 度調(diào)整獲

10、準工程的資助經(jīng)費中止課題或追加經(jīng)費。 20212021 年度擬資助如下領域的“重點支持工程及與其相關 的“培育工程。 一 多模態(tài)信息協(xié)同計算方面。 1.1. “重點支持工程的研究方向：面向互聯(lián)網(wǎng)的跨媒體挖 掘與搜索引擎 融合自然語言理解、圖像與視頻分析及跨媒體數(shù)據(jù)挖掘等多 領域交叉的新方法，研究有效的網(wǎng)絡文本、圖像與視頻內(nèi)容挖掘 方法和有效的網(wǎng)頁分析技術， 構(gòu)建精度高、速度快和魯棒性強的 垂直搜索算法，研發(fā)面向特定用戶的互聯(lián)網(wǎng)跨媒體搜索引擎。 考核目標：特定領域文本內(nèi)容的查準、 查全率均在 9090 礎上; 特定領域圖像與視頻內(nèi)容的查準、查全率均在 70%Z70%Z 上；可實現(xiàn) 準實時的互聯(lián)網(wǎng)

11、跨媒體內(nèi)容挖掘與搜索。 2.2. “培育工程的研究方向： 1 1 文本、圖像和語音感知信息交互的選擇性注意機理、 語義特征提??； 2 2 “情境AmbientAmbient智能的多模態(tài)信息協(xié)同計算。 二 自然語言漢語理解方面。 1.1. “重點支持工程的研究方向一：網(wǎng)絡文本的語義計算 與理解 建立高標準、規(guī)模化、易擴展的語義知識庫包括詞條、句 子和篇章級的核心語義標注；建立面向大規(guī)模漢語文本的語義 計算框架和計算模型；研究基于內(nèi)容的網(wǎng)絡文本信息檢索、 事件 檢測和內(nèi)容文摘等的關鍵技術， 實現(xiàn)特定語義目標的網(wǎng)絡內(nèi)容理 解。 考核目標：研究所得的語義計算與理解方法明顯優(yōu)于非語義 方法，特定網(wǎng)絡文本

12、信息檢索的準確率較現(xiàn)有技術至少提高 20%20% 2.2. “重點支持工程的研究方向二：多模態(tài)口語對話內(nèi)容 的分析與理解 以口語為主，綜合語音、視覺、行為、情感等跨模態(tài)信息， 研究建立人類口語對話模型， 支撐口語對話的理解和人機語音交 互。 考核目標：面向汽車語音導航和語音通訊等領域， 研制多模 態(tài)口語人機自然對話原型系統(tǒng)， 特定對話主題的理解準確率大于 90%90% 人機對話的正確響應率大于 80%80%任務完成率大于 90%90% 3.3. “培育工程的研究方向： (1)(1) 漢語認知機理的語言心理學研究； (2)(2) 適于句子和篇章的漢語語義計算模型； (3)(3) 聽覺感知機理與音

13、頻場景分析； (4)(4) 語義計算與理解的資源共享與測評。 (三) 腦一機接口方面。 1.1. “重點支持工程的研究方向：與視聽覺認知相關的人 機交互關鍵技術 研究與視聽覺認知相關的腦信號提取與腦區(qū)定位技術； 腦一 機交互中的信息傳輸、 處理與控制技術；與視聽覺相關的腦一機 接口應用技術。 考核目標：提出并實現(xiàn)腦一機交互的在線自動模式學習策 略，提高腦一機接口系統(tǒng)的魯棒性和自適應性； 在腦電信息的提 取、分析和應用方面處于同期國際領先水平； 在與視聽覺相關的 殘疾人功能康復方面得到驗證或應用。 2.2. “培育工程的研究方向： (1)(1) 基于腦一機接口的車輛導航與控制技術； (2)(2)

14、 腦電信號的無創(chuàng)采集、傳輸和處理； (3)(3) 腦一機交互范式的新概念與新方法。 (四) 駕駛行為的認知機理方面。 1.1. 重點支持工程的研究方向：駕駛行為的認知機理和神 經(jīng)表達一選擇性注意及與動作的相互關系 選擇性注意是人類駕駛行為的一個不可缺少的認知功能。 對 選擇性注意的研究以及對駕駛行為注意研究的一個根本問題是: “注意選擇的究竟是什么?。本工程要求在這個認知科學的重 大問題上取得實質(zhì)性突破，特別是，提出和開展基于“物體的 選擇性注意原創(chuàng)性系統(tǒng)理論，并應用于無人駕駛的環(huán)境感知計算 模型。一方面建 立物體表達概念的科學定義， 以及物體表達和駕 駛行動交互作用的認知機理的準確描述； 另

15、一方面利用腦功能成 像的各種方法，發(fā)現(xiàn)基于物體注意和駕駛行動的大腦皮層的神經(jīng) 表達。從而為建立具有主動視覺功能和“注視轉(zhuǎn)移機理的駕駛 彳了為新模型提供認知科學根底。 2.2. “培育工程的研究方向： (1)(1) 駕駛行為的知覺學習； (2)(2) 眼動和注意調(diào)節(jié)的認知機理與主動視覺； (3)(3) 駕駛員的行為心理學與認知結(jié)構(gòu)模型。 (五) 無人駕駛車輛集成驗證平臺方面。 1.1. “重點支持工程的研究方向：無人駕駛車輛的關鍵技術 與系統(tǒng)平臺 考核目標：在遵守交通法規(guī)的前提下， 實現(xiàn)以下三種路況自 主駕駛。 (1)(1) 城市道路：要求車輛能夠平安并入及駛出多車道交通 場景，具有保持車道、換

16、道和超車的能力，行駛里程約 5 5 公里; 在局部路段中能夠通過一連串平行停放的車輛和路障， 且能行駛 到位于其它停放車輛中間的指定停車點。 測試環(huán)境：人與車輛較 為密集，測試道路有多個十字路口， 測試車輛能對障礙物進行識 別，并能掉頭重新選擇行駛路徑。 (2)(2) 高速公路：行駛里程約 20002000 公里，人工干預里程小于 3%3%能平安有效地超車并匯入車流； 能準確識別高速公路上的常 見交通標志，并做出正確平安的駕駛動作。測試環(huán)境：測試道路 上有多個局架橋路口。 (3)(3) 鄉(xiāng)村道路：在各種路表(土路、砂石路、水泥或瀝青 等條件下，行駛里程約 200200 公里，人工干預里程小于

17、4%4%能 保持車道、平安跟隨和超越前方車輛， 能停車、重新啟動和繞行； 能識另 U U 障礙物，并能防止與行人、自行車和路邊樹木、電線桿 等 物體碰撞。測試環(huán)境：局部路況比擬惡劣路面不平、路寬不等、 無車道標識等，測試道路有多個岔路口。 上述考核目標是指該重大研究方案對該集成驗證平臺的最 終考核目標，申請 20212021 年度“重點支持工程的單位可就上述 考核目標進行分解，提出階段性實現(xiàn)目標。 2.2. “培育工程的研究方向： 1 1 基于認知機理和多傳感器信息融合的車輛行駛環(huán)境感 知方法； 2 2 可用于復雜行駛環(huán)境的三維主動傳感器； 3 3 面向行駛環(huán)境的高質(zhì)量三維地圖生成方法與技術；

18、 4 4 車輛輔助平安駕駛關鍵技術； 5 5 無人車輛行駛測試環(huán)境的設計與評估方法； 6 6 復雜行駛環(huán)境的高可靠性局部路徑規(guī)劃方法。 五、 遴選工程的根本原那么 為確保實現(xiàn)總體目標，本重大研究方案鼓勵： 一 具有原始創(chuàng)新思路和獨具特色的探索性研究； 二 與總體目標緊密相關的關鍵技術研究； 三 生命、數(shù)理和信息等學科的交叉合作研究； 四 吸收海外優(yōu)秀科學家參與研究。 六、 申請書撰寫考前須知 一 申請人在填報申請書前，須認真閱讀本指南。申請書 的研究內(nèi)容和研究目標須與本重大研究方案密切相關。 不符合項 目指南的申請將不予受理。 二 根據(jù)當年度工程指南公布的擬資助研究方向， 申請人 可自行確定工程名稱、科學目標、研究內(nèi)容、技術路線和相應的 研究