視聽覺信息的認(rèn)知計(jì)算

1、附件2:重大研究計(jì)劃“視聽覺信息的認(rèn)知計(jì)算”2008年度項(xiàng)目指南與人類視聽覺感知密切相關(guān)的圖像、語音和文本（語言）信息在社會(huì)、經(jīng)濟(jì)和國家安全等領(lǐng)域中扮演著重要角色，并在今后一段時(shí)間內(nèi)仍將迅猛增長。這類信息可被人類直接感知和理解，也可用計(jì)算機(jī)進(jìn)行處理，但計(jì)算機(jī)的處理能力遠(yuǎn)遜于人類且處理效率遠(yuǎn)不能滿足當(dāng)今社會(huì)的發(fā)展需求。如何借鑒人類的認(rèn)知機(jī)理和相關(guān)數(shù)學(xué)的最新研究成果，建立新的計(jì)算模型和方法，從而大幅度提高計(jì)算機(jī)對(duì)這類信息的理解能力與處理效率，不僅可有力推動(dòng)信息科學(xué)的快速發(fā)展，也將為國民經(jīng)濟(jì)和社會(huì)發(fā)展做出重大貢獻(xiàn)。一、科學(xué)目標(biāo)本重大研究計(jì)劃的總體科學(xué)目標(biāo)是：圍繞國家重大需求，充分發(fā)揮信息科學(xué)、生命科

2、學(xué)和數(shù)理科學(xué)的交叉優(yōu)勢，從人類的視聽覺認(rèn)知機(jī)理出發(fā)，研究并構(gòu)建新的計(jì)算模型與計(jì)算方法，提高計(jì)算機(jī)對(duì)非結(jié)構(gòu)化視聽覺感知信息的理解能力和海量異構(gòu)信息的處理效率，克服圖像、語音和文本（語言）信息處理所面臨的瓶頸困難，為確保國家安全與公共安全、推動(dòng)信息服務(wù)及相關(guān)產(chǎn)業(yè)發(fā)展以及提高國民生活和健康水平做出重要貢獻(xiàn)。具體表現(xiàn)為：在視聽覺信息處理的基礎(chǔ)理論研究方面取得重要進(jìn)展；在視聽覺信息協(xié)同計(jì)算、自然語言（漢語）理解以及與視聽覺認(rèn)知相關(guān)的腦一機(jī)接口等三項(xiàng)關(guān)鍵技術(shù)方面取得重大突破；集成上述相關(guān)研究成果，研制具有自然環(huán)境感知與智能行為決策能力的無人駕駛車輛驗(yàn)證平臺(tái)，主要性能指標(biāo)達(dá)到世界先進(jìn)水平，從而提升我國在視聽

3、覺信息處理領(lǐng)域的整體研究實(shí)力，培養(yǎng)具有國際影響力的優(yōu)秀人才與團(tuán)隊(duì)，為國家安全和社會(huì)發(fā)展提供相關(guān)研究環(huán)境與技術(shù)支撐。二、核心科學(xué)問題本重大研究計(jì)劃將圍繞“感知特征提取、表達(dá)與整合”、“感知數(shù)據(jù)的機(jī)器學(xué)習(xí)與理解”和“多模態(tài)信息協(xié)同計(jì)算”等核心科學(xué)問題，組織并實(shí)施如下四個(gè)主要方面的研究工作。（一）圖像與視覺信息計(jì)算。主要研究圖像與視覺信息計(jì)算的認(rèn)知機(jī)理，視覺基本特征的提取與選擇，物體識(shí)別與圖像內(nèi)容理解，復(fù)雜場景下運(yùn)動(dòng)目標(biāo)的行為分析等。提出若干圖像與視覺信息的高效計(jì)算模型，取得國際公認(rèn)的原創(chuàng)性研究成果（在Nature,Science,IEEETrans.PAMI等刊物上發(fā)表高水平論文），培養(yǎng)具有國際影

4、響力的優(yōu)秀人才與研究團(tuán)隊(duì)。（二）語音與聽覺信息計(jì)算。主要研究聽感知機(jī)理與音頻場景分析，自然環(huán)境下的語音識(shí)別與合成，口語對(duì)話分析與理解等。取得國際上有影響的原創(chuàng)性研究成果，提出若干語音與聽覺信息的有效計(jì)算模型，在本領(lǐng)域國際權(quán)威刊物上發(fā)表高水平論文，培養(yǎng)具有國際影響力的優(yōu)秀人才與研究團(tuán)隊(duì)。（三）自然語言（漢語）理解。主要研究語言加工的認(rèn)知機(jī)理，語言知識(shí)建模和語義計(jì)算模型，基于語義理解的機(jī)器翻譯方法，面向網(wǎng)絡(luò)的漢語適度理解模型和系列分析工具，支持自然環(huán)境下口語對(duì)話分析、識(shí)別與理解的關(guān)鍵技術(shù)等。在國內(nèi)已有相關(guān)成果的基礎(chǔ)上，統(tǒng)籌構(gòu)建大規(guī)模高標(biāo)準(zhǔn)漢語語義知識(shí)庫。將上述研究成果應(yīng)用到語言（漢語）信息處理典型

5、系統(tǒng)中，顯著提高對(duì)自然語言（句子、段落、篇章）的理解能力，并在網(wǎng)絡(luò)信息檢索、過濾和知識(shí)獲取方面得到驗(yàn)證。（四）多模態(tài)信息的協(xié)同計(jì)算與腦一機(jī)接口。主要研究多模態(tài)感知信息協(xié)同的認(rèn)知機(jī)理與計(jì)算模型，基于視聽覺信息融合的模式識(shí)別與環(huán)境交互方法，跨模態(tài)視頻信息檢索與網(wǎng)絡(luò)敏感信息過濾技術(shù)等。大幅度提高跨模態(tài)視頻信息檢索的查準(zhǔn)率，顯著提升本領(lǐng)域整體研究實(shí)力。研究與視聽覺認(rèn)知相關(guān)的腦信號(hào)提取、腦區(qū)定位與腦功能網(wǎng)絡(luò)分析方法和技術(shù)，腦一機(jī)交互中的信號(hào)傳輸、處理與控制技術(shù)，與視聽覺認(rèn)知相關(guān)的腦一機(jī)接口典型應(yīng)用。在改善殘疾人生活質(zhì)量和功能康復(fù)等方面得到驗(yàn)證或應(yīng)用，為延伸和提高人類行為控制能力提供新技術(shù)。三、關(guān)鍵技術(shù)與

6、集成驗(yàn)證平臺(tái)在上述研究工作的基礎(chǔ)上，本重大研究計(jì)劃進(jìn)一步開展與視聽覺信息處理相關(guān)的關(guān)鍵技術(shù)和集成驗(yàn)證平臺(tái)研究。（一）視聽覺信息協(xié)同計(jì)算的關(guān)鍵技術(shù)。研究機(jī)器視聽覺信息的協(xié)同計(jì)算模型及系統(tǒng)實(shí)現(xiàn)技術(shù)，基于視聽覺信息融合的模式識(shí)別技術(shù)與驗(yàn)證系統(tǒng)，跨模態(tài)視頻信息檢索與網(wǎng)絡(luò)敏感信息過濾技術(shù)及應(yīng)用?；诙嗄B(tài)協(xié)同計(jì)算模型的網(wǎng)絡(luò)視頻信息搜索的查準(zhǔn)率比同期國外最好水平高5*10%并在網(wǎng)絡(luò)信息安全與服務(wù)等領(lǐng)域得到驗(yàn)證。（二）自然語言（漢語）理解關(guān)鍵技術(shù)。研究漢語通用詞匯的規(guī)范化語義知識(shí)庫及其構(gòu)建技術(shù)，面向網(wǎng)絡(luò)的漢語適度理解模型及系列分析工具的實(shí)現(xiàn)技術(shù)，支持自然環(huán)境下口語對(duì)話分析、識(shí)別與理解的關(guān)鍵技術(shù)。在國內(nèi)現(xiàn)有相

7、關(guān)成果的基礎(chǔ)上，統(tǒng)籌構(gòu)建漢語語義知識(shí)庫，漢語通用詞匯規(guī)模不小于5萬詞，帶有語義標(biāo)注的漢語平衡語料庫規(guī)模不小于1千萬字。將研究成果應(yīng)用到網(wǎng)絡(luò)環(huán)境下的漢語處理系統(tǒng)中，信息檢索與知識(shí)獲取的準(zhǔn)確率比現(xiàn)有最好技術(shù)提高20%Z上。（三）與視聽覺認(rèn)知相關(guān)的腦一機(jī)接口關(guān)鍵技術(shù)。研究與視聽覺認(rèn)知相關(guān)的腦信號(hào)提取、腦區(qū)定位與腦功能網(wǎng)絡(luò)分析技術(shù)，腦一機(jī)交互中的信號(hào)傳輸、處理、控制技術(shù)及系統(tǒng)實(shí)現(xiàn)，與視聽覺認(rèn)知相關(guān)的腦一機(jī)接口典型應(yīng)用。所提無創(chuàng)腦一機(jī)接口信息提取與分析等技術(shù)處于同期國際領(lǐng)先水平，在改善殘疾人生活質(zhì)量和功能康復(fù)等方面得到驗(yàn)證或應(yīng)用。（四）無人駕駛車輛集成驗(yàn)證平臺(tái)。集成上述基礎(chǔ)理論與關(guān)鍵技術(shù)的相關(guān)研究成果，

8、將傳統(tǒng)視覺計(jì)算模型與新的視覺認(rèn)知模型相結(jié)合，實(shí)現(xiàn)環(huán)境感知與建模方法新突破；實(shí)現(xiàn)多傳感器跨模態(tài)跨尺度信息融合，生成高質(zhì)量三維場景認(rèn)知地圖，構(gòu)建高性能智能車輛無人駕駛驗(yàn)證平臺(tái)；提供新的基于人一車一路狀態(tài)綜合分析的智能輔助安全駕駛關(guān)鍵技術(shù)；在國防、智能輔助安全駕駛等相關(guān)領(lǐng)域得到驗(yàn)證或應(yīng)用并產(chǎn)生重要影響。四、2008年度擬資助的研究項(xiàng)目本重大研究計(jì)劃主要以“培育項(xiàng)目”、“重點(diǎn)支持項(xiàng)目”和“集成項(xiàng)目”的形式予以資助，三類項(xiàng)目在資助強(qiáng)度和實(shí)現(xiàn)目標(biāo)上有所不同。對(duì)有較好的創(chuàng)新學(xué)術(shù)思路和研究價(jià)值，但尚需進(jìn)一步探索研究的申請(qǐng)項(xiàng)目，將以“培育項(xiàng)目”方式予以資助。對(duì)有很好的創(chuàng)新學(xué)術(shù)思想和研究價(jià)值，有良好的研究基礎(chǔ)和成

9、果積累，且對(duì)研究計(jì)劃總體目標(biāo)有較大貢獻(xiàn)的申請(qǐng)項(xiàng)目，將以“重點(diǎn)支持項(xiàng)目”的方式予以資助。對(duì)實(shí)現(xiàn)研究計(jì)劃總體目標(biāo)有決定作用的研究方向，將以更大支持強(qiáng)度的“集成項(xiàng)目”方式予以資助。根據(jù)項(xiàng)目執(zhí)行的年度進(jìn)展情況或考察結(jié)果，本重大研究計(jì)劃將適度調(diào)整獲準(zhǔn)項(xiàng)目的資助經(jīng)費(fèi)（中止課題或追加經(jīng)費(fèi)）。2008年度擬資助如下領(lǐng)域的“重點(diǎn)支持項(xiàng)目”及與其相關(guān)的“培育項(xiàng)目”（一）多模態(tài)信息協(xié)同計(jì)算方面。1. “重點(diǎn)支持項(xiàng)目”的研究方向：面向互聯(lián)網(wǎng)的跨媒體挖掘與搜索引擎融合自然語言理解、圖像與視頻分析及跨媒體數(shù)據(jù)挖掘等多領(lǐng)域交叉的新方法，研究有效的網(wǎng)絡(luò)文本、圖像與視頻內(nèi)容挖掘方法和有效的網(wǎng)頁分析技術(shù)，構(gòu)建精度高、速度快和魯棒

10、性強(qiáng)的垂直搜索算法，研發(fā)面向特定用戶的互聯(lián)網(wǎng)跨媒體搜索引擎。考核目標(biāo)：特定領(lǐng)域文本內(nèi)容的查準(zhǔn)、查全率均在90減上;特定領(lǐng)域圖像與視頻內(nèi)容的查準(zhǔn)、查全率均在70姒上；可實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)的互聯(lián)網(wǎng)跨媒體內(nèi)容挖掘與搜索。2. “培育項(xiàng)目”的研究方向：（1）文本、圖像和語音感知信息交互的選擇性注意機(jī)理、語義特征提??；（2） “情境（Ambient）智能”的多模態(tài)信息協(xié)同計(jì)算。（二）自然語言（漢語）理解方面。1. “重點(diǎn)支持項(xiàng)目”的研究方向一：網(wǎng)絡(luò)文本的語義計(jì)算與理解建立高標(biāo)準(zhǔn)、規(guī)模化、易擴(kuò)展的語義知識(shí)庫（包括詞條、句子和篇章級(jí)的核心語義標(biāo)注）；建立面向大規(guī)模漢語文本的語義計(jì)算框架和計(jì)算模型；研究基于內(nèi)容的網(wǎng)絡(luò)

11、文本信息檢索、事件檢測和內(nèi)容文摘等的關(guān)鍵技術(shù)，實(shí)現(xiàn)特定語義目標(biāo)的網(wǎng)絡(luò)內(nèi)容理解。考核目標(biāo)：研究所得的語義計(jì)算與理解方法明顯優(yōu)于非語義方法，特定網(wǎng)絡(luò)文本信息檢索的準(zhǔn)確率較現(xiàn)有技術(shù)至少提高20%2. “重點(diǎn)支持項(xiàng)目”的研究方向二：多模態(tài)口語對(duì)話內(nèi)容的分析與理解以口語為主，綜合語音、視覺、行為、情感等跨模態(tài)信息，研究建立人類口語對(duì)話模型，支撐口語對(duì)話的理解和人機(jī)語音交互?？己四繕?biāo)：面向汽車語音導(dǎo)航和語音通訊等領(lǐng)域，研制多模態(tài)口語人機(jī)自然對(duì)話原型系統(tǒng)，特定對(duì)話主題的理解準(zhǔn)確率大于90%人機(jī)對(duì)話的正確響應(yīng)率大于80%任務(wù)完成率大于90%3. “培育項(xiàng)目”的研究方向：(1)漢語認(rèn)知機(jī)理的語言心理學(xué)研究；(2

12、)適于句子和篇章的漢語語義計(jì)算模型；(3)聽覺感知機(jī)理與音頻場景分析；(4)語義計(jì)算與理解的資源共享與測評(píng)。(三)腦一機(jī)接口方面。1. “重點(diǎn)支持項(xiàng)目”的研究方向：與視聽覺認(rèn)知相關(guān)的人機(jī)交互關(guān)鍵技術(shù)研究與視聽覺認(rèn)知相關(guān)的腦信號(hào)提取與腦區(qū)定位技術(shù)；腦一機(jī)交互中的信息傳輸、處理與控制技術(shù)；與視聽覺相關(guān)的腦一機(jī)接口應(yīng)用技術(shù)?？己四繕?biāo)：提出并實(shí)現(xiàn)腦一機(jī)交互的在線自動(dòng)模式學(xué)習(xí)策略，提高腦一機(jī)接口系統(tǒng)的魯棒性和自適應(yīng)性；在腦電信息的提取、分析和應(yīng)用方面處于同期國際領(lǐng)先水平；在與視聽覺相關(guān)的殘疾人功能康復(fù)方面得到驗(yàn)證或應(yīng)用。2. “培育項(xiàng)目”的研究方向：(1)基于腦一機(jī)接口的車輛導(dǎo)航與控制技術(shù)；(2)腦電信

13、號(hào)的無創(chuàng)采集、傳輸和處理；(3)腦一機(jī)交互范式的新概念與新方法。(四)駕駛行為的認(rèn)知機(jī)理方面。1 .“重點(diǎn)支持項(xiàng)目”的研究方向：駕駛行為的認(rèn)知機(jī)理和神經(jīng)表達(dá)一選擇性注意及與動(dòng)作的相互關(guān)系選擇性注意是人類駕駛行為的一個(gè)不可缺少的認(rèn)知功能。對(duì)選擇性注意的研究以及對(duì)駕駛行為注意研究的一個(gè)根本問題是：“注意選擇的究竟是什么？”。本項(xiàng)目要求在這個(gè)認(rèn)知科學(xué)的重大問題上取得實(shí)質(zhì)性突破，特別是，提出和發(fā)展基于“物體”的選擇性注意原創(chuàng)性系統(tǒng)理論，并應(yīng)用于無人駕駛的環(huán)境感知計(jì)算模型。一方面建立物體表達(dá)概念的科學(xué)定義，以及物體表達(dá)和駕駛行動(dòng)交互作用的認(rèn)知機(jī)理的準(zhǔn)確描述；另一方面利用腦功能成像的各種方法，發(fā)現(xiàn)基于物體

14、注意和駕駛行動(dòng)的大腦皮層的神經(jīng)表達(dá)。從而為建立具有主動(dòng)視覺功能和“注視轉(zhuǎn)移”機(jī)理的駕駛行為新模型提供認(rèn)知科學(xué)基礎(chǔ)。2 .“培育項(xiàng)目”的研究方向：(1)駕駛行為的知覺學(xué)習(xí)；(2)眼動(dòng)和注意調(diào)節(jié)的認(rèn)知機(jī)理與主動(dòng)視覺；(3)駕駛員的行為心理學(xué)與認(rèn)知結(jié)構(gòu)模型。(五)無人駕駛車輛集成驗(yàn)證平臺(tái)方面。1.“重點(diǎn)支持項(xiàng)目”的研究方向：無人駕駛車輛的關(guān)鍵技術(shù)與系統(tǒng)平臺(tái)考核目標(biāo)：在遵守交通法規(guī)的前提下，實(shí)現(xiàn)以下三種路況自主駕駛。(1)城市道路：要求車輛能夠安全并入及駛出多車道交通場景，具有保持車道、換道和超車的能力，行駛里程約5公里;在部分路段中能夠通過一連串平行停放的車輛和路障，且能行駛到位于其它停放車輛中間的

15、指定停車點(diǎn)。測試環(huán)境：人與車輛較為密集，測試道路有多個(gè)十字路口，測試車輛能對(duì)障礙物進(jìn)行識(shí)別，并能掉頭重新選擇行駛路徑。(2)高速公路：行駛里程約2000公里，人工干預(yù)里程小于3%能安全有效地超車并匯入車流；能準(zhǔn)確識(shí)別高速公路上的常見交通標(biāo)志，并做出正確安全的駕駛動(dòng)作。測試環(huán)境：測試道路上有多個(gè)高架橋路口。(3)鄉(xiāng)村道路：在各種路表(土路、砂石路、水泥或?yàn)r青等）條件下，行駛里程約200公里，人工干預(yù)里程小于4%能保持車道、安全跟隨和超越前方車輛，能停車、重新啟動(dòng)和繞行；能識(shí)別障礙物，并能避免與行人、自行車和路邊樹木、電線桿等物體碰撞。測試環(huán)境：部分路況比較惡劣（路面不平、路寬不等、無車道標(biāo)識(shí)等）

16、，測試道路有多個(gè)岔路口。上述考核目標(biāo)是指該重大研究計(jì)劃對(duì)該集成驗(yàn)證平臺(tái)的最終考核目標(biāo)，申請(qǐng)2008年度“重點(diǎn)支持項(xiàng)目”的單位可就上述考核目標(biāo)進(jìn)行分解，提出階段性實(shí)現(xiàn)目標(biāo)。2.“培育項(xiàng)目”的研究方向：（1）基于認(rèn)知機(jī)理和多傳感器信息融合的車輛行駛環(huán)境感知方法；（2）可用于復(fù)雜行駛環(huán)境的三維主動(dòng)傳感器；（3）面向行駛環(huán)境的高質(zhì)量三維地圖生成方法與技術(shù)；（4）車輛輔助安全駕駛關(guān)鍵技術(shù)；（5）無人車輛行駛測試環(huán)境的設(shè)計(jì)與評(píng)估方法；（6）復(fù)雜行駛環(huán)境的高可靠性局部路徑規(guī)劃方法。五、遴選項(xiàng)目的基本原則為確保實(shí)現(xiàn)總體目標(biāo)，本重大研究計(jì)劃鼓勵(lì)：（一）具有原始創(chuàng)新思路和獨(dú)具特色的探索性研究；（二）與總體目標(biāo)緊密相關(guān)的關(guān)鍵技術(shù)研究；（三）生命、數(shù)理和信息等學(xué)科的交叉合作研究；（四）吸收海外優(yōu)秀科學(xué)家參與研究。六、申請(qǐng)書撰寫注意事項(xiàng)（一）申請(qǐng)人在填報(bào)申請(qǐng)書前，須認(rèn)真閱讀本指南。申請(qǐng)書的研究內(nèi)容和研究目標(biāo)須與本重大研究計(jì)劃密切相關(guān)。不符合項(xiàng)目指南的申請(qǐng)將不予受理。（二）根據(jù)當(dāng)年度項(xiàng)目指南公布的擬資助研究方向，申請(qǐng)人可自行確定項(xiàng)目名稱、科學(xué)目標(biāo)、研