人機(jī)交互中的計(jì)算機(jī)視覺(jué)(譯文)

1、要想獲得通用的，魯棒性強(qiáng)的，高性能的計(jì)算機(jī)視覺(jué)系統(tǒng)照舊存在著不少障礙，但是，過(guò)去的十年間，在人機(jī)交互領(lǐng)域里，視覺(jué)技術(shù)有了重大的進(jìn)展。計(jì)算機(jī)視覺(jué)交互在人們的交談和彼此間的交互過(guò)程中，視覺(jué)信息明顯是很重要的。通過(guò)視覺(jué)的模態(tài)，我們可以 馬上確定很多顯著的關(guān)于他人的事實(shí)和特征，包括他們的位置、身份、大致的年齡、留意力的焦點(diǎn)、臉部表情、姿勢(shì)、手勢(shì)和一般的活動(dòng)。這些視覺(jué)線索影響到了會(huì)話的內(nèi)容和進(jìn)程，并供應(yīng)了一些上 下文相關(guān)的信息，這些信息與言語(yǔ)不同，但與此相關(guān)，例如，一個(gè)手勢(shì)或面部表情可能是一個(gè)關(guān)鍵 的信號(hào)，一個(gè)注視的角度可能可以消退在言語(yǔ)中“這個(gè)”或者“在那邊”的指帶不明。換言之，在 人與人的交互中，視

2、覺(jué)和言語(yǔ)是聯(lián)合表達(dá)，相互補(bǔ)充的通道。正如語(yǔ)音自動(dòng)識(shí)別是試圖構(gòu)造能夠感 知人們溝通的文字方面的機(jī)器，那么計(jì)算機(jī)視覺(jué)技術(shù)是用來(lái)構(gòu)造能夠“觀看人”并自動(dòng)感知相關(guān)視 覺(jué)信息的機(jī)器。計(jì)算機(jī)視覺(jué)是一門試圖通過(guò)圖像處理或視頻處理而使計(jì)算機(jī)具備“看”的力量的計(jì)算學(xué)科。通 過(guò)理解圖像形成的幾何和輻射線測(cè)定，接受器（相機(jī)）的屬性和物理世界的屬性，就有可能（至少 在某些狀況下）從圖像中推斷出關(guān)于事物的有用信息，例如一塊織物的顏色、一圈染了色的痕跡的 寬度、火星上一個(gè)移動(dòng)機(jī)器人面前的障礙物的大小、監(jiān)防系統(tǒng)中一張人臉的身份、海底植物的類型 或者是mri 掃描圖中的腫瘤位置。計(jì)算機(jī)視覺(jué)爭(zhēng)辯的就是如何能健壯、有效地完成這類

3、的任務(wù)。最初計(jì)算機(jī)視覺(jué)被看作是人工智能的一個(gè)子方向，現(xiàn)在已成為一個(gè)活躍的爭(zhēng)辯領(lǐng)域并長(zhǎng)達(dá)40 年了。傳統(tǒng)上，計(jì)算機(jī)視覺(jué)爭(zhēng)辯是被一些主要的應(yīng)用領(lǐng)域所推動(dòng)的，例如生物視覺(jué)建模、機(jī)器人導(dǎo)航 和操作、監(jiān)防、醫(yī)療圖像以及各種檢查、檢測(cè)和識(shí)別任務(wù)。近年來(lái)，涌現(xiàn)了多模態(tài)和感知交互，推 動(dòng)了一大批關(guān)于機(jī)器視覺(jué)（machine vision community）的爭(zhēng)辯。這些努力的重心大多是集成多種感知模態(tài)（例如計(jì)算機(jī)視覺(jué)，語(yǔ)音和聲音處理，觸覺(jué)的輸入/輸出）到用戶接口。尤其對(duì)于計(jì)算機(jī)視覺(jué) 技術(shù)，主要的目標(biāo)是在人機(jī)交互中接受視覺(jué)作為有效的輸入模態(tài)。這種基于視頻的傳感是被動(dòng)的、 無(wú)插入的，由于它不需要與用戶的交互或任何

4、有特別用途的裝置；傳感器也能夠被用于視頻會(huì)議和 其他成像用途。這種技術(shù)在基于視覺(jué)的交互領(lǐng)域中具有良好的應(yīng)用前景，例如玩耍、生物測(cè)定學(xué)和 準(zhǔn)入，還有一般的多態(tài)接口，能將視覺(jué)信息和其他的語(yǔ)音、語(yǔ)言技術(shù)，觸覺(jué)以及用戶建模等相結(jié)合。這種關(guān)于人的視覺(jué)信息的獵取，已經(jīng)通向了計(jì)算機(jī)視覺(jué)中大量的爭(zhēng)辯領(lǐng)域，著重于建模，識(shí)別和解釋人的行為。假如牢靠且健壯地發(fā)放了，這種視覺(jué)技術(shù)可以支持交互系統(tǒng)中的一系列的功能， 主要通過(guò)傳遞相關(guān)的用戶視覺(jué)信息，例如身份、位置和動(dòng)作，從而供應(yīng)關(guān)鍵的上下文信息。為了能充分地支持交互中的視覺(jué)部分，需要提出幾個(gè)任務(wù)：l 人臉檢測(cè)和定位：場(chǎng)景中有多少人，他們?cè)谀睦?？l 人臉識(shí)別：他是誰(shuí)？l

5、頭和臉部的跟蹤：用戶的頭部在哪里，臉部的位置和方向是什么？l 臉部表情分析：用戶在微笑，大笑，皺眉，說(shuō)話還是困乏？l 視聽(tīng)語(yǔ)音識(shí)別：使用語(yǔ)音識(shí)別以及伴隨視話（lip-reading）和 face-reading，推斷用戶說(shuō)什么？l 眼睛注視跟蹤：用戶的眼睛朝哪里看？l 身體跟蹤：用戶的身體在何處？關(guān)節(jié)處（articulation）是什么？l 手跟蹤：用戶的手在哪里？是 2 維的還是 3 維的？特別地，手的結(jié)構(gòu)是怎樣的？l 步態(tài)識(shí)別：這是誰(shuí)的走路/跑步風(fēng)格？l 姿勢(shì)、手勢(shì)和活動(dòng)識(shí)別：這個(gè)人在做什么？這些任務(wù)都格外困難，從一個(gè)攝像機(jī)拍得圖像（有時(shí)或者是多相機(jī)從不同的視角）開(kāi)頭，這項(xiàng) 工作典型狀況下

6、至少包括每秒 30 次的 240*320 個(gè)像素（每像素 24 比特）。我們?cè)噲D很快地使這些數(shù)據(jù)變得有意義。與語(yǔ)音識(shí)別問(wèn)題相比較，語(yǔ)音識(shí)別是從一個(gè)一維的，時(shí)間序列信號(hào)開(kāi)頭，然后嘗試 將其分段并分類成相對(duì)少數(shù)目的已知類別（音素或詞）。計(jì)算機(jī)視覺(jué)事實(shí)上是一堆子問(wèn)題的集合，這些子問(wèn)題彼此間很少有共同點(diǎn)，且都格外簡(jiǎn)單?；谝曈X(jué)的接口任務(wù)至今，計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)用到人機(jī)交互中已取得了顯著的成功，并在其它領(lǐng)域中也顯示其前景。人臉檢測(cè)和人臉識(shí)別獲得了最多的關(guān)注，也取得了最多的進(jìn)展。第一批用于人臉識(shí)別的計(jì)算機(jī)程序 消滅在 60 年月末和 70 年月初，但直到90 年月初，計(jì)算機(jī)運(yùn)算才足夠快，以支持這些實(shí)時(shí)任務(wù)。

7、人臉識(shí)別的問(wèn)題產(chǎn)生了很多基于特征位置、人臉外形、人臉紋理以及它們間組合的計(jì)算模型，包括主要組件分析、線性判別式分析、gabor 小波網(wǎng)絡(luò)和.active appearance model（aam）.很多公司，例如identix,viisage technology和 cognitec system，正在為出入、平安和監(jiān)防等應(yīng)用開(kāi)發(fā)和出售人臉識(shí)別技術(shù)。這些系統(tǒng)已經(jīng)被部署到公共場(chǎng)所，例如機(jī)場(chǎng)、城市廣場(chǎng)以及私人的出入受限的環(huán)境。要想對(duì) 人臉識(shí)別爭(zhēng)辯有一個(gè)全面的生疏，見(jiàn)12。人臉檢測(cè)技術(shù)在一個(gè)場(chǎng)景中從不同的范圍和方向檢測(cè)全部的臉在近年來(lái)伴隨著實(shí)時(shí)統(tǒng)計(jì)學(xué)習(xí)方法已經(jīng)有了顯著的進(jìn)展。頭部和臉部跟蹤在一些強(qiáng)約

8、束力的狀況下運(yùn)行得很好，例如，當(dāng)在爭(zhēng)辯對(duì)象的臉上作標(biāo)記時(shí)。但是，在一般環(huán)境下，臉部姿勢(shì)和臉部特征位置的跟蹤照舊是一個(gè)難題。臉部表情分析也同樣是，通常它是依據(jù)精確的臉部特征跟蹤作為輸入的?，F(xiàn)在已經(jīng)存在一些有前景的能夠識(shí)別肯定范圍內(nèi)的臉部特征的原型系統(tǒng)，但是它們?cè)谛阅芎汪敯粜陨先耘f有局限性。眼睛注視跟蹤（eye-gaze tracking）已經(jīng)商業(yè)化多年，主要用于殘疾的計(jì)算機(jī)用戶和科學(xué)試驗(yàn)。這些系統(tǒng)接受主動(dòng)式傳感，向用戶的眼睛發(fā)送一個(gè)紅外燈源作為一個(gè)基準(zhǔn)方向，但嚴(yán)格限制了頭部 的活動(dòng)。以現(xiàn)在的形式，這些系統(tǒng)是不適合通用的多模態(tài)用戶接口的。為了確定一個(gè)人的位置或者為頭部和手部的運(yùn)動(dòng)建立一個(gè)基準(zhǔn)坐標(biāo)框

9、架，在視頻流中跟蹤身體 是格外有用的。早期的系統(tǒng)例如pfinder，通過(guò)明晰靜態(tài)背景模型，產(chǎn)生了一個(gè)身體輪廓的表示，且標(biāo)識(shí)了頭部和手部的可能位置。一些爭(zhēng)辯者使用了更為具體、關(guān)節(jié)運(yùn)動(dòng)更為簡(jiǎn)單的動(dòng)態(tài)身體模型， 盡管將圖像數(shù)據(jù)匹配到這些模型中是簡(jiǎn)單而又慢的。雖然在動(dòng)畫制作中廣泛使用了動(dòng)作捕獲系統(tǒng)來(lái) 捕獲身體的精確動(dòng)作，但需要用戶穿上特制的衣服或者一些接受傳感器和標(biāo)記物，這樣就使得這種 方法無(wú)法適用于通用的多模態(tài)接口。當(dāng)環(huán)境被把握（例如，固定的照明條件、相機(jī)位置和背景）且手沒(méi)有重疊時(shí)，二維和三維的手 部位置跟蹤并不困難，關(guān)注皮膚的顏色是典型的方法。然而，一般人的行為，手經(jīng)常是隱蔽的（在 口袋中，放在頭

10、后）或是被另一個(gè)手臂、手所遮擋。在這些狀況下，手部跟蹤就變得困難且需要基 于人類運(yùn)動(dòng)的推測(cè)。一個(gè)更困難的問(wèn)題是跟蹤完整的手部關(guān)節(jié)由手結(jié)構(gòu)定義（23 個(gè)手腕dof， 6 個(gè)位置和方向dof）的 29 個(gè)自由度。wu 和huang 供應(yīng)了一個(gè)對(duì)手跟蹤和手勢(shì)識(shí)別的概述。對(duì)人身體及其組成部分的定位、識(shí)別和跟蹤只是交互的第一步，此外需要識(shí)別行為。感愛(ài)好的 行為可能有結(jié)構(gòu)化的、分別的手勢(shì)，連續(xù)的人類自然手勢(shì)或者由一系列時(shí)間范圍定義的行為（例如， 離開(kāi)房間，在桌子上吃飯）。手勢(shì)識(shí)別可以作為一個(gè)直接的模式識(shí)別問(wèn)題來(lái)實(shí)現(xiàn)，它試圖匹配身體參 數(shù)的某個(gè)序列，或者是一個(gè)概率系統(tǒng)用來(lái)推理基于統(tǒng)計(jì)定義的姿勢(shì)模型。這個(gè)系統(tǒng)

11、必需要能區(qū)分偶 然的人類動(dòng)作，有目的的操作物體的動(dòng)作和那些用于溝通（有或無(wú)意識(shí)的）的手勢(shì)。語(yǔ)言和手勢(shì)間 的關(guān)系是很簡(jiǎn)單的，能使通用的且上下文無(wú)關(guān)的姿勢(shì)識(shí)別自動(dòng)化是一個(gè)長(zhǎng)期的目標(biāo)。雖然在某些狀況中可以使用簡(jiǎn)潔的狀態(tài)空間模型，但在建模和識(shí)別序列姿勢(shì)時(shí)通常接受統(tǒng)計(jì)模 型。由于統(tǒng)計(jì)模型在語(yǔ)音識(shí)別領(lǐng)域中的成功使用，隱馬爾可夫模型（hmm）已經(jīng)被廣泛地用于建模 和識(shí)別姿勢(shì)。一個(gè)早期的例子是一個(gè)識(shí)別系統(tǒng)，能夠識(shí)別肯定數(shù)量的由starner 和pentland 開(kāi)發(fā)的美國(guó)手語(yǔ)。現(xiàn)在已有一些源于基本 hmm 方法的變形，用于更好地匹配視覺(jué)中更為廣泛的特征和模型。由于很多手勢(shì)包括多個(gè)組成部分，例如手部動(dòng)作的弧線和

12、姿勢(shì)，序列信號(hào)比語(yǔ)音識(shí)別中的更簡(jiǎn)單。 貝葉斯網(wǎng)絡(luò)在姿勢(shì)識(shí)別中也顯示其前景。基于視覺(jué)的接口技術(shù)進(jìn)展盡管在一些個(gè)別應(yīng)用中取得了成功，但縱使在幾十年的爭(zhēng)辯之后，計(jì)算機(jī)視覺(jué)還沒(méi)有在商業(yè)上被廣泛使用。幾種趨勢(shì)好像表明白這種情形馬上會(huì)發(fā)生轉(zhuǎn)變。硬件界的摩爾定律的進(jìn)展，相機(jī)技術(shù)的進(jìn)步，數(shù)碼視頻安裝的快速增長(zhǎng)以及軟件工具的可獵取性（例如intel 的 opencv libraray）使視覺(jué)系統(tǒng)能夠變得小巧、機(jī)敏和可支付。近年來(lái)，美國(guó)政府已經(jīng)投資了一些人臉識(shí)別評(píng)估項(xiàng)目：最初為1993 年到 1997 年的人臉識(shí)別技術(shù)（feret）項(xiàng)目，最近為 2000 年到 2002 年的人臉識(shí)別vendor 測(cè)試（frvt）

13、。這些項(xiàng)目供應(yīng)了對(duì)用于爭(zhēng)辯和商業(yè)的人臉識(shí)別系統(tǒng)的性能評(píng)估。frvt 2002 全面地測(cè)試了 10 個(gè)商業(yè)系統(tǒng)，收集了一個(gè)格外大的數(shù)據(jù)集的性能統(tǒng)計(jì)：37437 個(gè)人的 121589 張人臉圖像，通過(guò)多維（在室內(nèi)或室外，男性或女性，年輕的或年長(zhǎng)的）表示其性能特征。圖3 顯示了最佳系統(tǒng)對(duì)正面人臉圖像的 5 項(xiàng)分類的人臉檢驗(yàn)結(jié)果。最近幾年，darpa 資助了用于遠(yuǎn)距離識(shí)別人和視頻監(jiān)防的大型工程。正在進(jìn)行中的遠(yuǎn)距離人物身份（humanid）項(xiàng)目將使用多模態(tài)融合技術(shù)，包括注視識(shí)別，即在很長(zhǎng)的范圍內(nèi)（25-100 英寸） 識(shí)別人物身份。視頻監(jiān)防和監(jiān)視（vsam）項(xiàng)目試圖為將來(lái)的監(jiān)防應(yīng)用開(kāi)發(fā)對(duì)感愛(ài)好的活動(dòng)的識(shí)

14、別 系統(tǒng)。國(guó)家科學(xué)基金已經(jīng)給基于視覺(jué)接口技術(shù)的相關(guān)領(lǐng)域中的一些信息技術(shù)爭(zhēng)辯（itr）嘉獎(jiǎng)了津貼。工業(yè)界中公司里（例如微軟，ibm 和英特爾）的研發(fā)試驗(yàn)室在這些領(lǐng)域中做了很多的努力，同樣的在工業(yè)界中開(kāi)辦了公司，例如個(gè)人機(jī)器人和消遣。近年來(lái)，隨著很多公司供應(yīng)人臉識(shí)別技術(shù)（和人臉檢測(cè)、人臉跟蹤），包括 3d 方法（例如， geometrix,a4vision 和 3dbiometrics,見(jiàn) jain 和 ross 關(guān)于包括計(jì)算機(jī)視覺(jué)和其他模態(tài)的生物測(cè)定的具體描述），生物測(cè)定學(xué)市場(chǎng)有了顯著地?cái)U(kuò)大。一些爭(zhēng)辯團(tuán)體和公司已開(kāi)發(fā)了人臉跟蹤技術(shù)，尤其是用于計(jì)算機(jī)圖形市場(chǎng)（玩耍和特效）。簡(jiǎn)潔的視覺(jué)技術(shù)有效地用于

15、交互環(huán)境的一個(gè)不錯(cuò)的例子是mit 媒體試驗(yàn)室的幼兒室工程。幼兒室為孩子供應(yīng)了一個(gè)交互的，敘述性的劇情空間。用計(jì)算機(jī)視覺(jué)來(lái)識(shí)別用戶的位置和他們的活動(dòng)可以掛念給參與者傳遞一種強(qiáng)制性的交互體驗(yàn)?，F(xiàn)在已經(jīng)有很多其他的由高校和爭(zhēng)辯試驗(yàn)室開(kāi)發(fā)的強(qiáng)制性原型系統(tǒng)，其中有些處于步入市場(chǎng)的初期階段。技術(shù)挑戰(zhàn)除了適合生物測(cè)定市場(chǎng)的人臉識(shí)別技術(shù)外，幾乎很少有成熟的計(jì)算機(jī)視覺(jué)產(chǎn)品或技術(shù)以支持與用戶的交互。然而，有大量且數(shù)量遞增的爭(zhēng)辯項(xiàng)目和這類原型系統(tǒng)。為了從試驗(yàn)室走向真實(shí)世界， 必需說(shuō)明幾個(gè)基本問(wèn)題：l 魯棒性：大多數(shù)視覺(jué)技術(shù)是脆弱，缺乏魯棒性的，照明和相機(jī)位置的微小變化可能會(huì)導(dǎo)致系統(tǒng)出錯(cuò)。系統(tǒng)需要在各種條件下工作，且

16、能適度地、快速地從錯(cuò)誤中恢復(fù)。l 速度：對(duì)于大多數(shù)計(jì)算機(jī)視覺(jué)技術(shù)，在全面和快速交互兩者間都實(shí)行了實(shí)際折衷。視頻數(shù)據(jù)太 多了，以至于無(wú)法實(shí)時(shí)地做簡(jiǎn)單處理。我們需要更好的算法、更快的硬件設(shè)備和更靈活的方法 來(lái)決策需要計(jì)算什么，可以忽視什么。（供應(yīng)了已處理的圖像流的數(shù)碼相機(jī)能夠有很大的掛念）l 初始化：很多技術(shù)在得到了初始模型后，跟蹤效果都很好，但是初始化步驟往往很慢且需要用戶參與。系統(tǒng)必需能快速和透亮地進(jìn)行初始化。l 使用性：對(duì)于開(kāi)發(fā)系統(tǒng)的人來(lái)說(shuō)（花費(fèi)了很多時(shí)間爭(zhēng)辯簡(jiǎn)單難點(diǎn)）視覺(jué)技術(shù)的示范使用能工作地很好，但對(duì)于那些沒(méi)有經(jīng)過(guò)“系統(tǒng)訓(xùn)練”的新手卻很困難。這些系統(tǒng)需要適應(yīng)用戶，處理無(wú)法預(yù)期的用戶行為。

17、此外，它們需要供應(yīng)簡(jiǎn)潔的糾錯(cuò)和處理錯(cuò)誤會(huì)釋機(jī)制以及能供應(yīng)反饋給用戶，以避開(kāi)預(yù)料之外的災(zāi)難性后果。l 上下文集成：一個(gè)基于視覺(jué)的交互技術(shù)本身不是最終的結(jié)果，而是一個(gè)更浩大的系統(tǒng)中的組成部分。手勢(shì)和活動(dòng)需要放在合適的應(yīng)用過(guò)程中加以理解，而不是孤立的行為。從長(zhǎng)期來(lái)看，這需要在各種應(yīng)用的上下文關(guān)系中深刻地理解人類行為。前三個(gè)問(wèn)題已經(jīng)在日常的爭(zhēng)辯試驗(yàn)室和全球的產(chǎn)品研發(fā)組織得到了關(guān)注，使用性和上下文集成很少被考慮，但是隨著更多的應(yīng)用開(kāi)發(fā)，這兩個(gè)問(wèn)題將會(huì)提到爭(zhēng)辯日程的前面。結(jié)論計(jì)算機(jī)視覺(jué)是一個(gè)格外困難的問(wèn)題，在經(jīng)過(guò)幾十年的爭(zhēng)辯及幾個(gè)主要應(yīng)用的推動(dòng)后照舊不能解決通用情形。但是，在過(guò)去的十幾年里，人們對(duì)于相機(jī)的回轉(zhuǎn)使用以及用計(jì)算機(jī)視覺(jué)來(lái)“看人”的 愛(ài)好提升，即檢測(cè)和識(shí)別人臉，跟蹤頭部、臉部、手部和身體，分析臉部表情和身體動(dòng)作，識(shí)別手 勢(shì)。在構(gòu)造實(shí)時(shí)、健壯的視覺(jué)技術(shù)上取得了重要的進(jìn)展，部分是由于摩爾定律驅(qū)動(dòng)的硬件性能的極 大提高。一些子問(wèn)題（例如，人臉檢測(cè)和人臉識(shí)別）已經(jīng)獲得了顯著的商業(yè)成功，但是其他部分（例 如手勢(shì)識(shí)別）還沒(méi)有在商業(yè)上找到一個(gè)大的位置。全部這些領(lǐng)域，仍舊存在重要的速度和魯棒性問(wèn) 題，由于快速的方法總是脆弱的，而依據(jù)原理的全面的方法又是格外慢的。與語(yǔ)音識(shí)別技術(shù)相比較， 語(yǔ)音技術(shù)已經(jīng)商業(yè)化