知識(shí)界面及交互課件

一個(gè)研究設(shè)想：知識(shí)界面及交互西南交通大學(xué)經(jīng)濟(jì)管理學(xué)院人因工程研究所李永建2011.5一個(gè)研究設(shè)想：知識(shí)界面及交互西南交通大學(xué)經(jīng)濟(jì)管理學(xué)院1。背景與意義1.1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)理論研究的前沿1.2實(shí)現(xiàn)人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)應(yīng)用研究的熱點(diǎn)1.3明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知識(shí)/語(yǔ)義界面的人機(jī)交互”的研究鮮見(jiàn)2。研究現(xiàn)狀與趨勢(shì)2.1人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面”向“知識(shí)/語(yǔ)義界面”發(fā)展2.2人機(jī)交互從傳統(tǒng)的“刺激/信號(hào)界面—操作”向“知識(shí)/語(yǔ)義界面—解題”的發(fā)展2.3人機(jī)界面技術(shù)向綜合化、一體化方向發(fā)展2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)方向發(fā)展2.5人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展3。知識(shí)界面及交互3.1知識(shí)界面3.2基于知識(shí)界面的人機(jī)交互3.3人與知識(shí)界面/接口的交互構(gòu)成了現(xiàn)代人機(jī)知識(shí)關(guān)系的基本結(jié)構(gòu)與功能單元3.4基于知識(shí)界面的人機(jī)交互是現(xiàn)代人機(jī)智能、自然關(guān)系研究的前沿性基礎(chǔ)問(wèn)題1。背景與意義1。背景與意義廣義看：人必然與外界交互，且只能通過(guò)自然或人工界面而實(shí)現(xiàn)通過(guò)認(rèn)知界面接受信息，通過(guò)操作界面作用外界故世界各國(guó)將人機(jī)交互作為研究重點(diǎn)，現(xiàn)代人機(jī)關(guān)系知識(shí)化使基于知識(shí)界面的人機(jī)知識(shí)交互成為智能、自然人機(jī)交互研究的前沿?？茖W(xué)技術(shù)“以人為本”，既是目標(biāo)，也是實(shí)現(xiàn)目標(biāo)的手段。著名科學(xué)家錢(qián)學(xué)森指出:突破人工智能面臨的困境是人機(jī)結(jié)合的智能系統(tǒng)1。背景與意義廣義看：人必然與外界交互，且只能通過(guò)自然或人工1。背景與意義1。1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)理論研究的前沿現(xiàn)代人機(jī)關(guān)系發(fā)展的基本特點(diǎn)是知識(shí)化各種人機(jī)系統(tǒng)（從簡(jiǎn)單到超大規(guī)模復(fù)雜人機(jī)系統(tǒng)，從工作到生活、娛樂(lè)的人機(jī)關(guān)系）無(wú)不反映這種發(fā)展趨勢(shì)簡(jiǎn)要看，智能界面突出的是界面主導(dǎo)的智能導(dǎo)航；自然界面強(qiáng)調(diào)的是界面的多通道（如腦—機(jī)接口等）的自然交互特征；知識(shí)界面重點(diǎn)在人機(jī)基于知識(shí)的對(duì)話。人機(jī)智能、自然交互必然、也只能通過(guò)人機(jī)知識(shí)/語(yǔ)義對(duì)話才能實(shí)現(xiàn)，構(gòu)成智能、自然人機(jī)交互的基礎(chǔ)?，F(xiàn)代科學(xué)技術(shù)前沿領(lǐng)域中的一個(gè)基礎(chǔ)問(wèn)題，多學(xué)科的交叉領(lǐng)域1。背景與意義1。1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)1。背景與意義1.1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)理論研究的前沿美國(guó)總統(tǒng)信息技術(shù)顧問(wèn)委員會(huì)的“21世紀(jì)的信息技術(shù)報(bào)告”中將“人機(jī)交互和信息管理”列為新世紀(jì)4項(xiàng)重點(diǎn)發(fā)展的信息技術(shù)(還包括軟件、可伸縮信息基礎(chǔ)設(shè)施、高端計(jì)算)之一,它的目標(biāo)是研制“能聽(tīng)、能說(shuō)、能理解人類(lèi)語(yǔ)言的計(jì)算機(jī)”2007年美國(guó)NSF在信息與智能系統(tǒng)(IIS)中列出的三個(gè)核心技術(shù)領(lǐng)域之一是以人為本的計(jì)算，其具體主題包含多媒體和多通道界面、智能界而和用戶(hù)建模、信息可視化，以及高效的以計(jì)算機(jī)媒介的人人交互模型等2007年歐盟第七框架項(xiàng)目中也包含了自然人機(jī)交互的內(nèi)容國(guó)外許多知名大學(xué)和研究機(jī)構(gòu)都在自然人機(jī)交互領(lǐng)域開(kāi)展了相關(guān)研究如UCBerkeley,MIT,CMU,Stanford,Maryland,Brown,Toronto,Michigan等大學(xué)和Microsoft,IBM、施樂(lè)等公司也都作了很多研究工作。美國(guó)DARPA項(xiàng)目的HCI研究中也有Stanford,CMU,MIT,OGI等參加的多項(xiàng)自然人機(jī)交互研究;歐共體委員會(huì)CEC(CommissionoftheEuropeanCommunities)制定了一個(gè)歐洲信息技術(shù)戰(zhàn)略計(jì)劃ESPRIT對(duì)自然人機(jī)界而進(jìn)行了系統(tǒng)的研究，其中包括語(yǔ)音識(shí)別、語(yǔ)音合成、聲音的空間化、筆式輸人和手寫(xiě)體等各個(gè)支撐技術(shù)的研究。我國(guó)重大研究計(jì)劃將對(duì)人類(lèi)如何思考以及機(jī)器如何幫助人類(lèi)更好地工作產(chǎn)生重大影響1。背景與意義1.1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技1。背景與意義1.2實(shí)現(xiàn)人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)應(yīng)用研究的熱點(diǎn)計(jì)算機(jī)、網(wǎng)絡(luò)、手機(jī)、家用電器、工業(yè)設(shè)備、醫(yī)療設(shè)備、娛樂(lè)設(shè)備等等調(diào)查表明，由于人機(jī)交互的問(wèn)題，計(jì)算機(jī)用戶(hù)浪費(fèi)12%以上的時(shí)間。因此，數(shù)碼產(chǎn)品需要更好的人機(jī)交互，將使用戶(hù)更滿(mǎn)意、更快捷的使用產(chǎn)品，以提高使用效率（生產(chǎn)率）、安全可靠性。不同學(xué)科關(guān)注的交點(diǎn)：人機(jī)交互、可用性、用戶(hù)體驗(yàn)成為產(chǎn)品成敗的決定性因素：例，iPHONE（多點(diǎn)觸控技術(shù)）、手機(jī)的可用性問(wèn)題，手機(jī)屏保軟件等案例Mary向記者展示了使用肌肉計(jì)算控制界面演奏《吉他英雄》（GuitarHero）的過(guò)程：一個(gè)赤手空拳的年輕人投入地用手指在空中按來(lái)按去，腦袋隨著節(jié)奏甩動(dòng)，而面前的顯示屏中的吉他按照年輕人手指按動(dòng)的壓點(diǎn)和軌跡，傳來(lái)相應(yīng)的旋律。1。背景與意義1.2實(shí)現(xiàn)人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科1。背景與意義1.3明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知識(shí)/語(yǔ)義界面的人機(jī)交互”的研究鮮見(jiàn)查中國(guó)知識(shí)資源總庫(kù)（CNKI），僅有幾篇明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知識(shí)/語(yǔ)義界面的人機(jī)交互”的相關(guān)研究文獻(xiàn)。這里，需要著重指出的是，科學(xué)技術(shù)以人為本，人與外界（自然世界與人造世界）的關(guān)系是通過(guò)基于界面（自然界面與人造界面）的交互作用而實(shí)現(xiàn)的；因此，關(guān)于“知識(shí)/語(yǔ)義界面”和“基于知識(shí)/語(yǔ)義界面的人機(jī)交互”的問(wèn)題必然或多或少要反映在每一篇人機(jī)界面與人機(jī)交互的研究之中。1。背景與意義1.3明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.1人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面”向“知識(shí)/語(yǔ)義界面”發(fā)展傳統(tǒng)人機(jī)界面提供（輸出）的是刺激、信號(hào)傳統(tǒng)的人機(jī)界面僅提供系統(tǒng)運(yùn)行與控制的簡(jiǎn)單、明確的物理信號(hào)如通過(guò)各類(lèi)儀表的指針、燈光、聲音、色彩、振動(dòng)及其它們的數(shù)量、位置、大小、密度、組合、對(duì)比度等信號(hào)的物理特征給人提供系統(tǒng)運(yùn)行狀態(tài)與操作功能的信息，由它們構(gòu)成信號(hào)關(guān)系簡(jiǎn)單、明確的人機(jī)界面。例如，駕駛界面、監(jiān)控界面等。現(xiàn)代人機(jī)界面提供（輸出）的是知識(shí)、語(yǔ)義現(xiàn)代人機(jī)界面在傳統(tǒng)的人機(jī)界面的基礎(chǔ)上，融合計(jì)算機(jī)技術(shù)，提供復(fù)雜的、具有層次與結(jié)構(gòu)的、包括自然語(yǔ)言與人工語(yǔ)言的圖、符號(hào)、字詞、概念的系統(tǒng)運(yùn)行狀態(tài)與操作功能的語(yǔ)義信息。例如簡(jiǎn)單的家電（如電視、手機(jī)）普遍采用了多層菜單（語(yǔ)義層次結(jié)構(gòu)）界面進(jìn)行復(fù)雜的人機(jī)交互，這是傳統(tǒng)人機(jī)交互不可能實(shí)現(xiàn)的。

2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.1人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面”向“知識(shí)/語(yǔ)義界面”發(fā)展例：人機(jī)界面可視為萬(wàn)維網(wǎng)中的一個(gè)節(jié)點(diǎn)人機(jī)界面知識(shí)化從一個(gè)節(jié)點(diǎn)反映了萬(wàn)維網(wǎng)向語(yǔ)義網(wǎng)的發(fā)展趨勢(shì)。隨著機(jī)器越來(lái)越深入人類(lèi)生活，人類(lèi)已經(jīng)而且必將越來(lái)越熟悉和習(xí)慣機(jī)器的“思維方式”（人類(lèi)語(yǔ)義越來(lái)越“接近”人工語(yǔ)義，或者出現(xiàn)某種人類(lèi)和機(jī)器共同的“人機(jī)語(yǔ)義”）。從而導(dǎo)致人機(jī)交互方式正在經(jīng)歷根本性變革——從純語(yǔ)法處理方式向語(yǔ)義處理方式轉(zhuǎn)化；機(jī)器系統(tǒng)的“邏輯本性”正在經(jīng)歷重大轉(zhuǎn)變——從“同質(zhì)系統(tǒng)”向“異質(zhì)系統(tǒng)”變遷。“人機(jī)語(yǔ)義”的基本特征可以概括為異質(zhì)性、相對(duì)于語(yǔ)義網(wǎng)規(guī)則的可證正確性和人機(jī)互可理解性。例：win中的變色、√、┅、→等傳統(tǒng)社會(huì)的基本結(jié)構(gòu)是以人際關(guān)系作為生產(chǎn)和生活的基本連接紐帶，機(jī)器之間的連接不起實(shí)質(zhì)性作用；未來(lái)網(wǎng)絡(luò)社會(huì)是以機(jī)器網(wǎng)絡(luò)作為生產(chǎn)和生活的基礎(chǔ)平臺(tái)與連接紐帶，人際關(guān)系越來(lái)越多地借助于機(jī)器網(wǎng)絡(luò)和人機(jī)關(guān)系得以實(shí)現(xiàn)。這意味著機(jī)與機(jī)之間以及人與機(jī)之間的相互溝通與“理解”變得越來(lái)越重要。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面人機(jī)連接關(guān)系傳統(tǒng)：通過(guò)人與人的聯(lián)系構(gòu)成機(jī)與機(jī)的聯(lián)系現(xiàn)代：通過(guò)機(jī)與機(jī)的聯(lián)系構(gòu)成人與人的聯(lián)系：萬(wàn)維網(wǎng)(WorldWideWeb)人機(jī)連接關(guān)系2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)交互從傳統(tǒng)的“刺激/信號(hào)界面—操作”向“知識(shí)/語(yǔ)義界面—解題”的發(fā)展（1）人機(jī)交互的特征決定于界面（包括認(rèn)知界面與操作界面）特征與用戶(hù)特征及其關(guān)系。由于人機(jī)界面的知識(shí)化，基于界面的人機(jī)交互也從操作過(guò)程轉(zhuǎn)化為解題過(guò)程（知識(shí)作業(yè)過(guò)程/腦力勞動(dòng)過(guò)程、認(rèn)知過(guò)程）。（2）基于傳統(tǒng)人機(jī)界面的人機(jī)交互模式：“刺激/信號(hào)界面—操作”，重在操作技能用認(rèn)知科學(xué)術(shù)語(yǔ)可更為簡(jiǎn)明描述為“刺激—反應(yīng)”模式。在這種人機(jī)交互模式下，由于信號(hào)簡(jiǎn)單、明確，而操作復(fù)雜、要求高，要使系統(tǒng)正常運(yùn)行就必然強(qiáng)調(diào)操作與操作技能。如駕駛技能、機(jī)床操作技能。（3）基于知識(shí)界面的現(xiàn)代人機(jī)交互模式：“知識(shí)/語(yǔ)義界面—解題”，重在認(rèn)知技能用認(rèn)知科學(xué)術(shù)語(yǔ)可描述為“知識(shí)/語(yǔ)義界面—認(rèn)知過(guò)程”模式。在這種人機(jī)交互模式下，由于信號(hào)具有復(fù)雜表現(xiàn)形式（自然語(yǔ)言與人工語(yǔ)言的圖、符號(hào)、字詞等）、復(fù)雜的語(yǔ)義層次與結(jié)構(gòu)，而操作相對(duì)簡(jiǎn)單（如鼠標(biāo)、鍵盤(pán)、觸摸操作）。要保證系統(tǒng)正常運(yùn)行、人機(jī)交互目標(biāo)的實(shí)現(xiàn)就必然強(qiáng)調(diào)認(rèn)知與認(rèn)知技能例如，專(zhuān)業(yè)人員與非專(zhuān)業(yè)人員的不同知識(shí)背景所導(dǎo)致的人機(jī)交互特點(diǎn)的不同：專(zhuān)業(yè)人員是在“老師”指導(dǎo)下的解例題過(guò)程，重視的是效率、可靠性；而非專(zhuān)業(yè)人員是自學(xué)基礎(chǔ)上的解題過(guò)程，注重的是可用性、用戶(hù)特征等問(wèn)題（這種差異是界面設(shè)計(jì)必須考慮的問(wèn)題）。人機(jī)交互就發(fā)展成為知識(shí)界面所定義的語(yǔ)義網(wǎng)上的解題過(guò)程（問(wèn)題解決過(guò)程/知識(shí)作業(yè)過(guò)程/腦力勞動(dòng)過(guò)程/認(rèn)知過(guò)程/計(jì)算過(guò)程）。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)交互從傳統(tǒng)的“刺激/信號(hào)界面2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.3人機(jī)界面技術(shù)向綜合化、一體化方向發(fā)展人機(jī)系統(tǒng)（航空航天、高鐵）的高速化，必然帶來(lái)信息顯示的復(fù)雜化以及與此對(duì)應(yīng)的操控復(fù)雜化，必然促使越來(lái)越多地采用智能化、數(shù)字化的顯控技術(shù)。飛機(jī)、航天器駕駛艙的演進(jìn)反映了顯控系統(tǒng)的發(fā)展特征70年代前從簡(jiǎn)單到復(fù)雜，駕駛艙內(nèi)的各類(lèi)儀表和開(kāi)關(guān)不斷增多，且漸趨飽和；70年代末期開(kāi)始，隨著航空電子技術(shù)的不斷發(fā)展，又開(kāi)始由復(fù)雜趨向簡(jiǎn)明；進(jìn)人90年代，提出了“大圖像”智能化座艙，全景座艙控制與顯示系統(tǒng)的概念和超全景座艙和虛擬應(yīng)用等概念，駕駛艙開(kāi)始向工作站方式推進(jìn)。進(jìn)入2000年后，正在向基于超全景、臨境顯示技求的虛擬座艙及其合成景象顯示系統(tǒng)和多通道智能控制系統(tǒng)方向發(fā)展。最近幾年，隨著顯示與控制的復(fù)雜化，為了節(jié)約時(shí)空資源，顯示與控制集成的綜合化發(fā)展加劇，認(rèn)知界面中既有顯示的問(wèn)題，也有控制的問(wèn)題。其典型就是觸摸顯示鍵盤(pán)控制器，通過(guò)全面電子化使控制器實(shí)現(xiàn)時(shí)分制多功能,實(shí)現(xiàn)控制器和顯示器的綜合化。例如載人航天器最終有可能實(shí)現(xiàn)以綜合電子顯示為主的綜合語(yǔ)音控制-電子顯示系統(tǒng),乘員艙內(nèi)的開(kāi)關(guān)、按鈕及部分儀表將有90%要被計(jì)算機(jī)輔助綜合控制-顯示系統(tǒng)代替，實(shí)現(xiàn)系統(tǒng)的集中顯示與控制的需求。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.3人機(jī)界面技術(shù)向綜合化、一體化方向2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)方向發(fā)展一般認(rèn)為人與計(jì)算機(jī)交互的發(fā)展經(jīng)歷了：第一代，基于鍵盤(pán)和字符顯示器的交互階段使用的主要交互工具為鍵盤(pán)及字符顯示器，交互的內(nèi)容主要有字符、文本和命令，交互過(guò)程顯得呆板和單調(diào)第二代，基于鼠標(biāo)和圖形顯示器的交互階段使用的主要交互工具為鼠標(biāo)及圖形顯示器，交互的內(nèi)容主要有字符、圖形和圖像第三代，基于多媒體技術(shù)的交互階段多媒體技術(shù)使用戶(hù)能以聲、像、圖、文等多種媒體信息與計(jì)算機(jī)進(jìn)行信息交流，從而方便了計(jì)算機(jī)的使用，擴(kuò)大了計(jì)算機(jī)的應(yīng)用范圍，促進(jìn)了信息處理技術(shù)特別是計(jì)算機(jī)聽(tīng)覺(jué)與計(jì)算機(jī)視覺(jué)的發(fā)展，從而使人機(jī)交互在朝著自然、和諧的方向上向前邁進(jìn)了一大步.2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)方向發(fā)展第四代，基于多模態(tài)技術(shù)的交互階段新一代(第四代)人機(jī)交互的概念框架和其四個(gè)標(biāo)志性特征,即:(1)具有多模感知(聽(tīng)覺(jué)，視覺(jué)，手勢(shì)，筆勢(shì)等)功能的人機(jī)交互方式；(2)可進(jìn)行基于Agent的聽(tīng)、視覺(jué)對(duì)話，作為人機(jī)交互的界面；(3)具有Internet數(shù)據(jù)倉(cāng)庫(kù)和基于內(nèi)容檢索的知識(shí)處理能力，作為人機(jī)交互內(nèi)容；(4)可以在二維或虛擬的三維環(huán)境中實(shí)現(xiàn)人機(jī)通信，作為人機(jī)交互的環(huán)境。作為新一代（第四代）人機(jī)自然交互系統(tǒng)仿真了人類(lèi)之間的交互，多通道（視、聽(tīng)、觸、嗅等）之間的語(yǔ)義交互是實(shí)現(xiàn)多模態(tài)技術(shù)的基礎(chǔ)人類(lèi)在與其環(huán)境進(jìn)行交互時(shí)是多模態(tài)的.人可以同時(shí)說(shuō)、指和看同一個(gè)物體；還可以通過(guò)同時(shí)聽(tīng)一個(gè)人的說(shuō)話語(yǔ)氣和看他的面部表情及手臂動(dòng)作來(lái)判斷他的情緒.為了更好地理解周?chē)沫h(huán)境,人類(lèi)每時(shí)都在使用視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和嗅覺(jué)，可以說(shuō)多模態(tài)是人類(lèi)之間自然交互的體現(xiàn)。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展根據(jù)研究的側(cè)重點(diǎn)不同，人機(jī)交互模型可分為兩個(gè)方面的研究（當(dāng)然這兩方面的研究融合、交叉）。第一，從機(jī)的角度，主要討論界面在系統(tǒng)中的地位、功能、關(guān)系與分解，被稱(chēng)為“界面結(jié)構(gòu)模型”如將界面分成三部分（表示部件、對(duì)話控制、應(yīng)用接口）的Seeheim模型(GREEN,1986)Seeheim模型的一個(gè)顯著特征是強(qiáng)調(diào)對(duì)話控制部分的作用。然而，在直接操作對(duì)話中用戶(hù)是與個(gè)別應(yīng)用語(yǔ)義對(duì)象的圖形表示交互，而不是與整個(gè)應(yīng)用系統(tǒng)對(duì)話。Seeheim模型本身并不支持直接操作的語(yǔ)法與語(yǔ)義要求，因而這個(gè)模型對(duì)直接操作界面不是非常合適的多層結(jié)構(gòu)模型（PAC模型、ALV模型、C2模型、Arch模型、基于Agent的多通道用戶(hù)界面模型PBM_MM、支持多通道交互的智能體的結(jié)構(gòu)模型MAMS（Multi-agentArchitecturewithMultimodalSupport））。表現(xiàn)部件對(duì)話控制應(yīng)用接口最終用戶(hù)應(yīng)用程序2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展第二，從用戶(hù)的角度，討論基于系統(tǒng)、界面的用戶(hù)特征，被稱(chēng)為“用戶(hù)特性模型”/“行為模型”。如Norman執(zhí)行-評(píng)估循環(huán)模型。他將人機(jī)交互看作是人與系統(tǒng)的互動(dòng)模式，認(rèn)為人機(jī)交互過(guò)程有為兩個(gè)重要階段：執(zhí)行階段和評(píng)估階段，并進(jìn)一步劃分為七個(gè)部分。1.確立目標(biāo)；2.形成意圖（比目標(biāo)更加具體化）；3.形成基于意圖的操作序列；4.發(fā)出相應(yīng)的操作指令；5.察覺(jué)系統(tǒng)當(dāng)前的狀態(tài)；6.對(duì)當(dāng)前系統(tǒng)狀態(tài)進(jìn)行解釋、描述；7.根據(jù)任務(wù)的目標(biāo)和意圖對(duì)當(dāng)前系統(tǒng)狀態(tài)進(jìn)行評(píng)估。執(zhí)行-評(píng)估循環(huán)模型為考慮人機(jī)界面的指導(dǎo)原則提供了非常有用的整合框架，但是在預(yù)測(cè)用戶(hù)對(duì)特定設(shè)計(jì)的具體反應(yīng)上不是很有用[21]還有用戶(hù)績(jī)效模型GOMS、eGOMS模型、用戶(hù)概念模型、人機(jī)交互資源模型等。這兩方面的研究，一個(gè)顯著的發(fā)展趨勢(shì)是越來(lái)越重視人機(jī)的自然/知識(shí)交互，即向機(jī)適人的人機(jī)交互模型發(fā)展。自然，知識(shí)界面所定義的語(yǔ)義網(wǎng)上的解題過(guò)程就成為現(xiàn)代人機(jī)交互模型研究的核心問(wèn)題。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.5人機(jī)界面及交互缺乏標(biāo)準(zhǔn)界面的特征決定了交互的特征、效率、可用性、安全性。現(xiàn)代人機(jī)界面的類(lèi)間與類(lèi)內(nèi)差異缺乏一致性，界面的特征很大程度上取決與設(shè)計(jì)者個(gè)人或團(tuán)隊(duì)的特征。研究揭示：手機(jī)界面上使用“通訊錄”或“電話簿”等不同的標(biāo)簽命名，直接影響手機(jī)的可用性?？梢?jiàn)，缺乏人機(jī)知識(shí)界面及語(yǔ)義交互標(biāo)準(zhǔn)與設(shè)計(jì)標(biāo)準(zhǔn)的理論準(zhǔn)則是其重要原因。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.5人機(jī)界面及交互缺乏標(biāo)準(zhǔn)3。知識(shí)界面及交互3.1基礎(chǔ)概念人機(jī)系統(tǒng)(man-machinesystem)：指“人”與他所對(duì)應(yīng)的“物”共處于同一時(shí)間及空間時(shí)所構(gòu)成的系統(tǒng)。“人”指的是在所研究的系統(tǒng)中參與系統(tǒng)過(guò)程的人;“機(jī)”則泛指一切與人處于同一系統(tǒng)中并與人交換著信息、物質(zhì)和能量的、供人使用的物;“環(huán)境”指的是“人”、“機(jī)”共處的、對(duì)“人”和“機(jī)”有直接或間接影響的周?chē)獠織l件。人機(jī)界面（Human-Machine/ComputerInterface）用戶(hù)界面是人與計(jì)算機(jī)之間傳遞、交換信息的媒介和對(duì)話接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。人機(jī)交互（Human-Machine/ComputerInteraction，HCI）是研究人、計(jì)算機(jī)以及它們間相互影響的技術(shù)；它們有緊密的聯(lián)系，但又是兩個(gè)不同的概念:前者強(qiáng)調(diào)的是技術(shù)和模型，后者是計(jì)算機(jī)、設(shè)備的關(guān)鍵組成部分3。知識(shí)界面及交互3.1基礎(chǔ)概念人是一個(gè)高度復(fù)雜的系統(tǒng)，它由許多子系統(tǒng)組成。機(jī)器也是由不同部分組成的，復(fù)雜的機(jī)器也包括著許多子系統(tǒng)。在人-機(jī)-環(huán)系統(tǒng)中，人、機(jī)、環(huán)之間往往只是其中的某種子系統(tǒng)或子系統(tǒng)中的某些組成部件之間直接發(fā)生相互作用。這種直接發(fā)生相互作用的部分稱(chēng)為界面，又叫做接口。一類(lèi)是直接與人構(gòu)成的界面，即人-機(jī)具界面、人-軟環(huán)境界面、人-硬環(huán)境界面；第二類(lèi)是機(jī)具、軟環(huán)境、硬環(huán)境三者之間的界面，即機(jī)具-軟環(huán)境、機(jī)具-硬環(huán)境界面、軟環(huán)境-硬環(huán)境界面。這一類(lèi)界面關(guān)系間接對(duì)人發(fā)生作用，例如系統(tǒng)中的機(jī)器硬件運(yùn)轉(zhuǎn)時(shí)所產(chǎn)生的熱量、發(fā)生的噪聲或氣味都成為工作環(huán)境的組成因素而對(duì)操作者發(fā)生影響；第三類(lèi)界面是系統(tǒng)組成部分內(nèi)部的界面關(guān)系，即機(jī)具-機(jī)具界面、軟環(huán)境-軟環(huán)境界面、硬環(huán)境-硬環(huán)境界面、人-人界面。人因工程主要研究第一類(lèi)界面，即人與機(jī)具件、軟環(huán)境、硬環(huán)境間的界面關(guān)系。從根本上講，界面是信息、物質(zhì)、能量的相互傳遞、相互影響、相互轉(zhuǎn)換、相互作用的過(guò)程。人是一個(gè)高度復(fù)雜的系統(tǒng)，它由許多子系統(tǒng)組成。機(jī)器也是由不同部依據(jù)信息加工的流向，可分為認(rèn)知界面與操作界面如果把人-機(jī)-環(huán)系統(tǒng)看成是一個(gè)信息加工的閉環(huán)系統(tǒng)的話，那么信息加工形成環(huán)流，系統(tǒng)中的信息傳遞構(gòu)成認(rèn)知界面與操作界面，可把由感受器和顯示器構(gòu)成的人機(jī)信息傳遞接口稱(chēng)為人機(jī)認(rèn)知界面，把由效應(yīng)器和操縱器構(gòu)成的人機(jī)信息傳遞接口稱(chēng)為人機(jī)操作界面。認(rèn)知界面是指人的信息感受器（如眼、耳、鼻、壓力感受器、溫度感受器、運(yùn)動(dòng)感受器等）接受系統(tǒng)的輸出、系統(tǒng)運(yùn)行狀態(tài)、系統(tǒng)所在環(huán)境的變化等顯示的信息并發(fā)生相互作用的接口。操作界面是指人對(duì)系統(tǒng)的控制、操作信息由效應(yīng)器（手、腳、口等）傳遞給系統(tǒng)操作控制器并產(chǎn)生相互作用的接口。依據(jù)信息加工的流向，可分為認(rèn)知界面與操作界面3。知識(shí)界面及交互3.2知識(shí)界面定義：界面上物理符號(hào)所表達(dá)的語(yǔ)義網(wǎng)。這里“物理符號(hào)”，即1976年紐威爾和司馬賀提出了物理符號(hào)系統(tǒng)中的“符號(hào)”——物理符號(hào)系統(tǒng)主要是強(qiáng)調(diào)所研究的對(duì)象是一個(gè)具體的物質(zhì)系統(tǒng)，如計(jì)算機(jī)的構(gòu)造系統(tǒng)，人的神經(jīng)系統(tǒng)、大腦神經(jīng)元等。簡(jiǎn)單說(shuō)，語(yǔ)義網(wǎng)就是能夠根據(jù)語(yǔ)義進(jìn)行判斷的網(wǎng)絡(luò)。語(yǔ)義網(wǎng)是一種能理解人類(lèi)語(yǔ)言的智能網(wǎng)絡(luò)，它不但能夠理解人類(lèi)的語(yǔ)言，而且還可以使人與電腦之間的交流變得像人與人之間交流一樣輕松。這里的“語(yǔ)義網(wǎng)”有兩個(gè)約束（如短信模塊）界面上物理符號(hào)所表達(dá)的語(yǔ)義描述界面的功能與操作關(guān)系比較（參考2.1）傳統(tǒng)界面：刺激、信號(hào)現(xiàn)代界面：語(yǔ)義，知識(shí)3。知識(shí)界面及交互3.2知識(shí)界面3。知識(shí)界面及交互3.3基于知識(shí)界面的交互定義：界面物理符號(hào)所表達(dá)的語(yǔ)義網(wǎng)上的求解過(guò)程。人機(jī)交互是研究人與計(jì)算機(jī)之間通過(guò)相互理解的交流與通信,在最大程度上為人們完成信息管理,服務(wù)和處理等功能的一門(mén)技術(shù)科學(xué).知識(shí)界面交互，又即知識(shí)作業(yè)過(guò)程認(rèn)知工效學(xué)的觀點(diǎn)：知識(shí)作業(yè)過(guò)程是“合理編擬”的心智操作序列（心智操作鏈）（mindoperations，MO），是人腦的信息加工過(guò)程，是人腦的計(jì)算過(guò)程。從經(jīng)典科學(xué)管理理論的角度看，心智操作是知識(shí)作業(yè)的“動(dòng)素”，一連串心智操作構(gòu)成知識(shí)作業(yè)過(guò)程。這種過(guò)程是機(jī)械性的、有序的、可計(jì)算的、在形式上（而不是語(yǔ)義和內(nèi)容上）可重復(fù)過(guò)程。如現(xiàn)代“軍人－技術(shù)裝備”系統(tǒng)中的作業(yè)就被視為復(fù)雜的解題過(guò)程：一個(gè)為完成某項(xiàng)任務(wù)或達(dá)到某種目的而對(duì)智力行為的順序進(jìn)行合理編擬的過(guò)程，該過(guò)程是在變換原始信息的基礎(chǔ)上完成的。合理編輯知識(shí)作業(yè)的心智操作鏈，即建立知識(shí)作業(yè)的心理模型(mentalmodel)。例如，短信模塊事件激活的功能：查看、刪除、轉(zhuǎn)發(fā)、編輯少了，不方便多了，麻煩3。知識(shí)界面及交互3.3基于知識(shí)界面的交互3。知識(shí)界面及交互3.3基于知識(shí)界面的交互人機(jī)對(duì)話：指計(jì)算機(jī)用戶(hù)與計(jì)算機(jī)系統(tǒng)之間的通訊“問(wèn)題回答”(QuestionAnswering,簡(jiǎn)稱(chēng)QA)。在網(wǎng)絡(luò)信息處理的范圍內(nèi),語(yǔ)義網(wǎng)的學(xué)科意義中最值得關(guān)注的是它對(duì)下一代信息檢索技術(shù)的牽引作用。

QA被認(rèn)為是一種更適合應(yīng)用需求、更高級(jí)的信息檢索方式,是下一代信息檢索的主流技術(shù)。QA系統(tǒng)直接針對(duì)用戶(hù)提出的自然語(yǔ)言問(wèn)題，從各種數(shù)據(jù)源(WWW、數(shù)據(jù)庫(kù)和知識(shí)庫(kù)，等等)中自動(dòng)生成回答，因而涉及自然語(yǔ)言處理等復(fù)雜技術(shù)。近年來(lái)，QA系統(tǒng)研究被明確劃分成“閉域”(closed-domain)QA與“開(kāi)域”(open-domain)QA兩個(gè)方向，前者關(guān)注特定領(lǐng)域中的問(wèn)題回答，后者關(guān)心任意領(lǐng)域的問(wèn)題回答。比較（2.2）傳統(tǒng)界面：重操作，操作技能，如駕駛技能等現(xiàn)代界面：重認(rèn)知，認(rèn)知技能，迅速理解界面的功能對(duì)應(yīng)的操作關(guān)系3。知識(shí)界面及交互3.3基于知識(shí)界面的交互3。知識(shí)界面及交互3.4人與知識(shí)界面/接口的交互構(gòu)成了現(xiàn)代人機(jī)知識(shí)關(guān)系的基本結(jié)構(gòu)與功能單元現(xiàn)代人機(jī)關(guān)系雖然非常復(fù)雜，基本的問(wèn)題仍可分解并歸結(jié)為：人與知識(shí)接口的交互。雖然，這一基本結(jié)構(gòu)與功能單元本身也非常復(fù)雜（如同復(fù)雜的細(xì)胞是人體系統(tǒng)的基本結(jié)構(gòu)與功能單元一樣），可從以下進(jìn)行描述。（1）人與知識(shí)界面/接口的交互是人n一機(jī)n關(guān)系的基本單元不管是一人一機(jī)、一人多機(jī)、多人一機(jī)、多人多機(jī)等情況，還是擴(kuò)展到萬(wàn)維網(wǎng)的成千上萬(wàn)人的在線情況，在時(shí)間與空間上都可分解并歸結(jié)為人與知識(shí)接口的交互，構(gòu)成人機(jī)關(guān)系的基本單元。（2）人與知識(shí)界面/接口的交互構(gòu)成了人機(jī)技術(shù)關(guān)系的基本單元作為新一代人機(jī)自然交互系統(tǒng)仿真了人類(lèi)之間的交互，多通道（視、聽(tīng)、觸、嗅等）之間的語(yǔ)義交互是實(shí)現(xiàn)多模態(tài)技術(shù)的基礎(chǔ)。換言之，現(xiàn)代人機(jī)自然（多模態(tài)）交互必然、也必須通過(guò)人機(jī)知識(shí)/語(yǔ)義交互實(shí)現(xiàn)。（3）人與知識(shí)界面/接口的交互構(gòu)成了人機(jī)用戶(hù)關(guān)系的基本單元如果主要從人的認(rèn)知的角度分析人機(jī)交互，如計(jì)算機(jī)支持協(xié)同工作CSCW(ComputerSupportedCooperativeWork)傳統(tǒng)社會(huì)的基本結(jié)構(gòu)是以人際關(guān)系作為生產(chǎn)和生活的基本連接紐帶，機(jī)器之間的連接不起實(shí)質(zhì)性作用；而現(xiàn)代網(wǎng)絡(luò)社會(huì)是以機(jī)器網(wǎng)絡(luò)（如Internet網(wǎng)、移動(dòng)通信網(wǎng)等）作為生產(chǎn)和生活的基礎(chǔ)平臺(tái)與連接紐帶，人際關(guān)系越來(lái)越多地借助于機(jī)器網(wǎng)絡(luò)和人機(jī)關(guān)系得以實(shí)現(xiàn)。這意味在現(xiàn)代社會(huì)中，人機(jī)交互成了建立、維護(hù)人與人之間聯(lián)系的基礎(chǔ)，即：在人機(jī)關(guān)系中，人機(jī)交互是人際關(guān)系（用戶(hù)關(guān)系）的基本結(jié)構(gòu)與功能單元。(4)知識(shí)界面是各種界面連接的交集多通道自然交互必然以語(yǔ)義為交接點(diǎn)各界面之間的鏈接，也必然以語(yǔ)義為基礎(chǔ)3。知識(shí)界面及交互3.4人與知識(shí)界面/接口的交互構(gòu)成了現(xiàn)代人國(guó)家發(fā)明專(zhuān)利一種視覺(jué)防振方法（審理過(guò)程）視覺(jué)識(shí)別光環(huán)境自適應(yīng)系統(tǒng)（審理過(guò)程）國(guó)家發(fā)明專(zhuān)利一個(gè)研究設(shè)想：知識(shí)界面及交互西南交通大學(xué)經(jīng)濟(jì)管理學(xué)院人因工程研究所李永建2011.5一個(gè)研究設(shè)想：知識(shí)界面及交互西南交通大學(xué)經(jīng)濟(jì)管理學(xué)院1。背景與意義1.1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)理論研究的前沿1.2實(shí)現(xiàn)人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)應(yīng)用研究的熱點(diǎn)1.3明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知識(shí)/語(yǔ)義界面的人機(jī)交互”的研究鮮見(jiàn)2。研究現(xiàn)狀與趨勢(shì)2.1人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面”向“知識(shí)/語(yǔ)義界面”發(fā)展2.2人機(jī)交互從傳統(tǒng)的“刺激/信號(hào)界面—操作”向“知識(shí)/語(yǔ)義界面—解題”的發(fā)展2.3人機(jī)界面技術(shù)向綜合化、一體化方向發(fā)展2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)方向發(fā)展2.5人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展3。知識(shí)界面及交互3.1知識(shí)界面3.2基于知識(shí)界面的人機(jī)交互3.3人與知識(shí)界面/接口的交互構(gòu)成了現(xiàn)代人機(jī)知識(shí)關(guān)系的基本結(jié)構(gòu)與功能單元3.4基于知識(shí)界面的人機(jī)交互是現(xiàn)代人機(jī)智能、自然關(guān)系研究的前沿性基礎(chǔ)問(wèn)題1。背景與意義1。背景與意義廣義看：人必然與外界交互，且只能通過(guò)自然或人工界面而實(shí)現(xiàn)通過(guò)認(rèn)知界面接受信息，通過(guò)操作界面作用外界故世界各國(guó)將人機(jī)交互作為研究重點(diǎn)，現(xiàn)代人機(jī)關(guān)系知識(shí)化使基于知識(shí)界面的人機(jī)知識(shí)交互成為智能、自然人機(jī)交互研究的前沿?？茖W(xué)技術(shù)“以人為本”，既是目標(biāo)，也是實(shí)現(xiàn)目標(biāo)的手段。著名科學(xué)家錢(qián)學(xué)森指出:突破人工智能面臨的困境是人機(jī)結(jié)合的智能系統(tǒng)1。背景與意義廣義看：人必然與外界交互，且只能通過(guò)自然或人工1。背景與意義1。1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)理論研究的前沿現(xiàn)代人機(jī)關(guān)系發(fā)展的基本特點(diǎn)是知識(shí)化各種人機(jī)系統(tǒng)（從簡(jiǎn)單到超大規(guī)模復(fù)雜人機(jī)系統(tǒng)，從工作到生活、娛樂(lè)的人機(jī)關(guān)系）無(wú)不反映這種發(fā)展趨勢(shì)簡(jiǎn)要看，智能界面突出的是界面主導(dǎo)的智能導(dǎo)航；自然界面強(qiáng)調(diào)的是界面的多通道（如腦—機(jī)接口等）的自然交互特征；知識(shí)界面重點(diǎn)在人機(jī)基于知識(shí)的對(duì)話。人機(jī)智能、自然交互必然、也只能通過(guò)人機(jī)知識(shí)/語(yǔ)義對(duì)話才能實(shí)現(xiàn)，構(gòu)成智能、自然人機(jī)交互的基礎(chǔ)?，F(xiàn)代科學(xué)技術(shù)前沿領(lǐng)域中的一個(gè)基礎(chǔ)問(wèn)題，多學(xué)科的交叉領(lǐng)域1。背景與意義1。1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)1。背景與意義1.1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)理論研究的前沿美國(guó)總統(tǒng)信息技術(shù)顧問(wèn)委員會(huì)的“21世紀(jì)的信息技術(shù)報(bào)告”中將“人機(jī)交互和信息管理”列為新世紀(jì)4項(xiàng)重點(diǎn)發(fā)展的信息技術(shù)(還包括軟件、可伸縮信息基礎(chǔ)設(shè)施、高端計(jì)算)之一,它的目標(biāo)是研制“能聽(tīng)、能說(shuō)、能理解人類(lèi)語(yǔ)言的計(jì)算機(jī)”2007年美國(guó)NSF在信息與智能系統(tǒng)(IIS)中列出的三個(gè)核心技術(shù)領(lǐng)域之一是以人為本的計(jì)算，其具體主題包含多媒體和多通道界面、智能界而和用戶(hù)建模、信息可視化，以及高效的以計(jì)算機(jī)媒介的人人交互模型等2007年歐盟第七框架項(xiàng)目中也包含了自然人機(jī)交互的內(nèi)容國(guó)外許多知名大學(xué)和研究機(jī)構(gòu)都在自然人機(jī)交互領(lǐng)域開(kāi)展了相關(guān)研究如UCBerkeley,MIT,CMU,Stanford,Maryland,Brown,Toronto,Michigan等大學(xué)和Microsoft,IBM、施樂(lè)等公司也都作了很多研究工作。美國(guó)DARPA項(xiàng)目的HCI研究中也有Stanford,CMU,MIT,OGI等參加的多項(xiàng)自然人機(jī)交互研究;歐共體委員會(huì)CEC(CommissionoftheEuropeanCommunities)制定了一個(gè)歐洲信息技術(shù)戰(zhàn)略計(jì)劃ESPRIT對(duì)自然人機(jī)界而進(jìn)行了系統(tǒng)的研究，其中包括語(yǔ)音識(shí)別、語(yǔ)音合成、聲音的空間化、筆式輸人和手寫(xiě)體等各個(gè)支撐技術(shù)的研究。我國(guó)重大研究計(jì)劃將對(duì)人類(lèi)如何思考以及機(jī)器如何幫助人類(lèi)更好地工作產(chǎn)生重大影響1。背景與意義1.1人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技1。背景與意義1.2實(shí)現(xiàn)人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科學(xué)技術(shù)應(yīng)用研究的熱點(diǎn)計(jì)算機(jī)、網(wǎng)絡(luò)、手機(jī)、家用電器、工業(yè)設(shè)備、醫(yī)療設(shè)備、娛樂(lè)設(shè)備等等調(diào)查表明，由于人機(jī)交互的問(wèn)題，計(jì)算機(jī)用戶(hù)浪費(fèi)12%以上的時(shí)間。因此，數(shù)碼產(chǎn)品需要更好的人機(jī)交互，將使用戶(hù)更滿(mǎn)意、更快捷的使用產(chǎn)品，以提高使用效率（生產(chǎn)率）、安全可靠性。不同學(xué)科關(guān)注的交點(diǎn)：人機(jī)交互、可用性、用戶(hù)體驗(yàn)成為產(chǎn)品成敗的決定性因素：例，iPHONE（多點(diǎn)觸控技術(shù)）、手機(jī)的可用性問(wèn)題，手機(jī)屏保軟件等案例Mary向記者展示了使用肌肉計(jì)算控制界面演奏《吉他英雄》（GuitarHero）的過(guò)程：一個(gè)赤手空拳的年輕人投入地用手指在空中按來(lái)按去，腦袋隨著節(jié)奏甩動(dòng)，而面前的顯示屏中的吉他按照年輕人手指按動(dòng)的壓點(diǎn)和軌跡，傳來(lái)相應(yīng)的旋律。1。背景與意義1.2實(shí)現(xiàn)人機(jī)知識(shí)/智能/自然交互關(guān)系是當(dāng)今科1。背景與意義1.3明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知識(shí)/語(yǔ)義界面的人機(jī)交互”的研究鮮見(jiàn)查中國(guó)知識(shí)資源總庫(kù)（CNKI），僅有幾篇明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知識(shí)/語(yǔ)義界面的人機(jī)交互”的相關(guān)研究文獻(xiàn)。這里，需要著重指出的是，科學(xué)技術(shù)以人為本，人與外界（自然世界與人造世界）的關(guān)系是通過(guò)基于界面（自然界面與人造界面）的交互作用而實(shí)現(xiàn)的；因此，關(guān)于“知識(shí)/語(yǔ)義界面”和“基于知識(shí)/語(yǔ)義界面的人機(jī)交互”的問(wèn)題必然或多或少要反映在每一篇人機(jī)界面與人機(jī)交互的研究之中。1。背景與意義1.3明確使用“知識(shí)/語(yǔ)義界面”概念、基于“知2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.1人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面”向“知識(shí)/語(yǔ)義界面”發(fā)展傳統(tǒng)人機(jī)界面提供（輸出）的是刺激、信號(hào)傳統(tǒng)的人機(jī)界面僅提供系統(tǒng)運(yùn)行與控制的簡(jiǎn)單、明確的物理信號(hào)如通過(guò)各類(lèi)儀表的指針、燈光、聲音、色彩、振動(dòng)及其它們的數(shù)量、位置、大小、密度、組合、對(duì)比度等信號(hào)的物理特征給人提供系統(tǒng)運(yùn)行狀態(tài)與操作功能的信息，由它們構(gòu)成信號(hào)關(guān)系簡(jiǎn)單、明確的人機(jī)界面。例如，駕駛界面、監(jiān)控界面等?，F(xiàn)代人機(jī)界面提供（輸出）的是知識(shí)、語(yǔ)義現(xiàn)代人機(jī)界面在傳統(tǒng)的人機(jī)界面的基礎(chǔ)上，融合計(jì)算機(jī)技術(shù)，提供復(fù)雜的、具有層次與結(jié)構(gòu)的、包括自然語(yǔ)言與人工語(yǔ)言的圖、符號(hào)、字詞、概念的系統(tǒng)運(yùn)行狀態(tài)與操作功能的語(yǔ)義信息。例如簡(jiǎn)單的家電（如電視、手機(jī)）普遍采用了多層菜單（語(yǔ)義層次結(jié)構(gòu)）界面進(jìn)行復(fù)雜的人機(jī)交互，這是傳統(tǒng)人機(jī)交互不可能實(shí)現(xiàn)的。

2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.1人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面”向“知識(shí)/語(yǔ)義界面”發(fā)展例：人機(jī)界面可視為萬(wàn)維網(wǎng)中的一個(gè)節(jié)點(diǎn)人機(jī)界面知識(shí)化從一個(gè)節(jié)點(diǎn)反映了萬(wàn)維網(wǎng)向語(yǔ)義網(wǎng)的發(fā)展趨勢(shì)。隨著機(jī)器越來(lái)越深入人類(lèi)生活，人類(lèi)已經(jīng)而且必將越來(lái)越熟悉和習(xí)慣機(jī)器的“思維方式”（人類(lèi)語(yǔ)義越來(lái)越“接近”人工語(yǔ)義，或者出現(xiàn)某種人類(lèi)和機(jī)器共同的“人機(jī)語(yǔ)義”）。從而導(dǎo)致人機(jī)交互方式正在經(jīng)歷根本性變革——從純語(yǔ)法處理方式向語(yǔ)義處理方式轉(zhuǎn)化；機(jī)器系統(tǒng)的“邏輯本性”正在經(jīng)歷重大轉(zhuǎn)變——從“同質(zhì)系統(tǒng)”向“異質(zhì)系統(tǒng)”變遷?！叭藱C(jī)語(yǔ)義”的基本特征可以概括為異質(zhì)性、相對(duì)于語(yǔ)義網(wǎng)規(guī)則的可證正確性和人機(jī)互可理解性。例：win中的變色、√、┅、→等傳統(tǒng)社會(huì)的基本結(jié)構(gòu)是以人際關(guān)系作為生產(chǎn)和生活的基本連接紐帶，機(jī)器之間的連接不起實(shí)質(zhì)性作用；未來(lái)網(wǎng)絡(luò)社會(huì)是以機(jī)器網(wǎng)絡(luò)作為生產(chǎn)和生活的基礎(chǔ)平臺(tái)與連接紐帶，人際關(guān)系越來(lái)越多地借助于機(jī)器網(wǎng)絡(luò)和人機(jī)關(guān)系得以實(shí)現(xiàn)。這意味著機(jī)與機(jī)之間以及人與機(jī)之間的相互溝通與“理解”變得越來(lái)越重要。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)界面從傳統(tǒng)的“刺激/信號(hào)界面人機(jī)連接關(guān)系傳統(tǒng)：通過(guò)人與人的聯(lián)系構(gòu)成機(jī)與機(jī)的聯(lián)系現(xiàn)代：通過(guò)機(jī)與機(jī)的聯(lián)系構(gòu)成人與人的聯(lián)系：萬(wàn)維網(wǎng)(WorldWideWeb)人機(jī)連接關(guān)系2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)交互從傳統(tǒng)的“刺激/信號(hào)界面—操作”向“知識(shí)/語(yǔ)義界面—解題”的發(fā)展（1）人機(jī)交互的特征決定于界面（包括認(rèn)知界面與操作界面）特征與用戶(hù)特征及其關(guān)系。由于人機(jī)界面的知識(shí)化，基于界面的人機(jī)交互也從操作過(guò)程轉(zhuǎn)化為解題過(guò)程（知識(shí)作業(yè)過(guò)程/腦力勞動(dòng)過(guò)程、認(rèn)知過(guò)程）。（2）基于傳統(tǒng)人機(jī)界面的人機(jī)交互模式：“刺激/信號(hào)界面—操作”，重在操作技能用認(rèn)知科學(xué)術(shù)語(yǔ)可更為簡(jiǎn)明描述為“刺激—反應(yīng)”模式。在這種人機(jī)交互模式下，由于信號(hào)簡(jiǎn)單、明確，而操作復(fù)雜、要求高，要使系統(tǒng)正常運(yùn)行就必然強(qiáng)調(diào)操作與操作技能。如駕駛技能、機(jī)床操作技能。（3）基于知識(shí)界面的現(xiàn)代人機(jī)交互模式：“知識(shí)/語(yǔ)義界面—解題”，重在認(rèn)知技能用認(rèn)知科學(xué)術(shù)語(yǔ)可描述為“知識(shí)/語(yǔ)義界面—認(rèn)知過(guò)程”模式。在這種人機(jī)交互模式下，由于信號(hào)具有復(fù)雜表現(xiàn)形式（自然語(yǔ)言與人工語(yǔ)言的圖、符號(hào)、字詞等）、復(fù)雜的語(yǔ)義層次與結(jié)構(gòu)，而操作相對(duì)簡(jiǎn)單（如鼠標(biāo)、鍵盤(pán)、觸摸操作）。要保證系統(tǒng)正常運(yùn)行、人機(jī)交互目標(biāo)的實(shí)現(xiàn)就必然強(qiáng)調(diào)認(rèn)知與認(rèn)知技能例如，專(zhuān)業(yè)人員與非專(zhuān)業(yè)人員的不同知識(shí)背景所導(dǎo)致的人機(jī)交互特點(diǎn)的不同：專(zhuān)業(yè)人員是在“老師”指導(dǎo)下的解例題過(guò)程，重視的是效率、可靠性；而非專(zhuān)業(yè)人員是自學(xué)基礎(chǔ)上的解題過(guò)程，注重的是可用性、用戶(hù)特征等問(wèn)題（這種差異是界面設(shè)計(jì)必須考慮的問(wèn)題）。人機(jī)交互就發(fā)展成為知識(shí)界面所定義的語(yǔ)義網(wǎng)上的解題過(guò)程（問(wèn)題解決過(guò)程/知識(shí)作業(yè)過(guò)程/腦力勞動(dòng)過(guò)程/認(rèn)知過(guò)程/計(jì)算過(guò)程）。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.2人機(jī)交互從傳統(tǒng)的“刺激/信號(hào)界面2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.3人機(jī)界面技術(shù)向綜合化、一體化方向發(fā)展人機(jī)系統(tǒng)（航空航天、高鐵）的高速化，必然帶來(lái)信息顯示的復(fù)雜化以及與此對(duì)應(yīng)的操控復(fù)雜化，必然促使越來(lái)越多地采用智能化、數(shù)字化的顯控技術(shù)。飛機(jī)、航天器駕駛艙的演進(jìn)反映了顯控系統(tǒng)的發(fā)展特征70年代前從簡(jiǎn)單到復(fù)雜，駕駛艙內(nèi)的各類(lèi)儀表和開(kāi)關(guān)不斷增多，且漸趨飽和；70年代末期開(kāi)始，隨著航空電子技術(shù)的不斷發(fā)展，又開(kāi)始由復(fù)雜趨向簡(jiǎn)明；進(jìn)人90年代，提出了“大圖像”智能化座艙，全景座艙控制與顯示系統(tǒng)的概念和超全景座艙和虛擬應(yīng)用等概念，駕駛艙開(kāi)始向工作站方式推進(jìn)。進(jìn)入2000年后，正在向基于超全景、臨境顯示技求的虛擬座艙及其合成景象顯示系統(tǒng)和多通道智能控制系統(tǒng)方向發(fā)展。最近幾年，隨著顯示與控制的復(fù)雜化，為了節(jié)約時(shí)空資源，顯示與控制集成的綜合化發(fā)展加劇，認(rèn)知界面中既有顯示的問(wèn)題，也有控制的問(wèn)題。其典型就是觸摸顯示鍵盤(pán)控制器，通過(guò)全面電子化使控制器實(shí)現(xiàn)時(shí)分制多功能,實(shí)現(xiàn)控制器和顯示器的綜合化。例如載人航天器最終有可能實(shí)現(xiàn)以綜合電子顯示為主的綜合語(yǔ)音控制-電子顯示系統(tǒng),乘員艙內(nèi)的開(kāi)關(guān)、按鈕及部分儀表將有90%要被計(jì)算機(jī)輔助綜合控制-顯示系統(tǒng)代替，實(shí)現(xiàn)系統(tǒng)的集中顯示與控制的需求。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.3人機(jī)界面技術(shù)向綜合化、一體化方向2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)方向發(fā)展一般認(rèn)為人與計(jì)算機(jī)交互的發(fā)展經(jīng)歷了：第一代，基于鍵盤(pán)和字符顯示器的交互階段使用的主要交互工具為鍵盤(pán)及字符顯示器，交互的內(nèi)容主要有字符、文本和命令，交互過(guò)程顯得呆板和單調(diào)第二代，基于鼠標(biāo)和圖形顯示器的交互階段使用的主要交互工具為鼠標(biāo)及圖形顯示器，交互的內(nèi)容主要有字符、圖形和圖像第三代，基于多媒體技術(shù)的交互階段多媒體技術(shù)使用戶(hù)能以聲、像、圖、文等多種媒體信息與計(jì)算機(jī)進(jìn)行信息交流，從而方便了計(jì)算機(jī)的使用，擴(kuò)大了計(jì)算機(jī)的應(yīng)用范圍，促進(jìn)了信息處理技術(shù)特別是計(jì)算機(jī)聽(tīng)覺(jué)與計(jì)算機(jī)視覺(jué)的發(fā)展，從而使人機(jī)交互在朝著自然、和諧的方向上向前邁進(jìn)了一大步.2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)方向發(fā)展第四代，基于多模態(tài)技術(shù)的交互階段新一代(第四代)人機(jī)交互的概念框架和其四個(gè)標(biāo)志性特征,即:(1)具有多模感知(聽(tīng)覺(jué)，視覺(jué)，手勢(shì)，筆勢(shì)等)功能的人機(jī)交互方式；(2)可進(jìn)行基于Agent的聽(tīng)、視覺(jué)對(duì)話，作為人機(jī)交互的界面；(3)具有Internet數(shù)據(jù)倉(cāng)庫(kù)和基于內(nèi)容檢索的知識(shí)處理能力，作為人機(jī)交互內(nèi)容；(4)可以在二維或虛擬的三維環(huán)境中實(shí)現(xiàn)人機(jī)通信，作為人機(jī)交互的環(huán)境。作為新一代（第四代）人機(jī)自然交互系統(tǒng)仿真了人類(lèi)之間的交互，多通道（視、聽(tīng)、觸、嗅等）之間的語(yǔ)義交互是實(shí)現(xiàn)多模態(tài)技術(shù)的基礎(chǔ)人類(lèi)在與其環(huán)境進(jìn)行交互時(shí)是多模態(tài)的.人可以同時(shí)說(shuō)、指和看同一個(gè)物體；還可以通過(guò)同時(shí)聽(tīng)一個(gè)人的說(shuō)話語(yǔ)氣和看他的面部表情及手臂動(dòng)作來(lái)判斷他的情緒.為了更好地理解周?chē)沫h(huán)境,人類(lèi)每時(shí)都在使用視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和嗅覺(jué)，可以說(shuō)多模態(tài)是人類(lèi)之間自然交互的體現(xiàn)。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互技術(shù)向基于多通道的多模態(tài)2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展根據(jù)研究的側(cè)重點(diǎn)不同，人機(jī)交互模型可分為兩個(gè)方面的研究（當(dāng)然這兩方面的研究融合、交叉）。第一，從機(jī)的角度，主要討論界面在系統(tǒng)中的地位、功能、關(guān)系與分解，被稱(chēng)為“界面結(jié)構(gòu)模型”如將界面分成三部分（表示部件、對(duì)話控制、應(yīng)用接口）的Seeheim模型(GREEN,1986)Seeheim模型的一個(gè)顯著特征是強(qiáng)調(diào)對(duì)話控制部分的作用。然而，在直接操作對(duì)話中用戶(hù)是與個(gè)別應(yīng)用語(yǔ)義對(duì)象的圖形表示交互，而不是與整個(gè)應(yīng)用系統(tǒng)對(duì)話。Seeheim模型本身并不支持直接操作的語(yǔ)法與語(yǔ)義要求，因而這個(gè)模型對(duì)直接操作界面不是非常合適的多層結(jié)構(gòu)模型（PAC模型、ALV模型、C2模型、Arch模型、基于Agent的多通道用戶(hù)界面模型PBM_MM、支持多通道交互的智能體的結(jié)構(gòu)模型MAMS（Multi-agentArchitecturewithMultimodalSupport））。表現(xiàn)部件對(duì)話控制應(yīng)用接口最終用戶(hù)應(yīng)用程序2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展第二，從用戶(hù)的角度，討論基于系統(tǒng)、界面的用戶(hù)特征，被稱(chēng)為“用戶(hù)特性模型”/“行為模型”。如Norman執(zhí)行-評(píng)估循環(huán)模型。他將人機(jī)交互看作是人與系統(tǒng)的互動(dòng)模式，認(rèn)為人機(jī)交互過(guò)程有為兩個(gè)重要階段：執(zhí)行階段和評(píng)估階段，并進(jìn)一步劃分為七個(gè)部分。1.確立目標(biāo)；2.形成意圖（比目標(biāo)更加具體化）；3.形成基于意圖的操作序列；4.發(fā)出相應(yīng)的操作指令；5.察覺(jué)系統(tǒng)當(dāng)前的狀態(tài)；6.對(duì)當(dāng)前系統(tǒng)狀態(tài)進(jìn)行解釋、描述；7.根據(jù)任務(wù)的目標(biāo)和意圖對(duì)當(dāng)前系統(tǒng)狀態(tài)進(jìn)行評(píng)估。執(zhí)行-評(píng)估循環(huán)模型為考慮人機(jī)界面的指導(dǎo)原則提供了非常有用的整合框架，但是在預(yù)測(cè)用戶(hù)對(duì)特定設(shè)計(jì)的具體反應(yīng)上不是很有用[21]還有用戶(hù)績(jī)效模型GOMS、eGOMS模型、用戶(hù)概念模型、人機(jī)交互資源模型等。這兩方面的研究，一個(gè)顯著的發(fā)展趨勢(shì)是越來(lái)越重視人機(jī)的自然/知識(shí)交互，即向機(jī)適人的人機(jī)交互模型發(fā)展。自然，知識(shí)界面所定義的語(yǔ)義網(wǎng)上的解題過(guò)程就成為現(xiàn)代人機(jī)交互模型研究的核心問(wèn)題。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.4人機(jī)交互模型從人適機(jī)向機(jī)適人發(fā)展2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.5人機(jī)界面及交互缺乏標(biāo)準(zhǔn)界面的特征決定了交互的特征、效率、可用性、安全性?，F(xiàn)代人機(jī)界面的類(lèi)間與類(lèi)內(nèi)差異缺乏一致性，界面的特征很大程度上取決與設(shè)計(jì)者個(gè)人或團(tuán)隊(duì)的特征。研究揭示：手機(jī)界面上使用“通訊錄”或“電話簿”等不同的標(biāo)簽命名，直接影響手機(jī)的可用性?？梢?jiàn)，缺乏人機(jī)知識(shí)界面及語(yǔ)義交互標(biāo)準(zhǔn)與設(shè)計(jì)標(biāo)準(zhǔn)的理論準(zhǔn)則是其重要原因。2。研究現(xiàn)狀與發(fā)展趨勢(shì)2.5人機(jī)界面及交互缺乏標(biāo)準(zhǔn)3。知識(shí)界面及交互3.1基礎(chǔ)概念人機(jī)系統(tǒng)(man-machinesystem)：指“人”與他所對(duì)應(yīng)的“物”共處于同一時(shí)間及空間時(shí)所構(gòu)成的系統(tǒng)?！叭恕敝傅氖窃谒芯康南到y(tǒng)中參與系統(tǒng)過(guò)程的人;“機(jī)”則泛指一切與人處于同一系統(tǒng)中并與人交換著信息、物質(zhì)和能量的、供人使用的物;“環(huán)境”指的是“人”、“機(jī)”共處的、對(duì)“人”和“機(jī)”有直接或間接影響的周?chē)獠織l件。人機(jī)界面（Human-Machine/ComputerInterface）用戶(hù)界面是人與計(jì)算機(jī)之間傳遞、交換信息的媒介和對(duì)話接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。人機(jī)交互（Human-Machine/ComputerInteraction，HCI）是研究人、計(jì)算機(jī)以及它們間相互影響的技術(shù)；它們有緊密的聯(lián)系，但又是兩個(gè)不同的概念:前者強(qiáng)調(diào)的是技術(shù)和模型，后者是計(jì)算機(jī)、設(shè)備的關(guān)鍵組成部分3。知識(shí)界面及交互3.1基礎(chǔ)概念人是一個(gè)高度復(fù)雜的系統(tǒng)，它由許多子系統(tǒng)組成。機(jī)器也是由不同部分組成的，復(fù)雜的機(jī)器也包括著許多子系統(tǒng)。在人-機(jī)-環(huán)系統(tǒng)中，人、機(jī)、環(huán)之間往往只是其中的某種子系統(tǒng)或子系統(tǒng)中的某些組成部件之間直接發(fā)生相互作用。這種直接發(fā)生相互作用的部分稱(chēng)為界面，又叫做接口。一類(lèi)是直接與人構(gòu)成的界面，即人-機(jī)具界面、人-軟環(huán)境界面、人-硬環(huán)境界面；第二類(lèi)是機(jī)具、軟環(huán)境、硬環(huán)境三者之間的界面，即機(jī)具-軟環(huán)境、機(jī)具-硬環(huán)境界面、軟環(huán)境-硬環(huán)境界面。這一類(lèi)界面關(guān)系間接對(duì)人發(fā)生作用，例如系統(tǒng)中的機(jī)器硬件運(yùn)轉(zhuǎn)時(shí)所產(chǎn)生的熱量、發(fā)生的噪聲或氣味都成為工作環(huán)境的組成因素而對(duì)操作者發(fā)生影響；第三類(lèi)界面是系統(tǒng)組成部分內(nèi)部的界面關(guān)系，即機(jī)具-機(jī)具界面、軟環(huán)境-軟環(huán)境界面、硬環(huán)境-硬環(huán)境界面、人-人界面。人因工程主要研究第一類(lèi)界面，即人與機(jī)具件、軟環(huán)境、硬環(huán)境間的界面關(guān)系。從根本上講，界面是信息、物質(zhì)、能量的相互傳遞、相互影響、相互轉(zhuǎn)換、相互作用的過(guò)程。人是一個(gè)高度復(fù)雜的系統(tǒng)，它由許多子系統(tǒng)組成。機(jī)器也是由不同部依據(jù)信息加工的流向，可分為認(rèn)知界面與操作界面如果把人-機(jī)-環(huán)系統(tǒng)看成是一個(gè)信息加工的閉環(huán)系統(tǒng)的話，那么信息加工形成環(huán)流，系統(tǒng)中的信息傳遞構(gòu)成認(rèn)知界面與操作界面，可把由感受器和顯示器構(gòu)成的人機(jī)信息傳遞接口稱(chēng)為人機(jī)認(rèn)知界面，把由效應(yīng)器和操縱器構(gòu)成的人機(jī)信息傳遞接口稱(chēng)為人機(jī)操作界面。認(rèn)知界面是指人的信息感受器（如眼、耳、鼻、壓力感受器、溫度感受器、運(yùn)動(dòng)感受器等）接受系統(tǒng)的輸出、系統(tǒng)運(yùn)行狀態(tài)、系統(tǒng)所在環(huán)境的變化等顯示的信息并發(fā)生相互作用的接口。操作界面是指人對(duì)系統(tǒng)的控制、操作信息由效應(yīng)器（手、腳、口等）傳遞給系統(tǒng)操作控制器并產(chǎn)生相互作用的接口。依據(jù)信息加工的流向，可分為認(rèn)知界面與操作界面3。知識(shí)界面及交互3.2知識(shí)界面定義：界面上物理符號(hào)所表達(dá)的語(yǔ)義網(wǎng)。這里“物理符號(hào)”，即1976年紐威爾和司馬賀提出了物理符號(hào)系統(tǒng)中的“符號(hào)”——物理符號(hào)系統(tǒng)主要是強(qiáng)調(diào)所研究的對(duì)象是一個(gè)