10輸入和輸出設(shè)備交互的演進(jìn)

1、10-輸入入和輸出出設(shè)備備：交互互的演進(jìn)你好，我是七牛云許式偉。前面我們已經(jīng)介紹了操作系統(tǒng)的輸出設(shè)備的。管理：內(nèi)存和外存。今天，讓我們來(lái)聊聊操作系統(tǒng)是如何管理輸入和輸入和輸出設(shè)備有非常非常多。例如輸入設(shè)備除了你常見(jiàn)的鍵盤、鼠標(biāo)、觸摸屏外，還有些信息的傳感器，如GPS位置、脈搏、心電圖、溫度、濕度等。我們會(huì)把關(guān)注點(diǎn)收斂在人機(jī)交互相關(guān)的設(shè)備管理上。交互的演進(jìn)在計(jì)算機(jī)外部設(shè)備的演進(jìn)上，人機(jī)交互設(shè)備的演進(jìn)毫無(wú)疑問(wèn)是最為劇烈的部分。計(jì)算機(jī)剛出現(xiàn)的時(shí)候，人們使用“打孔卡+打印機(jī)”作為人機(jī)交互方式。這個(gè)時(shí)期還沒(méi)有操作系統(tǒng)，表達(dá)意圖非常痛苦，只能在打孔卡上打孔來(lái)指令。但很快，人們找到了 “鍵盤+顯示器”， 這

2、對(duì)最為經(jīng)典的人機(jī)交互設(shè)備。而隨著計(jì)算機(jī)使用人群越來(lái)越多，以及使用場(chǎng)景的變化，人機(jī)交互的方式也相應(yīng)地發(fā)生了次又次的改變?？偨Y(jié)這些改變，我們會(huì)發(fā)現(xiàn)，人機(jī)交互在往越來(lái)越自然的方向發(fā)展。所謂自然，就是越來(lái)越接近于兩個(gè)人直接的面對(duì)面。那么，這些人機(jī)交互的改變，對(duì)于操作系統(tǒng)來(lái)說(shuō)又意味著什么呢？輸入設(shè)備我們先看輸入設(shè)備：鍵盤、鼠標(biāo)、麥克風(fēng)、攝像頭。鍵盤鍵盤輸入的管理機(jī)制和窗口系統(tǒng)的設(shè)計(jì)密切相關(guān)。為了讓用戶清楚鍵盤輸入的目的地，窗口系統(tǒng)往往會(huì)有個(gè)焦點(diǎn)窗口。在窗口系統(tǒng)里面，窗口間還有父子關(guān)系，焦點(diǎn)窗口還會(huì)有父窗口，還有父窗口的父窗口，這些窗口屬于活動(dòng)窗口。大部分情況下，鍵盤輸入的會(huì)先發(fā)給焦點(diǎn)窗口，焦點(diǎn)窗口不處理

3、則發(fā)給其父窗口，按此傳遞，直到he有ipa人 首發(fā)網(wǎng)處理了該按鍵，或者直到頂層窗口。鍵盤從功能上來(lái)說(shuō)，有兩個(gè)不不同的能力力：其是輸輸入入文本，其其二是觸發(fā)命命令。從輸入文本的角度來(lái)說(shuō)，要有個(gè)輸入光標(biāo)（在Windows里面叫Caret）來(lái)指示輸入的目的窗口。目的窗口也必然是焦點(diǎn)窗口，否則就會(huì)顯得很不自然。這個(gè)交互的呈現(xiàn)方式非常穩(wěn)定，從 DOS到Windows/Mac，到iOS/Android 都是如此。但是從觸發(fā)命令的角度來(lái)說(shuō)，命令的響應(yīng)并不定是在焦點(diǎn)窗口，甚至不定在活躍窗口。比如Windows下就有熱鍵（HotKey）的概念，能夠讓非活躍窗口（Inactive Window）也獲得響應(yīng)鍵盤命令

4、的機(jī)會(huì)。個(gè)常見(jiàn)的例子是截屏軟件，往往需要個(gè)熱鍵來(lái)觸發(fā)截屏。到了移動(dòng)，鍵盤不再是交互主體，但是，鍵盤作為輸入文本的能力很難被替代（雖然有語(yǔ)音輸入法），于是它便自然而然地保留下來(lái)。不過(guò)移動(dòng)設(shè)備不太會(huì)有人會(huì)基于鍵盤來(lái)觸發(fā)命令，只有常見(jiàn)的熱鍵需求比如截屏、調(diào)大或調(diào)小音量、拍照等等，被設(shè)計(jì)為系統(tǒng)功能（對(duì)應(yīng)的，這些功能的熱鍵也被設(shè)計(jì)為系統(tǒng)按鍵）保留下來(lái)。鼠標(biāo)鼠標(biāo)輸入的管理機(jī)制和鍵盤樣，和窗口系統(tǒng)的設(shè)計(jì)密切相關(guān)。但鼠標(biāo)因?yàn)橛形恢?，確定鼠標(biāo)的目的地相比鍵盤要簡(jiǎn)單的多，大部分情況下，鼠標(biāo)總是交給鼠標(biāo)位置所屬的窗口來(lái)處理，但也會(huì)有些例外的場(chǎng)景，比如拖放。為了支持拖放，Windows操作系統(tǒng)引入了鼠標(biāo)捕獲（Mous

5、e Capture）的概念，旦鼠標(biāo)被某個(gè)窗口捕獲，哪怕鼠標(biāo)已經(jīng)移出該窗口，鼠標(biāo)仍然會(huì)繼續(xù)發(fā)往該窗口。到了移動(dòng)，鼠標(biāo)已經(jīng)完全消失（雖然在智能之前還是出現(xiàn)過(guò)WinCE這樣的支持鼠標(biāo)的移動(dòng)操作系統(tǒng)），取而代之的是觸摸屏。窗口系統(tǒng)也和PC時(shí)期完全不同，在屏幕可見(jiàn)范圍內(nèi)只有單個(gè)應(yīng)用程序占滿整個(gè)屏幕，這讓交互的目的地確認(rèn)不再是個(gè)問(wèn)題。麥克風(fēng)麥克風(fēng)是個(gè)非常有潛力的下的場(chǎng)景。包括今天大行其道的代輸入設(shè)備。今天 IoT 領(lǐng)域如汽車、智能音箱都是很好的發(fā)展語(yǔ)音交互能力，語(yǔ)音交互也是個(gè)很好的補(bǔ)充。交互方式不管怎么變化，其需要實(shí)現(xiàn)的都是這樣的兩大能力：輸入文本和觸發(fā)命令，這點(diǎn)是不變的。語(yǔ)音交互今天仍然還很不成熟，究其

6、這件事情，也還有重重關(guān)卡需要去，語(yǔ)音交互在 IoT 領(lǐng)域還停留在觸發(fā)命令為主，且哪怕是觸發(fā)命令。在軟件中，語(yǔ)音輸入文本在部分軟件中已經(jīng)有較多應(yīng)用，但是主要優(yōu)勢(shì)還在日常用語(yǔ)和長(zhǎng)文本，在個(gè)性化場(chǎng)景如“輸入人名之類”，較難達(dá)到好的結(jié)果。從更本源的角度看，語(yǔ)音交互今天仍然在相對(duì)封閉的應(yīng)用技術(shù)場(chǎng)景里面發(fā)展為主，而作為操作系統(tǒng)的主體交互，其能力必須是開(kāi)放的。因?yàn)椴僮飨到y(tǒng)是開(kāi)放的，場(chǎng)景是開(kāi)放的。 首發(fā)網(wǎng)攝像像頭攝像頭作為交互設(shè)備，除了引入語(yǔ)音，也引入了手勢(shì)、表情。從表達(dá)能力來(lái)說(shuō)，這是最為豐富也是最為自然的種表達(dá)方法。但是技術(shù)所限，這種交互方式還只在萌芽階段。微軟的 Kinect 是個(gè)非常經(jīng)典的案例，它能夠讓

7、玩家通過(guò)語(yǔ)音和手勢(shì)發(fā)指令來(lái)玩。輸出設(shè)備輸出設(shè)備主要負(fù)責(zé)向用戶反饋信息。比如：顯示器（顯卡）、音箱（聲卡）、打印機(jī)。輸出設(shè)備的演化并不大，最主要的輸出設(shè)備還是以顯示器為主。顯示器顯示器雖然經(jīng)歷了 CRT 到液晶屏多代更新，但也只是支持的色彩（從黑白到彩色到真彩色），分辨率越來(lái)越高。實(shí)際上，從操作系統(tǒng)的軟件治理角度來(lái)看，顯示器并沒(méi)有發(fā)生過(guò)實(shí)質(zhì)性的變化。為了讓不同軟件可以在同顯示器屏幕上呈現(xiàn)，操作系統(tǒng)引入了窗口系統(tǒng)的概念。每個(gè)軟件有個(gè)或多個(gè)窗口（Window，有時(shí)候也叫視圖，即View）。在 PC 操作系統(tǒng)中，不同窗口還可以層疊（Cascade）或平鋪（Tile）。通過(guò)引入窗口，操作系統(tǒng)在邏輯上把顯

8、示器屏幕這個(gè)有限的設(shè)備，分配給了多個(gè)軟件。和 PC 不同的是，移動(dòng)設(shè)備由于屏幕過(guò)小，所以操作系統(tǒng)選擇了讓軟件的頂層窗口全屏占據(jù)整個(gè)屏幕。這讓顯示器屏幕的管理變得更為簡(jiǎn)單。除了窗口系統(tǒng)，顯示設(shè)備管理的另大是繪制子系統(tǒng)。窗口里面的內(nèi)容是什么，呈現(xiàn)成什么樣子，完全是軟件來(lái)決定的，這就意味著軟件需要繪制能力。繪制能力牽涉面非常之廣，在操作系統(tǒng)里面，往往有個(gè)簡(jiǎn)單羅列下GDI子系統(tǒng)會(huì)涉及哪些東西。的子系統(tǒng)（通常叫GDI）與之對(duì)應(yīng)。這里我們2D圖形相關(guān)。包含 Path(路徑)、Brush(畫刷)、Pen(畫筆) 等概念。3D圖形相關(guān)。包含 M(模型)、Material(材質(zhì))、Lighting(光照) 等概

9、念。文本相關(guān)。包含 Font(字體) 等概念。而字體又分點(diǎn)陣字體和 TrueType 字體。TrueType 字體的優(yōu)勢(shì)是可以自由縮放。今天我們見(jiàn)到的大部分字體都是 TrueType 字體。圖像處理相關(guān)。包含 Bitmap(位圖) 對(duì)象及常見(jiàn)圖像格式的編器(Encoder/Decoder)。窗口系統(tǒng)結(jié)合輸入設(shè)備對(duì)應(yīng)的常友好的視窗軟件了。管理系統(tǒng)、繪制(GDI)系統(tǒng)，我們就可以隨心所欲地實(shí)現(xiàn)各類用戶體驗(yàn)非但是，為了進(jìn)步簡(jiǎn)化開(kāi)發(fā)過(guò)程，操作系統(tǒng)往往還提供了些通用的界面元素，通常我們稱之為控件(Control)。常見(jiàn)的控件有如下這些：靜態(tài)文本 (Label)；按鈕 (Button)；單選框 (Radi

10、oBox)；復(fù)選框 (CheckBox)； 首發(fā)網(wǎng)輸入框 (Input，也叫EditBox/EditText)；進(jìn)度條 (ProgressBar)；等等。不同操作系統(tǒng)提供的基礎(chǔ)控件大同小異。不過(guò)些處理細(xì)節(jié)上的差異往往會(huì)成為跨平臺(tái)開(kāi)發(fā)的坑，如果你希望份代碼多平臺(tái)使用，在這方面就需要謹(jǐn)慎處理。音箱箱相比顯示器的管理，音箱的設(shè)備管理要簡(jiǎn)單得多。我們很容易做到多個(gè)軟件同時(shí)操作設(shè)備，而有合理的結(jié)果。例如，調(diào)整音量我們遵循覆蓋原則即可，誰(shuí)后設(shè)置音量就聽(tīng)誰(shuí)的。而聲音的件則可進(jìn)行混音處理，多個(gè)軟當(dāng)然，特定情況下要某個(gè)軟件其他軟件出來(lái)，比如接聽(tīng)的軟件，需要在接通的時(shí)候掉所有其他軟件。打印機(jī)打印機(jī)的管理方式又很不

11、樣，軟件使用打印機(jī)的過(guò)程基本上是互斥的。個(gè)軟件在打印文檔的時(shí)候，其他的軟件只能等待它打印完畢后，才能進(jìn)行打印。打印機(jī)的使用是以文檔為互斥的。為了避免軟件之間出現(xiàn)長(zhǎng)時(shí)間的相互等待，操作系統(tǒng)往往在打印機(jī)的管理程序中引入很大的打印緩沖。軟件操作打印機(jī)的時(shí)候，并不是等待打印機(jī)真把內(nèi)容打印出來(lái)，而是把文檔打印到打印緩沖中就完成打印。這樣，在大部分情況下多個(gè)軟件不需要因?yàn)槭褂么蛴C(jī)而出現(xiàn)相互等待。結(jié)語(yǔ)后面我們?cè)谡劇白烂骈_(kāi)發(fā)”章中，還會(huì)涉及人機(jī)交互的系統(tǒng)相關(guān)的問(wèn)題域，相關(guān)的內(nèi)容這里僅做概要性的闡述。細(xì)節(jié)，這章側(cè)重點(diǎn)在于領(lǐng)域無(wú)關(guān)的通用操作但是，僅通過(guò)簡(jiǎn)單對(duì)比所有輸入和輸出設(shè)備的管理方式，我們就可以看出，不同輸

12、入和輸出設(shè)備的管理方法差異非常大，沒(méi)有太大的共性可言。盡管對(duì) CPU 而言，所有外部設(shè)備有著相同的抽象，但這些設(shè)備的業(yè)務(wù)邏輯卻如此不同，并不能統(tǒng)抽象它們。正是因?yàn)橛辛瞬僮飨到y(tǒng)這樣的基礎(chǔ)軟件，這些設(shè)備業(yè)務(wù)邏輯的復(fù)雜性才從我們的軟件開(kāi)發(fā)過(guò)程中來(lái)。出人機(jī)交互演化的性的變化。變化是輸入設(shè)備的變化。我們看到，輸入的變化是非常劇烈的，且每次演變都是事實(shí)上輸入意圖的理解越來(lái)越難了，因?yàn)榻换ピ诔匀唬∟ature）和智能（Intelligence）的方向發(fā)展。我們不可能讓每個(gè)軟件都去做輸入意圖的理解（今天的現(xiàn)狀是每個(gè)軟件做），在未來(lái)，必然將由操作系統(tǒng)來(lái)實(shí)現(xiàn)智能交互的基礎(chǔ)架構(gòu)。 首發(fā)網(wǎng)今天的內(nèi)容就到這里。你對(duì)

13、今天的內(nèi)容有什么思考與解讀，歡迎給我留言，我們起討論。如果你覺(jué)得有所收獲，也歡迎把文章給你的朋友。感謝你的收聽(tīng)，我們下期再見(jiàn)。精選留言：jueyoq 2019-05-17 09:52:03交互即人機(jī)交流。對(duì)于交流，人們更趨向于使用更自然更本能的方式。人做為中心，我們就更加注重輸入設(shè)備的優(yōu)化。從使用上來(lái)說(shuō)，本質(zhì)上輸入設(shè)備要解決的問(wèn)題就是文本的輸入與命令的未來(lái) 會(huì)逐漸過(guò)度到連續(xù)化的意圖的識(shí)別。輸出設(shè)備 要解決的問(wèn)題是 如何保證多個(gè)程序共享或互斥的使用輸出設(shè)備化窗口的設(shè)計(jì)來(lái)解決多個(gè)程序的共享，設(shè)計(jì)焦點(diǎn)窗口實(shí)現(xiàn)用戶目的的識(shí)別。命令的解釋 是離散化的，而。對(duì)于顯示器我們通過(guò)虛擬最終 其設(shè)計(jì)原則就是 對(duì)于

14、計(jì)算機(jī)要讓其理解什么是輸入的數(shù)據(jù) 什么是命令。對(duì)于人 要讓其理解 輸出的信息，并知道下步該做什么。 15贊作者回復(fù)2019-05-17 11:53:52 涵 2019-05-17 05:44:03好，現(xiàn)在輸入設(shè)備越來(lái)越多樣化，意圖理解越來(lái)越復(fù)雜，甚至需要的，而如果人機(jī)交互意圖理在操作系統(tǒng)層，會(huì)否每種輸入設(shè)備都需要套操作系統(tǒng)?如果是這樣，那么會(huì)否人機(jī)交互意圖理解的架構(gòu)下沉到硬件也就是層，例如人臉識(shí)別?。 7贊作者回復(fù)2019-05-17 07:35:43人機(jī)交互肯定需要統(tǒng)的交互范式設(shè)計(jì)。從這個(gè)角度來(lái)說(shuō)，把意圖理而慢了。到層并不劃算，因?yàn)榈次以谀愕囊暰€里 2019-05-18 23:18:49

15、越來(lái)越nature，意味著越來(lái)越artifiacl。估計(jì)設(shè)備最好的交互就是類人，而不是代替人。 6贊 首發(fā)網(wǎng)作者回復(fù)2019-05-19 08:25:59嗯茍2019-05-17 14:46:40今天講的輸入、輸出設(shè)備交互的變化也是終端設(shè)備的。而對(duì)于開(kāi)發(fā)者而言，般理解的架構(gòu)的是服務(wù)端架構(gòu)、？ 3贊架構(gòu)，掌握這些人機(jī)交互對(duì)我們這些開(kāi)發(fā)所理解的架構(gòu)設(shè)計(jì)有什么影響呢作者回復(fù)2019-05-17 20:23:38 對(duì)于開(kāi)發(fā)者而言，般理解的架構(gòu)的是服務(wù)端架構(gòu)、架構(gòu)這個(gè)是錯(cuò)誤的理解。桌面端軟件也是需要架構(gòu)的。如果你是開(kāi)發(fā)，那么理解交互確實(shí)意義不大，但是如果希望是個(gè)優(yōu)秀的架構(gòu)師，還是需要關(guān)注交互對(duì)我們架構(gòu)的

16、影響的。有銘 2019-05-17 10:36:24我認(rèn)為人機(jī)交互其實(shí)就是所謂的大前端 2贊Tesla 2019-05-17 09:11:37好。人機(jī)交互智能化，更趨近于人與人的交流。但是就算人類面對(duì)面，也有很多的理解歧義 還會(huì)受限于表達(dá)能力。這樣是不是意味著，除非有其他學(xué)科領(lǐng)悟的理論算法支持，如心理學(xué)這類，否則智能交互很難在交互效率和交互準(zhǔn)確性上做到平衡取舍？ 2贊作者回復(fù)2019-05-17 11:53:02這有定的可能性。人機(jī)交互范式目前是確定?；?，但是越來(lái)越模糊是趨勢(shì)，最終如何我覺(jué)得還不太好Being 2019-05-28 11:20:54，您說(shuō)的由操作系統(tǒng)來(lái)實(shí)現(xiàn)智能交互的基礎(chǔ)架構(gòu)，可

17、不可以理解為，對(duì)于智能處理，在操作系統(tǒng)抽象出套標(biāo)準(zhǔn)作為大模塊，為以智能為的交互提供統(tǒng)處理，讓交互則更聚焦于場(chǎng)景。 1贊作者回復(fù)2019-05-28 12:35:20是的williamcai 2019-05-27 08:29:21許，操作系統(tǒng)層面支持智能交互，當(dāng)前現(xiàn)狀是咋樣的 1贊作者回復(fù)2019-05-27 13:55:18現(xiàn)在還只是萌芽階段Geek 9102 2019-05-21 11:32:59在未來(lái)，必然將由操作系統(tǒng)來(lái)實(shí)現(xiàn)智能交互的基礎(chǔ)架構(gòu)。未來(lái)是這樣，是不是也意味著，如果只能交互的應(yīng)用，會(huì)逐漸被系統(tǒng)公司所吞并，商業(yè)模式也會(huì)有問(wèn)題 1贊Adoy 2019-05-18 15:18:33讓到

18、了羅永浩的（狗頭護(hù)體） 1贊Aaron Cheung 2019-05-18 10:34:46補(bǔ)打卡10 交互是非常重要的環(huán) 1贊 首發(fā)網(wǎng)覺(jué) 2019-05-17 09:24:53感恩大佬隨喜大佬 1贊陳華應(yīng) 2019-07-02 18:48:32想請(qǐng)教下，對(duì)于 頭號(hào)玩家 這種科幻中構(gòu)造出來(lái)的人的思想可以置身其中的虛擬網(wǎng)絡(luò)世界，像但是又不局限于現(xiàn)實(shí)世界樣的交互方式在未來(lái)真的有可能實(shí)現(xiàn)嗎？zero 2019-07-02 09:28:05“我們不可能讓每個(gè)軟件都礎(chǔ)架構(gòu)?！比プ鲚斎胍鈭D的理解。在未來(lái)，必然將由操作系統(tǒng)來(lái)實(shí)現(xiàn)智能交互的基句話說(shuō)清楚未來(lái)操作系統(tǒng)的模樣，許多人的描述像畫餅，而許已經(jīng)知道餅是啥餡的。wucx 2019-05-31 19:13:26通用能力在未來(lái)會(huì)下沉來(lái)提高上層的效率及建立標(biāo)準(zhǔn)。多樣的輸入處理能力、標(biāo)準(zhǔn)范式會(huì)在未來(lái)操作系統(tǒng)上