荷蘭開放大學(xué)的大數(shù)據(jù)多模態(tài)學(xué)習(xí)分析研究新進(jìn)展

1、 荷蘭開放大學(xué)的大數(shù)據(jù)多模態(tài)學(xué)習(xí)分析研究新進(jìn)展 張楠 引言人們今天已經(jīng)熟知大數(shù)據(jù)具有4V屬性，其中一個屬性就是數(shù)據(jù)的半結(jié)構(gòu)化和非結(jié)構(gòu)化，因此解決這一領(lǐng)域問題的多模態(tài)數(shù)據(jù)分析研究越來越受到人們的關(guān)注。荷蘭開放大學(xué)維爾滕學(xué)院的丹尼爾迪米特里博士一直致力于研究學(xué)習(xí)分析和人工智能。維爾滕學(xué)院是荷蘭開放大學(xué)的學(xué)習(xí)、教學(xué)和技術(shù)研究中心，該研究中心以科學(xué)的、高質(zhì)量的、實踐性的教育研究為核心，以提高教育質(zhì)量為目標(biāo)（該目標(biāo)有助于彌合理論與實踐之間的鴻溝），成為（高等）教育的合作伙伴，成為（國際）國家級高質(zhì)量研究機構(gòu)。丹尼爾迪米特里博士及其他幾名相關(guān)研究人員利用多模態(tài)數(shù)據(jù)對實驗進(jìn)行了文獻(xiàn)調(diào)查，構(gòu)建了多模態(tài)學(xué)習(xí)分析

2、這一新興研究領(lǐng)域，介紹了用于多模態(tài)學(xué)習(xí)分析領(lǐng)域文獻(xiàn)調(diào)查的分類框架、有關(guān)學(xué)習(xí)的多模態(tài)數(shù)據(jù)的分類，以及多模態(tài)學(xué)習(xí)分析模型。 多模態(tài)學(xué)習(xí)分類框架在學(xué)習(xí)過程中，學(xué)習(xí)者的行為屬性等是能夠通過傳感器直接觀察和測量的，但學(xué)習(xí)者的認(rèn)知、情緒這些潛在的屬性，無法直接由傳感器測量，只能對其推斷，一些文獻(xiàn)調(diào)查將這些方面命名為輸入空間和假設(shè)空間（如圖1）。在人類學(xué)習(xí)中，輸入空間包括學(xué)習(xí)者的行為和學(xué)習(xí)情境，這方面的數(shù)據(jù)雖然可以被傳感器自動捕獲，但傳感器無法對這些數(shù)據(jù)作出解釋或賦予其意義。假設(shè)空間包含了一系列可能的解釋，即傳感器雖然不能直接觀察到屬性，但也可以利用數(shù)據(jù)顯示。假設(shè)空間包括對多模態(tài)數(shù)據(jù)的語義解釋，而這些數(shù)據(jù)是

3、基于心理和學(xué)習(xí)相關(guān)的結(jié)構(gòu)，如情緒、信念、動機、認(rèn)知或?qū)W習(xí)結(jié)果，其屬性屬于學(xué)習(xí)者的意義形成過程，在課堂活動中，教育者和研究人員是看不到這一過程的。輸入空間和假設(shè)空間在概念上由可觀察線分隔開，從一個通用傳感器的角度來看，“水線以上”的部分是顯而易見的，“水線以下”的屬性需要多層次解釋，同時還取決于屬性與可觀察線的距離有多深。另外，可觀察與不可觀察之間的區(qū)別是概念性的，在實踐中可能會有所不同。 用于學(xué)習(xí)的多模態(tài)數(shù)據(jù)的分類多模態(tài)學(xué)習(xí)數(shù)據(jù)分類是組織可觀測模態(tài)（輸入空間）復(fù)雜性的第一種方法，可由傳感器監(jiān)測，并在調(diào)查研究中被提及。這種分類并不是對學(xué)習(xí)模式的詳盡分類，也不是對不同傳感器類型的技術(shù)審查。對于后者

4、，我們參考Schneider等人的綜述，該綜述提供了可應(yīng)用于教育領(lǐng)域的傳感器的廣泛列表。綜述從通用傳感器的角度給出了分類方法（如圖2），其基本思想是傳感器可以監(jiān)視一個（或多個）模態(tài)。在這里，我們將情態(tài)作為一種可測量的屬性，屬于身體或上下文的特定部分。模態(tài)通過信號通道進(jìn)行通信，信號通道連續(xù)采樣導(dǎo)致一個（或多個）模態(tài)的縱向收集。例如，麥克風(fēng)（傳感器）可以采樣語音（通道）來檢測語音（模態(tài)），或者攝像機可以同時跟蹤語音、動作和面部特征，從而提供語音、全身運動（GBMs）和面部表情。為了概述所提出的分類，我們分析了兩個主要的分支：行為運動模態(tài)和行為生理學(xué)模態(tài)。運動模態(tài)可分為與“身體”或“頭”有關(guān)的模態(tài)，

5、其中身體包括軀干、腿、手臂和手。來自攝像機的軀干的運動可以提供GBM，而腿的運動可以通過步數(shù)來跟蹤，并為身體活動提供良好的指標(biāo)，手臂和手則是更有意義的身體部位，其運動也可以被攝像機檢測到，在這種情況下，一種流行的選擇是Microsoft Kinect用于手勢和身體姿勢的識別，尤其是那些注重表達(dá)技巧的研究選擇了這種解決方案。另一種選擇是可以用肌電圖傳感器（EMG）跟蹤手臂運動和手勢。最后，手作為身體的一部分，可以提供對學(xué)習(xí)者活動的最好的洞察。頭部運動模式包括面部表情分析、眼球運動和語言分析。在情感計算研究中，面部表情在情感識別學(xué)習(xí)中被高度研究，也在多模態(tài)人機交互實驗中得到了廣泛應(yīng)用。眼動跟蹤通常

6、被用作學(xué)習(xí)者注意力的指標(biāo)，也被用于多模態(tài)數(shù)據(jù)集。而語音的分析的范圍是從副語言分析（如說話時間、發(fā)音關(guān)鍵字或韻律特征）到學(xué)生與教師互動等對話環(huán)境中口語單詞的實際識別。生理形態(tài)也可分為相應(yīng)的身體部位，心臟、大腦和皮膚是獲得生理信息的主要器官。目前，較為流行的檢測大腦活動的方法是腦電圖（EEG），它可以測量大腦內(nèi)部電位的差異。Prietoetal將EEG與眼動跟蹤相結(jié)合，進(jìn)而從教師分析的角度預(yù)測互動的社會層面和具體的教學(xué)活動。心臟活動的測量則可以采用不同的技術(shù)來計算，如心率和HRV心電圖（ECG）或光容積描記術(shù)。皮膚電反應(yīng)（GSR），也稱為皮膚電活動（EDA），用來測量皮膚電導(dǎo)率。另外，如果身體受到

7、生理上的刺激，皮膚電導(dǎo)就會增加。 假設(shè)空間分類表下頁表總結(jié)了在選擇的使用多模態(tài)數(shù)據(jù)的研究中發(fā)現(xiàn)的學(xué)習(xí)理論。該表根據(jù)所選擇的理論結(jié)構(gòu)、假設(shè)空間規(guī)范、數(shù)據(jù)表示類型和標(biāo)注方法對研究進(jìn)行分類，為研究提供參考。使用多模態(tài)數(shù)據(jù)的最先進(jìn)的研究側(cè)重于預(yù)測情緒。情緒被認(rèn)為是身體生理變化的表現(xiàn)，隨著對特定刺激的反應(yīng)而變化。根據(jù)體細(xì)胞標(biāo)記假說，生理變化發(fā)生在身體中，當(dāng)它們被解釋為情緒時，會傳遞給大腦，進(jìn)而人們通過自主神經(jīng)系統(tǒng)反應(yīng)來適應(yīng)環(huán)境和情感刺激。因此，情緒被認(rèn)為在學(xué)習(xí)中具有重要的作用，學(xué)習(xí)過程中典型的情緒是困惑、無聊、投入、好奇、興趣、驚喜、喜悅、焦慮和挫折。心流是一種運行的心理狀態(tài)，當(dāng)個人沉浸在精力充沛的專注

8、、享受和充分參與當(dāng)前活動的狀態(tài)中時，就會體驗到這種狀態(tài)。它是由內(nèi)在動機而不是外在獎勵來滿足，當(dāng)任務(wù)的難度和個人對給定活動的準(zhǔn)備程度達(dá)到平衡時，這種流動就會自然發(fā)生。 多模態(tài)學(xué)習(xí)分析模型多模態(tài)數(shù)據(jù)分析模型（MLeAM）引入了第二個正交維混合實線?；旌犀F(xiàn)實被定義為物理世界和數(shù)字世界相遇的連續(xù)空間。我們相信物理世界和數(shù)字世界的分離有助于理解智能計算機代理和數(shù)字技術(shù)給學(xué)習(xí)過程帶來的好處。學(xué)習(xí)者的行為和反饋傳遞發(fā)生在物理世界，而模態(tài)的多模態(tài)數(shù)據(jù)表示及其處理和注釋發(fā)生在數(shù)字世界。綜述中，可觀測線和混合實線之間的交集創(chuàng)建了四個象限（如圖3）。這些象限之間的轉(zhuǎn)換由生成結(jié)果的過程“P”指導(dǎo)。模型從頂部中心開始按

9、順時針方向迭代。1.從傳感器采集到多模態(tài)數(shù)據(jù)模型從（P1）傳感器捕獲開始，即自動采樣傳感器從幾個模式中獲得記錄數(shù)據(jù)，其選擇的模式與輸入空間的屬性有關(guān)，如學(xué)習(xí)者的身體位置、注視方向和面部表情，且這些數(shù)據(jù)可以從學(xué)習(xí)者的行為和活動或?qū)W習(xí)環(huán)境中提取，無論哪種情況，模式都存在于物質(zhì)世界中。P1不斷地將不同的模態(tài)轉(zhuǎn)換為它們的數(shù)字表示，即（R1）多模態(tài)數(shù)據(jù)的多形式數(shù)據(jù)流。多模態(tài)數(shù)據(jù)流的截線對應(yīng)于學(xué)習(xí)者在特定時間點的學(xué)習(xí)上下文中的數(shù)字快照。在設(shè)計P1實現(xiàn)時，有三個重要方面需要考慮：第一，使用的輸入空間的定義模式的啟發(fā)式選擇及其數(shù)據(jù)表示;第二，確定最適當(dāng)?shù)膫鞲衅鳎员銥榫唧w的學(xué)習(xí)方案捕捉選定的模式;第三，傳感器

10、體系結(jié)構(gòu)的設(shè)計和實現(xiàn)，用于從多個傳感器收集和序列化數(shù)據(jù)流的硬件和軟件基礎(chǔ)設(shè)施。傳感器體系結(jié)構(gòu)的設(shè)計必須考慮幾個技術(shù)方面，包括傳感器網(wǎng)絡(luò)工程、原始數(shù)據(jù)同步、融合技術(shù)和用于傳感器數(shù)據(jù)持久性的數(shù)據(jù)存儲邏輯。2.從注釋到學(xué)習(xí)標(biāo)簽第二個過程是（P2）注釋，這是一個由專家或?qū)W習(xí)者人為驅(qū)動的重復(fù)過程。P2的目標(biāo)是根據(jù)一些預(yù)定義的評估方案，用人類的判斷來豐富低語義多模態(tài)數(shù)據(jù)。該方案基于假設(shè)空間，即機器學(xué)習(xí)算法自動從多模態(tài)數(shù)據(jù)中推導(dǎo)出的不可觀測的解釋。P2可以被看作是一個學(xué)習(xí)任務(wù)與一些學(xué)習(xí)目標(biāo)之間的評估，并通過三角剖分實現(xiàn)，即“法官”首先接觸到一些關(guān)于學(xué)習(xí)任務(wù)的人類可解釋的證據(jù)（如視頻或直接觀察），接著將一些（

11、R2）學(xué)習(xí)標(biāo)簽分配給多模態(tài)數(shù)據(jù)的時間段。這個過程P2允許為原始數(shù)據(jù)的某個時間間隔提供一些意義。與P1類似，P2需要定義所有可能的學(xué)習(xí)標(biāo)簽，該任務(wù)對應(yīng)于定義假設(shè)空間及其數(shù)據(jù)表示，同時，它還需要設(shè)計由報告工具和注釋過程組成的注釋策略。3.從機器學(xué)習(xí)到預(yù)測第三個過程是（P3）機器學(xué)習(xí)。監(jiān)督機器學(xué)習(xí)的目的是從觀察到的（R1）多模態(tài)數(shù)據(jù)和手工標(biāo)注的（R2）學(xué)習(xí)標(biāo)簽中學(xué)習(xí)統(tǒng)計模型（函數(shù)）;對未來未觀察到的數(shù)據(jù)進(jìn)行歸納，生成類似結(jié)構(gòu)的（R3）預(yù)測。核心的機器學(xué)習(xí)任務(wù)可以用數(shù)學(xué)形式表達(dá)，計算一個函數(shù)：y=f（X）+。X為多模態(tài)觀測，輸入函數(shù)f。 X為n個屬性向量，由多種學(xué)習(xí)模式導(dǎo)出，X的所有可能的值組合構(gòu)成了

12、輸入空間，即f的定義域。y是學(xué)習(xí)標(biāo)簽（s），它將每個輸入的觀察結(jié)果定位到假設(shè)空間，即所有可能學(xué)習(xí)標(biāo)簽的f的范圍。函數(shù)f是一個泛化的關(guān)系，觀察X和y+學(xué)習(xí)標(biāo)簽一些誤差項。給出一種新的多通道觀測Xnew，預(yù)測計算學(xué)習(xí)任務(wù)對應(yīng)的標(biāo)簽（s）ynew=f（Xnew）+。P3還包括以下迭代步驟：預(yù)處理重采樣，處理丟失的數(shù)據(jù)，使模型符合數(shù)據(jù);后期處理選擇相關(guān)屬性，調(diào)整參數(shù)，驗證模型對新數(shù)據(jù)的通用性;診斷獲得相關(guān)性，以確定每個屬性在預(yù)測學(xué)習(xí)標(biāo)簽方面的重要性。如果對所得到的模型進(jìn)行合理的精度訓(xùn)練，系統(tǒng)能夠在不可見的多模態(tài)數(shù)據(jù)中預(yù)測學(xué)習(xí)標(biāo)簽。這個預(yù)測是一個機器輔助估計學(xué)習(xí)者在學(xué)習(xí)過程中的立場。P3使用機器將必須由人類驅(qū)動的注釋過程自動化。預(yù)測可以用來豐富學(xué)習(xí)者模型，為學(xué)習(xí)者提供更具適應(yīng)性的反饋模型，并推動他們走向積極的行為改變。4.從反饋解釋到行為改變最后一個過程是（P4）反饋解釋，關(guān)閉返回給學(xué)習(xí)者的由機器驅(qū)動的反饋回路。P4的目的是利用對多模態(tài)數(shù)據(jù)的支持，并導(dǎo)致R4行為變化。P4需要預(yù)先設(shè)計好反饋模型，反饋模型高度依賴于學(xué)習(xí)活動，并由任務(wù)模型定義。MLeAM不處理任何反饋維度，也不提供依賴于學(xué)習(xí)活動的有效反饋策略。盡管如此，MLeAM可以與不同的反饋模型結(jié)合使用，并結(jié)合已經(jīng)分析過的有關(guān)學(xué)習(xí)者行為和上下文的