基于機器學習技術(shù)分析課堂提問的認知水平

1、基于機器學習技術(shù)分析課堂提問的認知水平摘要提問被廣泛認為是一種有效的教學策略，在教師與學生的相互交流之間存在著各種用途。在教育實踐中，教師對課堂提問的分析具有特殊的效益。本文通過分析將老師的問題按照布魯姆的分類自動分類到不同的認知水平的有效性，從而探討了機器學習技術(shù)有效性。更具體地說，本文利用三種最有效的機器學習的分類技術(shù)：K-最近鄰，貝葉斯和支持向量機的三種方法。這樣，一個數(shù)據(jù)集的問題經(jīng)過收集和分類，并且按照布魯斯分類。經(jīng)過預處理步驟應用到一個適合于機器學習技術(shù)問題。使用這個數(shù)據(jù)集，三種機器學習技術(shù)的性能就被評估。結(jié)果表明，K最近鄰和貝葉斯性能相媲美，向量機在F1和精度性能優(yōu)越。此外，結(jié)果還

2、表明，機器學習技術(shù)對于代表問題的特征的數(shù)量顯示出不同程度的敏感性問題。1.引言在教育領(lǐng)域，提問被廣泛認為是一種有效的教學策略。它是師生互動的主導模式，占總互動的近80%。自蘇格拉底時代，提問被用來鼓勵學生使用更高層次的思維過程。目前，教師每天問多達300到400個問題，所以提問仍然是最經(jīng)常使用的教師教學干預手段。鑒于教師課堂提問對教學的重要性，對這些問題的分析已被廣泛研究。一些研究人員發(fā)現(xiàn)開發(fā)出一套可以分類問題的分類集會對教學很有幫助。現(xiàn)在已經(jīng)有了許多分類系統(tǒng)，其中大部分是完全由認知過程所需的回答問題的類別的基礎(chǔ)上進行分類的。這些系統(tǒng)包括在不論語境分類問題的背景下數(shù)量有限的一般類別，而其他分類

3、系統(tǒng)開發(fā)了一個特定的課程，如一個對由美術(shù)教師提出的問題進行分類的系統(tǒng)。布魯斯分類是最突出的問題分類系統(tǒng)的代表，它是由本杰明.布魯斯提出，在他的努力，把思想行為分類成三個領(lǐng)域：認知（精神技能），情感（情感或情感領(lǐng)域的增長）和運動（手動或物理技能）。認知領(lǐng)域因其在中學和中學后教育的適用性受到重視。在認知領(lǐng)域，布魯斯確定了六個不同的學習層次，并且根據(jù)層次結(jié)構(gòu)進行了組織。認知方面的六大類如下：知識：注重記憶，識別信息；理解：專注于組織思想、信息的解釋和翻譯；應用：重點利用細節(jié)和原則解決問題；分析：專注于尋找潛在的組織和一個整體的劃分；合成：專注于一個想法組合，以形成新的東西，創(chuàng)造一些獨特的無論是口頭上

4、或身體上；評價：專注于對問題作出判斷，解決差距或分歧。在教學實踐中，問題的有效使用依賴于教師的能力，由老師決定他提問問題的布魯斯認知水平（BCL）。不幸的是，對教師提問的研究已經(jīng)表明，這種技能通常是不太有效的。在這些研究中，它已經(jīng)表明，教師在各級教育往往問需要記憶的問題，很少問需要反思的問題。這可以歸因于缺乏提問的分類。因此，為了提高教師的提問能力，基于BCL來分析他們提出的問題是至關(guān)重要的。這樣的分析結(jié)果，可以用于教師專業(yè)發(fā)展和評估教師的水平，也可以幫助師生互動。為了更好的教學和學習，分析教師的提問至關(guān)重要，本文提出了一種嘗試，利用多種機器學習技術(shù)，將這個過程自動化?？紤]到教育機構(gòu)的電子學習

5、系統(tǒng)的迅速普及，這個過程的自動化是很有吸引力的。從這些系統(tǒng)中產(chǎn)生的大量的數(shù)據(jù)，使得手動管理它非常困難，因此，機器學習的技術(shù)是來操縱它們是非常有前途的手段。本文的其余部分組織如下。第2節(jié)評論有關(guān)的作品。3節(jié)是利用ML自動分類問題概述。第4節(jié)介紹了所獲得的結(jié)果，第5節(jié)進行討論。第6節(jié)是為結(jié)論。2相關(guān)作品在教育的文獻中，教師課堂提問的研究受到了很大的關(guān)注，因為它們提供了一個信息來源，可以用來研究教學的各個方面。因此，文學作品的研究主要集中于對教師提出的問題的用途分析。例如，分析教師的問題已被用來研究教師的提問方式，是用來培養(yǎng)學生的技能和批判性思維，而不是在學習和回憶。也已被用來研究教師的問題對學生行

6、為的影響。從計算的角度來看，將問題自動按照BCL分類可以定義為按照問題的內(nèi)容自動匹配到某一個確定的布魯斯認知水平。顯然，這項任務可以被看作是文本分類的一種特殊形式。也就是說，與典型的文本分類問題相比，它具有特定領(lǐng)域的特點。更具體地說，在一個典型的文本分類問題中，每一個文檔都包含幾百個單詞，然而，在問題分類中，每一個問題通常包含不到50個單詞，從而引起了一個不足。問題的缺乏，預計將影響機器學習技術(shù)性能。在文獻中，很少有作品被報道。在人工神經(jīng)網(wǎng)絡(luò)，即反向傳播神經(jīng)網(wǎng)絡(luò)，分類問題轉(zhuǎn)化為三個難度級別，簡單，中等，和困難。此外，查詢文本的相關(guān)性的五維特征向量，平均詞頻，問題和答案的長度，詞頻分布，文本中的

7、問題和答案的分布作為輸入到BP神經(jīng)網(wǎng)絡(luò)。結(jié)果計算得到F1值是近78%。在決策樹中，根據(jù)決策樹的困難，構(gòu)建了一個自動分類的電子學習考試庫。因此，電子學習系統(tǒng)可以是根據(jù)個人背景適合于每個學習者選擇問題。設(shè)計了一種針對特定關(guān)鍵詞問題的自動分類器設(shè)計。問題分類是一個有趣的工作。在這項工作中，一個適應性強的學習輔助工具，用于管理問題銀行的問題，到預定義的類進行分類，并正確檢索的問題，通過指定的類和/或難度級別。這些作品的一個共同的方面是，他們根據(jù)難度分級的問題。3. 方法論一般而言，目前的文本分類的趨勢主要是密集的使用機器學習技術(shù)。理想的用機器學習技術(shù)設(shè)計文本分類系統(tǒng)需要四個主要步驟：文本表示，特征選擇

8、，分類建設(shè)和分類測試。在文本表示步驟中，使用文本表示方法將文本映射到適于后續(xù)步驟的緊湊表示中。在特征選擇步驟中，原始集的特征子集由特征的選擇方法選擇。在分類器的構(gòu)造步驟中，機器學習分類器通過對人工分類下的一組文本的特征觀察自動創(chuàng)建。在分類器的測試步驟，通過搜集到一個新的未知的文字來測試分類器的性能。因為問題分類是文本分類的一個實例，這些步驟也適用。下面的小節(jié)描述使用ML解決問題分類問題轉(zhuǎn)化為線性的四個步驟。3.1. 問題描述基本上，問題文本不能直接用機器學習技術(shù)解釋，因此，利用轉(zhuǎn)換程序映射一個問題Qi文本到緊湊的表示，其內(nèi)容需要統(tǒng)一適用。代表一個問題Qi的常見的方法是作一個特征權(quán)重<W1

9、jWtj>矢量，這不是一組特征（有時稱為特征）出現(xiàn)在至少一個問題至少發(fā)生一次，0<wj<1表示特征T對問題Q的貢獻率。權(quán)重可以是二進制權(quán)重（1表示存在0表示特征不存在）；或基于非二進制的分類器構(gòu)造算法。非二進制重量最常見的形式，使用標準的TFIDF函數(shù)，其定義為在ITr|表示在訓練集的數(shù)量問題，#(TK,QJ)表示發(fā)生在QJ的Tk次數(shù)，#TR(TK)是指特征Tk的頻率，也就是TK在問題中的發(fā)生次數(shù)。為了應用上述表示,一個預處理的問題，應適用于包括：減少問題文本來減少字符。標點符號的去除：所有類型的標點符號從問題中刪除。標記：令牌是一個極大的非空白字符序列。在這個過程中，純粹的

10、數(shù)字令牌被丟棄。分析：令牌被波特詞干分析器分析。一個問題的文本預處理后，特征加權(quán)按方程1計算，長度歸一化應用如下帶新特征的權(quán)重的向量被輸入到隨后的步驟。3.2. 特征選擇給定一個特征集包含一組訓練集的問題的所有特征，特征的選擇是從原始特征集選，這樣的一個只有最具代表性的特征子集。一個計算更簡單的選擇方法根據(jù)一個函數(shù)接收的最高得分選擇一個子集的特征，例如，檢索詞頻率(TF)，這衡量一個特征對分類任務的重要性。3.3. 分類器構(gòu)造在分類器構(gòu)造步驟中，一般的歸納過程會通過觀察一組文本的特征自動生成一個分類的一個給定的組Ci,稱為訓練集，手動分類為Ci或?qū)＜疫M行分類Ci。從這些看出，歸納的過程，一個新

11、的未知的文本應收集的特點有分類Ci。對于大多數(shù)機器學習的技術(shù)，這一步可以通過使用一個目前可用的工具。3.4. 分類評價機器學習分類器對一類線性分類的有效性可以通過一些措施進行評價。這些措施的計算基本上取決于所獲得的應急表。應急表主要包括以下值A(chǔ):系統(tǒng)按照布魯斯分類正確分類的問題數(shù)目。B:系統(tǒng)按照布魯斯分類錯誤分類的問題數(shù)目。C:屬類但系統(tǒng)沒有正確布魯斯分類的數(shù)目。D:系統(tǒng)正確的沒有分配到BCLS的問題數(shù)量。以下是用于評估機器學習分類性能的常用的措施。精度（P）：如果一個隨機問題被分類在Ci下，這個決定是正確的。它可以被看作是分類器的“穩(wěn)健程度”的相對于類。公式是P=A（3）B召回（R）：如果一

12、個隨機的問題應該被分類到Ci下，這項定是采取。它可以被看作是相對于該類的分類的程度的完整性。公式是R=-（4）ACF0測量：這是一次召回和精度的諧波平均值，對于0=1,如下F_2RP1R+P準確性（ACC）：個分類的準確性+的定義如下A-D/+占+E7+萬除了這些對分類器的措施，分類的有效性可以通過宏觀平均值（所有類未加權(quán)平均效率）和微觀平均值（從每類列聯(lián)表的總和計算的有效性）進行評估。4. 實驗結(jié)果本節(jié)介紹了從一系列的實驗中獲得的結(jié)果。以此進行評估不同的機器學習技術(shù)的性能。此外，從被認為是作為一個基線的以規(guī)則為基礎(chǔ)的方法。在所有的機器學習技術(shù)實驗中，基于TF的特征選擇方法已經(jīng)使用。更確切地說

13、，每種機器學習技術(shù)基于TF的選擇已經(jīng)嘗試了不同數(shù)量。在每一個實驗中，所選擇的特征被用來在第3.1節(jié)所描述的問題表示。結(jié)果已在隨后的部分中，但在對這些結(jié)果的描述之前，問題數(shù)據(jù)集的簡要說明已經(jīng)給出。4.1.問題集在Najran大學在一些課程講座收集了一系列的問題。問題已通過手動與教育專家來對每一個問題分配一個合適的類。問題的子集是隨機選擇的，選擇的問題是均勻分布在線性約束下的（即每個bcl100例）。所收集的數(shù)據(jù)集已被處理為在第4.1節(jié)中所述，并分為訓練集（70%的數(shù)據(jù)集）和測試集（30%的數(shù)據(jù)集）。訓練集和測試集的大小分別為420和180。表1顯示了其問題樣本。表1:問題數(shù)據(jù)集實例BCL問題實例

14、知識（Kn）確定計算機的標準組件理解（Co）詳細描述圖形應用（Ap）計算圓面積分析（An）將瀑布模型與原型模型進行比較。合成（Sy）開發(fā)基于活動的網(wǎng)絡(luò)評價（Ev）對給定數(shù)據(jù)的不同圖形表示的有效性進行評估4.2.基于規(guī)則的方法基于規(guī)則的方法是上世界八十年代最為流行的自動分類方法，以規(guī)則為基礎(chǔ)的方法的問題分類通常由一組手動定義的邏輯規(guī)則。每個規(guī)則是一個分離的條款對于一個給定的BCL包含一組預定義特征的條件。一個給定的問題是，當且僅當它滿足一定的BCL分類下的規(guī)則，即，當且僅當它滿足至少一個在其條款。使用規(guī)則為基礎(chǔ)的問題分類方法的結(jié)果顯示在表2。表2:基于規(guī)則的方法的性能BCLAcc?FlKji0.

15、7&30.466Co0.8610.627Ap心4Ari0.850.509SyEv0.8560.552Macro-Av0-830.544Micro-Av0.8280.5234.3.k-近鄰從這一系列的實驗中得到的結(jié)果示于表3。宏觀平均值和微觀平均值F1結(jié)果表明KNN獲得最佳的性能時，用于問題表示特征的TF>5。KNN的結(jié)果與基于規(guī)則的方法的結(jié)果比較，證實了ML技術(shù)對問題分類的有效性。表3：K近鄰性能BCLTF>1TF>2TF>3TFE4Ac:F】AccFiAccFiAccFiAccFiKn0.8720.531C.S830.604Ol?QOD.66"Q.S

16、M0.66Q.S890.66Co0.9280.7720.9330.786019170期0,9170.7170l9】l0.733ApQ.S610.4190.&工Q.4S9Ol87S0.500d.B720.439Cl辭20.51LAn0.92S0.7450.7201922MS0.960.S73a弼i0>6SSy0.S8905650衛(wèi)工Q.51L019060.6670.R舛0.627a?0.717Ey0.S940.6420.900Q.6790l?2.20.500.9：0.7&4O.R?40.612Maera-Av0.S950.6120.眈0.64DOl?Q0.674Q.90S0

17、.610則0.6S5Micro-AvQ.S950.622O.R98Q.65D01斷0.6S20.9080.6S20則0.6S9BCL7F>67F>7TF>TF工9T¥>10AceFiAccFiAccFiAccFiA£CFiKnQ.S440.5630.&44Q.60J720.4SI0.7610.4S20.7610.4S2Co0.9110.867Q.53S0.S6"0.5560.RG0.5560.R5OOJ09Ap0.856Q.45S0.K610.49D0.&0.292Q.S2S0.311Q.R390.326An0.9330.7

18、690.939QJ760.S890.524Q.R720.465ClS720.439Sy0.9110.7140.6940.67R0.8330.444Q.K220.407Q.S2S0.392EyQ.S440.4170.瞅0.4550.8330.167Q.B22Q.ILL0L8170.108Macro-AvQ.S83Q.6DD詢903910.S340.411d.B290.3S9Q.S280.376Micro-Av0.SS3Q.6D40.辭90.5970.S340.42SQ.K290.413Q.S2S0.400表4：NB的性能BCLTF>TF>j>47F>5A-ctFiAceF

19、iActF|ArcF,AccFiKn0.8780.450邛0.5000.S610L4680.8670.5QQ就0.553CoQJ110.704D.91I0.7420.900D.7IQ0.8890.66as8J0.656Ap0.86103590.894i.5Q.S940L55SQ.S7S0.450as70.176An。脈0.7230.956<1.8520.961D.S730.961Q.S6S0.956<1,852Sy0.8890.524D.90D0.640Q.S940.642Q.9110.692019110.692Ev19170.6gl0.9220.720Q.933D77S0.933

20、0.7780.9060.679Macro-Av0.8970.57j0.91D0.669Q9HD.671Q.9060.6590.9030.651Micfd-Ay0.8970.5&7Q.91D0.6S0Q航D.6320.9D60.671Q.90j0.660BCLFF>6>77T>S此gTF>10AteFiAceFiActFiArcF,AccFiKn0.K940.612Q.S830.5710.K44013640.8500.3720.S440.263CoO.S720.596Q.S720.5S20.&56015190.S610.545a貼60.536ApQ.87S

21、0.421Q.S830.462Q.S56012780.8560.2QlS560278AnQJ44O.SQ&0.95D0.S240.9110l6360,9】10.6360.9060.605Sy0.K940.642D.SM0.627Q甜I0.4440.S440.364dS2&0.205Ev0.8670.455Q.S830匚Q遼ai58Q.8I70.1OSQlSl7OJOSMacro-Av。驅(qū)Q.SM0.596Q瀕014000.856Q.3S4a0J32Micro-Av0.8920.601Q.SW0.604QMS0l4H0.8560.402低0J534.4. 樸素貝葉斯樸素貝葉斯是一

22、種有效的概率分類方法，已應用于文本分類中。它的基本思想是詞和類的聯(lián)合概率的來估計給定問題的類的概率。樸素貝葉斯方法是最早用于文本分類的分類器算法，是一種統(tǒng)計學分類方法，它基于貝葉斯決策論并且基于此項獨立的假設(shè)，不同屬性對分類結(jié)果的影響是獨立的。從這一系列的實驗中得到的結(jié)果示于表4。結(jié)果表明，在貝葉斯方法中F1的表現(xiàn)最好時，用于問題表示特征的TF>3是。他們還表明，對于ACC，NB獲得最佳的性能時，用于問題表示特征的TF>2。此外，NB的結(jié)果與KNN的結(jié)果比較，無論所選擇的特征的數(shù)目如何，這兩種方法顯示了相差不多的性能。4.5. 支持向量機支持向量機是Vapnik等提出的一種新的學習

23、方法，它是建立在統(tǒng)計學習理論的VC維理論和結(jié)構(gòu)風險原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復雜性（即特定訓練樣本的學習精度）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力。支持向量機的最大特點是根據(jù)結(jié)構(gòu)風險最小化準則，以最大化分類間隔構(gòu)造最優(yōu)分類超平面來提高學習機的泛化能力較好地解決了高維數(shù)、非線性、局部極小點等問題，在訓練樣本數(shù)目相對較少的情況下也能取得很好的分類效果對于分類問題，支持向量機算法根據(jù)區(qū)域中的樣本計算該區(qū)域的決策曲面，由此確定該區(qū)域中未知樣本的類別。所得到的結(jié)果示于表5。表5：支持向量機的性能TF>3>化47F>5ActFi

24、AfFiAccFiAccFiAccFiKr.O.S«7a4780.8780.5600.SS3D.5SS儷gD.478am0.627Co0.939Q側(cè)二QMQ.?2S0.755DJS40.667APQ.WD.90D0.57L0.8K9a彌DJ68OL昭90.545An0.956a8460.9610.S680670.S890.956D.S4619500.SZ4sy0.9000.9280.7350.9220.7310期DM119170706Ey0.9170.6670.9280.7230.922QJOS0.9Q6D.6670L9Q50.622Macro-AyW7a辺0.9230.711呵90

25、.6990.9160,622Q卿0.665Micro-Av0.9070.6380.9230.7P0.91907070.916D.638OL剜0.669BCLTF>77f>8化9TF>10AccFiAccF,ArcF,AccFiAccFiKn0.9110.6920.8940.6420.S61D.46S0.85DD.47118500J72CoQ6150.SS30.6040.872誠0.85DD.491US720徳Ap0.S7S04500.8780.4500.8670,ij30.861D2S618500JS2Ar.0.9500.S240.9330.7300.9220.6%儷3D4S2am04S2S)0.922017200.9060.6530.900D.5250.8670.45518330286Ev0.872陽砧0.8440.2630.8KD.D570.81/D.05708220.000Macro-Ay0.9040.8900.5600.8730,4400.85503701852QJI4Micro-Ay0.9040.6390.89003770,873D.4870.855DJS9Q椚20J44結(jié)果表明，對于ACC和F1特征，當TF>2時，SVM的性能最好。另一個結(jié)論是，支持向