認知診斷學習文檔

1、一、名詞解釋認知診斷：認知診斷是基于認知加工過程的診斷，是對個體認知加工過程中所涉及的認知屬性的診斷。 從廣義上說，認知診斷是建立觀察分數(shù)和被試的內(nèi)部認知特征之間的關系；從狹義上說，是 指在測試中，按被試有沒有掌握測試所測的技能或特質(zhì)來對被試加以分類。而所謂測試的認 知診斷，不但了解學習者的能力知識結構，還能解釋其通過知識掌握了哪些實際技能，在學 習過程中采取了何種學習策略。認知屬性：認知屬性一詞用來描述被試正確完成任務所需的知識、技能、策略等，它是對被試問題解決 心理內(nèi)部加工過程的一種描述。屬性層級關系：認知屬性不是獨立操作，而是從屬于一個相互關聯(lián)的網(wǎng)絡，認知屬性間可能存在一定的心理 順序、

2、邏輯順序或者層級關系。屬性層級關系又四種基本類型：線性、收斂、分支、無結構。 這四種基本類型可組合為更復雜的網(wǎng)絡層級關系。Q矩陣理論：Q矩陣理論主要是確定測驗項目所測的不可觀察的認知屬性，并把它轉化為可觀察的項目 反應模式，將被試不可直接觀察的認知狀態(tài)在項目上可觀察的作答反應相連接，從而為進一 步了解并推測被試的認知狀態(tài)提供基礎。即：確定屬性層級關系一連接矩陣一可達矩陣一事件矩陣一縮減實踐矩陣一典型屬性矩陣一典 型項目反應模式這一過程統(tǒng)稱為Q矩陣理論。Q矩陣：Q矩陣指描述測驗項目于屬性間關系的矩陣，它一般由J （J指測驗項目數(shù)）行K （K指測 驗測量的屬性個數(shù)）列的01矩陣組成，若Q =1代表

3、項目j測量了屬性k，jk若Q = 0代表項目j未測量屬性k。jkA矩陣（鄰接矩陣）R矩陣（可達矩陣）直接先決屬性A1-A2-A3： A1為A2的直接先決屬性間接先決屬性A1-A2-A3： A1為A3的間接先覺屬性理想掌握模式即所有可能存在的知識狀態(tài)/利用擴張算法獲取理想掌握模式p9理想反應模式指被試在不存在任何失誤和猜測等誤差條件下對項目的作答反應情況.即若被 試掌握了項目考核的所有屬性則被試答對該題，若被試至少有一個項目考核屬性未掌握，則 被試答錯該項目。典型項目考核模式（理想測量模式）即理想反應模式去掉其中全為0的一列典型項目考核模式指根據(jù)屬性間的層級關系，確定所有合邏輯的測驗項目考核模式

4、種類，也 稱理想測量模式.項目考核模式的獲取與理想掌握模式的獲取原理一致，但它比理想掌握模 式少一種，即全為0的模式（測驗項目不會一個屬性都未考核，否則也沒有必要進入測驗 中）。理想反應模式E（Q, a）=什（a jk = I rz q : k = 1,.,k =1掌握模式為1100考核模式為1000、1101則理想反應模式為10測驗被試數(shù)為I,項目數(shù)為JI行J列的矩陣，0為答錯，1為答對二、常用的認知診斷模型1、線性Logistic模型（LLTM）（補償）exp（0 b*）P（X = 110 ） = 一 J一L（/ j 1 + exp（0 b*） j i其中b* =Z門q + dik ik0

5、j :被試能力參數(shù)bi :項目難度參數(shù)qk :項目i在認知屬性k上的復雜度計分門k :認知屬性k的復雜度權重d :標準化常數(shù)特點：1、LLTM用認知屬性復雜度的線性組合模型來刻畫項目的難度；2、項目的難度取決于各個認知屬性的復雜度。缺陷：1、項目難度是項目所測認知屬性的線性累加組合，意味著認知屬性間可能存在補償效應。2、被試的能力還是用一個籠統(tǒng)的能力值G）來表示，沒有對被試是否掌握各認知屬性直接 進行評價。2、規(guī)則空間模型（RSM ）（非補償）規(guī)則空間模型主要根據(jù)理想掌握模式所對應的項目理想反應模式計算出每種理想掌握模式的一組序偶 雨,鄧，0 : IRT中被試的潛在能力變量 ：基于IRT的警戒

6、指標，表示能力為0的被試其實際測驗項目反應模式偏離其能力水平想 對應的項目反應模式的程度 = fv/arf （x ），其中： f （x）= P（0）- T&）P &） X品）尸W :是被試對n個項目的答對概率向量。P（0）=P（0） P&）.,P&）12nX :被試在測驗項目上作答的二值反應向量。T（0）:項目答對概率的平均值向量，其元素都相等的情況下f （x）的期望值為0t G）12 P（e）12 p G）.,12 pG ，f （x）的期望值為0 nnn(2) Varf (x)= 2 p&)2. G)p&)-12 p(0)I 23、屬性層級模型（AHM ）（非補償）AHM是在RSM基礎上發(fā)展

7、而來，相同點都強調(diào)Q矩陣理論；都是在獲取理想項目反應模式以及典型掌握模式的前提下，采用一定的方法來實現(xiàn)對被試的判別和診斷。不同點（1）屬性結構和測驗的編制順序不同AHM強調(diào)在測驗編制前，屬性間的層級關系和邏輯關系就要事前確定好，測驗編制應該按 照該屬性層級關系進行。RSM基本在測驗開發(fā)編制后，再由相關專家或人員根據(jù)試題來確定測驗所考核屬性以及其 間的關系，屬事后分析，所以不能保證屬性層級關系的合理性。（2）實現(xiàn)對被試診斷的判別方法不同RSM 一般采用統(tǒng)計判斷的方法（馬氏距離和貝葉斯判別）AHM采用IRT下似然函數(shù)法或人工神經(jīng)網(wǎng)絡法（3）理想反應模式下的項目參數(shù)及被試參數(shù)的獲取方法不同RSM強調(diào)

8、理想反應數(shù)據(jù)與搜集到的數(shù)據(jù)一并統(tǒng)計，以保證項目參數(shù)在同一量尺上；AHM強調(diào)純理想下的作答（4）對于理想反應模式下參數(shù)估計所采用概率模型可能不同。AHM中強調(diào)純理想下的作答，沒有猜測和失誤，不適合采用3PLM；RSM中承認有異常反應，每個理想模式都對應于一個異常反應指標，可以采用3PLM。AHM中判別分類方法（1）A方法將需判別的一個觀察反應模式與所有的期望反應模式逐個比較，將擁有該觀察反應 模式的被試判定為有最大相似概率的期望模式所對應的屬性掌握模式。相似概率：d = V - XVj :用向量形式表示的、含n個項目的測驗上的第j個期望反應模式；X :某個被試的觀察反應模式d = In , n，

9、n n=；i,0,-i；當nn =0為沒有失誤-n當n =-1為0一1型失誤（猜測型失誤guesstimate）n當n =1為1 一0型失誤（失誤型失誤sliping）（2）B方法將某一觀察反應模式與所有的期望反應模式比較，當期望被試反應模式包含在觀察 反應模式時，就認為被試掌握了這個期望反應模式所對應的屬性；當期望被試反應模式 不包含在觀察反應模式中，則計算1一0失誤可能性（p33公式），如果某個期望反應 向量的可能性值最大，那么就認為這個被試已經(jīng)掌握了期望反應向量所包含的屬性。4、融合模型（FusionModel,FM ）（非補償）PI = 11 a ,0 .)=兀* 固 rajk qjk

10、 p G .)k=1其中: ; :被試正確應用項目i所有屬性的概率一一以Q矩陣為基礎的項目難度參數(shù)，0-1區(qū)間， 值越大說明項目越容易“:&）k=1以:被試缺乏屬性k與掌握屬性k但都答對項目的概率比，其數(shù)值能反映出屬性k的重要pY = 11 ak = o pY： = 11 j = 1)r *ik性，越小代表屬性k越重要，是屬性的區(qū)分度指標。一個項目有K個屬性，則具有K個區(qū) 分度。5、DINA及HO-DINA模型（非補償）6、多維項目反應理論模型（MIRT）（補償）三、編制測驗遵循原則:在編制測驗的過程中需遵守以下兩個基本原則：（1）首先測驗應能夠?qū)崿F(xiàn)對每一個認知屬性的診斷；（2）在實現(xiàn)對每個屬

11、性的診斷時，也要同時滿足對每個屬性的多次觀察測量。1、基于認知設計系統(tǒng)的測驗項目編制（CD S）1、確定測量目標2、確定任務領域的認知特征3、開發(fā)認知模型4、項目編制通過分析真是項目的刺激特征，開發(fā)項目結構和替代法則。在根據(jù)項目結構和特帶 法則，選擇恰當?shù)拇碳ぬ卣鱽砭幹祈椖俊?、模型驗證6、根據(jù)項目認知復雜度儲備項目7、規(guī)則廣度效度驗證。2、基于證據(jù)中心設計的測驗項目編制（ECD）學生模型：確定診斷目標：認知技能、知識、認知策略證據(jù)模型：支持診斷的證據(jù)：能提供診斷證據(jù)的可觀察行為、證據(jù)任務模型：激發(fā)證據(jù)的任務：任務完成條件、任務材料、作答結果特征, CD-CAT選題策略挑選對當前被試認知狀態(tài)具

12、有最大信息量（最小診斷誤差）的項目。1、綜合K-L信息量最大法（GDI）c=1log_y=02、相似性加權GDI信息量最大法（S-GDI）L-GDI (a )=2 2jic=1其中L(a )= ncf P(aP Y = y I a )ij c /-p )u )aclog-y=0pua cij=y I a L(a )c3、似然函數(shù)加權GDI信息量最大法（L-GDI）log-y=0S - GDI (a )=2一)j i 1 ha , a )其中 h(a ,a )=熠(a -a k=1lOg-y=04、似然函數(shù)和相似性加權的GDI信息量最大法（SL-GDI）SL - GDI (a)=2*L j i1

13、 h(a., a )五、初始試題選取1、T陣法T陣法依據(jù)R矩陣是測驗實現(xiàn)對每個認知屬性診斷的充分條件的思想，把R矩陣所考核的 認知屬性成為“T陣”，把CD-CAT的初始試題從“T陣”中選取并同時保證T陣中含有R 陣的方法稱為T陣法。這種方法保證了在CD-CAT測驗的初始階段就盡可能實現(xiàn)對每個屬 性的診斷，從而提高CD-CAT的診斷準確性。從數(shù)學角度而言，如果所有理想掌握模式在測驗上的理想作答均不相同，則該測驗就能實現(xiàn) 對每個認知屬性的診斷。但是在實際的認知診斷CAT中這如何保證？根據(jù)Tatsuoka的Q矩 陣原理，我們可知所有理想的屬性掌握模式均可由R陣導出，因此可達矩陣是測驗實現(xiàn)對 每個屬性

14、診斷的充分條件。2、隨機選題策略六、終止條件1、隨機選題策略貝葉斯后驗概率 香農(nóng)熵七、項目結構假設1、項目作答需要的技能心理和教育測量領域的認知診斷測驗大多是認知技能密集或知識密集的，現(xiàn)實中，大多數(shù)測 量項目都會涉及兩個甚至多個認知技能。2、項目反應中的屬性作用機制項目屬性反應機制分為兩類：A：補償機制-項目屬性間具有補償性B：非補償機制-考察項目屬性之間不具有補償性3、項目作答是否存在多種策略七、多級評分認知診斷模型1、基于DINA模型的多級評分認知診斷模型開發(fā)DINA模型相對比較簡潔，在實際中的應用也比較廣泛，但是目前該模型僅適用于0-1評分 數(shù)據(jù)。由此，相關學者基于DINA模型提出適用于0-1評分以及多級評分的P-DINA模型。2、多級評分AHM期望項目反應模式全集的確定方法假設項目按屬性評分，且每個屬性賦值為1，則滿分為f.的項目含有f.個屬性，被試每正確 反應一個屬性則累計1分。JJ屬性間的層級關系圖可