認知診斷測驗編制的原則

1、.：.；認知診斷檢驗編制的原那么2021-01-03 來源：nearlw/摘要：Tatsuoka 給出的實例闡明，不同知識形狀能夠對應同一理想反響方式，即對知識形狀產生誤判。假設不是對檢驗進展事后分析，找出屬性及層級，而是采用Leighton 等人所倡導的方法，在認知診斷檢驗編制之前確定所測屬性及其層次，導出可達陣，這時可以證明只需將可達陣作為認知診斷檢驗藍圖的一部分，那么可防止這一問題。這一原那么不僅對認知診斷檢驗藍圖的設計有指點作用，而且對制定有認知診斷功能的計算機化自順應檢驗的選題戰(zhàn)略有著重要的參考作用。關鍵詞：檢驗藍圖；認知診斷；可達矩陣；理想反響方式；計算機化自順應檢驗1. 引言通常

2、把對個體知識構造、加工技藝或認知過程均簡稱為屬性，attribute的診斷評價稱為認知診斷評價或認知診斷(cognitive diagnosis assessment /cognitive diagnosis, CDA，Leighton and Gierl，2007.) 1。普通的教育考試, 特別是大規(guī)模的考試，只提供考試分數(shù)或才干分數(shù)。然而由單一的分數(shù)，既不能得到被試詳細掌握或未掌握什么知識的結論,也不能得到被試做錯試題的緣由，以進展補救；對于一樣分數(shù)的個體，更無法得到他們之間能夠存在的知識形狀和認知構造的差別。傳統(tǒng)的考試提供的信息已不太適宜個體開展的需求，認知診斷評價的主要義務是發(fā)掘更多的

3、認知加工信息。Leighton 和 Gierl20071以為認知診斷是用于丈量/評價個體特定的知識構造knowledge structure和加工技藝processing skills。CDA 經(jīng)過檢驗獲得被試在檢驗上(可察看)的反響而推知該被試不可察看的知識形狀knowledge state。Leighton 和Gierl(2007) 1在他們所編寫的書第一篇文章(p.3)稱CDA 仍處于萌芽形狀(CDA is still in its infancy)，闡明對CDA 的研討，包括認知診斷檢驗的構造都是新的課題。Gierl(2007) 1在注釋(p.337)中又指出，認知診斷檢驗設計是一個重

4、要的研討領域，而已有的相關研討成果卻很少，連Downing 和 Haladyma 編輯的由Erlbaum 在2006 年出版的檢驗編制手冊(Handbook of test development)中也沒有相應的章節(jié)涉及認知診斷檢驗編制，甚至找不到認知診斷評價的主題詞條(subject entry)。Gierl(2007)2還以為只需Gorin(2007)1描畫了認知診斷檢驗編制的原理。認知診斷檢驗的編制是一件具有挑戰(zhàn)性的義務，限于篇幅和本文主旨，這里不討論如何與命題專家溝通，打磨出好的試題的問題，而集中討論認知診斷檢驗藍圖的編制問題。在討論認知診斷檢驗藍圖的編制問題之前，我們先看兩個例子，一

5、個是簡化的用以解釋原理性的例子；另一個是規(guī)那么空間模型rule space model,RSM的開創(chuàng)者Tatsuoka1995給出的例子23 45，用以闡明實踐任務中思索不周就很有能夠編制出有問題的診斷檢驗。下文中理想反響是指既不猜測也不失誤的作答反響，只需被試掌握了工程所測的一切屬性，才干正確作答。屬性層級方法attribute hierarchy method，AHM678中稱理想反響為期望反響方式；確定性輸入，噪聲“與門模型deterministic inputs，noisy and gate model,DINA,如可參見Henson& Douglas,20059中的理想反響方式詳細計

6、算公式見附錄1(其實，差不多一切理想反響方式都可以這樣計算，當然也可以用丁樹良等10引見的方法計算)。由附錄1 中詳細計算公式可見理想反響方式非常重要，其實理想反響方式對諸如RSM,AHM等許多認知診斷模型都非常重要。對于診斷檢驗，在既不猜測也不失誤的理想作答反響情況下，具有不同知識形狀的被試對應不同的理想反響方式, 那么稱為理想的認知診斷檢驗;否那么稱為理想反響誤判的認知診斷檢驗。假設具有不同知識形狀被試對應一樣的理想反響方式，那么稱這些不同知識形狀為等價類。實踐上，這個等價類是由檢驗藍圖檢驗Q陣決議的，稱為知識形狀中由檢驗Q陣決議的等價類。我們希望有檢驗Q陣，使得每個等價類中僅僅有一個知識

7、形狀。例1.三個屬性A1，A2，A3，它們彼此之間不存在先決關系prerequisite relation。于是屬性之間的可達陣R 為三階單位陣I。今給出三個工程作為診斷檢驗。留意被試的知識形狀共有8 種，即1=000，2=001，3=010，4=011，5=100，6=101，7=110，8=111。假設上述8 種被試分別參與檢驗藍圖為Qii=1，2，3，4的認知診斷檢驗，那么對于Q1，1，2，3，5 的理想反響方式均為0，0，0，即理想反響方式為0，0，0的方式其潛在知識形狀能夠為1，2，3，5 ，此時假設根據(jù)其一切理想反響方式來判別其知識形狀，誤判率為3/8；上例中1，2，3，5 是Q1

8、 決議的等價類；對于Q2，1，2，3，4 為一個等價類，理想反響方式均為0，0，0；而5，6為另一個等價類，理想反響方式均為1，0，0，即誤判率為4/8；對于Q3，1，2 的理想反響方式均為0，0，0，3，4 理想反響方式均為0,1，0，而5，6 為第三個等價類，理想反響方式均為1，0，0，即誤判率為3/8；但對于Q4 卻不帶來任何誤判。例2.Tatsuoka(1995，P.337)4給出了小學分數(shù)加減的認知診斷檢驗，檢驗共含9 個工程，依Tatsuoka 的事后(post hoc)分析，即經(jīng)過對檢驗后的得分矩陣進展分析，得出5 個屬性，屬性完全一樣的工程僅保管一個。如第五題：7121 + 和

9、第六題：2131 + 都是檢測通分(A3)和分數(shù)相加(A4)，即T00110 ，只保管第五題；而第四題44 222 1 + 與第八題42 363 1 + 均檢測了一切五個屬性，也應歸為一類，即T 11111 ，只保管第四題本文中xT 表示向量x 的轉置，于是僅剩下7 類工程，組成一個57 的Q 陣。這里的Q 陣與Tatsuoka 給出的有不同，由于她給出的Q 陣有筆誤，比如第七題只涉及分子相加(A4)，即T 00010 ,而不像Tatsuoka所標定的為“答案化簡，我們對這些筆誤進展修正。最后修正的Q 陣，它不含一樣的列。然而這個Q 陣能夠導致對知識形狀的誤判，比如根據(jù)所測屬性及其層次關系，有

10、兩個被試的知識形狀分別為1=(0,0,1,1,1)，2=(0,1,1,1,1)，它們導出的理想反響方式卻一樣，都等于(0,1,1,0,1,1,0)8。這個例子闡明一個很嚴重的問題：Tatsuoka1995，p.3284希望規(guī)那么空間模型Rule spacemodel， RSM中的Q-矩陣實際，可以起到橋梁作用將可察看的反響向量對應到不可察看的知識形狀。如今至少有兩個不同的知識形狀例如1，2，通暢對應到同一個理想反響方式，即這個等價類中至少含有兩個知識形狀。此時假設我們察看到這個理想反響方式，以此來診斷其隱藏的知識形狀，我們難以判別隱藏的知識形狀究竟是1，還是2。這時完全能夠產生誤判。我們稱不同

11、知識形狀對應同一理想反響方式的景象為對知識形狀的誤判。Tatsuoka1995，pp.341-3424以實例闡明屬性掌握方式即被試知識形狀和理想反響方式并不是一一對應的，而是多個屬性掌握方式對應同一個理想工程反響方式idealitem-response pattern。這種景象對于被試的歸類是很不利的，同時也闡明Tatsuoka 提供的方法存在一定的問題。由于認知診斷檢驗藍圖直接影響CDA 的分類效果，下描畫了CDA 最為中心的過程，其中， s Q 是由可達陣R 導出的Q陣,稱為被試Q陣，這時s Q 的每一列都代表了“一類知識形狀knowledge state，表示一個檢驗中工程與屬性關聯(lián)關系

12、的的Q矩陣為檢驗Q矩陣，記為t Q ,顯然t Q 只是s Q 的某一部分，即t Q 是s Q 的子矩陣sub-matrix且不含一樣的列10； 是知識形狀, 是理想期望/潛在反響方式，f-1 是f 的反函數(shù)，此時要求f 本身是一一映射9。后半部分由試題性質、被試動機或一些隨機要素等決議，因此要提高CDA 分類的準確性，關鍵取決于前半部分。假設一映射( | ) s t f Q Q 使得集合s Q 中的不同列(稱為s Q 中的元素)在理想反響方式集合 中有一樣的象，那么分類較為模糊只能分到相應的等價類中。假設可以編制一檢驗藍圖t Q 使得對應關系( | ) s t f Q Q 對于集合s Q 中的

13、任何一個元素，在集合 中都存在獨一的一個元素與之對應，那么可以經(jīng)過求對應關系的反函數(shù)，到達對反響方式的比較準確的分類。我們希望對任何一種屬性層級，都能如例1一樣，構造出相應的檢驗藍圖，使得屬性掌握方式(知識形狀)與理想反響方式一一對應。本文討論將可達陣作為檢驗藍圖的一部分對提高認知診斷準確率的關系；要對認知診斷檢驗編制進展討論。第2 節(jié)討論認知診斷的邏輯順序以及檢驗藍圖的編制，第3 節(jié)討論上述結論中的運用，即對檢驗編制的指點作用和對有認知診斷功能的計算機化自順應檢驗選題戰(zhàn)略的制定的指點作用；第4 節(jié)進展Monte Carlo 模擬研討，以討論“將可達矩陣作為或不作為檢驗藍圖一部分時的誤判率大小

14、；并驗證第2 節(jié)的結論。第5 節(jié)是認知診斷檢驗編制的相關問題的進一步討論。另外，我們給出一些附錄，主要是想正文枝蔓不要太多而妨礙文章的主要結論，添加文章的可讀性。2. 認知診斷檢驗藍圖的編制Tatsuoka(1983，1991，1995) 23 4的規(guī)那么空間模型中關聯(lián)矩陣Q 是可以經(jīng)過分析測試工程得到的?，F(xiàn)實上，目前許多CDA 是根據(jù)認知診斷模型cognitive diagnostic model，CDM對已有的檢驗進展分析，這些已有的檢驗并不是為認知診斷“量身定制的。Leighton, Gierl,和 Hunka(2000)11指出這樣導出Q 陣的方法邏輯性不強。Gierl 等人(2000

15、) 11及Leighton 等人(2004)6建議在檢驗之前就由專家給出欲測屬性及這些屬性間的層級關系hierarchyrelation。對于如何構造一個有利于診斷的工程，Gorin20071給出了一些例子，并給出一些原那么；Gorin20071強調診斷檢驗的構造的重要性不亞于構造單個工程的重要性，文章甚至造出一個不利于認知診斷的檢驗藍圖其中每個工程至少包含兩個屬性，并討論了診斷檢驗編制的問題，以為診斷檢驗中應盡能夠多地包括對應Qr 中的列的工程。Henson和Douglas20059對如何選取工程組成認知診斷檢驗作過較深化討論，給出了計算目的，這個目的的計算是耗時的，并且該目的的運用有相當?shù)?/p>

16、限制，即需求認知診斷模型有詳細的顯式的(explicit expression)認知診斷的工程反響模型，如DINA，F(xiàn)usion 模型等，對于沒有顯式表達的認知診斷工程反響模型，如RSM，AHM，這一目的還不能運用。由于本文主要討論在給定可達陣R 的根底上診斷檢驗藍圖的編制，而不要求認知診斷模型具有顯式表達式，為了節(jié)省篇幅，故對Henson 和Douglas (2005) 9在認知診斷檢驗中選取工程的方法不作詳細陳說。Gorin20071，Henson 和Douglas20059的文章中，都未認識到可達陣在認知診斷檢驗編制中的重要性。Tatsuoka19954和Leighton 等人20046

17、以為Qr 陣是認知診斷檢驗的檢驗藍圖，Gierl 等人2007，p2551也以為Qr 陣在AHMLeighton at el，2004) 6中非常重要，是檢驗的一個認知藍圖cognitive blueprint。我們以為，按照AHM 的邏輯順序，在檢驗之前便分析尋覓認知診斷檢驗欲測之屬性以及它們的層級關系，然后得到屬性之間的鄰接陣A，由A 與同階單位陣I 的和A+I，計算出可達陣R，再從R 出發(fā)，尋覓出滿足屬性層級關系的一切屬性組合，即得到Tatsuoka(1991，19953 4所說的簡化Q 陣，即Qr 陣當被試較多時，他們的知識形狀knowledge state的集合的外延較豐富，有能夠Q

18、r 中每一列都含在這個集合之中。我們稱這個Qr 陣為學生Q 陣，記為Qs。當Qs 的列太多時，不能夠將Qs 作為檢驗藍圖，這時要從Qs 中抽取一部分，可以作為檢驗藍圖，稱Qs 的這個子矩陣sub-matrix為檢驗Q 陣，記之為Qt。這里引薦AHM 的邏輯順序，是由于AHM 中Q 矩陣產生在檢驗之前，故這時Qt 矩陣可以指點檢驗的編制，而Tatsuoka 的Q 矩陣是檢驗以后從得分陣中分析出來的，此時Q 陣對檢驗設計不能夠有指點作用，也不能夠保證反映了屬性之間真實的層級關系8。接下來要討論的問題就是如何構建Qt 陣，使得任取兩個知識形狀不同的被試，他們參與Qt 為藍圖的檢驗，在不計猜測也不計失

19、誤的理想情況下，他們的理想工程反響方式不一樣。這可以籠統(tǒng)為從Qs 中任取兩個列qi，qjqiqj，記為被試qi，qj，用x(qiQt)表示被試qi 對檢驗Qt 的理想工程反響方式，那么上述問題可以用一個數(shù)學符號來表示為：任取Qs 中兩列qi，qjqiqj有x(qiQt) x(qjQt) (1)留意這里不討論知識形狀為零向量這一種很簡單的情形，但模擬研討中還是包含了這種情況。為了尋覓這樣一個Q t 陣，我們先給出幾個結論。結論1：可達陣可以表示為對角元全為1 的上三角陣。結論2：Qs 陣可以由可達陣經(jīng)過擴張算法得到。結論3：對于可達陣中任兩個不同的列 和它們可以代表兩個不同的被試，假設這兩個被試

20、參與可達陣為藍圖的檢驗，理想反響方式必定不同。結論4：假設屬性層級是線性型，那么不同知識形狀的被試參與以R 為藍圖的檢驗，理想反響方式必定不同。結論5：對于無構外型的屬性集，設其對應的可達陣Ri, i=1,2；分別為R1=I 或R2，R2中第j 列的第1 個元及第j 個元為1，其他元素均為0，那么不同知識形狀的被試參與Rii=1，2為藍圖的理想反響方式一定不同。留意R1，R2 分別描畫Tatsuoka19954和Leighton 等人20046的無構外型。按照結論2，Qs(Qt)中每列都可以由R 的列“擴張出來。通俗一點講，R 是構造Qs(Qt)的根底，因此我們對其特別關注。另外，它的列數(shù)便是

21、所測屬性的個數(shù)，假設含有一樣屬性的工程看成同一類，那么用K 個類的工程去調查K 個屬性應該是符合經(jīng)濟，高效原那么的。這個現(xiàn)實闡明可達矩陣在認知診斷檢驗中具有舉足輕重的作用，也啟發(fā)我們對斷言1采用如下的證明。證明：由Leighton 等人20046的劃分，屬性層級構造分成線性、收斂、發(fā)散、無構外型等四類，其他方式的構造可以由它們組合，而由結論4 和5，我們只需對收斂及發(fā)散型構造證明即可。留意理想工程反響方式x(qiQt)是一個列向量，假設我們僅只思索0-1 評分方式，且檢驗Qt 含有m 個工程，那么x(qiQt)是一個m 行的只取0 或1的向量。假設我們可以將檢驗藍圖Qt 分成兩部分，不失普通性

22、可以假設Qt 的前一部分是可達陣R，余下部分記為Qo，即將Qt 寫成一個分塊矩陣方式Qt=(R Qo)。用x(qiR)表示被試qi 參與以可達陣R 為檢驗藍圖的分檢驗時所得到的理想反響方式。此時假設能證明x(qiR) x(qjR)，那么依向量相等的定義，我們便證明了1式。但要特別留意，Qt 是Km矩陣，R 是KK 陣，K 是檢驗所要調查的屬性個數(shù)。R 要成為Qt 的一部分，其必要條件是mK。今設被試 和 其知識形狀與Qs中第i，j 列一樣，為qi，qj,且qi qj。對于t=K,K-1,2,1，逐漸調查qti= qtj 能否成立。假設qKiqKj，且無妨設qKi=0 而qKj=1。由R 為上三

23、角陣，得知有且只需rKK=1，再根據(jù)Qr 矩陣擴張算法 10 13 14, 得知qi ,qj 都可由R 中列“擴張合成出來，從而可知R 的第K 列必參與復合qj，而未參與復合qi，故被試qj 對工程K 的理想反響為1 而qi 對工程K 的理想反響為0；假設qKi= qKj 不論它們都為0 還是為1，往下調查qK-1,i= qK-1,j 能否成立。如不成立，仍無妨設qK-1,j=1 而qK-1,i=0，那么仿上推理，知qK-1,j=1 闡明R 中第K-1 列參與復合qj 而未參與復合qi，故被試對工程K-1 的理想反響為1；而qi 的理想反響為0；假設qK-1,i= qK-1,j 成立,那么往上

24、調查qK-2,i= qK-2,j 能否成立，仿照上面可以證明qi 與qj 的理想反響方式必不相等。留意到qi, qj 均是K 維向量。K 是一個有限數(shù)，故以上步驟至多進展K-1 次必可以推知qi 與qj 參與R 為檢驗藍圖的檢驗后，其理想反響方式必不相等，即假設qi, qj 取自Qs，且qiqj，那么x(qiR) x(qjR)。以上對斷言1進展了證明附錄4 對其作了更為簡約的數(shù)學化證明。下面舉例對斷言1的證明思想作進一步闡明。例3 屬性及其層級，那么可達陣R 和學生陣Qs 。記R 中的列為r1， r2，。rK,，Qs 中的列為q1， q2，。q10，而元素全為零的列記為q0。如8 9 q q

25、，8 9 max | 4 t t tt q q = 。且49 48 q =1 q = 0，知4 r 參與9 q 的復合，現(xiàn)實上9 4 5 q = r r ，而8 3 5 q = r r ，而在理想反響情況下， 8 q 不能正確回答對應的工程4 r ，而9 q 那么可以，即8 8 9 9 x(q | R) = q x(q | R) = q ；這里r3r5表示r3 與r5的列中對應元素的“加法，即除0+0=0外其他情況相加均為1，比如1,0,0,1(0,0,1,1)=(1,0,1,1)。同樣可知對于9 q 和10 q ，max | t9 t10 3tt q q = ，且39 3,10 q = 0

26、q =1，知3 r 參與10 q 的復合而未參與q9的復合，現(xiàn)實上q10 = r3 r4 r5；對于4 q 和8 q ， 4 8 max | 5 t t tt q q = ，且54 58 q = 0 ( ) j i P ，被試i 在工程j q 上得0 分，否那么得1 分。也可采用AHM中的模擬方式理想反響方式再加上隨機誤差獲獲得分陣8，兩種方法原理根本一樣。4.5 評價目的為評價檢驗的診斷準確率，采用兩個常用目的，即方式判準率及邊沿判準率進展評價。用發(fā)生失誤slip前的屬性方式作為真值，然后計算屬性方式分類的正確率來比較方法的好壞。比如，診斷檢驗共有K 個屬性本實驗K =8且有N 個被試參與檢

27、驗，發(fā)生slip前被試 的屬性掌握方式為y y 為K 維向量，而分類結果為 z z 為K 維向量。邊沿屬性診斷判準率也稱為單個屬性判準率的計算如下：對K 個屬性中第t 個屬性，調查N 個被試中對第t 個屬性的判準率，比如被試 掌握未掌握第t 個屬性，今判別其掌握未掌握該屬性，那么稱為對第t個屬性判準了一次，記為= 1 t g ，否那么= 0 t g 。令MMR(t) (Marginal match ratio (t)為第t 個屬性診斷判準率, 也稱為邊沿診斷判準率；MMR 為K 個屬性的平均判準率，簡稱為屬性平均判準率。4.6 實驗結論經(jīng)過自編DINA 參數(shù)估計程序，由模擬的得分陣和t Q 估

28、計工程參數(shù)(s 和g)和屬性掌握方式，然后計算方式判準率及邊沿判準率目的以及表示工程參數(shù)估計的準確程度的兩個目的ABS，RMSD在Monte Carlo 模擬中ABS 表示真值與估計值的絕對誤差平均，而RMSD是真值與估計值的均方誤差，可以得出以下結論：對各種構造下四種檢驗藍圖產生的檢驗的結果進展比較，隨著屬性可達陣的減少，顯示方式判準率和邊沿判準率均明顯下降，即屬性掌握方式誤判率添加。對于線型構造L 四種檢驗藍圖產生的檢驗的結果進展比較，表2 顯示后三種檢驗藍圖的檢驗的診斷準確率有所下降。這是由于后三種檢驗藍圖的剩余的工程是從8 個屬性獨立時產生的r 減去R 對應的列中隨機抽取，這些列不反映屬性存在的層次關系，即測試t 陣對真實的層次關系不予正確表達，故診斷準確率必然下降。對于收斂型C、發(fā)散型D 和無構外型U 構造，四種檢驗藍圖產生的檢驗的結果進展比較，由于每種構造的后三種檢驗藍圖的剩余的工程的從r-R 隨機抽取，反映了當屬性存在層次關系時，固定檢驗長度下，僅由r-R 組成的檢驗，甚至由r 組成的檢驗，較全由可達陣組成的檢驗的診斷準確率將有所下降。特別地，對于收斂型C 構造檢驗藍圖4，由于