認(rèn)知診斷測(cè)驗(yàn)編制的原則

1、.：.；認(rèn)知診斷檢驗(yàn)編制的原那么2021-01-03 來(lái)源：nearlw/摘要：Tatsuoka 給出的實(shí)例闡明，不同知識(shí)形狀能夠?qū)?yīng)同一理想反響方式，即對(duì)知識(shí)形狀產(chǎn)生誤判。假設(shè)不是對(duì)檢驗(yàn)進(jìn)展事后分析，找出屬性及層級(jí)，而是采用Leighton 等人所倡導(dǎo)的方法，在認(rèn)知診斷檢驗(yàn)編制之前確定所測(cè)屬性及其層次，導(dǎo)出可達(dá)陣，這時(shí)可以證明只需將可達(dá)陣作為認(rèn)知診斷檢驗(yàn)藍(lán)圖的一部分，那么可防止這一問(wèn)題。這一原那么不僅對(duì)認(rèn)知診斷檢驗(yàn)藍(lán)圖的設(shè)計(jì)有指點(diǎn)作用，而且對(duì)制定有認(rèn)知診斷功能的計(jì)算機(jī)化自順應(yīng)檢驗(yàn)的選題戰(zhàn)略有著重要的參考作用。關(guān)鍵詞：檢驗(yàn)藍(lán)圖；認(rèn)知診斷；可達(dá)矩陣；理想反響方式；計(jì)算機(jī)化自順應(yīng)檢驗(yàn)1. 引言通常

2、把對(duì)個(gè)體知識(shí)構(gòu)造、加工技藝或認(rèn)知過(guò)程均簡(jiǎn)稱為屬性，attribute的診斷評(píng)價(jià)稱為認(rèn)知診斷評(píng)價(jià)或認(rèn)知診斷(cognitive diagnosis assessment /cognitive diagnosis, CDA，Leighton and Gierl，2007.) 1。普通的教育考試, 特別是大規(guī)模的考試，只提供考試分?jǐn)?shù)或才干分?jǐn)?shù)。然而由單一的分?jǐn)?shù)，既不能得到被試詳細(xì)掌握或未掌握什么知識(shí)的結(jié)論,也不能得到被試做錯(cuò)試題的緣由，以進(jìn)展補(bǔ)救；對(duì)于一樣分?jǐn)?shù)的個(gè)體，更無(wú)法得到他們之間能夠存在的知識(shí)形狀和認(rèn)知構(gòu)造的差別。傳統(tǒng)的考試提供的信息已不太適宜個(gè)體開(kāi)展的需求，認(rèn)知診斷評(píng)價(jià)的主要義務(wù)是發(fā)掘更多的

3、認(rèn)知加工信息。Leighton 和 Gierl20071以為認(rèn)知診斷是用于丈量/評(píng)價(jià)個(gè)體特定的知識(shí)構(gòu)造knowledge structure和加工技藝processing skills。CDA 經(jīng)過(guò)檢驗(yàn)獲得被試在檢驗(yàn)上(可察看)的反響而推知該被試不可察看的知識(shí)形狀knowledge state。Leighton 和Gierl(2007) 1在他們所編寫的書第一篇文章(p.3)稱CDA 仍處于萌芽形狀(CDA is still in its infancy)，闡明對(duì)CDA 的研討，包括認(rèn)知診斷檢驗(yàn)的構(gòu)造都是新的課題。Gierl(2007) 1在注釋(p.337)中又指出，認(rèn)知診斷檢驗(yàn)設(shè)計(jì)是一個(gè)重

4、要的研討領(lǐng)域，而已有的相關(guān)研討成果卻很少，連Downing 和 Haladyma 編輯的由Erlbaum 在2006 年出版的檢驗(yàn)編制手冊(cè)(Handbook of test development)中也沒(méi)有相應(yīng)的章節(jié)涉及認(rèn)知診斷檢驗(yàn)編制，甚至找不到認(rèn)知診斷評(píng)價(jià)的主題詞條(subject entry)。Gierl(2007)2還以為只需Gorin(2007)1描畫了認(rèn)知診斷檢驗(yàn)編制的原理。認(rèn)知診斷檢驗(yàn)的編制是一件具有挑戰(zhàn)性的義務(wù)，限于篇幅和本文主旨，這里不討論如何與命題專家溝通，打磨出好的試題的問(wèn)題，而集中討論認(rèn)知診斷檢驗(yàn)藍(lán)圖的編制問(wèn)題。在討論認(rèn)知診斷檢驗(yàn)藍(lán)圖的編制問(wèn)題之前，我們先看兩個(gè)例子，一

5、個(gè)是簡(jiǎn)化的用以解釋原理性的例子；另一個(gè)是規(guī)那么空間模型rule space model,RSM的開(kāi)創(chuàng)者Tatsuoka1995給出的例子23 45，用以闡明實(shí)踐任務(wù)中思索不周就很有能夠編制出有問(wèn)題的診斷檢驗(yàn)。下文中理想反響是指既不猜測(cè)也不失誤的作答反響，只需被試掌握了工程所測(cè)的一切屬性，才干正確作答。屬性層級(jí)方法attribute hierarchy method，AHM678中稱理想反響為期望反響方式；確定性輸入，噪聲“與門模型deterministic inputs，noisy and gate model,DINA,如可參見(jiàn)Henson& Douglas,20059中的理想反響方式詳細(xì)計(jì)

6、算公式見(jiàn)附錄1(其實(shí)，差不多一切理想反響方式都可以這樣計(jì)算，當(dāng)然也可以用丁樹(shù)良等10引見(jiàn)的方法計(jì)算)。由附錄1 中詳細(xì)計(jì)算公式可見(jiàn)理想反響方式非常重要，其實(shí)理想反響方式對(duì)諸如RSM,AHM等許多認(rèn)知診斷模型都非常重要。對(duì)于診斷檢驗(yàn)，在既不猜測(cè)也不失誤的理想作答反響情況下，具有不同知識(shí)形狀的被試對(duì)應(yīng)不同的理想反響方式, 那么稱為理想的認(rèn)知診斷檢驗(yàn);否那么稱為理想反響誤判的認(rèn)知診斷檢驗(yàn)。假設(shè)具有不同知識(shí)形狀被試對(duì)應(yīng)一樣的理想反響方式，那么稱這些不同知識(shí)形狀為等價(jià)類。實(shí)踐上，這個(gè)等價(jià)類是由檢驗(yàn)藍(lán)圖檢驗(yàn)Q陣決議的，稱為知識(shí)形狀中由檢驗(yàn)Q陣決議的等價(jià)類。我們希望有檢驗(yàn)Q陣，使得每個(gè)等價(jià)類中僅僅有一個(gè)知識(shí)

7、形狀。例1.三個(gè)屬性A1，A2，A3，它們彼此之間不存在先決關(guān)系prerequisite relation。于是屬性之間的可達(dá)陣R 為三階單位陣I。今給出三個(gè)工程作為診斷檢驗(yàn)。留意被試的知識(shí)形狀共有8 種，即1=000，2=001，3=010，4=011，5=100，6=101，7=110，8=111。假設(shè)上述8 種被試分別參與檢驗(yàn)藍(lán)圖為Qii=1，2，3，4的認(rèn)知診斷檢驗(yàn)，那么對(duì)于Q1，1，2，3，5 的理想反響方式均為0，0，0，即理想反響方式為0，0，0的方式其潛在知識(shí)形狀能夠?yàn)?，2，3，5 ，此時(shí)假設(shè)根據(jù)其一切理想反響方式來(lái)判別其知識(shí)形狀，誤判率為3/8；上例中1，2，3，5 是Q1

8、 決議的等價(jià)類；對(duì)于Q2，1，2，3，4 為一個(gè)等價(jià)類，理想反響方式均為0，0，0；而5，6為另一個(gè)等價(jià)類，理想反響方式均為1，0，0，即誤判率為4/8；對(duì)于Q3，1，2 的理想反響方式均為0，0，0，3，4 理想反響方式均為0,1，0，而5，6 為第三個(gè)等價(jià)類，理想反響方式均為1，0，0，即誤判率為3/8；但對(duì)于Q4 卻不帶來(lái)任何誤判。例2.Tatsuoka(1995，P.337)4給出了小學(xué)分?jǐn)?shù)加減的認(rèn)知診斷檢驗(yàn)，檢驗(yàn)共含9 個(gè)工程，依Tatsuoka 的事后(post hoc)分析，即經(jīng)過(guò)對(duì)檢驗(yàn)后的得分矩陣進(jìn)展分析，得出5 個(gè)屬性，屬性完全一樣的工程僅保管一個(gè)。如第五題：7121 + 和

9、第六題：2131 + 都是檢測(cè)通分(A3)和分?jǐn)?shù)相加(A4)，即T00110 ，只保管第五題；而第四題44 222 1 + 與第八題42 363 1 + 均檢測(cè)了一切五個(gè)屬性，也應(yīng)歸為一類，即T 11111 ，只保管第四題本文中xT 表示向量x 的轉(zhuǎn)置，于是僅剩下7 類工程，組成一個(gè)57 的Q 陣。這里的Q 陣與Tatsuoka 給出的有不同，由于她給出的Q 陣有筆誤，比如第七題只涉及分子相加(A4)，即T 00010 ,而不像Tatsuoka所標(biāo)定的為“答案化簡(jiǎn)，我們對(duì)這些筆誤進(jìn)展修正。最后修正的Q 陣，它不含一樣的列。然而這個(gè)Q 陣能夠?qū)е聦?duì)知識(shí)形狀的誤判，比如根據(jù)所測(cè)屬性及其層次關(guān)系，有

10、兩個(gè)被試的知識(shí)形狀分別為1=(0,0,1,1,1)，2=(0,1,1,1,1)，它們導(dǎo)出的理想反響方式卻一樣，都等于(0,1,1,0,1,1,0)8。這個(gè)例子闡明一個(gè)很嚴(yán)重的問(wèn)題：Tatsuoka1995，p.3284希望規(guī)那么空間模型Rule spacemodel， RSM中的Q-矩陣實(shí)際，可以起到橋梁作用將可察看的反響向量對(duì)應(yīng)到不可察看的知識(shí)形狀。如今至少有兩個(gè)不同的知識(shí)形狀例如1，2，通暢對(duì)應(yīng)到同一個(gè)理想反響方式，即這個(gè)等價(jià)類中至少含有兩個(gè)知識(shí)形狀。此時(shí)假設(shè)我們察看到這個(gè)理想反響方式，以此來(lái)診斷其隱藏的知識(shí)形狀，我們難以判別隱藏的知識(shí)形狀究竟是1，還是2。這時(shí)完全能夠產(chǎn)生誤判。我們稱不同

11、知識(shí)形狀對(duì)應(yīng)同一理想反響方式的景象為對(duì)知識(shí)形狀的誤判。Tatsuoka1995，pp.341-3424以實(shí)例闡明屬性掌握方式即被試知識(shí)形狀和理想反響方式并不是一一對(duì)應(yīng)的，而是多個(gè)屬性掌握方式對(duì)應(yīng)同一個(gè)理想工程反響方式idealitem-response pattern。這種景象對(duì)于被試的歸類是很不利的，同時(shí)也闡明Tatsuoka 提供的方法存在一定的問(wèn)題。由于認(rèn)知診斷檢驗(yàn)藍(lán)圖直接影響CDA 的分類效果，下描畫了CDA 最為中心的過(guò)程，其中， s Q 是由可達(dá)陣R 導(dǎo)出的Q陣,稱為被試Q陣，這時(shí)s Q 的每一列都代表了“一類知識(shí)形狀knowledge state，表示一個(gè)檢驗(yàn)中工程與屬性關(guān)聯(lián)關(guān)系

12、的的Q矩陣為檢驗(yàn)Q矩陣，記為t Q ,顯然t Q 只是s Q 的某一部分，即t Q 是s Q 的子矩陣sub-matrix且不含一樣的列10； 是知識(shí)形狀, 是理想期望/潛在反響方式，f-1 是f 的反函數(shù)，此時(shí)要求f 本身是一一映射9。后半部分由試題性質(zhì)、被試動(dòng)機(jī)或一些隨機(jī)要素等決議，因此要提高CDA 分類的準(zhǔn)確性，關(guān)鍵取決于前半部分。假設(shè)一映射( | ) s t f Q Q 使得集合s Q 中的不同列(稱為s Q 中的元素)在理想反響方式集合 中有一樣的象，那么分類較為模糊只能分到相應(yīng)的等價(jià)類中。假設(shè)可以編制一檢驗(yàn)藍(lán)圖t Q 使得對(duì)應(yīng)關(guān)系( | ) s t f Q Q 對(duì)于集合s Q 中的

13、任何一個(gè)元素，在集合 中都存在獨(dú)一的一個(gè)元素與之對(duì)應(yīng)，那么可以經(jīng)過(guò)求對(duì)應(yīng)關(guān)系的反函數(shù)，到達(dá)對(duì)反響方式的比較準(zhǔn)確的分類。我們希望對(duì)任何一種屬性層級(jí)，都能如例1一樣，構(gòu)造出相應(yīng)的檢驗(yàn)藍(lán)圖，使得屬性掌握方式(知識(shí)形狀)與理想反響方式一一對(duì)應(yīng)。本文討論將可達(dá)陣作為檢驗(yàn)藍(lán)圖的一部分對(duì)提高認(rèn)知診斷準(zhǔn)確率的關(guān)系；要對(duì)認(rèn)知診斷檢驗(yàn)編制進(jìn)展討論。第2 節(jié)討論認(rèn)知診斷的邏輯順序以及檢驗(yàn)藍(lán)圖的編制，第3 節(jié)討論上述結(jié)論中的運(yùn)用，即對(duì)檢驗(yàn)編制的指點(diǎn)作用和對(duì)有認(rèn)知診斷功能的計(jì)算機(jī)化自順應(yīng)檢驗(yàn)選題戰(zhàn)略的制定的指點(diǎn)作用；第4 節(jié)進(jìn)展Monte Carlo 模擬研討，以討論“將可達(dá)矩陣作為或不作為檢驗(yàn)藍(lán)圖一部分時(shí)的誤判率大小

14、；并驗(yàn)證第2 節(jié)的結(jié)論。第5 節(jié)是認(rèn)知診斷檢驗(yàn)編制的相關(guān)問(wèn)題的進(jìn)一步討論。另外，我們給出一些附錄，主要是想正文枝蔓不要太多而妨礙文章的主要結(jié)論，添加文章的可讀性。2. 認(rèn)知診斷檢驗(yàn)藍(lán)圖的編制Tatsuoka(1983，1991，1995) 23 4的規(guī)那么空間模型中關(guān)聯(lián)矩陣Q 是可以經(jīng)過(guò)分析測(cè)試工程得到的?，F(xiàn)實(shí)上，目前許多CDA 是根據(jù)認(rèn)知診斷模型cognitive diagnostic model，CDM對(duì)已有的檢驗(yàn)進(jìn)展分析，這些已有的檢驗(yàn)并不是為認(rèn)知診斷“量身定制的。Leighton, Gierl,和 Hunka(2000)11指出這樣導(dǎo)出Q 陣的方法邏輯性不強(qiáng)。Gierl 等人(2000

15、) 11及Leighton 等人(2004)6建議在檢驗(yàn)之前就由專家給出欲測(cè)屬性及這些屬性間的層級(jí)關(guān)系hierarchyrelation。對(duì)于如何構(gòu)造一個(gè)有利于診斷的工程，Gorin20071給出了一些例子，并給出一些原那么；Gorin20071強(qiáng)調(diào)診斷檢驗(yàn)的構(gòu)造的重要性不亞于構(gòu)造單個(gè)工程的重要性，文章甚至造出一個(gè)不利于認(rèn)知診斷的檢驗(yàn)藍(lán)圖其中每個(gè)工程至少包含兩個(gè)屬性，并討論了診斷檢驗(yàn)編制的問(wèn)題，以為診斷檢驗(yàn)中應(yīng)盡能夠多地包括對(duì)應(yīng)Qr 中的列的工程。Henson和Douglas20059對(duì)如何選取工程組成認(rèn)知診斷檢驗(yàn)作過(guò)較深化討論，給出了計(jì)算目的，這個(gè)目的的計(jì)算是耗時(shí)的，并且該目的的運(yùn)用有相當(dāng)?shù)?/p>

16、限制，即需求認(rèn)知診斷模型有詳細(xì)的顯式的(explicit expression)認(rèn)知診斷的工程反響模型，如DINA，F(xiàn)usion 模型等，對(duì)于沒(méi)有顯式表達(dá)的認(rèn)知診斷工程反響模型，如RSM，AHM，這一目的還不能運(yùn)用。由于本文主要討論在給定可達(dá)陣R 的根底上診斷檢驗(yàn)藍(lán)圖的編制，而不要求認(rèn)知診斷模型具有顯式表達(dá)式，為了節(jié)省篇幅，故對(duì)Henson 和Douglas (2005) 9在認(rèn)知診斷檢驗(yàn)中選取工程的方法不作詳細(xì)陳說(shuō)。Gorin20071，Henson 和Douglas20059的文章中，都未認(rèn)識(shí)到可達(dá)陣在認(rèn)知診斷檢驗(yàn)編制中的重要性。Tatsuoka19954和Leighton 等人20046

17、以為Qr 陣是認(rèn)知診斷檢驗(yàn)的檢驗(yàn)藍(lán)圖，Gierl 等人2007，p2551也以為Qr 陣在AHMLeighton at el，2004) 6中非常重要，是檢驗(yàn)的一個(gè)認(rèn)知藍(lán)圖cognitive blueprint。我們以為，按照AHM 的邏輯順序，在檢驗(yàn)之前便分析尋覓認(rèn)知診斷檢驗(yàn)欲測(cè)之屬性以及它們的層級(jí)關(guān)系，然后得到屬性之間的鄰接陣A，由A 與同階單位陣I 的和A+I，計(jì)算出可達(dá)陣R，再?gòu)腞 出發(fā)，尋覓出滿足屬性層級(jí)關(guān)系的一切屬性組合，即得到Tatsuoka(1991，19953 4所說(shuō)的簡(jiǎn)化Q 陣，即Qr 陣當(dāng)被試較多時(shí)，他們的知識(shí)形狀knowledge state的集合的外延較豐富，有能夠Q

18、r 中每一列都含在這個(gè)集合之中。我們稱這個(gè)Qr 陣為學(xué)生Q 陣，記為Qs。當(dāng)Qs 的列太多時(shí)，不能夠?qū)s 作為檢驗(yàn)藍(lán)圖，這時(shí)要從Qs 中抽取一部分，可以作為檢驗(yàn)藍(lán)圖，稱Qs 的這個(gè)子矩陣sub-matrix為檢驗(yàn)Q 陣，記之為Qt。這里引薦AHM 的邏輯順序，是由于AHM 中Q 矩陣產(chǎn)生在檢驗(yàn)之前，故這時(shí)Qt 矩陣可以指點(diǎn)檢驗(yàn)的編制，而Tatsuoka 的Q 矩陣是檢驗(yàn)以后從得分陣中分析出來(lái)的，此時(shí)Q 陣對(duì)檢驗(yàn)設(shè)計(jì)不能夠有指點(diǎn)作用，也不能夠保證反映了屬性之間真實(shí)的層級(jí)關(guān)系8。接下來(lái)要討論的問(wèn)題就是如何構(gòu)建Qt 陣，使得任取兩個(gè)知識(shí)形狀不同的被試，他們參與Qt 為藍(lán)圖的檢驗(yàn)，在不計(jì)猜測(cè)也不計(jì)失

19、誤的理想情況下，他們的理想工程反響方式不一樣。這可以籠統(tǒng)為從Qs 中任取兩個(gè)列qi，qjqiqj，記為被試qi，qj，用x(qiQt)表示被試qi 對(duì)檢驗(yàn)Qt 的理想工程反響方式，那么上述問(wèn)題可以用一個(gè)數(shù)學(xué)符號(hào)來(lái)表示為：任取Qs 中兩列qi，qjqiqj有x(qiQt) x(qjQt) (1)留意這里不討論知識(shí)形狀為零向量這一種很簡(jiǎn)單的情形，但模擬研討中還是包含了這種情況。為了尋覓這樣一個(gè)Q t 陣，我們先給出幾個(gè)結(jié)論。結(jié)論1：可達(dá)陣可以表示為對(duì)角元全為1 的上三角陣。結(jié)論2：Qs 陣可以由可達(dá)陣經(jīng)過(guò)擴(kuò)張算法得到。結(jié)論3：對(duì)于可達(dá)陣中任兩個(gè)不同的列 和它們可以代表兩個(gè)不同的被試，假設(shè)這兩個(gè)被試

20、參與可達(dá)陣為藍(lán)圖的檢驗(yàn)，理想反響方式必定不同。結(jié)論4：假設(shè)屬性層級(jí)是線性型，那么不同知識(shí)形狀的被試參與以R 為藍(lán)圖的檢驗(yàn)，理想反響方式必定不同。結(jié)論5：對(duì)于無(wú)構(gòu)外型的屬性集，設(shè)其對(duì)應(yīng)的可達(dá)陣Ri, i=1,2；分別為R1=I 或R2，R2中第j 列的第1 個(gè)元及第j 個(gè)元為1，其他元素均為0，那么不同知識(shí)形狀的被試參與Rii=1，2為藍(lán)圖的理想反響方式一定不同。留意R1，R2 分別描畫Tatsuoka19954和Leighton 等人20046的無(wú)構(gòu)外型。按照結(jié)論2，Qs(Qt)中每列都可以由R 的列“擴(kuò)張出來(lái)。通俗一點(diǎn)講，R 是構(gòu)造Qs(Qt)的根底，因此我們對(duì)其特別關(guān)注。另外，它的列數(shù)便是

21、所測(cè)屬性的個(gè)數(shù)，假設(shè)含有一樣屬性的工程看成同一類，那么用K 個(gè)類的工程去調(diào)查K 個(gè)屬性應(yīng)該是符合經(jīng)濟(jì)，高效原那么的。這個(gè)現(xiàn)實(shí)闡明可達(dá)矩陣在認(rèn)知診斷檢驗(yàn)中具有舉足輕重的作用，也啟發(fā)我們對(duì)斷言1采用如下的證明。證明：由Leighton 等人20046的劃分，屬性層級(jí)構(gòu)造分成線性、收斂、發(fā)散、無(wú)構(gòu)外型等四類，其他方式的構(gòu)造可以由它們組合，而由結(jié)論4 和5，我們只需對(duì)收斂及發(fā)散型構(gòu)造證明即可。留意理想工程反響方式x(qiQt)是一個(gè)列向量，假設(shè)我們僅只思索0-1 評(píng)分方式，且檢驗(yàn)Qt 含有m 個(gè)工程，那么x(qiQt)是一個(gè)m 行的只取0 或1的向量。假設(shè)我們可以將檢驗(yàn)藍(lán)圖Qt 分成兩部分，不失普通性

22、可以假設(shè)Qt 的前一部分是可達(dá)陣R，余下部分記為Qo，即將Qt 寫成一個(gè)分塊矩陣方式Qt=(R Qo)。用x(qiR)表示被試qi 參與以可達(dá)陣R 為檢驗(yàn)藍(lán)圖的分檢驗(yàn)時(shí)所得到的理想反響方式。此時(shí)假設(shè)能證明x(qiR) x(qjR)，那么依向量相等的定義，我們便證明了1式。但要特別留意，Qt 是Km矩陣，R 是KK 陣，K 是檢驗(yàn)所要調(diào)查的屬性個(gè)數(shù)。R 要成為Qt 的一部分，其必要條件是mK。今設(shè)被試 和 其知識(shí)形狀與Qs中第i，j 列一樣，為qi，qj,且qi qj。對(duì)于t=K,K-1,2,1，逐漸調(diào)查qti= qtj 能否成立。假設(shè)qKiqKj，且無(wú)妨設(shè)qKi=0 而qKj=1。由R 為上三

23、角陣，得知有且只需rKK=1，再根據(jù)Qr 矩陣擴(kuò)張算法 10 13 14, 得知qi ,qj 都可由R 中列“擴(kuò)張合成出來(lái)，從而可知R 的第K 列必參與復(fù)合qj，而未參與復(fù)合qi，故被試qj 對(duì)工程K 的理想反響為1 而qi 對(duì)工程K 的理想反響為0；假設(shè)qKi= qKj 不論它們都為0 還是為1，往下調(diào)查qK-1,i= qK-1,j 能否成立。如不成立，仍無(wú)妨設(shè)qK-1,j=1 而qK-1,i=0，那么仿上推理，知qK-1,j=1 闡明R 中第K-1 列參與復(fù)合qj 而未參與復(fù)合qi，故被試對(duì)工程K-1 的理想反響為1；而qi 的理想反響為0；假設(shè)qK-1,i= qK-1,j 成立,那么往上

24、調(diào)查qK-2,i= qK-2,j 能否成立，仿照上面可以證明qi 與qj 的理想反響方式必不相等。留意到qi, qj 均是K 維向量。K 是一個(gè)有限數(shù)，故以上步驟至多進(jìn)展K-1 次必可以推知qi 與qj 參與R 為檢驗(yàn)藍(lán)圖的檢驗(yàn)后，其理想反響方式必不相等，即假設(shè)qi, qj 取自Qs，且qiqj，那么x(qiR) x(qjR)。以上對(duì)斷言1進(jìn)展了證明附錄4 對(duì)其作了更為簡(jiǎn)約的數(shù)學(xué)化證明。下面舉例對(duì)斷言1的證明思想作進(jìn)一步闡明。例3 屬性及其層級(jí)，那么可達(dá)陣R 和學(xué)生陣Qs 。記R 中的列為r1， r2，。rK,，Qs 中的列為q1， q2，。q10，而元素全為零的列記為q0。如8 9 q q

25、，8 9 max | 4 t t tt q q = 。且49 48 q =1 q = 0，知4 r 參與9 q 的復(fù)合，現(xiàn)實(shí)上9 4 5 q = r r ，而8 3 5 q = r r ，而在理想反響情況下， 8 q 不能正確回答對(duì)應(yīng)的工程4 r ，而9 q 那么可以，即8 8 9 9 x(q | R) = q x(q | R) = q ；這里r3r5表示r3 與r5的列中對(duì)應(yīng)元素的“加法，即除0+0=0外其他情況相加均為1，比如1,0,0,1(0,0,1,1)=(1,0,1,1)。同樣可知對(duì)于9 q 和10 q ，max | t9 t10 3tt q q = ，且39 3,10 q = 0

26、q =1，知3 r 參與10 q 的復(fù)合而未參與q9的復(fù)合，現(xiàn)實(shí)上q10 = r3 r4 r5；對(duì)于4 q 和8 q ， 4 8 max | 5 t t tt q q = ，且54 58 q = 0 ( ) j i P ，被試i 在工程j q 上得0 分，否那么得1 分。也可采用AHM中的模擬方式理想反響方式再加上隨機(jī)誤差獲獲得分陣8，兩種方法原理根本一樣。4.5 評(píng)價(jià)目的為評(píng)價(jià)檢驗(yàn)的診斷準(zhǔn)確率，采用兩個(gè)常用目的，即方式判準(zhǔn)率及邊沿判準(zhǔn)率進(jìn)展評(píng)價(jià)。用發(fā)生失誤slip前的屬性方式作為真值，然后計(jì)算屬性方式分類的正確率來(lái)比較方法的好壞。比如，診斷檢驗(yàn)共有K 個(gè)屬性本實(shí)驗(yàn)K =8且有N 個(gè)被試參與檢

27、驗(yàn)，發(fā)生slip前被試 的屬性掌握方式為y y 為K 維向量，而分類結(jié)果為 z z 為K 維向量。邊沿屬性診斷判準(zhǔn)率也稱為單個(gè)屬性判準(zhǔn)率的計(jì)算如下：對(duì)K 個(gè)屬性中第t 個(gè)屬性，調(diào)查N 個(gè)被試中對(duì)第t 個(gè)屬性的判準(zhǔn)率，比如被試 掌握未掌握第t 個(gè)屬性，今判別其掌握未掌握該屬性，那么稱為對(duì)第t個(gè)屬性判準(zhǔn)了一次，記為= 1 t g ，否那么= 0 t g 。令MMR(t) (Marginal match ratio (t)為第t 個(gè)屬性診斷判準(zhǔn)率, 也稱為邊沿診斷判準(zhǔn)率；MMR 為K 個(gè)屬性的平均判準(zhǔn)率，簡(jiǎn)稱為屬性平均判準(zhǔn)率。4.6 實(shí)驗(yàn)結(jié)論經(jīng)過(guò)自編DINA 參數(shù)估計(jì)程序，由模擬的得分陣和t Q 估

28、計(jì)工程參數(shù)(s 和g)和屬性掌握方式，然后計(jì)算方式判準(zhǔn)率及邊沿判準(zhǔn)率目的以及表示工程參數(shù)估計(jì)的準(zhǔn)確程度的兩個(gè)目的ABS，RMSD在Monte Carlo 模擬中ABS 表示真值與估計(jì)值的絕對(duì)誤差平均，而RMSD是真值與估計(jì)值的均方誤差，可以得出以下結(jié)論：對(duì)各種構(gòu)造下四種檢驗(yàn)藍(lán)圖產(chǎn)生的檢驗(yàn)的結(jié)果進(jìn)展比較，隨著屬性可達(dá)陣的減少，顯示方式判準(zhǔn)率和邊沿判準(zhǔn)率均明顯下降，即屬性掌握方式誤判率添加。對(duì)于線型構(gòu)造L 四種檢驗(yàn)藍(lán)圖產(chǎn)生的檢驗(yàn)的結(jié)果進(jìn)展比較，表2 顯示后三種檢驗(yàn)藍(lán)圖的檢驗(yàn)的診斷準(zhǔn)確率有所下降。這是由于后三種檢驗(yàn)藍(lán)圖的剩余的工程是從8 個(gè)屬性獨(dú)立時(shí)產(chǎn)生的r 減去R 對(duì)應(yīng)的列中隨機(jī)抽取，這些列不反映屬性存在的層次關(guān)系，即測(cè)試t 陣對(duì)真實(shí)的層次關(guān)系不予正確表達(dá)，故診斷準(zhǔn)確率必然下降。對(duì)于收斂型C、發(fā)散型D 和無(wú)構(gòu)外型U 構(gòu)造，四種檢驗(yàn)藍(lán)圖產(chǎn)生的檢驗(yàn)的結(jié)果進(jìn)展比較，由于每種構(gòu)造的后三種檢驗(yàn)藍(lán)圖的剩余的工程的從r-R 隨機(jī)抽取，反映了當(dāng)屬性存在層次關(guān)系時(shí)，固定檢驗(yàn)長(zhǎng)度下，僅由r-R 組成的檢驗(yàn)，甚至由r 組成的檢驗(yàn)，較全由可達(dá)陣組成的檢驗(yàn)的診斷準(zhǔn)確率將有所下降。特別地，對(duì)于收斂型C 構(gòu)造檢驗(yàn)藍(lán)圖4，由于