基于認(rèn)知診斷的計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的選題策略

基于認(rèn)知診斷的計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的選題策略

1計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)與能力估計(jì)設(shè)計(jì)隨著測(cè)量理論的發(fā)展，認(rèn)知診斷是心理和教育研究的一個(gè)重要研究方向。廣義的認(rèn)知診斷指建立起觀察分?jǐn)?shù)和被試的內(nèi)部認(rèn)知特征之間的關(guān)系。狹義的認(rèn)知診斷指在教育教學(xué)領(lǐng)域中,按被試有沒有掌握測(cè)驗(yàn)所測(cè)的技能或特質(zhì)來對(duì)被試加以分類。認(rèn)知診斷是測(cè)驗(yàn)理論自身發(fā)展的產(chǎn)物,也是社會(huì)尤其是教育領(lǐng)域要求測(cè)驗(yàn)提供更多信息的結(jié)果。傳統(tǒng)的測(cè)驗(yàn)只報(bào)告被試的成績(jī),然而教師和學(xué)生都希望深入了解學(xué)生內(nèi)在的知識(shí)狀態(tài),從而改進(jìn)教學(xué)。認(rèn)知診斷模型發(fā)展至今已有近20種,各種認(rèn)知診斷模型都有其適用范圍,且各有優(yōu)缺點(diǎn)。比較有代表性的如早期的經(jīng)典模型線性邏輯斯蒂克特質(zhì)模型(LLTM)和規(guī)則空間模型(RuleSpaceModel),還有目前被認(rèn)為有較好發(fā)展前景的統(tǒng)一模型(UnifiedModel)和融合模型(FusionModel)。然而大多數(shù)比較成功的認(rèn)知診斷研究主要集中在固定項(xiàng)目的紙筆測(cè)驗(yàn)上,相比之下,基于計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)(ComputerizedAdaptiveTesting,CAT)的認(rèn)知診斷的研究雖然也有一些,如文獻(xiàn)設(shè)計(jì)了一個(gè)具有認(rèn)知診斷功能的CAT,并提出了補(bǔ)救措施;文獻(xiàn)結(jié)合Fusion模型和shadow-testing算法實(shí)現(xiàn)具有診斷功能的CAT,等等,但這方面的研究還是不多。CAT作為測(cè)驗(yàn)形式發(fā)展的一個(gè)重要方向,亟需發(fā)展相應(yīng)的認(rèn)知診斷技術(shù),以便及時(shí)診斷與評(píng)價(jià)。本研究采用先認(rèn)知診斷后估計(jì)能力的方法設(shè)計(jì)CAT系統(tǒng)。在診斷階段,使用狀態(tài)轉(zhuǎn)換圖,結(jié)合圖的深度優(yōu)先搜索方法設(shè)計(jì)認(rèn)知診斷的選題策略;而在精確估計(jì)能力階段,使用傳統(tǒng)CAT選題策略,但不選包含被試未掌握屬性的項(xiàng)目。在紙筆測(cè)驗(yàn)中,有一個(gè)重要的環(huán)節(jié),就是合理構(gòu)建測(cè)驗(yàn)項(xiàng)目。只有精心策劃的測(cè)驗(yàn),才能較好地實(shí)現(xiàn)認(rèn)知診斷功能。然而,CAT的一個(gè)重要特征就是,考試系統(tǒng)依據(jù)每位被試的實(shí)際作答選取下一個(gè)合適的項(xiàng)目,每位被試的測(cè)驗(yàn)過程并不相同,即測(cè)驗(yàn)不能事先設(shè)計(jì),如果仍采用傳統(tǒng)的CAT選題策略,則難以保證組成測(cè)驗(yàn)的項(xiàng)目能有效區(qū)分各種知識(shí)狀態(tài)。由此可見,CAT選題策略的設(shè)計(jì),需有助于診斷被試的知識(shí)狀態(tài)。換言之,此時(shí)的自適應(yīng)測(cè)驗(yàn),不僅是適應(yīng)被試的能力水平,還要適應(yīng)被試的知識(shí)狀態(tài)(即要有利于對(duì)被試的知識(shí)狀態(tài)的診斷),根據(jù)認(rèn)知診斷進(jìn)行的過程分別選用不同的項(xiàng)目。經(jīng)過反復(fù)探索和考慮,我們最終確立了前期以認(rèn)知診斷為主、后階段再進(jìn)行能力準(zhǔn)確估計(jì)的CAT運(yùn)作模式。Tatsuoka創(chuàng)建規(guī)則空間時(shí),使用了屬性之間的層級(jí)關(guān)系圖?？梢詮倪壿?心理上的考慮來劃分屬性的順序。比如從邏輯上講,乘法出現(xiàn)在加法之后;從心理上講,皮亞杰(Piaget)認(rèn)為運(yùn)算的發(fā)展順序是前運(yùn)算(preoperational)、具體運(yùn)算(concreteoperational)和形式運(yùn)算(formaloperational)。層級(jí)(hierarchy)明顯地定義了測(cè)驗(yàn)中解題所需屬性之間的邏輯/心理的順序,指定了屬性間的相依關(guān)系。如圖1所示,屬性A1是屬性A2和A3的先決條件,亦即不掌握A1便無法掌握A2或A3。本文中,我們?cè)噲D尋找一種適宜的探測(cè)方法,使得計(jì)算機(jī)能遵循屬性的層級(jí)關(guān)系對(duì)被試所掌握屬性進(jìn)行識(shí)別。本文以下內(nèi)容分成三部分,第一部分介紹這種新的探測(cè)方法及原理,并進(jìn)行了蒙特卡羅模擬試驗(yàn);第二部分對(duì)三種不同層次關(guān)系的屬性結(jié)構(gòu)開展的試驗(yàn)結(jié)果進(jìn)行分析;第三部分介紹本研究方法的應(yīng)用與局限。2學(xué)習(xí)方法2.1狀態(tài)轉(zhuǎn)換階段的綜合診斷過程我們?cè)O(shè)想,被試的學(xué)習(xí)過程從零狀態(tài)(一個(gè)屬性都沒掌握的狀態(tài))開始,每次學(xué)習(xí)(增加)1個(gè)屬性,到達(dá)一個(gè)新的狀態(tài),直至最終到達(dá)全狀態(tài)(所有屬性都掌握的狀態(tài))。由于屬性間存在層級(jí)關(guān)系,所以每次新學(xué)習(xí)的屬性可以是以下三種情形之一:①剛才所學(xué)屬性的下一級(jí)屬性;②剛才所學(xué)屬性的兄弟屬性;③與剛才所學(xué)屬性無關(guān)的屬性(其上級(jí)屬性已掌握或無上級(jí)屬性)。因此,從零狀態(tài)到全狀態(tài)的學(xué)習(xí)過程,可能存在多條學(xué)習(xí)途徑。如果用結(jié)點(diǎn)表示知識(shí)狀態(tài),用狀態(tài)之間的有向邊表示在一種狀態(tài)下新學(xué)習(xí)一個(gè)屬性(在有向邊上用“+屬性”的形式標(biāo)注)后進(jìn)入另一種狀態(tài),那么我們可以得到一個(gè)用來表示所有知識(shí)狀態(tài)和學(xué)習(xí)途徑的圖。這個(gè)圖,我們不妨稱之為“狀態(tài)轉(zhuǎn)換圖”。如圖2所示,它是對(duì)應(yīng)于圖1所示層級(jí)關(guān)系的狀態(tài)轉(zhuǎn)換圖,其含義如表1和表2所描述。狀態(tài)轉(zhuǎn)換圖是一種有向圖,它能較直觀地反映狀態(tài)空間中各種狀態(tài)之間的聯(lián)系,廣泛應(yīng)用于數(shù)字邏輯、軟件工程等各學(xué)科領(lǐng)域,用以表示狀態(tài)之間的聯(lián)系及轉(zhuǎn)換關(guān)系。在本文中,狀態(tài)轉(zhuǎn)換圖既可表示各種知識(shí)狀態(tài)之間的聯(lián)系,也可表示屬性學(xué)習(xí)的各種可能的邏輯/心理順序,還可以作為CAT考試系統(tǒng)探測(cè)被試知識(shí)狀態(tài)(屬性掌握模式)的“路線圖”。CAT系統(tǒng)第一階段的認(rèn)知診斷過程,就是以狀態(tài)轉(zhuǎn)換圖為“路線圖”,對(duì)被試進(jìn)行定位,確定其在狀態(tài)轉(zhuǎn)換圖中的位置的過程。該階段的選題策略就是依據(jù)這個(gè)目標(biāo)來設(shè)計(jì)的。CAT系統(tǒng)從零狀態(tài)出發(fā),按照?qǐng)D的深度優(yōu)先搜索方法對(duì)狀態(tài)轉(zhuǎn)換圖進(jìn)行搜索,根據(jù)當(dāng)前狀態(tài)結(jié)點(diǎn)引出的有向邊,僅在候選項(xiàng)目集中選取項(xiàng)目提供給被試。所謂候選項(xiàng)目集,是隨被試不同而不同的,被試α的候選項(xiàng)目集記為Sα。為了行文方便,我們先給出幾個(gè)術(shù)語:我們稱項(xiàng)目j所包含的所有屬性為項(xiàng)目j的屬性集,當(dāng)項(xiàng)目指稱清楚時(shí),簡(jiǎn)稱項(xiàng)目屬性;經(jīng)測(cè)試認(rèn)定被試已掌握的屬性稱為已掌握屬性,認(rèn)定被試未掌握的屬性稱為未掌握屬性,當(dāng)前正要檢測(cè)該被試是否掌握的那一個(gè)屬性稱為待查屬性,對(duì)該被試而言其它尚未檢測(cè)的屬性稱為未檢測(cè)屬性。Sα中只含尚未對(duì)α施測(cè)的項(xiàng)目,且項(xiàng)目屬性中必須包含待查屬性,但不能包含α未掌握屬性和未檢測(cè)屬性。在Sα中,選取與當(dāng)前估計(jì)能力值最為接近的項(xiàng)目提供給被試,如果被試能答對(duì)這個(gè)項(xiàng)目則表示掌握該屬性,進(jìn)入該有向邊的終點(diǎn),也就是下一個(gè)狀態(tài);如果不能答對(duì)則表示未掌握該屬性,然后選擇下一條有向邊進(jìn)行測(cè)試。按照這個(gè)方法在狀態(tài)轉(zhuǎn)換圖中不斷向前推進(jìn),直至不能前進(jìn)為止,此時(shí)便可確定被試的知識(shí)狀態(tài),第一階段結(jié)束。以圖2所示的狀態(tài)轉(zhuǎn)換圖為例。某被試先做了一個(gè)只包含屬性A1的項(xiàng)目(在圖2中,從零狀態(tài)引出了一條標(biāo)注“+A1”的有向邊),答對(duì)后,進(jìn)入狀態(tài)1,即認(rèn)為被試掌握了屬性A1。系統(tǒng)再?gòu)乃幸欢ò瑢傩訟2、可以包含A1、但是不含其它任何屬性的項(xiàng)目集中根據(jù)當(dāng)前估計(jì)的能力水平選取項(xiàng)目,如果被試不能答對(duì),那么我們認(rèn)為被試沒有掌握屬性A2。系統(tǒng)再依據(jù)狀態(tài)轉(zhuǎn)換圖查看下一條有向邊,從所有一定包含屬性A3、可以包含A1、但是不含其它任何屬性的項(xiàng)目集中再選取項(xiàng)目進(jìn)行測(cè)驗(yàn),如果被試答對(duì)了,則進(jìn)入狀態(tài)3。依此方法,系統(tǒng)接著在所有一定包含屬性A4(雖然從狀態(tài)3左邊出發(fā)的第一條有向邊是測(cè)試屬性A2,但因前面已判定該屬性未掌握,故不需重復(fù))、可以包含A1和A3、但是不含其它任何屬性的項(xiàng)目集中再選取項(xiàng)目進(jìn)行測(cè)驗(yàn),如能答對(duì),則進(jìn)入狀態(tài)5。此時(shí)已不能再向前推進(jìn),因此可以確定該被試的知識(shí)狀態(tài)為1011,即掌握了屬性A1、A3、A4,但未掌握屬性A2。由于被試在完成測(cè)驗(yàn)項(xiàng)目時(shí),可能由于失誤而導(dǎo)致應(yīng)該答對(duì)的項(xiàng)目卻沒有答對(duì),故不能僅憑一次答錯(cuò)就認(rèn)定被試未掌握該屬性。為了提高診斷正確率,本系統(tǒng)對(duì)每個(gè)屬性的檢測(cè)提供了三次機(jī)會(huì),即答錯(cuò)以后還可選取相同要求的項(xiàng)目再答,并且是在候選項(xiàng)目集最容易的若干個(gè)項(xiàng)目中選取。第一階段的主要目的是認(rèn)知診斷,但能力估計(jì)也是同步進(jìn)行的,故準(zhǔn)確地講,第一階段是診斷為主,能力粗略估計(jì)為輔。我們?cè)谘芯恐邪l(fā)現(xiàn),由于試探各屬性是否掌握而使得被試做了一些根本做不出來的項(xiàng)目,致使能力估計(jì)普遍偏低,最終難以拉回,能力估計(jì)極不準(zhǔn)確。經(jīng)過分析,我們認(rèn)為,對(duì)于那些包含未掌握屬性的項(xiàng)目,無論其難度多么低,被試都不能答對(duì),因此該類項(xiàng)目對(duì)于被試的能力估計(jì)是有害無益的。我們?cè)谀芰烙?jì)時(shí)應(yīng)該只考慮被試已掌握相關(guān)屬性、有可能答對(duì)的項(xiàng)目。經(jīng)過改進(jìn),最終的能力估計(jì)達(dá)到了較高的精度。至于能力估計(jì)方法,本研究采用的是期望后驗(yàn)估計(jì)(expectedaposteriori,EAP)。知識(shí)狀態(tài)確定后第一階段結(jié)束,進(jìn)入第二階段。這個(gè)階段的選題策略與傳統(tǒng)的CAT選題策略并無不同,但是選題范圍并非整個(gè)題庫(kù)。如上所述的理由,第二階段的選題范圍對(duì)某被試α而言,它是僅僅包含被試α掌握屬性的項(xiàng)目的集合。在這個(gè)范圍內(nèi),采用傳統(tǒng)的能力匹配的選題策略運(yùn)行CAT系統(tǒng),直至能力估計(jì)達(dá)到要求的信息量,這時(shí)CAT是不定長(zhǎng)的。下文的實(shí)證研究采取的是不定長(zhǎng)CAT。2.2自適應(yīng)考驗(yàn)結(jié)果本研究采用蒙特卡羅模擬方法,模擬出題庫(kù)和被試,按照上述CAT系統(tǒng)的設(shè)計(jì)思路進(jìn)行測(cè)驗(yàn)。不同認(rèn)知領(lǐng)域上的屬性及屬性間層級(jí)關(guān)系并不相同,為了使研究具有一定的代表性,我們分別針對(duì)三種不同屬性層級(jí)關(guān)系的例子進(jìn)行了試驗(yàn):樹型結(jié)構(gòu)、樹林型結(jié)構(gòu)和孤立結(jié)點(diǎn)結(jié)構(gòu),如圖3所示。其中,圖3a的樹型結(jié)構(gòu)來源于中使用的實(shí)例,這是一個(gè)對(duì)文科學(xué)生進(jìn)行的關(guān)于應(yīng)用統(tǒng)計(jì)課程中描述統(tǒng)計(jì)部分的知識(shí)和技能的測(cè)驗(yàn),屬性A1～A8依次是對(duì)如下8個(gè)知識(shí)點(diǎn)的理解與計(jì)算:平均數(shù)、加權(quán)平均數(shù)、離均差、平均差、標(biāo)準(zhǔn)差、標(biāo)準(zhǔn)分?jǐn)?shù)、標(biāo)準(zhǔn)分?jǐn)?shù)轉(zhuǎn)換和相關(guān)系數(shù)。圖3c的孤立結(jié)點(diǎn)結(jié)構(gòu)來源于中研究的實(shí)例。這是美國(guó)某州2002年春季對(duì)小學(xué)三年級(jí)學(xué)生的閱讀水平測(cè)試,A1～A6分別表示以下六個(gè)認(rèn)知屬性:確定詞意、確定主題、縮寫提煉、分析信息和辨識(shí)觀點(diǎn)。這六個(gè)認(rèn)知屬性之間不存在層級(jí)關(guān)系。至于圖3b的樹林型結(jié)構(gòu),則是對(duì)更普遍、更一般化的屬性層級(jí)關(guān)系模擬的例子。在每個(gè)試驗(yàn)中,我們分別分析屬性層級(jí)關(guān)系,建立狀態(tài)轉(zhuǎn)換圖,模擬題庫(kù)和被試,然后進(jìn)行自適應(yīng)測(cè)驗(yàn),并對(duì)測(cè)驗(yàn)結(jié)果進(jìn)行分析和統(tǒng)計(jì),具體方法如下:(1)分析屬性間關(guān)系,建構(gòu)反映屬性之間直接邏輯關(guān)系的鄰接矩陣A,然后獲得反映屬性之間直接或間接邏輯關(guān)系的可達(dá)到矩陣R,確定符合屬性層級(jí)關(guān)系的所有可能項(xiàng)目集的縮減事件矩陣Qr,得到被試所有可能的屬性掌握模式(知識(shí)狀態(tài))和所有可能項(xiàng)目集,并根據(jù)所有可能的知識(shí)狀態(tài)繪制狀態(tài)轉(zhuǎn)換圖;(2)模擬被試和題庫(kù);在三個(gè)試驗(yàn)中,我們采用了以下兩種不同的方法:A.在樹型、樹林型屬性層級(jí)關(guān)系的試驗(yàn)中:a.根據(jù)所有可能項(xiàng)目集和所有可能的知識(shí)狀態(tài),模擬一批項(xiàng)目和被試進(jìn)行測(cè)驗(yàn),根據(jù)得分陣作參數(shù)估計(jì),得到相應(yīng)的項(xiàng)目參數(shù)和被試的能力參數(shù);b.模擬生成題庫(kù)和被試。由于屬性結(jié)構(gòu)相同的項(xiàng)目在項(xiàng)目參數(shù)上是相近的,所以模擬同種屬性結(jié)構(gòu)的一批項(xiàng)目時(shí),在由(a)給出的項(xiàng)目參數(shù)的基礎(chǔ)上浮動(dòng)一定幅度。被試的模擬也是如此,相同知識(shí)狀態(tài)的一批被試能力較為接近。B.在孤立結(jié)點(diǎn)結(jié)構(gòu)的屬性層級(jí)關(guān)系的試驗(yàn)中,被試和項(xiàng)目均來源于文獻(xiàn)中的真實(shí)數(shù)據(jù)。文獻(xiàn)提供了2000名真實(shí)被試和36個(gè)真實(shí)項(xiàng)目的實(shí)測(cè)得分陣、Q矩陣、診斷模型、項(xiàng)目參數(shù)估計(jì)值和被試知識(shí)狀態(tài)估計(jì);在此基礎(chǔ)上模擬出CAT所需的題庫(kù)和參加測(cè)驗(yàn)的被試,模擬方法同上。(3)被試參加測(cè)驗(yàn),將判定結(jié)果與模擬的知識(shí)狀態(tài)作比較,統(tǒng)計(jì)判定正確率,計(jì)算能力估計(jì)精度(返真性)、平均測(cè)驗(yàn)長(zhǎng)度、測(cè)驗(yàn)效率、曝光均勻性、測(cè)驗(yàn)重疊率等評(píng)價(jià)指標(biāo)。各評(píng)價(jià)指標(biāo)意義如下:判定正確率=判定模式與模擬模式一致的人數(shù)Μ=判定模式與模擬模式一致的人數(shù)M,其中M表示被試總?cè)藬?shù)。能力估計(jì)精度(返真性)=1Μ=1MΜ∑j=1∑j=1Mabs(?θj-θj),其中abs(?θj-θj)表示第j個(gè)被試的能力真值?θj和估計(jì)值θj之差的絕對(duì)值。該式值越小,能力估計(jì)精度越高,返真性越好。平均測(cè)驗(yàn)長(zhǎng)度=Μ∑j=1LjΜ,其中Lj表示被試j的測(cè)驗(yàn)長(zhǎng)度。測(cè)驗(yàn)效率=Μ∑j=1infjΜ∑j=1Lj,其中infj為被試j測(cè)量的信息總量。測(cè)驗(yàn)效率反映了一個(gè)測(cè)驗(yàn)中,平均每個(gè)項(xiàng)目提供了多少信息量。曝光均勻性χ2=Ν∑i=1[Ai-(Ν∑i=1Ai/Ν)]2Ν∑i=1Ai/Ν,其中N是題庫(kù)總題數(shù),Ai是題庫(kù)中第i題的曝光率(Ai=第i題的使用次數(shù)Μ?χ2值越小,試題曝光率越均勻,CAT越安全。測(cè)驗(yàn)重疊率=ΤΟ總/C2Μ(Μ∑j=1Lj)/Μ=2ΤΟ總(Μ-1)Μ∑j=1Lj,其中TO總是考生的試題總數(shù),計(jì)算公式如下:TO總=Ν∑i=1C2mi?mi是題庫(kù)中第i題使用的次數(shù)。測(cè)驗(yàn)重疊率也是度量CAT安全性的一個(gè)重要方面,它指的是任意兩個(gè)考生試題重疊比率的期望值。測(cè)驗(yàn)重疊率越小,說明不同考生之間出現(xiàn)相同試題的機(jī)率越小,測(cè)驗(yàn)的安全性越高。3試驗(yàn)結(jié)果與分析3.1縮小10題范圍,減輕認(rèn)知診斷的判定正確率每種類型的被試和項(xiàng)目均模擬100個(gè),即被試人數(shù)為3000人,題庫(kù)中項(xiàng)目數(shù)為3000題。最大測(cè)驗(yàn)長(zhǎng)度定為30題。從表3中的結(jié)果可以看出,本研究采用的方法能較好地識(shí)別被試的知識(shí)狀態(tài),能力估計(jì)精度和測(cè)驗(yàn)效率也較高。但是在試驗(yàn)中也發(fā)現(xiàn),曝光均勻性較差。一方面,某些類型的項(xiàng)目中,最容易的5題被大量使用。因?yàn)樵囼?yàn)中第一階段采用的選題策略是,當(dāng)某個(gè)項(xiàng)目做錯(cuò)時(shí),系統(tǒng)從符合要求的項(xiàng)目類型中選取最容易的5題,再隨機(jī)選取一個(gè)項(xiàng)目提供給被試。這一點(diǎn)可以通過擴(kuò)大選取范圍(如改為在最容易的10題中選取)或其它方式來改善,當(dāng)然,隨著所選項(xiàng)目難度的略微增加,認(rèn)知診斷的判定正確率可能會(huì)因此而略微降低。另一方面,某些類型的項(xiàng)目使用率極低,浪費(fèi)了考試系統(tǒng)的成本,對(duì)這種類型的項(xiàng)目數(shù)可以進(jìn)行削減。因而從某種意義上說,這種模擬試驗(yàn)對(duì)實(shí)際應(yīng)用中編制題庫(kù)具有一定的指導(dǎo)作用。將那些使用較少的部分類型的項(xiàng)目數(shù)縮減為50題后,題庫(kù)變成2000題,再進(jìn)行試驗(yàn),可以看到,由于減少了一部分使用率低的項(xiàng)目,整個(gè)題庫(kù)的曝光均勻性得到較大改善。當(dāng)然,由于題量減少,選題時(shí)受限制,致使判定正確率略有下降。因此在實(shí)際應(yīng)用中,考試組織者需要通過精心設(shè)計(jì)題庫(kù)來達(dá)到最佳測(cè)驗(yàn)效果。3.2森林結(jié)構(gòu)被試人數(shù)為2550人(每種類型50人),經(jīng)初次試驗(yàn)后減少部分類型的項(xiàng)目,優(yōu)化后題庫(kù)中項(xiàng)目數(shù)為3100題。最大測(cè)驗(yàn)長(zhǎng)度仍定為30題。3.3實(shí)驗(yàn)結(jié)果的分析被試和題庫(kù)均來源于。被試2000人,其能力由實(shí)測(cè)數(shù)據(jù)估計(jì);基于36個(gè)項(xiàng)目模擬題庫(kù),題數(shù)為2500題,由于中的測(cè)驗(yàn)為目標(biāo)參照性測(cè)驗(yàn),題目都相當(dāng)容易。最大測(cè)驗(yàn)長(zhǎng)度仍定為30題。本試驗(yàn)結(jié)果大大不同于以上兩種結(jié)構(gòu),其原因在于組成題庫(kù)的項(xiàng)目均為低難度的僅含單個(gè)屬性的項(xiàng)目。由于檢測(cè)被試是否掌握各個(gè)屬性時(shí)均能找到很容易的項(xiàng)目,故誤判的可能性非常低。但因?yàn)轭}庫(kù)中無難度大的題目(最高難度僅為0.6左右),所以一方面導(dǎo)致能力高的被試無相應(yīng)水平的項(xiàng)目可做,只能做簡(jiǎn)單題目,致使信息量下降,測(cè)驗(yàn)長(zhǎng)度增加,能力估計(jì)精度和測(cè)驗(yàn)效率降低;另一方面又造成題庫(kù)中最難的題目被大量使用。題庫(kù)中的項(xiàng)目?jī)H有6類,每類只測(cè)驗(yàn)一個(gè)屬性,本結(jié)果中顯示的29個(gè)過度曝光題中有5個(gè)分別是第二、三、四、五、六類項(xiàng)目中難度最大的題目(由于進(jìn)入考試的第一題在第一類項(xiàng)目中隨機(jī)選擇,所以該類項(xiàng)目的使用非常均勻),而另外24個(gè)則是除上述5題之外在整個(gè)題庫(kù)中難度最大的一些題目。正因如此,試驗(yàn)結(jié)果中曝光均勻性極差,測(cè)驗(yàn)重疊率相當(dāng)高。當(dāng)然,這樣的結(jié)果并不影響對(duì)本研究所采用方法的有效性的認(rèn)定,相反,它正說明了構(gòu)造優(yōu)良的題庫(kù)是提高認(rèn)知診斷正確率的較好保證。事實(shí)上,不少真實(shí)題庫(kù)的構(gòu)建并不會(huì)如本試驗(yàn)所模擬的這樣,而是可以提供較多的項(xiàng)目,且它們的難度呈正態(tài)分布或接近正態(tài)分布,這樣可以使得各項(xiàng)目都有相近的調(diào)用概率,且各種水平的被試都能找到比較合適的項(xiàng)目。4被試和被試狀態(tài)轉(zhuǎn)換圖的模擬研究通過以上模擬研究,我們認(rèn)為該CAT系統(tǒng)能較好地實(shí)現(xiàn)認(rèn)知診斷功能,在知識(shí)狀態(tài)的診斷和能力水平估計(jì)兩方面都得到較為滿意的結(jié)果。但本研究只涉及較簡(jiǎn)單的模型,更多的因素需要在進(jìn)一步的工作中加以考慮。本研究采用的項(xiàng)目反應(yīng)模型為雙參數(shù)邏輯斯蒂克模型(2PLM),不考慮做題時(shí)猜對(duì)的可能性,被試能答對(duì)項(xiàng)目,則認(rèn)為其掌握項(xiàng)目涉及的所有屬性。這實(shí)際上是一個(gè)過于理想的模型,尤其是應(yīng)用在CAT中。因?yàn)檫@種模型僅適用于主觀題型,而CAT的題庫(kù)應(yīng)允許由主觀題和客觀題混合組成。所以,如何拓廣本研究的適用范圍,將是下一步的重要工作。本研究針對(duì)三種屬性結(jié)構(gòu)進(jìn)行了試驗(yàn),這三種結(jié)構(gòu)對(duì)應(yīng)的狀態(tài)轉(zhuǎn)換圖的結(jié)點(diǎn)數(shù)分別為31個(gè)、52個(gè)和64個(gè)。如果推廣到一般的情況,其實(shí)用性如何,這也是需要進(jìn)一步研究的內(nèi)容。圖3b的樹林型結(jié)構(gòu),就是對(duì)更普遍、更一般化的屬性層級(jí)關(guān)系模擬的例子。事實(shí)上,通常一個(gè)測(cè)驗(yàn)所測(cè)的認(rèn)知屬性可以是樹林型結(jié)構(gòu)(它包含樹型結(jié)構(gòu))或孤立結(jié)點(diǎn)結(jié)構(gòu),只不過屬性的多少有所區(qū)別。對(duì)于屬性較多,層級(jí)關(guān)系較復(fù)雜的知識(shí)領(lǐng)域,我們?nèi)匀豢梢圆捎猛瑯臃椒?建立對(duì)應(yīng)的狀態(tài)轉(zhuǎn)換圖,按上述策略進(jìn)行認(rèn)知診斷。不過,狀態(tài)轉(zhuǎn)換圖也會(huì)相應(yīng)的變得比較復(fù)雜。對(duì)于有n個(gè)屬性