新一代測(cè)量理論認(rèn)知診斷

1、新一代測(cè)量理論認(rèn)知診斷n認(rèn)知診斷理論被視為新一代測(cè)驗(yàn)理論的核心，是認(rèn)知心理學(xué)與現(xiàn)代測(cè)量學(xué)相結(jié)合的產(chǎn)認(rèn)知診斷理論被視為新一代測(cè)驗(yàn)理論的核心，是認(rèn)知心理學(xué)與現(xiàn)代測(cè)量學(xué)相結(jié)合的產(chǎn)物。對(duì)認(rèn)知診斷的研究已成為當(dāng)前國(guó)外心理學(xué)研究的一個(gè)重要熱點(diǎn)，并引起國(guó)內(nèi)學(xué)者物。對(duì)認(rèn)知診斷的研究已成為當(dāng)前國(guó)外心理學(xué)研究的一個(gè)重要熱點(diǎn)，并引起國(guó)內(nèi)學(xué)者的廣泛關(guān)注。的廣泛關(guān)注。內(nèi)容提要認(rèn)知診斷概述認(rèn)知診斷概述傳統(tǒng)測(cè)驗(yàn)及其理論的局限性傳統(tǒng)測(cè)驗(yàn)及其理論的局限性對(duì)認(rèn)知診斷的基本概念對(duì)認(rèn)知診斷的基本概念一種基于一種基于 Q Q 矩陣?yán)碚摌闼氐恼J(rèn)知診斷方法矩陣?yán)碚摌闼氐恼J(rèn)知診斷方法測(cè)驗(yàn)藍(lán)圖的設(shè)計(jì)測(cè)驗(yàn)藍(lán)圖的設(shè)計(jì)認(rèn)知診斷開(kāi)發(fā)步驟認(rèn)知診斷開(kāi)發(fā)步

2、驟對(duì)認(rèn)知診斷的理解對(duì)認(rèn)知診斷的理解認(rèn)知診斷應(yīng)用認(rèn)知診斷應(yīng)用發(fā)展新趨勢(shì)發(fā)展新趨勢(shì) 心理和教育測(cè)量學(xué)是一門從心理學(xué)和教育學(xué)角度對(duì)心理特質(zhì)的實(shí)質(zhì)和結(jié)構(gòu)做出深入的分析與研究心理和教育測(cè)量學(xué)是一門從心理學(xué)和教育學(xué)角度對(duì)心理特質(zhì)的實(shí)質(zhì)和結(jié)構(gòu)做出深入的分析與研究，同時(shí)運(yùn)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)等手段，對(duì)測(cè)量的有關(guān)問(wèn)題，做出數(shù)量化分析的學(xué)科；作為獨(dú)立學(xué)科分，同時(shí)運(yùn)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)等手段，對(duì)測(cè)量的有關(guān)問(wèn)題，做出數(shù)量化分析的學(xué)科；作為獨(dú)立學(xué)科分支的心理與教育測(cè)量學(xué)已經(jīng)經(jīng)歷了一個(gè)多世紀(jì)的發(fā)展。支的心理與教育測(cè)量學(xué)已經(jīng)經(jīng)歷了一個(gè)多世紀(jì)的發(fā)展。 Mislevy R.JMislevy R.J（19931993） 指出，到目前為止，整

3、個(gè)統(tǒng)計(jì)測(cè)驗(yàn)理論的發(fā)展可以分為兩大階段指出，到目前為止，整個(gè)統(tǒng)計(jì)測(cè)驗(yàn)理論的發(fā)展可以分為兩大階段：標(biāo)準(zhǔn)測(cè)驗(yàn)理論（：標(biāo)準(zhǔn)測(cè)驗(yàn)理論（Standard test theoryStandard test theory）階段和新一代測(cè)驗(yàn)理論（）階段和新一代測(cè)驗(yàn)理論（Test theory for Test theory for a new generation of testsa new generation of tests）階段。）階段。傳統(tǒng)測(cè)驗(yàn)及其理論的局限性 標(biāo)準(zhǔn)測(cè)驗(yàn)理論將所測(cè)的心理特質(zhì)視為一個(gè)心理學(xué)意義并不明晰的標(biāo)準(zhǔn)測(cè)驗(yàn)理論將所測(cè)的心理特質(zhì)視為一個(gè)心理學(xué)意義并不明晰的“統(tǒng)計(jì)結(jié)構(gòu)統(tǒng)計(jì)結(jié)構(gòu)”，目的在于

4、，目的在于從宏觀的層次給個(gè)體一個(gè)整體的評(píng)估，在單維的、線性的連續(xù)的度量系統(tǒng)上指定一個(gè)從宏觀的層次給個(gè)體一個(gè)整體的評(píng)估，在單維的、線性的連續(xù)的度量系統(tǒng)上指定一個(gè)表示位置的值。表示位置的值。傳統(tǒng)測(cè)驗(yàn)及其理論的局限性n標(biāo)準(zhǔn)測(cè)驗(yàn)理論包括標(biāo)準(zhǔn)測(cè)驗(yàn)理論包括： 經(jīng)典測(cè)量理論（Classical Test Theory）概化理論（Generalizability Theory）項(xiàng)目反應(yīng)理論（Item Response Theory）傳統(tǒng)測(cè)驗(yàn)及其理論的局限性n與標(biāo)準(zhǔn)測(cè)驗(yàn)理論是相對(duì)應(yīng)的是傳統(tǒng)測(cè)驗(yàn)與標(biāo)準(zhǔn)測(cè)驗(yàn)理論是相對(duì)應(yīng)的是傳統(tǒng)測(cè)驗(yàn) 傳統(tǒng)的考試實(shí)質(zhì)上都是根據(jù)精心篩選的測(cè)驗(yàn)題目, 將被試按順序排列在某種潛在變量的連續(xù)體

5、上。在經(jīng)典測(cè)量理論中, 這種潛在變量是真分?jǐn)?shù), 而在項(xiàng)目反應(yīng)理論中, 潛在的變量是指單維的潛在特質(zhì)。傳統(tǒng)測(cè)驗(yàn)及其理論的局限性經(jīng)典測(cè)量理論（又稱真分?jǐn)?shù)理論）經(jīng)典測(cè)量理論（又稱真分?jǐn)?shù)理論）n基本假設(shè):測(cè)驗(yàn)觀察分?jǐn)?shù)等于真分?jǐn)?shù)與誤差分?jǐn)?shù)之和即 X=T+R。n在此基礎(chǔ)上，經(jīng)典測(cè)量理論提出了測(cè)驗(yàn)信度和效度、項(xiàng)目難度、區(qū)分度、猜測(cè)度等概念，并依此來(lái)指導(dǎo)測(cè)驗(yàn)的編制。n經(jīng)典測(cè)量理論在測(cè)驗(yàn)發(fā)展中有特殊的地位，它是歷史上第一個(gè)測(cè)驗(yàn)理論，也是測(cè)驗(yàn)的最一般、最基本的理論，應(yīng)用極為廣泛。傳統(tǒng)測(cè)驗(yàn)及其理論的局限性n但是，經(jīng)典測(cè)量理論有著理論框架的先天缺陷性，比如測(cè)驗(yàn)參數(shù)的估計(jì)依賴于樣本；但是，經(jīng)典測(cè)量理論有著理論框架的先天

6、缺陷性，比如測(cè)驗(yàn)參數(shù)的估計(jì)依賴于樣本；測(cè)驗(yàn)信度估計(jì)不精確等。概化理論和項(xiàng)目反應(yīng)理論則從不同角度克服了經(jīng)典測(cè)量理論測(cè)驗(yàn)信度估計(jì)不精確等。概化理論和項(xiàng)目反應(yīng)理論則從不同角度克服了經(jīng)典測(cè)量理論的局限性，逐漸在心理與教育測(cè)量領(lǐng)域中與經(jīng)典測(cè)量理論形成了三足鼎立的局勢(shì)。的局限性，逐漸在心理與教育測(cè)量領(lǐng)域中與經(jīng)典測(cè)量理論形成了三足鼎立的局勢(shì)。 傳統(tǒng)測(cè)驗(yàn)及其理論的局限性n概化理論概化理論:n其主要是針對(duì)經(jīng)典測(cè)量理論信度估計(jì)不精確的問(wèn)題而發(fā)展的。它不再象經(jīng)典測(cè)量理論那樣將測(cè)量誤差單純看成混沌一團(tuán)的東西，而是利用方差分析方法具體分析實(shí)際的測(cè)驗(yàn)情景關(guān)系，根據(jù)不同情景關(guān)系確定測(cè)量目標(biāo)與側(cè)面，針對(duì)性地考察多種信度與效度

7、。傳統(tǒng)測(cè)驗(yàn)及其理論的局限性n項(xiàng)目反應(yīng)理論項(xiàng)目反應(yīng)理論:n是在克服經(jīng)典測(cè)量理論項(xiàng)目參數(shù)依賴于樣本等局限性基礎(chǔ)上發(fā)展的。它認(rèn)為被試在項(xiàng)目上的反應(yīng)決定于被試的潛在能力與項(xiàng)目難度間的距離，從而很好地將能力參數(shù)和難度參數(shù)統(tǒng)一到了一個(gè)量尺上來(lái)。項(xiàng)目反應(yīng)理論的另一大優(yōu)點(diǎn)是參數(shù)的不變性，從而推動(dòng)了該理論的應(yīng)用范圍，為實(shí)現(xiàn)計(jì)算機(jī)化自適應(yīng)考試（CAT）提供了可能。此外，項(xiàng)目反應(yīng)理論還提出了測(cè)驗(yàn)信息函數(shù)的概念，利用測(cè)驗(yàn)信息函數(shù)來(lái)估算測(cè)驗(yàn)對(duì)不同能力水平被試所產(chǎn)生的誤差。傳統(tǒng)測(cè)驗(yàn)及其理論的局限性n基于CTT的測(cè)驗(yàn)采用總分指標(biāo)評(píng)價(jià)能力，總分只能用來(lái)對(duì)個(gè)體在總體中的相對(duì)位置進(jìn)行排序，不能指出被試具體掌握了哪些內(nèi)容，更無(wú)法診

8、斷其題目作答錯(cuò)誤的原因?；贗RT的教育測(cè)驗(yàn)采用能力指標(biāo)評(píng)價(jià)被試，雖考慮了被試在測(cè)驗(yàn)項(xiàng)目上的作答反應(yīng)與屬性間的關(guān)系，但能力指標(biāo)只是屬性的一個(gè)統(tǒng)計(jì)含義上的概念，并沒(méi)有真正揭示其內(nèi)部心理含義傳統(tǒng)測(cè)驗(yàn)及其理論的局限性 總的來(lái)說(shuō)，無(wú)論是經(jīng)典測(cè)量理論還是項(xiàng)目反應(yīng)理論及概化理論，存在的共同缺陷是，把所測(cè)心理特質(zhì)當(dāng)作一種純統(tǒng)計(jì)結(jié)構(gòu)，忽視對(duì)考生作答過(guò)程的考察，計(jì)量時(shí)只注重作答結(jié)果，忽視心理特質(zhì)的實(shí)質(zhì)內(nèi)容，對(duì)于“測(cè)什么”和“為什么”的問(wèn)題卻不能夠很好地解決，也就無(wú)法了解個(gè)體解答測(cè)驗(yàn)的心理加工成分、策略、所需知識(shí)結(jié)構(gòu)等內(nèi)部心理機(jī)制，不能確定個(gè)體的強(qiáng)點(diǎn)和弱點(diǎn)。認(rèn)知診斷的基本概念 因此，傳統(tǒng)的測(cè)量理論顯然不能滿足測(cè)驗(yàn)

9、發(fā)展的需要，急需一個(gè)能夠解決因此，傳統(tǒng)的測(cè)量理論顯然不能滿足測(cè)驗(yàn)發(fā)展的需要，急需一個(gè)能夠解決“測(cè)什么測(cè)什么”和和“為什么為什么”的理論。與此同時(shí)，實(shí)質(zhì)心理學(xué)特別是認(rèn)知心理學(xué)的興起，給人們提的理論。與此同時(shí)，實(shí)質(zhì)心理學(xué)特別是認(rèn)知心理學(xué)的興起，給人們提供了理解供了理解“統(tǒng)計(jì)結(jié)構(gòu)統(tǒng)計(jì)結(jié)構(gòu)”這一這一“黑箱黑箱”的思路及相關(guān)的豐富理論成果，這使得測(cè)量學(xué)專的思路及相關(guān)的豐富理論成果，這使得測(cè)量學(xué)專家看到了揭開(kāi)家看到了揭開(kāi)“統(tǒng)計(jì)結(jié)構(gòu)統(tǒng)計(jì)結(jié)構(gòu)”內(nèi)在心理學(xué)意義的希望。因此，以認(rèn)知診斷為核心內(nèi)容的內(nèi)在心理學(xué)意義的希望。因此，以認(rèn)知診斷為核心內(nèi)容的新一代測(cè)量理論也就應(yīng)運(yùn)而生了，它是測(cè)驗(yàn)發(fā)展的需要和認(rèn)知心理學(xué)理論成果

10、融入到新一代測(cè)量理論也就應(yīng)運(yùn)而生了，它是測(cè)驗(yàn)發(fā)展的需要和認(rèn)知心理學(xué)理論成果融入到測(cè)量學(xué)的結(jié)果。測(cè)量學(xué)的結(jié)果。認(rèn)知診斷的基本概念n認(rèn)知診斷；屬性（補(bǔ)償，非補(bǔ)償）；層級(jí)關(guān)系；認(rèn)知模型；認(rèn)知診斷模型（分類方法）一系列Q矩陣，計(jì)算和含義； Q矩陣?yán)碚?；期望反?yīng)，期望反應(yīng)模式（理想反應(yīng)，理想反應(yīng)模式/潛在反應(yīng)，潛在反應(yīng)模式）；知識(shí)狀態(tài)；18認(rèn)知診斷的基本概念n認(rèn)知診斷（評(píng)估）：認(rèn)知診斷評(píng)估(CDA)通過(guò)測(cè)驗(yàn)獲得被試在測(cè)驗(yàn)上觀察反應(yīng)而推知該被試不可觀察的知識(shí)狀態(tài)（knowledge state）。 Leighton 和 Gierl（2007）認(rèn)為（教育）認(rèn)知診斷的作用是測(cè)量/評(píng)估個(gè)體特定的知識(shí)結(jié)構(gòu)（kno

11、wledge structure）和加工技能（processing skills）。認(rèn)知診斷的基本概念nTatsuoka（2009,p.6)對(duì)屬性和知識(shí)狀態(tài)的定義： nKnowledge and cognitive processing skills will be called attributes, nbinary attribute patterns that express mastery or nonmastery of attributes will be referred to as knowledge states or latent knowledge states. (Ta

12、tsuoka,2009,p.7)屬性的例子（天津考試院，2009，小學(xué)真分?jǐn)?shù)加減運(yùn)算，一個(gè)實(shí)際開(kāi)發(fā)的認(rèn)知診斷測(cè)驗(yàn)）n分?jǐn)?shù)的運(yùn)算，認(rèn)知屬性，A1：基礎(chǔ)知識(shí)(分?jǐn)?shù)單位、分?jǐn)?shù)性質(zhì)、加減混合運(yùn)算順序)；A2：同分母分?jǐn)?shù)加減；A3：尋找最小公倍數(shù)；A4：尋找最大公因子；A5：異分母分?jǐn)?shù)加減；A6：化成最簡(jiǎn)分?jǐn)?shù)；A7：分?jǐn)?shù)加減混合運(yùn)算。圖圖1 1 小學(xué)數(shù)學(xué)五年級(jí)分?jǐn)?shù)簡(jiǎn)單加減法認(rèn)小學(xué)數(shù)學(xué)五年級(jí)分?jǐn)?shù)簡(jiǎn)單加減法認(rèn)知屬性及層級(jí)關(guān)系知屬性及層級(jí)關(guān)系21基本概念（認(rèn)知診斷和模式判別）nTatsuoka(2009) 認(rèn)為她的認(rèn)知診斷方法-規(guī)則空間模型（RSM）和統(tǒng)計(jì)模式識(shí)別、分類方法（statistical patte

13、rn recognition and classification methodology）相似，包含特征提取和統(tǒng)計(jì)模式分類兩步；特征提取對(duì)應(yīng)Q矩陣?yán)碚?，它是確定性的（deterministic）.22基本概念（屬性層級(jí)）n五種基本屬性層級(jí)結(jié)構(gòu)（線型、收斂、發(fā)散、無(wú)結(jié)構(gòu)、獨(dú)立），其他層級(jí)結(jié)構(gòu)可以由它們組合出來(lái)n特別注意收斂型特別注意收斂型23 屬性及其層級(jí)的確定（1）n屬性和屬性和屬性層級(jí)比較難以準(zhǔn)確界定屬性層級(jí)比較難以準(zhǔn)確界定n屬性的確定的標(biāo)準(zhǔn)方法屬性的確定的標(biāo)準(zhǔn)方法n文獻(xiàn)調(diào)查文獻(xiàn)調(diào)查n專家討論專家討論n被試的出聲思維被試的出聲思維24屬性及其層級(jí)的確定（2）n層級(jí)關(guān)系的確定：不是操作步驟的

14、順序，也不是解題的過(guò)程的描述，而是如Leighton et al.（2000）所說(shuō)的層級(jí)(hierarchy)指的是問(wèn)題解決中所需要的屬性之間的邏輯的或者心理的順序（logical and/or psychological ordering ）25Q矩陣的計(jì)算n計(jì)算和含義；n屬性及其層級(jí)-鄰接矩陣A-可達(dá)矩陣R-潛在Q矩陣Qp-學(xué)生Q矩陣Qsn計(jì)算 （1）由A+I計(jì)算R的兩種方法n（2）由R計(jì)算Qp的三種方法n縮減方法；擴(kuò)張算法；漸進(jìn)式擴(kuò)張算法n（3）由Qp到Qs26基本概念(一系列Q矩陣）n認(rèn)知模型（可以用圖形表達(dá)，還可以用某些Q矩陣表達(dá)）n一系列Q矩陣，Q矩陣是屬性和項(xiàng)目/被試的關(guān)聯(lián)矩陣（

15、incidence matrix）,原始意義上是0-1矩陣（布爾矩陣），后面有人擴(kuò)展為非負(fù)整數(shù)矩陣。 27基本概念(一系列Q矩陣）計(jì)算R的方法nTatsuoka介紹的方法：B=A+In計(jì)算R的方法 如果B的n次冪（邏輯乘法）等于B的n+1次冪，則B的n次冪就是R。數(shù)學(xué)原理是R是自反的傳遞閉包的關(guān)系矩陣，滿足R* R=RnWarshall計(jì)算傳遞閉包的方法（省略）29基本概念(一系列Q矩陣）基本概念(一系列Q矩陣）由R計(jì)算Qp的三種方法n縮減方法；擴(kuò)張算法；漸進(jìn)式擴(kuò)張算法這些新算法揭示了認(rèn)知診斷測(cè)驗(yàn)項(xiàng)目之間的關(guān)系（有一個(gè)代表性很強(qiáng)的項(xiàng)目類）。這些算法的共同特點(diǎn)是，基于可達(dá)矩陣。這也表示可達(dá)矩陣的

16、特殊地位。32擴(kuò)張算法3312341000010000101111Rj=1不產(chǎn)生新列1000010000101111j=210100001010011001011111111101100110101001011001011111111j=3j=4不產(chǎn)生新列不產(chǎn)生新列基本概念(一系列Q矩陣）步驟4：通過(guò)Qr矩陣可得到被試期望反應(yīng)模式 一種基于一種基于 Q 矩陣?yán)碚摌闼氐恼J(rèn)知診斷方法矩陣?yán)碚摌闼氐恼J(rèn)知診斷方法海明距離判別法海明距離判別法n羅照盛 李喻駿等（2015） 心理學(xué)報(bào)為什么研究Qs,QpnQs的列在“交”、“并”運(yùn)算下封閉；任何兩列均有上、下確界，形成一個(gè)代數(shù)系統(tǒng)-格（lattice）。這

17、對(duì)于指導(dǎo)計(jì)算機(jī)化自適應(yīng)診斷測(cè)驗(yàn)的“在線屬性輔助標(biāo)定”有作用；nQs的列表示“人的”知識(shí)狀態(tài)；Qp的列表示“題的”屬性向量，而前者可以由后者導(dǎo)出，可見(jiàn)兩者的列可以相互比較37為什么重視ERPn某些認(rèn)知診斷模型的分類原理,ERP是判別分類的類中心（RSM，AHM，DINA，GDD，GDD-P）nORP-KS(通過(guò)認(rèn)知診斷模型）nKS-ERP（通過(guò)Qs,Qt,特別是Qt)n如果可以設(shè)計(jì)Qt,使得KS-ERP，那么nORP-ERP-KSn重視ERP，Tatsuoka給出Q矩陣?yán)碚?9Q矩陣?yán)碚搉Tatsuoka 的Q矩陣?yán)碚揟aksuoka(1991，1995，2009)建立Q 矩陣?yán)碚?，試圖用Q 矩

18、陣描述項(xiàng)目與屬性的關(guān)聯(lián)，并構(gòu)建知識(shí)狀態(tài)知識(shí)狀態(tài)(KS)與理想反應(yīng)模式理想反應(yīng)模式(IRP)的（等價(jià)）對(duì)應(yīng)，而通過(guò)分類方法使得ORP與IRP對(duì)應(yīng)，最終獲得可觀察的ORP的解釋，即獲得隱藏在ORP內(nèi)的KS。n如上所述，我們認(rèn)為不同的如上所述，我們認(rèn)為不同的Q矩陣應(yīng)該給予不同的記號(hào)以示區(qū)分，如矩陣應(yīng)該給予不同的記號(hào)以示區(qū)分，如R，Qp, Qs ,QtnQ矩陣?yán)碚摰闹饕獌?nèi)容應(yīng)該是研究如何設(shè)計(jì)好的測(cè)驗(yàn)藍(lán)圖矩陣?yán)碚摰闹饕獌?nèi)容應(yīng)該是研究如何設(shè)計(jì)好的測(cè)驗(yàn)藍(lán)圖(Qt)。 40測(cè)驗(yàn)藍(lán)圖的設(shè)計(jì)n為什么要設(shè)計(jì)測(cè)驗(yàn)藍(lán)圖為什么要設(shè)計(jì)測(cè)驗(yàn)藍(lán)圖?目的：目的：使知識(shí)狀態(tài)使知識(shí)狀態(tài)（KS)和期望反應(yīng)和期望反應(yīng)模式模式(ERP)一

19、一對(duì)應(yīng)一一對(duì)應(yīng)：表：表面上認(rèn)知診斷模型面上認(rèn)知診斷模型f:ORP-KS,實(shí)際上是實(shí)際上是f:ORPERP，KSERP(通過(guò)通過(guò)Qt：測(cè)驗(yàn)藍(lán)圖：測(cè)驗(yàn)藍(lán)圖), 如果還能夠建立如果還能夠建立ERPKS，則完，則完成了成了ORP到到KS的映射的映射41Q矩陣?yán)碚摚ɡm(xù)）n只有對(duì)被試知識(shí)狀態(tài)進(jìn)行準(zhǔn)確分類，才能針對(duì)性地進(jìn)行補(bǔ)救。這樣就產(chǎn)生了一個(gè)問(wèn)題，如何編制好的認(rèn)知診斷測(cè)驗(yàn)，它能區(qū)分開(kāi)所有知識(shí)狀態(tài)，減少知識(shí)狀態(tài)誤判。也就是要尋找一個(gè)“好的”測(cè)驗(yàn)規(guī)范，即測(cè)驗(yàn)藍(lán)圖（test specification/test blueprint)n0-1評(píng)分非補(bǔ)償條件下，知識(shí)狀態(tài)和期望反應(yīng)模式一一對(duì)應(yīng)的充分必要條件n定理定理

20、 假設(shè)所討論的認(rèn)知屬性對(duì)認(rèn)知任務(wù)所起的作用是非補(bǔ)償、連接的，并且采用假設(shè)所討論的認(rèn)知屬性對(duì)認(rèn)知任務(wù)所起的作用是非補(bǔ)償、連接的，并且采用0-1評(píng)分方式，則評(píng)分方式，則Qt中包含可達(dá)陣中包含可達(dá)陣R是使知識(shí)狀態(tài)與期望反應(yīng)模式建立起一一對(duì)應(yīng)是使知識(shí)狀態(tài)與期望反應(yīng)模式建立起一一對(duì)應(yīng)關(guān)系的必要充分條件。關(guān)系的必要充分條件。42為什么研究測(cè)驗(yàn)藍(lán)圖的設(shè)計(jì)nLeighton er al.(2004,2007)主張用Qp作為測(cè)驗(yàn)藍(lán)圖，至少會(huì)遇到如下困難：n當(dāng)屬性數(shù)目K比較大時(shí)，對(duì)于獨(dú)立型、無(wú)結(jié)構(gòu)型層級(jí)結(jié)構(gòu)，Qp的列數(shù)目太大，以至于無(wú)法安排測(cè)驗(yàn)n如果測(cè)驗(yàn)藍(lán)圖設(shè)計(jì)欠妥，認(rèn)知診斷判準(zhǔn)率不可能高43實(shí)例：帶分?jǐn)?shù)減法認(rèn)知

21、診斷測(cè)驗(yàn)（設(shè)計(jì)藍(lán)圖不能代表理論認(rèn)知模型）據(jù)Sinharay和Almond (2007)（p.242）的敘述，知該測(cè)驗(yàn)共測(cè)5種技能 （skills），且技能3是技能4的先決屬性，而技能1、2、3、5是獨(dú)立的屬性，屬性層級(jí)關(guān)系如圖1所示。從而被試的所有可能的知識(shí)狀態(tài)為24類。但是該文中表1給出的Qt為515的矩陣。將相同的列看成同一類項(xiàng)目，則Qt如右所示。44T1 1000、幾種常見(jiàn)的認(rèn)知診斷模型CDMnRSM，AHM，GDD，GDD-P是基于IRT模型的項(xiàng)目反應(yīng)函數(shù)的認(rèn)知診斷模型：nDINA，DINO不包括IRT的項(xiàng)目反應(yīng)函數(shù)n并且RSM，AHM，GDD，GDD-P，DINA是非補(bǔ)償?shù)恼J(rèn)知診斷模

22、型；而DINO是補(bǔ)償?shù)恼J(rèn)知診斷模型46認(rèn)知診斷模型選擇原則n1）簡(jiǎn)單性原則，但能提取盡量多的診斷信息；n2）可用性原則，模型可識(shí)別；n3）認(rèn)知理論原則，是選擇補(bǔ)償模型還是非補(bǔ)償模型；n4）竟?fàn)幮栽瓌t：選擇診斷盡量準(zhǔn)確的模型n5）可接受性原則，解釋性強(qiáng)認(rèn)知診斷測(cè)驗(yàn)開(kāi)發(fā)的步驟（1）確定評(píng)估目標(biāo)；根據(jù)評(píng)估目標(biāo)，確定解決相關(guān)問(wèn)題所涉及到的認(rèn)知屬性（知識(shí)結(jié)構(gòu)與認(rèn)知技能）以及這些屬性之間的關(guān)系；挑選認(rèn)知診斷模型（比如屬性的多寡、補(bǔ)償還是非補(bǔ)償0-1評(píng)分還是多級(jí)評(píng)分）；根據(jù)認(rèn)知屬性及屬性間的層級(jí)關(guān)系，建立一系列Q矩陣；特別是測(cè)驗(yàn)藍(lán)圖，即測(cè)驗(yàn)Q矩陣Qt;計(jì)算期望反應(yīng)模式；48認(rèn)知診斷測(cè)驗(yàn)開(kāi)發(fā)的步驟（2）5.根

23、據(jù)Qt，編寫評(píng)估任務(wù)（如，測(cè)驗(yàn)項(xiàng)目）；實(shí)施認(rèn)知診斷測(cè)驗(yàn)；6.模型校準(zhǔn)（calibration）和知識(shí)狀態(tài)估計(jì)，并對(duì)結(jié)果進(jìn)行評(píng)價(jià)；7.考察測(cè)驗(yàn)Q矩陣的質(zhì)量（屬性標(biāo)示是否合理、模型參數(shù)是否合理、被試反應(yīng)的層級(jí)相合性指標(biāo)是否合理，等等）；如果質(zhì)量不佳，返回到2；8.建立向考生、教師和其他相關(guān)人士報(bào)告評(píng)估結(jié)果（詳盡可解釋的系統(tǒng)；9.補(bǔ)救，即干預(yù)。（參考DiBello,et al.2007，他只給出六步）49值得注意的方面認(rèn)知模型的開(kāi)發(fā)，認(rèn)知診斷的實(shí)際應(yīng)用項(xiàng)目屬性在線標(biāo)定，理論、方法和實(shí)際應(yīng)用（題庫(kù)的低成本、高效率擴(kuò)充，解決缺乏等值轉(zhuǎn)換式下的測(cè)驗(yàn)等值問(wèn)題）測(cè)驗(yàn)藍(lán)圖的設(shè)計(jì)研究多級(jí)評(píng)分的Q矩陣?yán)碚撗芯?；有補(bǔ)

24、償功能條件下的Q矩陣?yán)碚摰难芯浚?0值得注意的方面（續(xù)）5認(rèn)知診斷模型的開(kāi)發(fā)（開(kāi)發(fā)的新模型性質(zhì)的研究，Monte Carlo模擬方法）；多策略認(rèn)知診斷方法研究；干擾項(xiàng)診斷信息提取6計(jì)算機(jī)化自適應(yīng)診斷測(cè)驗(yàn)（CD-CAT)7.Q矩陣的修正的方法51值得注意的方面（續(xù)2）8.HCI指標(biāo)的開(kāi)發(fā)和完善9.測(cè)驗(yàn)方式研究（大型測(cè)驗(yàn)：CD-CAT的選題策略研究；小型測(cè)驗(yàn)：課堂評(píng)估研究（小樣本、小題量，紙筆測(cè)驗(yàn)）10.對(duì)已有測(cè)驗(yàn)的翻新(retrofitting)研究（評(píng)估診斷的“效度”），這是不得已而為之的辦法，但應(yīng)說(shuō)明對(duì)于認(rèn)知診斷，到底能夠取多大的作用，謹(jǐn)防夸大作用52對(duì)認(rèn)知診斷的理解認(rèn)知心理學(xué)與心理測(cè)量學(xué)方

25、法是實(shí)現(xiàn)認(rèn)知診斷的兩大基礎(chǔ)（認(rèn)知心理學(xué)與心理測(cè)量學(xué)方法是實(shí)現(xiàn)認(rèn)知診斷的兩大基礎(chǔ)（Embretson S E 1985Embretson S E 1985）認(rèn)知診斷是一個(gè)完整的體系認(rèn)知診斷是一個(gè)完整的體系（）評(píng)估目標(biāo)的確定（）認(rèn)知模型的描述（）編制測(cè)驗(yàn)項(xiàng)目（）選擇能夠融合認(rèn)知變量的心理測(cè)量模型（變量間的相互作用補(bǔ)償模型與非補(bǔ)償模型連續(xù)變量和離散變量模型）（）收集數(shù)據(jù)資料，并選擇參數(shù)估計(jì)的方法（需考慮參數(shù)是否可以識(shí)別；是否收斂等）（）形成評(píng)估報(bào)告系統(tǒng)（信度和效度）對(duì)認(rèn)知診斷的理解認(rèn)知診斷作為新一代測(cè)驗(yàn)理論的重要部分，有著重大的意義認(rèn)知診斷作為新一代測(cè)驗(yàn)理論的重要部分，有著重大的意義。n首先,認(rèn)知診

26、斷能實(shí)現(xiàn)測(cè)驗(yàn)的最重要的功能:促進(jìn)發(fā)展。現(xiàn)代認(rèn)知心理學(xué)的測(cè)量觀的基本觀點(diǎn)是:運(yùn)用認(rèn)知分析的方法描述心理活動(dòng)的內(nèi)在機(jī)制,據(jù)此設(shè)計(jì)各種形式的測(cè)驗(yàn)以探測(cè)被試心理活動(dòng)的機(jī)制與相應(yīng)機(jī)制之間是否一致或存在缺陷,以便提出補(bǔ)救措施,促進(jìn)發(fā)展。認(rèn)知診斷是實(shí)現(xiàn)測(cè)量與發(fā)展之間的循環(huán)促進(jìn)作用的關(guān)鍵環(huán)節(jié)。對(duì)認(rèn)知診斷的理解n其次,認(rèn)知診斷有利于提高測(cè)驗(yàn)的內(nèi)容效度。目前,人們通常運(yùn)用經(jīng)典測(cè)驗(yàn)理論或項(xiàng)目反應(yīng)理論編制教育和心理測(cè)驗(yàn),這二者是依據(jù)項(xiàng)目的統(tǒng)計(jì)特性來(lái)指導(dǎo)測(cè)驗(yàn)編制,對(duì)內(nèi)在的知識(shí)結(jié)構(gòu)重視不夠,難以對(duì)測(cè)驗(yàn)的內(nèi)容效度進(jìn)行分析。認(rèn)知診斷依據(jù)認(rèn)知心理學(xué)的研究成果編制測(cè)驗(yàn),測(cè)驗(yàn)的內(nèi)容效度能得到保證。認(rèn)知診斷的應(yīng)用認(rèn)知診斷在心理學(xué)中的

27、應(yīng)用認(rèn)知診斷在心理學(xué)中的應(yīng)用n其一是把認(rèn)知診斷作為心理學(xué)的一種研究方法，來(lái)探究心理的本質(zhì)，形成某個(gè)心理學(xué)理論n其二是在認(rèn)知心理學(xué)實(shí)踐中的應(yīng)用，依據(jù)認(rèn)知心理學(xué)的豐富理論成果，選擇能夠合理刻畫認(rèn)知變量的心理測(cè)量模型，從而達(dá)到對(duì)個(gè)體更為微觀細(xì)致的描述和評(píng)估n其三是在心理測(cè)驗(yàn)中的應(yīng)用前面提到了傳統(tǒng)測(cè)驗(yàn)所測(cè)的是一個(gè)模糊的“統(tǒng)計(jì)結(jié)構(gòu)”，對(duì)所測(cè)內(nèi)容的意義并不明確，勢(shì)必會(huì)造成測(cè)驗(yàn)效度研究的困難在新一代測(cè)驗(yàn)理論指導(dǎo)下的測(cè)驗(yàn)則更強(qiáng)調(diào)在認(rèn)知分析基礎(chǔ)上，采用合適的測(cè)量模型來(lái)指導(dǎo)測(cè)驗(yàn)的編制認(rèn)知診斷的應(yīng)用認(rèn)知診斷的應(yīng)用認(rèn)知診斷在教育領(lǐng)域的應(yīng)用研究認(rèn)知診斷在教育領(lǐng)域的應(yīng)用研究n此類研究的目的主要是為了探查學(xué)生的知識(shí)結(jié)構(gòu)和解

28、題時(shí)的內(nèi)部心理加工機(jī)制，從而了解學(xué)生的強(qiáng)點(diǎn)和弱點(diǎn)，為下一步有針對(duì)性的輔導(dǎo)提供指導(dǎo)例如：美國(guó)大學(xué)入學(xué)考試數(shù)學(xué)測(cè)驗(yàn)，對(duì)數(shù)學(xué)知識(shí)結(jié)構(gòu)進(jìn)行認(rèn)知分析的研究，采用規(guī)則空間模型的方法，對(duì)學(xué)生出現(xiàn)的錯(cuò)誤類型進(jìn)行判別，找出學(xué)生犯錯(cuò)誤的類型，從而提出有針對(duì)性的補(bǔ)救計(jì)劃 美國(guó)通過(guò)法案“No Child Left Behind Act of 2001”，規(guī)定美國(guó)所有實(shí)施的測(cè)驗(yàn)必須提供診斷信息給家長(zhǎng)、老師和學(xué)生。學(xué)者們認(rèn)為，在教育領(lǐng)域，只考試不診斷或者說(shuō)只診斷而不作補(bǔ)救教學(xué)都是不負(fù)責(zé)任的表現(xiàn)。新進(jìn)展與發(fā)展趨勢(shì)nRace to the top “向最高點(diǎn)進(jìn)軍”nWeb-based assessment 網(wǎng)考nCS vs.

29、 BS ？局域網(wǎng)或英特網(wǎng)？nnew test form 新題形nCognitive diagnosis 認(rèn)知診斷nMultiDiemensionalIRT多元IRTnVertical linking 垂直等職nValue added molding 增值模型nAutomated Reporting自動(dòng)生成報(bào)告報(bào)表 59發(fā)展趨勢(shì)n無(wú)紙筆化考試n各州將統(tǒng)一使用“共同題”nCAT在醫(yī)學(xué)測(cè)試中大規(guī)模運(yùn)用n認(rèn)知診斷中的Q-矩陣自動(dòng)估計(jì)n網(wǎng)考使考點(diǎn)回歸校園n反應(yīng)時(shí)間的利用（RESPONSE TIME）61Challenges in NCLB TestingnMany items are too diffi

30、cult to studentsn70% math items may be too difficultnThe influence of this kind of test taking experience on low-achieving students is not well-understood (e.g., Roderick & Engle, 2001, Ryan & Ryan, 2005; Ryan, Ryan, Arbuthnot, & Samuels, 2007). nTest security of NCLBn The # of security

31、violations in P&P based NCLB testing in on the rise. nDocumented cases of such incidents have been uncovered in numerous states including New York, Texas, California, Illinois, and Massachusetts. (Jacob & Levitt, 2003, and Texas Education Agency, 2007).6263CAT Has Glowing Future in the K-12

32、Context. nWhy not use benchmark testing?nAdaptive Testing can do better. nQuellmalz & Pellegrino (2009): nmore than 27 states currently have operational or pilot versions of online tests, including Oregon, North Carolina, Utah, Idaho, Kansas, Wyoming, and Maryland. nThe landscape of educational

33、assessment is changing rapidly with the growth of computer-administered tests. 64Why CD-CAT?65nClient/Server Architecture (CS)nCAT software has to be installed on each client computer ( large workload)nonly applicable to Local Area Network (LAN)nBrowser/Server Architecture (BS)ndatabase is still on

34、the servernnearly all the tasks concerning development, maintenance and upgrade, are carried out on the server. nbased on the Wide Area Network (WAN)66676869A CD-CAT system and its applicability to improve teaching and learning 70nA B/S based CAT system was tested with 2000 PCs in Dalian, China!nAbo

35、ut 30,000 students participated field testsnA large scale validity study was also conducted71n Evaluating the consistency ofnCD-CAT system results with an existing English achievement testna group of students took two examsnCD-CAT system results with Teachers evaluation outcomes. 72Consistency betwe

36、en CD scores and teachers assessmentThe CD-CAT diagnostic reports were presented to teachers, they were asked to evaluate the accuracy of this report. Finding: The consistency is very high. Liu, H., You, X., Wang, W., Ding, S. & Chang, H. (revision under review)73作業(yè)n對(duì)HDD和GDD的分類方法進(jìn)行闡述n怎樣保證測(cè)驗(yàn)藍(lán)圖設(shè)計(jì)是合理的nHDD的結(jié)果是好還是壞，原因?yàn)楹螌?shí)例實(shí)例作業(yè)n給出實(shí)例的A 、R