計(jì)算機(jī)化適應(yīng)性測(cè)驗(yàn)

計(jì)算機(jī)化適應(yīng)性測(cè)驗(yàn)壹、計(jì)算機(jī)化測(cè)驗(yàn)的興起緣起1.1945年二次世界大戰(zhàn)結(jié)束后，人類才發(fā)明第一臺(tái)計(jì)算機(jī)。2.往后20年，計(jì)算機(jī)軟硬件迅速發(fā)展。到了1960年代，出現(xiàn)高階的程序語言，如:Fortran、Pascal、Coble。3.1960年代起，開始出現(xiàn)計(jì)算機(jī)輔助測(cè)驗(yàn)(computer-basedtesting,CBT)。4.1980年，Lord提出試題反應(yīng)理論(itemresponsetheory,IRT)。開始有人利用IRT理論，融入發(fā)展建置計(jì)算機(jī)化適性測(cè)驗(yàn)(computerizedadaptivetesting,CAT)。5.1991年，美國(guó)國(guó)防部釋出網(wǎng)際網(wǎng)絡(luò)(internet)。6.1995年，出現(xiàn)WWW、Google、Yahoo等。7.2005年，出現(xiàn)iPhone、平板計(jì)算機(jī)、數(shù)位科技產(chǎn)品。8.2014年，出現(xiàn)穿戴式數(shù)位科技產(chǎn)品。計(jì)算機(jī)化測(cè)驗(yàn)之比較一、計(jì)算機(jī)輔助測(cè)驗(yàn)(computer-basedtesting,CBT)1.紙筆測(cè)驗(yàn)的計(jì)算機(jī)版。以鍵盤輸入代替「筆」來作答輸入，以熒幕呈現(xiàn)試題方式代替「紙張」的印刷。2.以古典測(cè)驗(yàn)理論（CTT）為計(jì)分之依據(jù)。3.無法量身訂作測(cè)驗(yàn)，沒有「因才施測(cè)」的功能。4.逐一或全部試題作答，無法跳答及空白未答，考生都接受相同題數(shù)、內(nèi)容和作答時(shí)限的計(jì)算機(jī)輔助施測(cè)方式。二、計(jì)算機(jī)化適性測(cè)驗(yàn)(computerizedadaptivetesting,CAT)1.全新的計(jì)算機(jī)測(cè)驗(yàn)方式，雖然仍可視為「紙筆測(cè)驗(yàn)的計(jì)算機(jī)版」，但具有「隨選隨試」（testing

on

demand）的特色。2.以試題反應(yīng)理論（IRT）作為理論與建置發(fā)展的依據(jù)。3.可量身訂作測(cè)驗(yàn)，具有「因才施測(cè)」的功能。4.逐題作答，無法跳答，最終每位考生的答題數(shù)、內(nèi)容、時(shí)間均不一。計(jì)算機(jī)化測(cè)驗(yàn)的發(fā)展現(xiàn)況一、學(xué)術(shù)上的研究 CAT測(cè)驗(yàn)已是一個(gè)技術(shù)成熟的工具二、檢定（證照）考試的應(yīng)用

已出現(xiàn)CAT測(cè)驗(yàn)，但仍以CBT測(cè)驗(yàn)為主三、學(xué)校的教學(xué)評(píng)量

頂多使用CBT測(cè)驗(yàn)，仍以紙筆測(cè)驗(yàn)為主四、官方的考試應(yīng)用

還在研發(fā)階段，試著使用CBT測(cè)驗(yàn)貳、計(jì)算機(jī)化適性測(cè)驗(yàn)的發(fā)展步驟實(shí)施計(jì)算機(jī)化適性測(cè)驗(yàn)的優(yōu)點(diǎn)比起傳統(tǒng)的紙筆測(cè)驗(yàn)，實(shí)施計(jì)算機(jī)化適性測(cè)驗(yàn)具有下列幾項(xiàng)優(yōu)點(diǎn)：1.增強(qiáng)測(cè)驗(yàn)的安全性；2.可依據(jù)需求來進(jìn)行施測(cè)，具有施測(cè)彈性與效率的特色；3.無需使用試題本及答案卡，具有環(huán)保功能；4.適合每位考生的作答速度；5.立即計(jì)分和成績(jī)報(bào)告；6.降低某些考生的考試挫折感；（我有一點(diǎn)質(zhì)疑！）7.強(qiáng)化施測(cè)的標(biāo)準(zhǔn)化過程；8.容易從題庫(kù)中抽題組卷，找出并刪除不良的試題；9.對(duì)于試題類型的選擇更具彈性；10.減少監(jiān)試的時(shí)間。六大發(fā)展步驟一、挑選試題反應(yīng)模式二、準(zhǔn)備計(jì)算機(jī)化題庫(kù)三、起始策略：測(cè)驗(yàn)起點(diǎn)四、繼續(xù)策略：選題方式五、運(yùn)算策略：能力估計(jì)六、終止策略：終止標(biāo)準(zhǔn)一、挑選試題反應(yīng)模式1.分辨測(cè)驗(yàn)資料本身的不同計(jì)分屬性與類型。2.審慎挑選適用的IRT計(jì)分模式。（1）二元化計(jì)分資料（binarydata）：可挑一、二、或三參數(shù)對(duì)數(shù)型模式（即1PL、2PL、或3PL等）。（2）多元化計(jì)分資料（polytomousdata）：可挑Rasch模式，或其變形模式（如：GRM、RSM、PCM、2PPCM或GPCM等）。3.對(duì)選擇題型的成就測(cè)驗(yàn)而言，當(dāng)前最受歡迎的CAT模式還是以三參數(shù)對(duì)數(shù)型模式（即3PL）最常被選用；其次，才是Rasch模式。4.對(duì)選擇題型的心理測(cè)驗(yàn)而言，則是以Rasch模式的變形--PCM模式為主。二、準(zhǔn)備計(jì)算機(jī)化題庫(kù)1.參考IRT專書中關(guān)于「題庫(kù)建置」的說明。2.事先建置并準(zhǔn)備好一套計(jì)算機(jī)化題庫(kù)施測(cè)系統(tǒng)。3.該計(jì)算機(jī)化題庫(kù)施測(cè)系統(tǒng)系透過等化程序（test

equating），所建置起來的一套已校準(zhǔn)過參數(shù)（calibrated

item

parameters）的題庫(kù)，以及4.設(shè)計(jì)一套計(jì)算機(jī)施測(cè)程序，以作為針對(duì)每位考生的作答情況，從題庫(kù)中選題、施測(cè)、計(jì)分、及決定是否停止施測(cè)的依據(jù)。5.該計(jì)算機(jī)化題庫(kù)施測(cè)系統(tǒng)是進(jìn)行計(jì)算機(jī)化適性測(cè)驗(yàn)的核心單元。若沒有它，欲推動(dòng)計(jì)算機(jī)化適性測(cè)驗(yàn)是不可能的。開始測(cè)驗(yàn)開始選一題受試者作答估計(jì)能力值終止條件滿足？結(jié)束測(cè)驗(yàn)輸出考試成績(jī)計(jì)算機(jī)化題庫(kù)系統(tǒng)（運(yùn)算、挑題、呈現(xiàn)下一題）否是提供練習(xí)題數(shù)題，并估計(jì)起始值另一途徑三、起始策略：測(cè)驗(yàn)起點(diǎn)應(yīng)該先考哪一個(gè)試題，是適性測(cè)驗(yàn)所需面臨的一件重要抉擇問題。從理論上來看，試題的難度必須要能夠配合考生的能力水平。但是，除非我們已知考生過去的表現(xiàn)好壞，否則無法在施測(cè)之前就知道考生的能力。所以，常用的測(cè)驗(yàn)起點(diǎn)方法有：1.自難度適中的試題中隨機(jī)抽取一個(gè)試題。2.完全隨機(jī)抽取一個(gè)試題。3.先調(diào)查學(xué)生的背景，再?zèng)Q定挑出那一類的試題。Lord認(rèn)為，只要測(cè)驗(yàn)的題數(shù)不少于25題的話，以那一個(gè)試題做為起點(diǎn)的影響不大。從題庫(kù)中隨機(jī)選題的最大好處，就是可以達(dá)到保密的要求，減少某些特定試題有被重覆抽取的高曝光率（itemexposurerate）問題發(fā)生，而致危害題庫(kù)的安全性。在實(shí)務(wù)中，為了方便計(jì)算機(jī)程序開始選題施測(cè)下去，CAT通常都會(huì)設(shè)計(jì)讓計(jì)算機(jī)預(yù)先提供三到五題的練習(xí)題，并且是每位考生的練習(xí)題都相同，以供考生練習(xí)作答。這項(xiàng)作法的目的：1.讓考生熟悉利用計(jì)算機(jī)作答的測(cè)驗(yàn)環(huán)境和該適性測(cè)驗(yàn)系統(tǒng)的作答方式。2.等考生至少出現(xiàn)一題答對(duì)（假設(shè)他連續(xù)答錯(cuò)的話）或一題答錯(cuò)（假設(shè)他連續(xù)答對(duì)的話）時(shí)，考生的作答反應(yīng)組型才可以利用最大近似值估計(jì)法（MLE）開始估計(jì)出每位考生能力的起始值（initialvalue），以便繼續(xù)下一階段的施測(cè)步驟。當(dāng)然，若是使用貝氏估計(jì)法（Bayesian

method）的話，則練習(xí)題的功用純粹是為了讓考生熟悉施測(cè)的情境之用。四、繼續(xù)策略：選題方式依據(jù)IRT所建立的計(jì)算機(jī)化適性測(cè)驗(yàn)方式，必須事先有建置好的題庫(kù)存在，并且，經(jīng)過校準(zhǔn)的試題參數(shù)特征也必須一起儲(chǔ)存在題庫(kù)里。校準(zhǔn)時(shí)所選用的模式不同，都會(huì)影響計(jì)分方法的選擇和能力的估計(jì)。一般而言，常用的試題挑選方法有三種：1.挑選能夠針對(duì)考生能力估計(jì)提供最大訊息量的試題；為了避免同樣的試題一再地被重覆選用，建議可從一堆能夠產(chǎn)生最大訊息量的試題中，隨機(jī)抽取一個(gè)試題來進(jìn)行就可以。2.利用貝氏試題挑選法來挑選試題；將考生能力分配看成是某種事前分配（priordistribution）（通常都是視為常態(tài)分配），并計(jì)算考生答對(duì)或答錯(cuò)未用到的試題之事后變異數(shù)，再挑選能夠使這位考生能力事后分配之變異數(shù)為最小的試題，以作為下一題施測(cè)的試題。使用貝氏的選題方法，頗受事前分配假設(shè)的影響很大，但是只要施測(cè)的試題很多的話，這種影響是可以被排除的。3.挑選難度最接近考生現(xiàn)階段能力估計(jì)值之試題。五、運(yùn)算策略：能力估計(jì)接著，就是進(jìn)行考生能力值的估計(jì)。唯一不同的是，在CAT里，考生每作答一道試題之后，計(jì)算機(jī)就得重新估計(jì)一次考生的能力新值。其中，CAT最常用的兩種能力估計(jì)方法，即是最大近似值估計(jì)法（maximumlikelihoodestimation,

MLE）和貝氏估計(jì)法（Bayesianestimation,

BE）。

最大近似值估計(jì)法的估計(jì)效能很好，但遇到題數(shù)少或估計(jì)值無法收斂時(shí)，會(huì)產(chǎn)生較大的估計(jì)標(biāo)準(zhǔn)誤問題。一般而言，最大近似值估計(jì)法所估計(jì)出的能力值的估計(jì)標(biāo)準(zhǔn)誤將大于考生真正能力分配的標(biāo)準(zhǔn)差。因此，為了能夠開始順利估計(jì)考生的能力值，一般的CAT都會(huì)設(shè)計(jì)讓考生先練習(xí)作答幾題（大約是三到五題左右），然后再根據(jù)作答結(jié)果的反應(yīng)組型（responsepattern）進(jìn)行初始能力值的估計(jì)。

貝氏估計(jì)法雖然能克服最大近似值估計(jì)法的估計(jì)限制，但在估計(jì)前，卻必需對(duì)考生能力分配有個(gè)適當(dāng)?shù)氖虑胺峙浼僭O(shè)，如果該假設(shè)不當(dāng)?shù)脑?，卻會(huì)產(chǎn)生有偏差的能力估計(jì)值，且因?yàn)樨愂瞎烙?jì)法所得的估計(jì)值常有回歸平均數(shù)的現(xiàn)象，因而無法與最大近似值估計(jì)法的估計(jì)值相比。一般而言，貝氏估計(jì)法所估計(jì)出的能力值的估計(jì)標(biāo)準(zhǔn)誤會(huì)小于考生真正能力分配的標(biāo)準(zhǔn)差。在實(shí)務(wù)運(yùn)用上來看，也許在CAT剛開始估計(jì)考生能力的初期（如剛作答幾題練習(xí)題之后的能力估計(jì)），使用貝氏估計(jì)法來進(jìn)行會(huì)比較適當(dāng)，而在估計(jì)進(jìn)行之后，則改采最大近似值估計(jì)法來替代，會(huì)是一項(xiàng)比較不錯(cuò)的能力估計(jì)策略的搭配。六、終止策略：終止標(biāo)準(zhǔn)最后，CAT進(jìn)行到何時(shí)才結(jié)束？這也是一項(xiàng)重要的決策問題。終止CAT的方法，與前述的選題與計(jì)分方法有很密切的關(guān)聯(lián)。若以試題最大訊息量作為選題標(biāo)準(zhǔn)的話，只要累積已測(cè)過之試題的訊息量總和，到達(dá)某種事先預(yù)定的標(biāo)準(zhǔn)后，便可終止施測(cè)；換句話說，在開始施測(cè)之前，先預(yù)設(shè)一個(gè)測(cè)驗(yàn)訊息量總和值（如：20）或預(yù)設(shè)一個(gè)可被容許的估計(jì)標(biāo)準(zhǔn)誤收斂值（如：.01），然后自題庫(kù)中依序抽出能夠產(chǎn)生最大訊息量的試題給予施測(cè)，并累計(jì)測(cè)驗(yàn)訊息量的總和，一直到測(cè)驗(yàn)訊息量總和或估計(jì)標(biāo)準(zhǔn)誤收斂值達(dá)到事先預(yù)設(shè)的標(biāo)準(zhǔn)為止，即停止施測(cè)。若以貝氏估計(jì)法來選題的話，則可以估計(jì)能力之變異數(shù)小到某個(gè)預(yù)設(shè)的標(biāo)準(zhǔn)時(shí)，便可終止施測(cè)。

此外，根據(jù)過去的施測(cè)經(jīng)驗(yàn)，如果前述這兩種標(biāo)準(zhǔn)均很慢才達(dá)到的話，也可以預(yù)設(shè)施測(cè)試題的上限（如：40題）或固定的作答時(shí)間（如：40分鐘）作為停止施測(cè)的標(biāo)準(zhǔn)，只要累積施測(cè)的題數(shù)達(dá)到上限（即已測(cè)完40題）或作答時(shí)間已到預(yù)定的時(shí)限（即已作答40分鐘），即使尚未達(dá)到預(yù)定測(cè)驗(yàn)訊息量總和的標(biāo)準(zhǔn)，或能力估計(jì)值尚未獲得滿意的估計(jì)標(biāo)準(zhǔn)誤收斂值，也就可以終止施測(cè)，以避免施測(cè)活動(dòng)漫無止境地進(jìn)行下去，徒增考生的作答負(fù)擔(dān)與浪費(fèi)考生的時(shí)間。施測(cè)終止之后，計(jì)算機(jī)即可輸出考生的成績(jī)或打印出測(cè)驗(yàn)的結(jié)果。參、CAT的紙上實(shí)例CAT實(shí)例假設(shè)有一個(gè)假想的，已建置好的題庫(kù)試題及其參數(shù)特征如下:步驟一(1)假設(shè)計(jì)算機(jī)先隨機(jī)挑選出一題，即試題3。因?yàn)樗哂衅骄y度值和最高的鑒別度值。又假設(shè)某考生在這一題上答對(duì)，但此時(shí)的最大近似值估計(jì)法無法進(jìn)行能力估計(jì)，必須等到至少有一題答對(duì)或一題答錯(cuò)才行（因?yàn)?，在MLE估計(jì)法下，全錯(cuò)或全對(duì)的作答組型，會(huì)導(dǎo)致?∞和+∞的能力估計(jì)值）。步驟二(2)其次，假設(shè)計(jì)算機(jī)隨機(jī)選中試題12。因?yàn)樗惹耙粋€(gè)試題較難。又假設(shè)該考生答對(duì)此一試題。至此，最大近似值估計(jì)法仍無法進(jìn)行能力估計(jì)，必須再等下一題的作答結(jié)果。步驟三

步驟四

步驟五

步驟六由上述實(shí)征例子的步驟可知，當(dāng)這些挑題、呈現(xiàn)試題、作答、能力估計(jì)等步驟，都透過計(jì)算機(jī)來執(zhí)行時(shí)，其速度是很快的，能力估計(jì)值也會(huì)很快速和精確地被估計(jì)出來；并且，計(jì)算機(jī)也可以做到「因才施測(cè)」的理想境界，也就是說，計(jì)算機(jī)可以針對(duì)每位考生的表現(xiàn)，挑選最適合該考生作答的試題，并估計(jì)其能力值。因此，每位考生所考到的試題都不一定會(huì)相同，但計(jì)算機(jī)卻可以快速、精確地估計(jì)出其能力值；并且，由于題庫(kù)中的試題都已建立在共同量尺單位上，所以，每位考生被計(jì)算機(jī)估計(jì)出來的能力值，也都是建立在共同量尺單位上，可以直接進(jìn)行彼此間大小和差異的比較，以達(dá)到適性測(cè)驗(yàn)的最終目的。肆、實(shí)施電腦化適性測(cè)驗(yàn)的配套措施實(shí)施CAT的條件1.已建置好的題庫(kù)或計(jì)算機(jī)化題庫(kù)系統(tǒng)。2.待建立的計(jì)算機(jī)化測(cè)驗(yàn)試題已經(jīng)過校準(zhǔn)或量尺化（calibration）。3.適當(dāng)?shù)男睦碛?jì)量學(xué)理論基礎(chǔ)（如：試題反應(yīng)理論（IRT））。4.計(jì)算機(jī)及其周邊設(shè)備。5.適當(dāng)?shù)能浖绦颉?.具使用適性測(cè)驗(yàn)理論與實(shí)務(wù)經(jīng)驗(yàn)的人員。實(shí)施CAT的配套措施1.測(cè)驗(yàn)理論：IRT，已有。2.多媒體科技運(yùn)用：數(shù)位科技，成熟。3.測(cè)