連續(xù)機(jī)率比檢定模式在國(guó)民小學(xué)教學(xué)評(píng)量上之應(yīng)用.doc

連續(xù)機(jī)率比檢定模式在國(guó)民小學(xué)教學(xué)評(píng)量上之應(yīng)用(本文發(fā)表於2003國(guó)際資訊教育研討會(huì))丁子評(píng)臺(tái)中縣立益民國(guó)民小學(xué) .tw7論文摘要本研究主要是結(jié)合線上測(cè)驗(yàn)技術(shù)、連續(xù)機(jī)率比檢定模式 (Sequential Probability Ratio Test，簡(jiǎn)稱(chēng)SPRT) 及傳統(tǒng)電腦化測(cè)驗(yàn)(conditional computerize test，簡(jiǎn)稱(chēng)CCT)，以建構(gòu)一個(gè)線上精熟判定測(cè)驗(yàn)系統(tǒng)，並以此系統(tǒng)實(shí)際應(yīng)用於國(guó)民小學(xué)班級(jí)教學(xué)評(píng)量的實(shí)務(wù)工作。研究結(jié)果顯示：一、SPRT模式與CCT模式在判定的一致性上，以百分比一致性指標(biāo)(Pa)來(lái)看，達(dá)0.86。若排除機(jī)遇因素，以係數(shù)來(lái)考驗(yàn)，值為0.72，達(dá)到.01顯著水準(zhǔn)。由此可知兩模式對(duì)精熟判定具有高度的一致性。二、就兩模式的答題數(shù)來(lái)比較，整體而言，SPRT模式在答題數(shù)的效率上，比CCT模式高出約34%。三、再?gòu)膬赡Ｊ降氖褂脮r(shí)間來(lái)比較，整體而言，SPRT模式在省時(shí)的效率上，比CCT模式節(jié)省約25%。四、SPRT的施測(cè)程序裡，伺服器所耗用的時(shí)間，僅占整個(gè)測(cè)驗(yàn)時(shí)間的0.87%，施測(cè)過(guò)程十分流暢。因此，SPRT模式一個(gè)施測(cè)效率高、測(cè)驗(yàn)結(jié)果可信的系統(tǒng)，很適合運(yùn)用於國(guó)民小學(xué)班級(jí)實(shí)務(wù)的教學(xué)評(píng)量中。關(guān)鍵字：線上測(cè)驗(yàn)、連續(xù)機(jī)率比檢定(SPRT)、電腦化測(cè)驗(yàn)(CCT)、教學(xué)評(píng)量。前言一、研究背景及動(dòng)機(jī)近年來(lái)，由於電腦科技的進(jìn)步，以及適性化測(cè)驗(yàn)理論的發(fā)展，使得電腦化適性測(cè)驗(yàn)的理念得以落實(shí)到現(xiàn)行的教育環(huán)境。再加上民國(guó)八十八年，教育部推動(dòng)資訊教育擴(kuò)大內(nèi)需方案，全面普及了國(guó)民小學(xué)的電腦教學(xué)設(shè)備，各學(xué)校的資訊設(shè)備已能符合一般需求。然而在目前而言，電腦化的施測(cè)模式，大多數(shù)屬於傳統(tǒng)電腦化測(cè)驗(yàn)(conditional computerize test，簡(jiǎn)稱(chēng)CCT)，也就是紙筆測(cè)驗(yàn)的電腦化。測(cè)驗(yàn)介面雖然換成了電腦，但測(cè)驗(yàn)的作答及計(jì)分方式仍不脫傳統(tǒng)紙筆測(cè)驗(yàn)的範(fàn)疇，頂多增加了多媒體的呈現(xiàn)效果。此外，某些以研究為目的，發(fā)展出來(lái)的電腦化適性測(cè)驗(yàn)系統(tǒng)，則大多採(cǎi)用現(xiàn)代測(cè)驗(yàn)的理論中的試題反應(yīng)理論(Item Response Theory，簡(jiǎn)稱(chēng)IRT)，做為測(cè)驗(yàn)?zāi)Ｊ降脑O(shè)計(jì)。不過(guò)以IRT為基礎(chǔ)的適性測(cè)驗(yàn)，有其理論假定上的限制。例如，參數(shù)模式運(yùn)算的繁複及大量的樣本需求等。這樣的限制，在國(guó)民小學(xué)實(shí)際的班級(jí)教學(xué)評(píng)量上，有其運(yùn)用上的困難。另外還有一種連續(xù)機(jī)率比檢定 (Sequential Probability Ratio Test，簡(jiǎn)稱(chēng)SPRT)的測(cè)驗(yàn)?zāi)Ｊ?，SPRT模式只適於精熟判定的測(cè)驗(yàn)，測(cè)驗(yàn)結(jié)果僅區(qū)分精熟與未精熟兩個(gè)結(jié)果。其理論淺顯易懂，使用上限制較少，且不需繁複的計(jì)算過(guò)程，適合用在一般的班級(jí)教學(xué)評(píng)量上。且以班級(jí)教學(xué)情境而言，教師能了解學(xué)生是否達(dá)到預(yù)定的學(xué)習(xí)成效，比估算學(xué)生之間的成績(jī)高低來(lái)得重要。職是之故，本研究準(zhǔn)備利用連續(xù)機(jī)率比檢定模式，來(lái)建置一個(gè)可以在校園網(wǎng)路線上施測(cè)的測(cè)驗(yàn)環(huán)境，並與傳統(tǒng)電腦化測(cè)驗(yàn)?zāi)Ｊ奖容^，分析兩者在精熟判定上之一致性及施測(cè)效率。以期能建置一個(gè)節(jié)省時(shí)間與人力，且具測(cè)驗(yàn)效率測(cè)驗(yàn)環(huán)境。二、研究目的本研究將建置一個(gè)可以在網(wǎng)際網(wǎng)路上施測(cè)的精熟判定測(cè)驗(yàn)系統(tǒng)，以期用省時(shí)、便利又兼顧個(gè)別化的測(cè)驗(yàn)方式，達(dá)到診斷學(xué)生學(xué)習(xí)成效及評(píng)定學(xué)生學(xué)習(xí)成就的目的。並且從中探究，SPRT模式與CCT模式在精熟判定上之一致性及SPRT模式之使用效率為何？文獻(xiàn)探討一、連續(xù)機(jī)率比檢定模式連續(xù)機(jī)率比檢定(Sequential Probability Ratio Test；簡(jiǎn)稱(chēng)SPRT)，是於1947年由Wald所發(fā)展出來(lái)的一種連續(xù)性分析的決策模式。早期是用於第二次世界大戰(zhàn)時(shí)，美國(guó)軍備製造之品質(zhì)管制上。1969年時(shí)，F(xiàn)erguson首次將其應(yīng)用於教育測(cè)驗(yàn)的領(lǐng)域，用來(lái)判定學(xué)生在電腦化精熟測(cè)驗(yàn)(mastery testing)上，精熟或未精熟(mastery or non-mastery)的決策模式。(一)SPRT模式原理SPRT模式的運(yùn)作原理，是基於對(duì)受試者答題能力可能性(likelihood)的一種估計(jì)，且這個(gè)估計(jì)值，要拿來(lái)與兩個(gè)假設(shè)比較。這兩個(gè)假設(shè)，一個(gè)是精熟者的最低能力值，另一則是未精熟者的最高能力值。如果這兩個(gè)能力值的可能性估計(jì)，有其中一個(gè)的可能性機(jī)率很明顯的大於另一個(gè)，則受試者的能力將被判定。若能力估計(jì)值落於兩者之間，則能力估計(jì)將繼續(xù)進(jìn)行下去。整個(gè)模式其假設(shè)及決策過(guò)程如下(莊智陵，民89)：SPRT模式的兩大假設(shè) 其中Hm:受試者精熟的假設(shè)；Hnm:受試者未精熟的假設(shè)；P：受試者答對(duì)題目的機(jī)率；Pm：精熟標(biāo)準(zhǔn)；Pnm：未精熟標(biāo)準(zhǔn)。當(dāng)Hm假設(shè)成立時(shí)，即表示達(dá)到精熟的標(biāo)準(zhǔn)；反之，Hnm假設(shè)成立時(shí)，表示未達(dá)到精熟的標(biāo)準(zhǔn)。以上任何一種假設(shè)成立時(shí)，測(cè)驗(yàn)隨即終止。而實(shí)際上，SPRT的檢定，是採(cǎi)用受試者連續(xù)答對(duì)題目的機(jī)率與連續(xù)答錯(cuò)題目的機(jī)率之比值，來(lái)與依據(jù)事先設(shè)定之第一類(lèi)型錯(cuò)誤(Type I error)及第二類(lèi)型錯(cuò)誤(Type II error)，所計(jì)算出來(lái)之精熟、未精熟決斷點(diǎn)作比較。上述的各項(xiàng)機(jī)率及計(jì)算方法，可用下列公式來(lái)說(shuō)明(李源煌，民84)：L(X1,X2,X3,Xn|1)=P(Xi|1) 公式(1)L(X1,X2,X3,Xn|0)=P(Xi|0) 公式(2)L(X1,X2,X3,Xn|1)=P(Xi|1)L(X1,X2,X3,Xn|0)=P(Xi|0)=公式(3) 公式(3)upper decision point= A = 公式(4)lower decision point= B = 公式(5)上述公式中：(1)為具備精熟能力(1)者，連續(xù)答對(duì)題目之機(jī)率、(2)為能力未精熟()者，連續(xù)答錯(cuò)題目之機(jī)率、(3)為受試者連續(xù)答對(duì)與答錯(cuò)題目之機(jī)率比值、(4)為判定受試者為精熟者之決斷點(diǎn)、(5)為判定受試者為未精熟者之決斷點(diǎn)。:Type I error，表示受試者雖被判定為精熟，但實(shí)際上為不精熟的可能性。: Type II error，表示受試者雖被判定為不精熟，但實(shí)際上為精熟的可能性。若值明顯大於，則受試者將被判定為精熟者；若值明顯小於，則受試者將被判定為未精熟者從上述的公式可看出，SPRT模式運(yùn)作的原理是要估計(jì)受試者連續(xù)答題的答對(duì)與答錯(cuò)機(jī)率，並且與兩個(gè)相互對(duì)立的假設(shè)做比較。在實(shí)際計(jì)算時(shí)，由於在施測(cè)第一題前，對(duì)受試者的精熟估計(jì)並無(wú)任何依據(jù)，因此其先前精熟與不精熟的估計(jì)均設(shè)為0.5，且當(dāng)試題的反應(yīng)結(jié)果符合二項(xiàng)式分配(每題只有答對(duì)及答錯(cuò)兩種結(jié)果)時(shí)，則計(jì)算程序可簡(jiǎn)化如下式(修改自Reckase,1981,1983)：公式(6) LR：受試者連續(xù)答對(duì)與答錯(cuò)題目的機(jī)率比值Pm：精熟者答對(duì)題目的可能性Pnm：未精熟者答對(duì)題目的可能性r :受試者目前答題情形，答對(duì)則r=1，否則r=0。w:受試者目前答題情形，答錯(cuò)則w=1，否則w=0。當(dāng)LR值夠大時(shí)，就接受Hm；若夠小，則接受Hnm。而決定LR值是否夠大或夠小，就取決於、的設(shè)定。當(dāng)、確定之後，便可訂出精熟決斷點(diǎn)(upper decision point for mastery; UDP)及未精熟決斷點(diǎn)(lower decision point for nonmastery; LDP)。(三)SPRT模式的特性與限制SPRT模式具有下列兩項(xiàng)特點(diǎn)：1.不考慮試題的特徵參數(shù)，例如：難度、鑑別度、猜測(cè)度等。2.不需依據(jù)受試者的成就水準(zhǔn)選擇試題，而採(cǎi)用隨機(jī)選題。(Frick,1989;Plew,1989)而根據(jù)模擬研究的結(jié)果顯示(李源煌，民84)：1. 即使題目難度同質(zhì)，但當(dāng)難度均偏向太難或太容易時(shí)，SPRT模式就不能作出正確決策。2. 排除上述一之因素，當(dāng)題目的難度增加時(shí)，SPRT愈具決策效率。3. 當(dāng)測(cè)驗(yàn)題目不是同質(zhì)時(shí)，設(shè)定=.05 =.20且未決策區(qū)(Pm-Pnm)=.20時(shí)，SPRT仍可作出正確決策。 因此，SPRT可以說(shuō)是一種有效的決策理論，僅需以較少的題目即可判定受試者是否達(dá)到精熟。對(duì)精熟受試者而言，總答題數(shù)將會(huì)比答完全部試題少得多；而對(duì)未精熟者而言，更不用浪費(fèi)時(shí)間在盲目的猜測(cè)上。因此僅需以較少的題目即可判定學(xué)生學(xué)習(xí)是否精熟。不過(guò)，SPRT模式仍有其先天上的限制：1. 只適用於精熟與未精熟的判定，無(wú)法具體估計(jì)每一位受試者的成就等級(jí)。2. 當(dāng)受試者能力不呈常態(tài)分佈時(shí)，SPRT會(huì)出現(xiàn)較大的測(cè)量誤差(莊智陵，民89)。然而SPRT模式，雖只將受試者能力分為精熟與未精熟兩個(gè)區(qū)段，測(cè)驗(yàn)結(jié)果僅決定受試者的能力位於哪一個(gè)區(qū)間(莊智陵，民89)。但若只是要驗(yàn)證單元教學(xué)成果，或評(píng)定學(xué)生學(xué)習(xí)成效，作為是否進(jìn)行下一單元教學(xué)或?qū)嵤┭a(bǔ)救教學(xué)的參考時(shí)，SPRT模式是一套簡(jiǎn)易、經(jīng)濟(jì)且有效的測(cè)驗(yàn)?zāi)Ｊ?。二、電腦化線上測(cè)驗(yàn)(一)線上測(cè)驗(yàn)的發(fā)展現(xiàn)況目前國(guó)內(nèi)建置在網(wǎng)際網(wǎng)路上，有關(guān)學(xué)生學(xué)習(xí)評(píng)量之線上測(cè)驗(yàn)系統(tǒng)或網(wǎng)站，數(shù)量非常的多。研究者以線上測(cè)驗(yàn)為關(guān)鍵字，利用Google蒐尋引擎(民91年11月2日)查詢國(guó)內(nèi)網(wǎng)站的相關(guān)資訊，針對(duì)線上測(cè)驗(yàn)的實(shí)施方式來(lái)分析，可整理如表1。表1 國(guó)內(nèi)線上測(cè)驗(yàn)網(wǎng)站採(cǎi)用之測(cè)驗(yàn)?zāi)Ｊ礁艣r表測(cè)驗(yàn)?zāi)Ｊ骄W(wǎng)站名稱(chēng)模式模式模式智慧型線上適性測(cè)驗(yàn)系統(tǒng)OO多媒體線上測(cè)系統(tǒng)OO線上適性測(cè)驗(yàn)系統(tǒng)OO線上測(cè)驗(yàn)服務(wù)中心OO實(shí)踐國(guó)小線上測(cè)驗(yàn)OO國(guó)小音樂(lè)科教學(xué)資源中心測(cè)驗(yàn)題庫(kù)OO士林高商線上測(cè)驗(yàn)OO從表2-2的分析可以看出，目前國(guó)內(nèi)線上測(cè)驗(yàn)的模式，屬於傳統(tǒng)紙筆測(cè)驗(yàn)的電腦化的模式居多，這部分大都開(kāi)放給一般使用者試用；採(cǎi)用IRT模式者較少，且未普遍開(kāi)放給一般使用者試用，多屬研究者之研究工具；採(cǎi)用SPRT模式者，在筆者整理時(shí)，尚未發(fā)現(xiàn)。(二)線上測(cè)驗(yàn)的開(kāi)發(fā)技術(shù)1.全球資訊網(wǎng)由於現(xiàn)代網(wǎng)際網(wǎng)路技術(shù)的成熟，電腦強(qiáng)大的運(yùn)算能力與網(wǎng)路無(wú)遠(yuǎn)費(fèi)屆的特性，大大提供了線上測(cè)驗(yàn)的可行性。其中全球資訊網(wǎng)(World Wide Web，簡(jiǎn)稱(chēng)WWW)的功能，為線上測(cè)驗(yàn)提供了一個(gè)完善的介面。瀏覽器與Web伺服器之間的基本運(yùn)作結(jié)構(gòu)，可用圖1來(lái)表示。Web伺服器瀏覽器發(fā)出請(qǐng)求Web伺服器傳遞資料瀏覽器 圖1 瀏覽器與Web伺服器運(yùn)作圖不過(guò)原始的HTML文件，只是單向的傳送資訊，並無(wú)法與使用者產(chǎn)生互動(dòng)。 2.動(dòng)態(tài)伺服器網(wǎng)頁(yè)然而自從Microsoft發(fā)展出動(dòng)態(tài)伺服器網(wǎng)頁(yè)(Active Serve Page，簡(jiǎn)稱(chēng)ASP)的技術(shù)後，使得網(wǎng)頁(yè)不僅可以俱備互動(dòng)式的功能，且可以依使用者的需求產(chǎn)生動(dòng)態(tài)網(wǎng)頁(yè)，大幅提高WWW網(wǎng)頁(yè)系統(tǒng)開(kāi)發(fā)之效率(李連順，民89)。ASP是一種執(zhí)行於伺服器端的指令，並不能夠單獨(dú)存在，它必須要配合Web伺服器來(lái)運(yùn)作，通常均與Microsoft Windows NT/2000的Internet Information Server(IIS)搭配使用。當(dāng)Web伺服器接到來(lái)自用戶端的檔案要求時(shí)，它便會(huì)先處理檔案中的ASP指令，然後建構(gòu)出一個(gè)HTML檔案送回用戶端。ASP指令除了可以讓網(wǎng)頁(yè)具有互動(dòng)的功能外，它也允許使用Active Data Object(簡(jiǎn)稱(chēng)ADO物件)的技術(shù)，透過(guò)ADO物件的功能，便能很方便的來(lái)存取符合ODBC或OLE DB標(biāo)準(zhǔn)的資料庫(kù)。綜合以上，ASP的功能有下列幾點(diǎn)：(1)ASP指令可以在伺服器內(nèi)部處理後，再送到用戶端，可以使程式碼具有保密性。(2)ASP提供內(nèi)建物件，有五大物件可供使用，並可以與IIS緊密結(jié)合，使系統(tǒng)開(kāi)發(fā)更容易(陳宗興，民86)。(3)使用戶端的平臺(tái)相容單純化，具有跨平臺(tái)、跨瀏覽器的好處。(4)具有良好的安全性與執(zhí)行效率(李連順，民89)。(5)讓使用者更方便使用資料庫(kù)。研究設(shè)計(jì)一、系統(tǒng)架構(gòu)本測(cè)驗(yàn)系統(tǒng)分為系統(tǒng)管理、題庫(kù)預(yù)試、學(xué)生受測(cè)三個(gè)主要部分。各部分之功能架構(gòu)可用圖2來(lái)表示。圖2 SPRT & CCT施測(cè)系統(tǒng)架構(gòu)圖二、研究工具(一)電腦硬體設(shè)備需求：本系統(tǒng)實(shí)際運(yùn)作執(zhí)行之Web伺服器設(shè)備，規(guī)格如下：(1)CPU為Intel Pentium 350；(2)RAM為128MB；(3)Harddisk容量為10GB；(4)區(qū)域網(wǎng)路為100MB之Ethernet，對(duì)外為ADSL。(二)國(guó)小五年級(jí)上學(xué)期自然科學(xué)素養(yǎng)測(cè)驗(yàn)題庫(kù)為配合實(shí)際教學(xué)情境，筆者依據(jù)康軒版國(guó)小自然科第九冊(cè)生活中的酸與鹼單元，依其教學(xué)目標(biāo)編製小範(fàn)圍之國(guó)小五年級(jí)上學(xué)期自然科學(xué)素養(yǎng)測(cè)驗(yàn)題庫(kù)，以做為系統(tǒng)施測(cè)時(shí)之測(cè)驗(yàn)題庫(kù)。試題主要以測(cè)量自然科學(xué)認(rèn)知能力為主，每題均為四選一之單選題，原編擬43題，經(jīng)預(yù)試後保留30題。三、資料處理(一)試題分析採(cǎi)用精熟組與未精熟組比較之鑑別度指標(biāo)，其計(jì)算公式如下：其中為鑑別度指標(biāo)，、分別為精熟組與未精熟組受試者的答對(duì)百分率(余民寧，民86)。本題庫(kù)經(jīng)預(yù)試後，保留值在.20.80之間的試題，作為系統(tǒng)施測(cè)時(shí)之試題。 (二)正式施測(cè)1.精熟判定一致性分析:採(cǎi)用百分比一致性指標(biāo)及係數(shù)來(lái)分析SPRT與CCT模式在判定上的一致性。2.效率分析：(1)比較受試者在SPRT與CCT的施測(cè)模式上之平均作答時(shí)間與答題數(shù)。(2)比較SPRT與CCT模式的電腦運(yùn)作時(shí)間。施測(cè)結(jié)果與討論一、運(yùn)作效能系統(tǒng)運(yùn)作效能測(cè)試，是利用臺(tái)中縣某國(guó)小的電腦教室實(shí)施，測(cè)驗(yàn)系統(tǒng)伺服器亦架設(shè)在該國(guó)小內(nèi)。施測(cè)時(shí)，同時(shí)有卅二卅四人上機(jī)受測(cè)，其系統(tǒng)運(yùn)作效能分析如表2所示：表2 系統(tǒng)運(yùn)作效能分析表施測(cè)模式比較項(xiàng)目SPRT模式CCT模式受試者平均總受測(cè)時(shí)間(秒)353.51467.73伺服器運(yùn)作時(shí)間(秒)3.060.20伺服器運(yùn)作時(shí)間占用之百分比0.87%0.04%受試者端接收延遲或等待情形無(wú)延遲無(wú)延遲從表2的運(yùn)作結(jié)果可以看出，伺服器端在整個(gè)施測(cè)過(guò)程中，占用的時(shí)間非常少。在SPRT模式中，只占0.87%，在CCT模式中更僅占0.04%。加上由於是在區(qū)域網(wǎng)路內(nèi)傳輸資料，對(duì)使用者而言，幾乎感覺(jué)不到網(wǎng)路傳輸延遲的情況，在系統(tǒng)的運(yùn)作上可說(shuō)是十分流暢。二、施測(cè)結(jié)果系統(tǒng)建置完成後，對(duì)臺(tái)中縣某國(guó)小五年級(jí)327名學(xué)生進(jìn)行施測(cè)。題庫(kù)總試題數(shù)為30題，施測(cè)後實(shí)際有效的登錄成績(jī)有307筆，其受測(cè)結(jié)果分述如下：(一)SPRT與CCT判定一致性之結(jié)果比較利用SPRT與CCT模式對(duì)受試者施測(cè)後，受試者在兩模式的測(cè)驗(yàn)結(jié)果如表3所示。表3 SPRT與CCT模式之測(cè)驗(yàn)結(jié)果SPRTCCT精熟未精熟合計(jì)精熟14037177未精熟6124130合計(jì)146161307Pa0.46+0.40=0.86從上表可得知，兩模式判定之百分比一致性指標(biāo)(Pa)為0.86。若要排除機(jī)遇的成份，則以係數(shù)來(lái)考驗(yàn)，結(jié)果如表4所示。表4 測(cè)驗(yàn)結(jié)果之Kappa統(tǒng)計(jì)量數(shù)表Pc=0.27+0.22=0.49=0.72p.01從表4可知，排除機(jī)遇因素後，兩者判定結(jié)果達(dá)到百分之七十二的一致性；其一致性達(dá)到.01之顯著水準(zhǔn)。(二)作答題數(shù)比較結(jié)果在SPRT模式中，大部分的受試者(占76.9%)並未答完所有試題，便已被判定為精熟或未精熟，不過(guò)仍有71位受試者(占23.1%)至答完全部試題後，才接受判定。SPRT與CCT模式受試者作答題數(shù)比較，整體而言，SPRT模式在答題數(shù)的效率上，比CCT模式高出約34%。若扣除在SPRT中也同樣答完全部試題者，那麼SPRT模式在答題數(shù)的效率上，更比CCT模式高出約44%。(三)作答時(shí)間比較結(jié)果SPRT與CCT模式受試者作答時(shí)間比較，整體而言，SPRT模式在省時(shí)的效率上，比CCT模式節(jié)省約25%。若扣除在SPRT中也同樣答完全部試題者，那麼SPRT模式在答題數(shù)的效率上，更比CCT模式節(jié)省約38%。結(jié)論與建議一、結(jié)論(一)系統(tǒng)效率據(jù)系統(tǒng)實(shí)際施測(cè)的結(jié)果，在整個(gè)SPRT的施測(cè)時(shí)間裡，伺服器所占用的時(shí)間僅有0.87%，施測(cè)過(guò)程十分流暢。(二)模式比較1.精熟判定一致性SPRT模式與CCT模式在判定的一致性上，以百分比一致性指標(biāo)(Pa)來(lái)看，達(dá)0.86。若排除機(jī)遇因素，以係數(shù)來(lái)考驗(yàn)，值為0.72，達(dá)到.01顯著水準(zhǔn)。由此可知兩模式對(duì)精熟判定具有高度的一致性。2.答題數(shù)比較以SPRT模式施測(cè)時(shí)，有76.9%的受試者，不須答完全部試題，系統(tǒng)便能判定其精熟類(lèi)別，整體而言，SPRT模式在答題數(shù)的效率上，比CCT模式高出約34%。3.使用時(shí)間比較整體而言，SPRT模式在省時(shí)的效率上，比CCT模式節(jié)省約25%?？偠灾瑥膶?shí)際的施測(cè)結(jié)果來(lái)看，SPRT模式與CCT模式的判定結(jié)果一致性非常高，而在使用時(shí)間、作答題數(shù)上，SPRT模式的效率均優(yōu)於CCT模式。二、建議(一)應(yīng)用建議本研究所發(fā)展的線上精熟判定系統(tǒng)，經(jīng)研究結(jié)果顯示，是一個(gè)施測(cè)效率高且測(cè)驗(yàn)結(jié)果可信的系統(tǒng)，很適合用於國(guó)民小學(xué)班級(jí)實(shí)務(wù)的教學(xué)評(píng)量中。然因研究本身的限制，雖能在網(wǎng)際網(wǎng)路上運(yùn)作，但是受限於網(wǎng)路傳輸?shù)牟环€(wěn)定性，及受試者身份難以認(rèn)證的問(wèn)題，故目前僅適用於在區(qū)域網(wǎng)路的電腦教室內(nèi)，在有教師監(jiān)控的情況下實(shí)施。將來(lái)若能克服上述兩個(gè)問(wèn)題，達(dá)到即時(shí)群測(cè)與隨時(shí)點(diǎn)測(cè)的雙重功能，則更能發(fā)揮線上測(cè)驗(yàn)的功效。(二)未來(lái)研究方向本研究?jī)H使用單一個(gè)題庫(kù)同時(shí)進(jìn)行兩種模式的精熟判定測(cè)驗(yàn)，雖在第一階段的測(cè)驗(yàn)中並未公布答案，然對(duì)第二階段的答題時(shí)間而言，應(yīng)會(huì)造成某一程度的影響，未來(lái)若能發(fā)展出複本題庫(kù)，利用複本題庫(kù)分別進(jìn)行兩個(gè)模式的精熟判定測(cè)驗(yàn)，當(dāng)更能精確比較出兩模式的運(yùn)作效率。參考文獻(xiàn)一、中文部分士林高商線上測(cè)驗(yàn)網(wǎng)站(民91年)。民91年11月2日，取自.tw/bintest/古松民(民89)。線上適性測(cè)驗(yàn)系統(tǒng)網(wǎng)站。民91年11月2日，取自93/cat/多媒體線上測(cè)系統(tǒng)網(wǎng)站(民91)。民91年11月2日，取自40/olt/余民寧(民86)。教育測(cè)驗(yàn)與評(píng)量。臺(tái)北市：心理出版李連順(民89)。國(guó)中生活科技線上測(cè)驗(yàn)系統(tǒng)發(fā)展研究。國(guó)立高雄師範(fàn)大學(xué)工業(yè)科技教育學(xué)系碩士論文。李源煌(民84)。效標(biāo)參照測(cè)驗(yàn)之題目難度分配型態(tài)對(duì)循序漸進(jìn)機(jī)率比率決策模式(SPRT)判別學(xué)生學(xué)習(xí)精熟或未精熟之影響。測(cè)驗(yàn)?zāi)昕?2輯，415-430頁(yè)。國(guó)小音樂(lè)科教學(xué)資源中心測(cè)驗(yàn)題庫(kù)網(wǎng)站(民91年)。民91年11月2日，取自.tw/music/test.htm國(guó)立臺(tái)南師範(fàn)學(xué)院資訊教育研究所(民89)。智慧型線上適性測(cè)驗(yàn)系統(tǒng)網(wǎng)站。民91年9月15日，取自.tw/play/default.php3康軒文化有限公司(民90年)。國(guó)小自然第九冊(cè)課本、習(xí)作、教學(xué)指引。臺(tái)北：康軒文化有限公司。莊智陵(民89)。SPRT電腦適性測(cè)驗(yàn)對(duì)國(guó)中學(xué)生受測(cè)態(tài)度影響之研究以中山國(guó)中二年級(jí)為例。私立淡江大學(xué)教育科技學(xué)系碩士論文。陳宗興(民86)。Visual InterDev學(xué)習(xí)手冊(cè)。臺(tái)北市：松崗電腦圖書(shū)公司。實(shí)踐國(guó)小(民91)。實(shí)踐國(guó)小線上測(cè)驗(yàn)網(wǎng)站。民91年9月15日，取自.tw/linea.htm線上測(cè)驗(yàn)服務(wù)中心網(wǎng)站(民91)。民91年11月2日，取自/二、英文部分Ferguson, R. (1969). Computer-assisted criterion-referenced measurement (Report WP-41).Pittsburgh: Pittsburgh University, Learning Research and Development Center.Frick, T. (1989). Bayesian adaptation during computer-based