計算機化自適應(yīng)測驗研究綜述

1、 計算機化自適應(yīng)測驗研究綜述 胡悅陳俊Summary 計算機化自適應(yīng)測驗（CAT）是教育測評發(fā)展的必然趨勢。采用內(nèi)容分析法，對19982016年4月公開發(fā)表在國內(nèi)學術(shù)期刊的計算機化自適應(yīng)測驗相關(guān)論文以及碩博論文進行量的統(tǒng)計和質(zhì)的分析，以期揭示19982016年4月，我國計算機化自適應(yīng)測驗的研究現(xiàn)狀、問題及其主要成果，為相關(guān)學者的學習研究提供參考。Keys 計算機化自適應(yīng)測驗；文獻研究；碩博論文G652 ：B：1671-489X（2017）04-0066-04Abstract Computerized adaptive testing is the inevitable trend of edu

2、cation evaluation development. We used the content analysis me-thod to analysis the statistical and qualitative characteristics of thesison computerized adaptive testing， which publish in the domestic aca-demic journals and the master and the doctor s thesis in 1998 to 2016in order to reveal the res

3、earch status， questions， and main achieve-ments of 1998 to 2016 domestic computerized adaptive testing， inorder to provide reference for the study and research related to aca-demics.Key words computerized adaptive testing； literature research； masterand the doctors thesis1 引言隨著時代的進步，許多大型測驗（如GRE、TOEF

4、L等）1已經(jīng)采用計算機化自適應(yīng)測驗，江西師范大學自1987年至今也編制了一系列的CAT2，未來測驗的主要形式也將成為具有自適應(yīng)性的測驗。計算機化自適應(yīng)測驗（CAT）這種依靠大型題庫靈活施測且因人施考的測驗形式，正是符合當今社會需求的一種測驗，也是未來測驗發(fā)展的必然趨勢。與傳統(tǒng)測驗相比，它針對不同水平層次的考生提供不同的題目，可以更加客觀、準確地測驗出考生的真實能力和水平，可實現(xiàn)測驗的有效性。同時，計算機化自適應(yīng)測驗不會受考試時間與空間的限制，測驗更加靈活，可保證測驗的公平性。計算機化自適應(yīng)測驗正隨著各種新的考試理論的發(fā)展而蓬勃發(fā)展。本文以“計算機化自適應(yīng)測驗”“計算機化自適應(yīng)測試”“計算機化自

5、適應(yīng)考試”為Keys，對中國知網(wǎng)資源庫19982016年4月內(nèi)文獻進行整理、統(tǒng)計，分析得出我國計算機化自適應(yīng)測驗的研究綜述。2 計算機化自適應(yīng)測驗簡述從單機考試系統(tǒng)到計算機化自適應(yīng)測驗，考試作為衡量教育效果和學生能力的重要手段，正經(jīng)歷網(wǎng)絡(luò)化、無紙化的變革3。計算機化自適應(yīng)測驗依靠大型題庫，采用現(xiàn)代測量理論，自行去適應(yīng)被試水平，靈活施測難度最恰當且性能優(yōu)良的項目，從而實現(xiàn)對被試的高效測量4。2007年，Elissavet等提出計算機化自適應(yīng)測驗系統(tǒng)主要包括四部分：1）題庫；2）選題策略；3）能力估計方法；4）終止條件5。張華華認為，在CAT中，怎樣從題庫中選擇題目是一個重要的問題6。選題策略作為

6、CAT的重要組成部分，它的好壞直接影響到測驗效率和題庫的安全性以及測驗的成本7。3 研究對象與數(shù)據(jù)來源研究對象 本研究的研究對象是19982016年4月公開發(fā)表在國內(nèi)學術(shù)期刊上、在19982016年4月發(fā)表的碩博論文中關(guān)于計算機化自適應(yīng)測驗研究的學術(shù)性文章與論文。選取Keys為“計算機化自適應(yīng)測驗”“計算機化自適應(yīng)測試”“計算機化自適應(yīng)考試”，在中國期刊全文數(shù)據(jù)庫以及碩博論文數(shù)據(jù)庫中進行檢索，經(jīng)過檢索并分揀，考慮到本文旨在整理與分析計算機自適應(yīng)測驗的研究成果，所以在統(tǒng)計時剔除非學術(shù)性文章，最終獲得期刊文獻64篇、碩博論文22篇。研究方法 本文采用文獻研究法與內(nèi)容分析法，并利用Microsoft

7、 Excel從論文的作者、作者署名單位、來源期刊、研究領(lǐng)域、研究內(nèi)容等方面對檢索到的86篇文獻進行分類。由于碩博論文與期刊文章在內(nèi)容與形式上有所區(qū)別，本研究將對碩博論文與期刊文章分別從不同的角度進行統(tǒng)計研究。4 數(shù)據(jù)統(tǒng)計與分析載文基本情況 19982016年4月國內(nèi)學術(shù)期刊共登載了64篇計算機化自適應(yīng)測驗論文，碩博論文數(shù)據(jù)庫中共有22篇計算機化自適應(yīng)測驗碩博論文，可見關(guān)于計算機化自適應(yīng)測驗研究的期刊文章明顯多于碩博論文。以作者陳平為例，發(fā)表計算機化自適應(yīng)測驗相關(guān)期刊文章4篇，碩博論文1篇。筆者認為主要原因在于研究的產(chǎn)出比，每個碩博作者最終只能有一篇碩博論文，而期刊文章，一名作者可發(fā)表多篇，這在

8、很大程度上決定了碩博論文相對于期刊文章是一種低產(chǎn)的狀態(tài)。碩博論文自2004年開始才有人研究計算機化自適應(yīng)測驗，而自1998年已經(jīng)有學者開始研究并發(fā)表在期刊上，這也可以說明，對于計算機化自適應(yīng)測驗的研究，期刊文章對于碩博論文是具有一定的導向作用的。19982016年4月國內(nèi)學術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文來自25種期刊，其中刊載文章數(shù)超過1篇的刊物有9種，按刊載文章數(shù)量對其由高到低排序如表1所示。其中有21篇公開發(fā)表在CSSCI來源期刊，占文獻總數(shù)的32.81%。 由表1可以看出，江西師范大學學報心理學報中國考試心理科學進展是19982016年4月我國計算機化自適應(yīng)測驗研究論文發(fā)表的主

9、要期刊。其中有4種期刊是心理學相關(guān)期刊，共19篇文章；兩種關(guān)于考試的期刊。由此可知，心理學理論對計算機化自適應(yīng)測驗的研究支撐度為29.69%，心理學為計算機化自適應(yīng)測驗的研究起到重要的支撐作用。研究者分析1）合作研究分析。19982016年4月國內(nèi)學術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文中，獨立作者發(fā)表的文章12篇，兩人及以上作者發(fā)表的文章52篇，具體統(tǒng)計情況見表2。如表2所示，在這64篇文章中，合作研究的論文占總文章數(shù)的81.25%，平均作者數(shù)為2.44人。由此可見，我國19982016年4月計算機化自適應(yīng)測驗研究以合作研究為主。與此同時，合作研究也為高質(zhì)量論文做出了貢獻。發(fā)表在CSSCI

10、來源期刊的21篇文章中，以獨立作者名義發(fā)表的論文數(shù)為兩篇，所占比例為9.52%；合作發(fā)表的文章數(shù)為19篇，所占比例為90.48%。2）論文作者分析。對19982016年4月國內(nèi)學術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文的作者進行統(tǒng)計，統(tǒng)計結(jié)果見表3。其中丁樹良與甘登文所在單位為江西師范大學，辛濤和陳平所在單位為北京師范大學心理發(fā)展研究所，毛秀珍所在單位為四川師范大學。對作者合作研究的情況作進一步研究，參考科學知識圖譜可視化分析方法8，對發(fā)表文章數(shù)量在2篇及以上的作者進行統(tǒng)計，結(jié)果見圖1（圖1中直線的粗細代表合作研究論文的數(shù)量，線條越粗代表合作文章數(shù)量越多，線條越細代表合作文章數(shù)量越少；獨立作者

11、發(fā)表文章的數(shù)量利用圓圈表示，圓圈線條的粗細與直線線條粗細意義相同，且直線與圓圈線條均采用相同比例）。由圖1可知，毛秀珍、辛濤、陳平、丁樹良、甘登文形成學術(shù)研究團隊效應(yīng)，且丁樹良和甘登文合作最為密切。3）文章作者單位排序。19982016年4月國內(nèi)學術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文中，有5家單位發(fā)表超過兩篇文章，見表4。19982016年4月發(fā)表在中國知網(wǎng)的碩博論文共22篇，分別來自7所不同的學校，見表5。由表1文章來源期刊排序表中也可以看到，發(fā)表在江西師范大學學報上的關(guān)于計算機化自適應(yīng)測驗文章最多，占總數(shù)的20.31%。由表3可知，發(fā)表論文最多的是江西師范大學的丁樹良，占總數(shù)的31.2

12、5%；甘登文工作單位也為江西師范大學，發(fā)文數(shù)占總數(shù)的6.25%，兩人共占37.5%。由表4可知，有42.18%的文章的作者單位為江西師范大學，那么由此可知，丁樹良與甘登文兩個人所發(fā)表的計算機化自適應(yīng)測驗文章占江西師范大學發(fā)表的相關(guān)文章的88.9%。由表5可知，72.73%的關(guān)于計算機化自適應(yīng)測驗的碩博論文出自江西師范大學。由此可見，江西師范大學是計算機化自適應(yīng)測驗研究的主要陣營，且以丁樹良和甘登文為主要研究者。研究熱點分析 本文采用內(nèi)容分析法對在中國知網(wǎng)上搜索到的64篇期刊以及22篇碩博論文進行分析，由于是以“計算機化自適應(yīng)測驗”“計算機化自適應(yīng)測試”“計算機化自適應(yīng)考試”為Keys檢索出來的

13、文章，因此，文章均圍繞這3個Keys，出現(xiàn)的頻次也最高。另外，“項目反應(yīng)理論”“選題策略”“認知診斷”“能力估計”“最大信息量分層法”“等級反應(yīng)模型”“影子題庫”等詞也是主要的研究熱點。用于指導考試的測量理論有經(jīng)典測驗理論和項目反應(yīng)理論9。其中Keys為項目反應(yīng)理論的文章數(shù)最多，占總文章數(shù)的33.33%；Keys“選題策略”占總文章數(shù)的29.07%，僅次于“項目反應(yīng)理論”，這也正是因為在自適應(yīng)測試過程中的關(guān)鍵步驟是如何選擇測試題目，即選題方法的設(shè)計10。其次為認知診斷以及能力估計。根據(jù)Keys出現(xiàn)的頻率對研究熱點進行統(tǒng)計，見圖2（圖2中為出現(xiàn)頻率在兩次及以上的Keys。每個Keys均用半徑不同

14、的圓形表示。如“項目反應(yīng)理論”出現(xiàn)的頻次為28，則半徑記為2.8，利用公式S=r2求取圓形的面積，繪制圖2；兩個Keys出現(xiàn)在同一篇文章中，用直線連接）。若想研究計算機化自適應(yīng)測驗，可從項目反應(yīng)理論、選題策略、認知診斷等方面進行研究。研究領(lǐng)域分析 計算機化自適應(yīng)測驗成為無紙化考試與心理學測試關(guān)注的領(lǐng)域10。本研究從“理論探索”“選題策略”“系統(tǒng)設(shè)計與實現(xiàn)”“技術(shù)與方法”“問題與展望”5個領(lǐng)域?qū)?4篇期刊文章以及22篇碩博論文進行統(tǒng)計，論文研究細分領(lǐng)域統(tǒng)計見圖3。由圖3可知，期刊文章中，研究選題策略的文章最多，占31.25%；碩博論文中，研究選題策略的文章也最多，占40.90%。其次是對計算機化

15、自適應(yīng)測驗的技術(shù)與方法的研究，期刊和碩博論文分別占各自總數(shù)的23.44%和27.27%。期刊文章中有21.88%的是關(guān)于系統(tǒng)設(shè)計與實現(xiàn)研究的文章，22.73%的碩博論文是關(guān)于系統(tǒng)設(shè)計與實現(xiàn)研究的文章。無論是碩博論文還是期刊文章，關(guān)于選題策略的研究均最多。5 結(jié)語計算機化自適應(yīng)測驗彌補了傳統(tǒng)考試在實現(xiàn)測驗有效性中的不足，大大提高了測驗的效率，能夠更加準確地測出被試的真實能力與水平。且計算機化自適應(yīng)測驗擺脫了傳統(tǒng)考試在時間與空間上所受的限制，可更好地確保測驗的公平性。綜觀計算機化自適應(yīng)測驗文獻綜述情況：1）計算機化自適應(yīng)測驗研究形成以毛秀珍、辛濤、陳平、丁樹良、甘登文為主的學術(shù)研究團隊效應(yīng)，且江西

16、師范大學為主要研究學校；2）計算機化自適應(yīng)測驗的主要研究熱點為項目反應(yīng)理論、選題策略、認知診斷、能力估計等，若想對計算機化自適應(yīng)測驗做深入研究，可從以上幾方面進行；3）計算機化自適應(yīng)測驗研究中，有29.69%的文獻是關(guān)于心理學的研究，這也正說明計算機化自適應(yīng)測驗這種測驗形式已經(jīng)將心理測量與計算機化自適應(yīng)測驗結(jié)合，且取得豐碩成果，若想對其他測驗進行研究，可以心理測量為鑒來進行；4）近幾年關(guān)于計算機化自適應(yīng)測驗的研究熱度有所下降，研究總量有所減少，但研究深度沒有減弱，仍有不少教育專家學者為優(yōu)化未來測驗形式與環(huán)境投身到計算機化自適應(yīng)測驗中。相信計算機化自適應(yīng)測驗在未來幾年必將迅速發(fā)展和完善，為未來測

17、驗提供更多選擇。計算機化自適應(yīng)測驗也必將推動教育信息化的進程。Reference1陳平，丁樹良，林海菁，等.等級反應(yīng)模型下計算機化自適應(yīng)測驗選題策略J.心理學報，2006，38（3）：461-467.2劉珍，丁樹良，林海菁.基于GPCM的計算機自適應(yīng)測驗選題策略比較J.心理學報，2008，40（5）：618-625.3申田靜，陳俊.國內(nèi)在線考試系統(tǒng)研究綜述J.中國教育技術(shù)裝備，2015（14）：19-22.4王茶生.教育測量理論在網(wǎng)絡(luò)考試系統(tǒng)中的應(yīng)用D.上海：華東師范大學軟件學院，2007.5Georgiadou E， Triantafillou E. A Review of Item Exposure Control Strategies for Computerized Adaptive Testing Developed from 1983 to 2005J.The Journal of Technology， Leaning， and Assessment，2007，5（8）：39.6張華華，程瑩.計