基于數(shù)字化設(shè)備的中小學(xué)生科學(xué)素養(yǎng)評測設(shè)計

1、基于數(shù)字化設(shè)備的中小學(xué)生科學(xué)素養(yǎng)評測設(shè)計 科學(xué)素養(yǎng)是當(dāng)前科學(xué)教育領(lǐng)域關(guān)注的重點概念，它既是學(xué)生自身成長的需要，又是國家社會對人的素質(zhì)要求。義務(wù)教育科學(xué)課程標(biāo)準(zhǔn)（2022年版）倡導(dǎo)提升學(xué)生科學(xué)素養(yǎng)，這進(jìn)一步凸顯了科學(xué)教育的重要地位。設(shè)計適合義務(wù)教育階段的科學(xué)素養(yǎng)評測方案具有推動科學(xué)教育發(fā)展的現(xiàn)實意義。紙筆評測無法實現(xiàn)對探究實踐等要素的評價，而數(shù)字化設(shè)備以其定量直觀、實時準(zhǔn)確的優(yōu)勢，逐漸進(jìn)入科學(xué)教育工作者的視野。筆者認(rèn)為在評測中運用計算機和數(shù)字化設(shè)備，將虛擬情境和真實情境結(jié)合，能使學(xué)生的探究更接近科學(xué)本質(zhì)，為科學(xué)素養(yǎng)評測工作提供極大的助力。一、國際科學(xué)素養(yǎng)評測現(xiàn)狀隨著社會與科技的發(fā)展，眾多組織和學(xué)

2、者從不同的層次和角度對科學(xué)素養(yǎng)的定義進(jìn)行歸納與完善。筆者綜合國內(nèi)外學(xué)者和我國課程標(biāo)準(zhǔn)對科學(xué)素養(yǎng)內(nèi)涵的定義，兼顧評測實施的可操作性，在本文中主要關(guān)注學(xué)生能否借助科學(xué)知識和科學(xué)過程來了解自然的奧秘，能否應(yīng)用科學(xué)素養(yǎng)來從事各種科學(xué)研究。為了了解學(xué)生科學(xué)素養(yǎng)情況，眾多組織和研究者進(jìn)行了評測方案的研發(fā)。目前有三項大規(guī)模樣本的科學(xué)素養(yǎng)評測在國際上具有廣泛的影響，它們分別是國際學(xué)生評估項目（The Program for International Student Assessment，PISA）、美國國家教育進(jìn)步評價（National Assessment of Educational Progress，

3、NAEP）和國際數(shù)學(xué)與科學(xué)趨勢研究項目（The Trends in International Mathematics and Science Study，TIMSS）。早期項目的形式主要是紙筆測試，隨著信息技術(shù)的發(fā)展，研究者逐步開發(fā)了基于信息和通信技術(shù)（Information and Communication Technology，ICT）的單元評估。2009年，NAEP率先嘗試基于計算機情境評測，加入了計算機交互任務(wù)（Interactive Computer Task）和動手操作任務(wù)（Hands-on Task)，創(chuàng)設(shè)虛擬的任務(wù)情境，評估學(xué)生的問題解決能力，并于2019年完成從紙筆測試到

4、基于數(shù)字的評估的過渡。PISA于2012年引入了基于計算機的評估平臺，用于問題解決、數(shù)學(xué)和數(shù)字化閱讀三個方面的測試。隨著評估框架的更新調(diào)整，新項目的開發(fā)均是基于計算機平臺。雖然紙筆評估至今仍然是一種選擇，但大多數(shù)國家都選擇在計算機平臺上實施和交付整個評估。TIMSS在2019年也進(jìn)入了計算機評估系統(tǒng)研發(fā)的初始階段，最新的TIMSS 2023手冊表明該項目將于2023年完成升級。僅使用計算機平臺創(chuàng)設(shè)虛擬情境難以全面評測學(xué)生的科學(xué)素養(yǎng)，開發(fā)者還應(yīng)該考慮科學(xué)探究的真實性和可操作性。為此，研究團(tuán)隊構(gòu)建相應(yīng)的探究實驗平臺，并將數(shù)字化設(shè)備引入評測體系，以便學(xué)生在真實情境中自主探究，在實踐中評估操作水平，從

5、而填補科學(xué)素養(yǎng)評測的缺口。二、基于數(shù)字化設(shè)備的科學(xué)素養(yǎng)評測方案義務(wù)教育科學(xué)課程標(biāo)準(zhǔn)（2022年版）在“評價建議”中倡導(dǎo)教師采用非紙筆測試的方式，重點評價學(xué)生的科學(xué)探究能力、技術(shù)與工程實踐能力、創(chuàng)新解決實際問題的能力等。因此，數(shù)字化設(shè)備進(jìn)入科學(xué)素養(yǎng)評測非常符合新課標(biāo)的精神。以下，筆者結(jié)合東南大學(xué)百研工坊科學(xué)教育團(tuán)隊開發(fā)的評測方案，論述數(shù)字化設(shè)備與學(xué)生科學(xué)素養(yǎng)評測深度融合的方式。（一）數(shù)字化設(shè)備在科學(xué)素養(yǎng)評測中的應(yīng)用數(shù)字化設(shè)備是一種建立在測量技術(shù)上的檢測裝置，能將模擬信號轉(zhuǎn)換成數(shù)字信號輸出。筆者所述數(shù)字化設(shè)備指的是將信息技術(shù)、網(wǎng)絡(luò)技術(shù)和傳感器技術(shù)等相結(jié)合的一系列工具（如圖1），即為完成評測而采用的

6、傳感器、數(shù)據(jù)采集器、計算機和配套應(yīng)用軟件。圖1數(shù)字化設(shè)備運行模式其工作原理如下：傳感器將采集的信息轉(zhuǎn)化成電信號，數(shù)據(jù)采集器將電信號轉(zhuǎn)換成數(shù)字信號反饋給計算機軟件，最終通過數(shù)字化信息系統(tǒng)實驗室（Digital Information System Laboratory，DISLab）系統(tǒng)將實驗結(jié)果以可視化圖形呈現(xiàn)。借此，學(xué)生可以快速采集實驗數(shù)據(jù)、監(jiān)控信號量的實時變化數(shù)據(jù)，完成監(jiān)測、統(tǒng)計、繪圖和分析工作。數(shù)字化設(shè)備具有定量、直觀、實時、準(zhǔn)確等特點，是改進(jìn)傳統(tǒng)實驗耗時長、器材多、步驟繁、不精確等缺點的重要手段。教師使用數(shù)字化設(shè)備可以有效提高學(xué)生的數(shù)據(jù)處理、模型建構(gòu)、科學(xué)推理等能力。數(shù)字化設(shè)備在義務(wù)教

7、育階段科學(xué)教學(xué)中應(yīng)用廣泛（見表1）。表1數(shù)字化設(shè)備及其適用的科學(xué)實驗（二）科學(xué)素養(yǎng)評測理論模型1.ECD概念評估框架百研工坊的科學(xué)素養(yǎng)評測方案是依據(jù)ECD（Evidence-Centered Design）模型設(shè)計的。ECD模型是由梅斯雷弗（Robert J. Mislevy）等人開發(fā)的系統(tǒng)性評價設(shè)計的模式，經(jīng)過多年的研究與發(fā)展，該模型被廣泛用于PISA、NAEP等國際評測項目。ECD模型有五個層次的測試開發(fā)：領(lǐng)域分析、領(lǐng)域建模、概念評價框架、評估預(yù)實驗、評估交付。其中，概念評價框架通常有五個子模式：學(xué)生模式、證據(jù)模式、任務(wù)模式、組合模式和呈現(xiàn)模式（如圖2）。學(xué)生模式涵蓋了學(xué)生應(yīng)掌握的知識，相

8、當(dāng)于評測目標(biāo)與內(nèi)容，即“我們能測量什么”；證據(jù)模式指所選的實驗范式，相當(dāng)于評測手段和方式，即“我們?nèi)绾螠y量”；任務(wù)模式指具體情境的選擇，即“任務(wù)的框架和情境是什么”；組合模式則表明了前三種模式是如何相互結(jié)合的；呈現(xiàn)模式指的是評價實際采用的具體方式，如紙筆、實驗操作、計算機交互等。這些子模式協(xié)同構(gòu)建了一個科學(xué)完整的評價框架。圖2ECD概念評價框架在評測方案中，靜態(tài)評估和計算機交互任務(wù)都在計算機上呈現(xiàn)，而動手實操任務(wù)借助的是數(shù)字化設(shè)備搭建的實驗平臺。研究團(tuán)隊參考NAEP中富技術(shù)環(huán)境（Technology-Rich Environments，TRE）下關(guān)于問題解決的研究方法，應(yīng)用學(xué)生模式和證據(jù)模式設(shè)

9、計了基于數(shù)字化設(shè)備的科學(xué)素養(yǎng)評測目標(biāo)（見表2）。學(xué)生模式下的評估目標(biāo)由科學(xué)探究能力（又分為知識探索能力、綜合推理能力）與信息技術(shù)能力組成。證據(jù)模式下的評估目標(biāo)則是針對不同情境、不同方案進(jìn)行不同的細(xì)節(jié)劃分，如分為知識點掌握、實驗探究步驟、應(yīng)用技術(shù)手段等內(nèi)容，其中特別增加了對數(shù)字化設(shè)備操作的考核要求，由主試者評分。表2基于數(shù)字化設(shè)備的科學(xué)素養(yǎng)評測目標(biāo)2.項目反應(yīng)理論Rasch模型研究團(tuán)隊設(shè)計新方案的另一個重要的理論基礎(chǔ)是項目反應(yīng)理論（Item Response Theory, IRT)。它是當(dāng)前評測項目中的常用理論，彌補了經(jīng)典測量理論的項目依賴性與樣本依賴性等不足，其科學(xué)性主要體現(xiàn)在：被試者的能力

10、評估值與評測的具體內(nèi)容無關(guān)，即不考慮測量誤差時，從不同難度和內(nèi)容的評測項目中所得到的能力評估值是相同的。此外，被試者的能力分布也不影響項目參數(shù)，這對于評測方案的質(zhì)量檢驗和結(jié)果分析非常有價值。Rasch模型是丹麥學(xué)者喬治拉希（Georg Rasch）基于IRT提出來的一種潛在特質(zhì)模型，它是一個單參數(shù)IRT模型。Rasch模型的優(yōu)勢在于：（1）項目參數(shù)具有不變性，即進(jìn)行Rasch分析時不需要較大的樣本量；（2）特征參數(shù)具有不變性，即特征參數(shù)的估計與測量項目是沒有關(guān)系的，回避了經(jīng)典測量理論中項目依賴的問題；（3）可以分析多級評分項目，例如主觀題的評分。Rasch模型是一個理想化的數(shù)學(xué)模型，它的運用需

11、要滿足兩個前提條件：一是對于任何被試個體，在難度低的題目上的表現(xiàn)要好于在難度高的題目上的表現(xiàn)；二是對于任何題目，能力水平高的個體要比能力水平低的個體有更大可能回答正確。Rasch模型公式如下：其中，Pni表示被試n正確回答問題i的可能性，Bn表示被試的能力，Di表示問題i的難度。筆者分析時，將被試者的原始成績轉(zhuǎn)換為logit分?jǐn)?shù)（即線性數(shù)據(jù)，例如4級記分法：回答不正確記0分，答對30%60%記1分，60%以上記2分，完全正確記3分），將被試者的能力水平和題目難度放在同一水平標(biāo)尺上進(jìn)行直觀準(zhǔn)確的比較，從而客觀地對評測方案檢驗分析。3.Logistic模型Logistic模型也可作為測評方案的質(zhì)量

12、檢驗工具，用于估計評測方案中各題的區(qū)分度、難度系數(shù)、猜測系數(shù)。20世紀(jì)50年代美國學(xué)者伯恩鮑姆（Birnbaum）在正態(tài)肩型曲線模型基礎(chǔ)上提出了Logistic模型，適用于記分為對或錯的二級記分試題。Logistic模型表達(dá)式如下：其中為能力參數(shù)，a為區(qū)分度，b為難度系數(shù)，c為猜測系數(shù)（不會隨著能力水平而變化），D為常數(shù)，取D=1.7，當(dāng)c=0時可得到二參數(shù)模型，當(dāng)c=0且a=1時可得到單參數(shù)模型。圖3為三參數(shù)模型的項目特征曲線，縱坐標(biāo)代表被試正確作答該題的概率，拐點的值為項目難度參數(shù)，拐點處的斜率表示項目的區(qū)分度a。圖3三參數(shù)Logistic模型的項目特征曲線模型的優(yōu)選一定要基于一定的理論依

13、據(jù)與實踐研究。研究者需要對預(yù)實驗數(shù)據(jù)進(jìn)行模型擬合度測試，選擇更適宜的Logistic參數(shù)模型進(jìn)行參數(shù)估計，從而完成評測方案的質(zhì)量驗證。（三）平臺功能與方案實施1.評測平臺筆者基于信息通信技術(shù)和傳感器技術(shù)構(gòu)建了科學(xué)素養(yǎng)評測平臺，包括評測試題模塊（如圖4）、實驗評分模塊（如圖5）以及系統(tǒng)管理模塊（如圖6）。評測試題模塊為被試者呈現(xiàn)試題信息和操作要求；實驗評分模塊可實現(xiàn)對部分靜態(tài)評估題自動評分，其他題型如簡答題、實驗操作題由主試者賦分；系統(tǒng)管理模塊具有用戶管理、數(shù)據(jù)查詢、數(shù)據(jù)存儲的功能，主要優(yōu)勢在于主試者不用即時評分，后臺實時生成數(shù)據(jù)報表，協(xié)助后期數(shù)據(jù)挖掘工作。三大模塊協(xié)調(diào)銜接，為后續(xù)評測奠定了扎實

14、的基礎(chǔ)。圖4評測試題模塊頁面圖5實驗評分模塊頁面圖6系統(tǒng)管理模塊頁面2.評測內(nèi)容與維度評測內(nèi)容的設(shè)計非常關(guān)鍵。研究團(tuán)隊依據(jù)義務(wù)教育科學(xué)課程標(biāo)準(zhǔn)（2022年版），參考國際科學(xué)素養(yǎng)評測項目框架和命題思路，使評測內(nèi)容與相應(yīng)年齡段學(xué)生的認(rèn)知發(fā)展水平相適應(yīng)，從個人、社會和全球視角審視，聚焦現(xiàn)實世界中自然資源、環(huán)境等方面的問題，如清潔能源、溫室效應(yīng)等。此外，科學(xué)素養(yǎng)評測的四個維度（PISA2015科學(xué)素養(yǎng)評估框架：能力、知識、態(tài)度、情景）在方案中都有體現(xiàn)：在情境上參考了PISA任務(wù)背景的分類維度（區(qū)域/國家/全球?qū)用?，自然資源/物理/科技前沿等），科學(xué)態(tài)度則是以發(fā)放人口學(xué)調(diào)研問卷的形式收集，科學(xué)知識和科學(xué)

15、能力兩個維度在試題的主體部分進(jìn)行考評，呈現(xiàn)方式包括靜態(tài)評估題（如選擇題、簡答題）、計算機交互任務(wù)、實際操作任務(wù)等。3.實施過程筆者將計算機任務(wù)情境與學(xué)生操作相結(jié)合進(jìn)行評測，讓被試者根據(jù)頁面呈現(xiàn)的試題信息作答。對于實驗操作題，被試者需要選取器材，組建裝置進(jìn)行實驗。傳感器將數(shù)據(jù)實時傳輸?shù)接嬎銠C的配套應(yīng)用軟件上，由被試者處理分析。在這一過程中，主試者使用標(biāo)準(zhǔn)引導(dǎo)語引導(dǎo)被試者作答，并根據(jù)評分細(xì)則對實驗操作項打分。與紙筆測試和單純的機試相比，數(shù)字化評測效果更佳，能全面地衡量學(xué)生知識的掌握和探究實踐能力的發(fā)展水平，實現(xiàn)對學(xué)生科學(xué)素養(yǎng)的綜合考評。（四）評測數(shù)據(jù)的分析與處理信效度分析是評測方案開發(fā)的重要一環(huán)，

16、評測方案必須經(jīng)歷多次理論論證和實踐評估并加以改進(jìn)才能完成交付?？茖W(xué)可靠的方案將為ICT評估的發(fā)展和數(shù)字化科學(xué)素養(yǎng)評測系統(tǒng)的完善提供有力的支持。1.評測數(shù)據(jù)的預(yù)處理數(shù)據(jù)預(yù)處理的步驟包括缺失值填補和數(shù)據(jù)篩選。為了盡可能利用測試數(shù)據(jù)，教師可使用SPSS軟件中的EM填補法或平均值填補法完成數(shù)據(jù)缺失值的填補，后續(xù)對評測總分進(jìn)行樣本Z分?jǐn)?shù)的計算，將異常數(shù)據(jù)值剔除。2.信效度分析筆者完成數(shù)據(jù)預(yù)處理后，使用SPSS軟件進(jìn)行正態(tài)性檢驗、信度分析與相關(guān)性分析，從而檢驗方案的信效度。首先，筆者根據(jù)樣本量選擇W檢驗或D檢驗，確定PISA效標(biāo)卷總分和評測方案總分是否符合正態(tài)分布；然后，對方案總體及各因子使用克隆巴赫系數(shù)

17、信度估計方法，判斷內(nèi)部一致性與穩(wěn)定性的情況；最后，檢驗PISA效標(biāo)卷與評測方案的外部相關(guān)性，確定評測方案是否具有較好的效標(biāo)關(guān)聯(lián)效度。3.Rasch模型數(shù)據(jù)分析除上述方法外，結(jié)合Rasch模型進(jìn)行試題要素分析也是驗證評測方案科學(xué)性的方式之一。在數(shù)據(jù)預(yù)處理后，筆者使用Winsteps軟件對方案進(jìn)行整體質(zhì)量檢驗，根據(jù)擬合指標(biāo)判斷題目的擬合情況；然后，實施單維性檢驗，根據(jù)標(biāo)準(zhǔn)殘差圖判斷方案是否考評了被試者同一潛在特質(zhì)；根據(jù)懷特圖中數(shù)據(jù)點的分布情況，檢驗題目難度與被試者能力的匹配程度；最后，運用項目擬合、氣泡圖等進(jìn)一步分析，對難度不合理、擬合度較差的題目予以修改保留或舍棄。筆者以某地區(qū)六年級學(xué)生的科學(xué)素

18、養(yǎng)評測數(shù)據(jù)的氣泡圖為例進(jìn)行簡要分析（如圖7），氣泡與題目一一對應(yīng)，氣泡直徑代表該題的標(biāo)準(zhǔn)差，縱坐標(biāo)代表題目難度，橫坐標(biāo)代表Outfit MNSQ（即擬合度檢驗的未加權(quán)均方擬合統(tǒng)計量），該值在0.51.5則表示題目滿足擬合要求。從圖7中可以清晰地判斷出，該評測方案大部分題目都在合理的區(qū)間內(nèi)，但第5、6兩題超出可接受的范圍，與模型預(yù)期不太擬合。此外，第13、14題的氣泡半徑明顯大于其他各題，說明在檢驗被試者能力水平時誤差較大，需要查閱題目對其進(jìn)行修改或刪除。圖7氣泡圖4. Logistic模型數(shù)據(jù)分析教師評測試題質(zhì)量還可以采用項目反應(yīng)理論Logistic模型，該模型適用于二級評分試題。筆者首先檢驗數(shù)據(jù)是否符合單維性假設(shè)，方法有定義分析法、探索性因子分析法等，假設(shè)成立則可以進(jìn)行參數(shù)估計；通過擬合度檢驗選擇更合適的Logistic模型進(jìn)行參數(shù)估計，繪制出項目特征曲線，考慮修改或刪除不符合項目曲線規(guī)律的題目；然后通過信息函數(shù)曲線判斷該方案所適合的學(xué)生的能力水平；最后對能力值進(jìn)行估計，優(yōu)化評測題目（如個別題目的表述、答案設(shè)置等）從而使方案更加完善。以某評測方案的項目特征曲線為例，筆者調(diào)