設(shè)計(jì)開(kāi)發(fā)測(cè)評(píng)工具探查教師概念水平-以美國(guó)ATLAST項(xiàng)目為例

1、    設(shè)計(jì)開(kāi)發(fā)測(cè)評(píng)工具探查教師概念水平以美國(guó)atlast項(xiàng)目為例    （五）開(kāi)展認(rèn)知訪談及專(zhuān)家審閱修改試題對(duì)個(gè)人進(jìn)行訪談可以幫助了解試題的認(rèn)知情況，進(jìn)行試題的修訂。開(kāi)展訪談最為重要的就是營(yíng)造一種氛圍使受訪者感到安全，可以直率地回答問(wèn)題。要明確說(shuō)明訪談的目的是幫助修改試題，而不是評(píng)價(jià)個(gè)人。還有一點(diǎn)很重要，即抓住客觀的信息，專(zhuān)心聆聽(tīng)受訪者的各種想法和解釋。在atlast測(cè)評(píng)工具的發(fā)展中，專(zhuān)家對(duì)試題的多次審查是很有價(jià)值的。這樣的審查可以確保試題的準(zhǔn)確性，每道題目的審查主要圍繞呈現(xiàn)的情節(jié)和例子是否恰當(dāng)、內(nèi)容的效度、具體領(lǐng)域術(shù)語(yǔ)的使用、是否考慮掌握目標(biāo)概念的先

2、前必備知識(shí)、是否符合學(xué)習(xí)者的認(rèn)知特點(diǎn)及水平幾個(gè)方面。內(nèi)容專(zhuān)家在這些階段都發(fā)揮了重要的作用，審查相關(guān)概念之間的內(nèi)部關(guān)系以及深度。專(zhuān)家的審查對(duì)于確定內(nèi)容的覆蓋廣度也很重要，試題所涉及的內(nèi)容概念是確定廣度的關(guān)鍵所在，有時(shí)概念與試題的完全準(zhǔn)確聯(lián)系并不清晰，而來(lái)自專(zhuān)家的反饋對(duì)于改善這些聯(lián)系至關(guān)重要。每道試題首先由熟悉測(cè)試內(nèi)容及試題編寫(xiě)原則的個(gè)人獨(dú)立完成，然后再由該內(nèi)容領(lǐng)域的試題開(kāi)發(fā)小組及專(zhuān)家進(jìn)行分析，以提供修改建議。（六）預(yù)測(cè)試及數(shù)據(jù)分析為了提高測(cè)試的信效度，需要通過(guò)項(xiàng)目分析對(duì)試題進(jìn)行篩選和甄別。衡量試題質(zhì)量高低的主要技術(shù)指標(biāo)主要包括：難度、區(qū)分度、信度、效度、項(xiàng)目功能差異性、選項(xiàng)分析等。除了對(duì)每個(gè)題目

3、進(jìn)行分析外，還需要對(duì)整個(gè)工具的質(zhì)量進(jìn)行分析，在工具整體層面的分析主要涉及信度和效度分析。為進(jìn)一步提高工具的質(zhì)量，工具開(kāi)發(fā)者進(jìn)行了預(yù)測(cè)試及數(shù)據(jù)分析。預(yù)測(cè)試數(shù)據(jù)分析采用項(xiàng)目反應(yīng)理論（irt）和經(jīng)典測(cè)試?yán)碚摚╟tt）分析，綜合分析工具測(cè)試結(jié)果以提高工具質(zhì)量，其中經(jīng)典測(cè)試?yán)碚摰臋z驗(yàn)參數(shù)主要包括：難度、區(qū)分度、選項(xiàng)分析等，而項(xiàng)目反應(yīng)理論則重點(diǎn)關(guān)注試題難度、項(xiàng)目擬合度、懷特圖、標(biāo)準(zhǔn)誤、項(xiàng)目功能差異、試題信息量等參數(shù)。通過(guò)分析試題的難度參數(shù)，將較難的題目刪除并且修改部分題目，此外，還進(jìn)行信度分析、聚類(lèi)分析和因素分析等，最終確定工具的信效度良好。（七）形成最終的測(cè)評(píng)工具在經(jīng)過(guò)定性分析及定量研究，確保工具的信效

4、度均較高的情況下，形成最終的測(cè)評(píng)工具。該工具可用于學(xué)生學(xué)業(yè)測(cè)評(píng)及教師專(zhuān)業(yè)發(fā)展的不同方面，如形成性評(píng)價(jià)、討論話題、個(gè)人反思等。四、atlast測(cè)評(píng)工具的主要特點(diǎn)及評(píng)析（一）以多認(rèn)知層次題組設(shè)計(jì)的形式探查核心概念的理解情況在查閱和分析大量學(xué)科教學(xué)知識(shí)（pedagogical content knowledge，簡(jiǎn)稱(chēng)pck）相關(guān)文獻(xiàn)的基礎(chǔ)之上，atlast綜述了教師知識(shí)的測(cè)評(píng)內(nèi)容主要涵蓋以下七個(gè)方面的知識(shí)：學(xué)科內(nèi)容知識(shí)、識(shí)別概念組織的不同方式的相關(guān)知識(shí)、在學(xué)科內(nèi)容中聯(lián)系貫穿大概念的知識(shí)、學(xué)生對(duì)于科學(xué)內(nèi)容認(rèn)知情況的相關(guān)知識(shí)、評(píng)價(jià)某些特定學(xué)生群體思考能力的知識(shí)、如何有序教授學(xué)科概念的知識(shí)、驅(qū)動(dòng)學(xué)生思考的

5、教學(xué)策略知識(shí)?？紤]到atlast教師學(xué)科內(nèi)容試題旨在探查教師對(duì)學(xué)科內(nèi)容知識(shí)的理解，因此atlast將測(cè)試范圍鎖定在教師的學(xué)科內(nèi)容知識(shí)并界定了測(cè)評(píng)要素包括上述7個(gè)方面教師知識(shí)中的3個(gè)：即學(xué)科內(nèi)容知識(shí)、學(xué)生對(duì)于科學(xué)內(nèi)容認(rèn)知情況的相關(guān)知識(shí)、驅(qū)動(dòng)學(xué)生思考的教學(xué)策略知識(shí)。在這3個(gè)測(cè)評(píng)要素的基礎(chǔ)上進(jìn)一步將所有試題的理解水平分為3個(gè)層次，由低到高依次是：科學(xué)內(nèi)容知識(shí)、使用學(xué)科知識(shí)分析學(xué)生的思考、使用學(xué)科知識(shí)做教學(xué)決策。每一核心概念下均設(shè)置有一組試題，試題涵蓋上述3個(gè)理解水平。以“生命系統(tǒng)中的物質(zhì)流和能量流”中子概念c（植物將光能轉(zhuǎn)化為儲(chǔ)存在糖類(lèi)中的化學(xué)能）為例（如圖2所示）：水平1是最基本的理解水平，不要求

6、教師應(yīng)用知識(shí)或者做出相關(guān)的教學(xué)決策，教師理解相關(guān)科學(xué)內(nèi)容知識(shí)即可回答。水平2要求教師應(yīng)用學(xué)科知識(shí)去分析和診斷學(xué)生的思考水平，如上述第2題所示，回答這些題目不僅需要教師理解科學(xué)知識(shí)，還要能夠利用這些知識(shí)去判斷學(xué)生的思考是否存在偏差。水平3的認(rèn)知層次最高，教師必須評(píng)價(jià)學(xué)生在某一特定情境下的思考，評(píng)估每一個(gè)教學(xué)決策可能產(chǎn)生的影響，從而選出最優(yōu)決策。選項(xiàng)中所描述的教學(xué)活動(dòng)均有一定意義，但僅有一個(gè)是與題目給出的教學(xué)情境相關(guān)且科學(xué)內(nèi)容完全正確的，其它的選項(xiàng)與提供的教學(xué)情境相關(guān)度較低。如上述第3題，選項(xiàng)abcd均有一定合理性，但正確答案a與試題的情境相關(guān)度最高且是促進(jìn)學(xué)生學(xué)習(xí)的最佳教學(xué)行為。水平3的題目體現(xiàn)

7、出教師的高層次認(rèn)知水平，教師需在類(lèi)似日常工作的試題情境下利用學(xué)科知識(shí)去解決問(wèn)題、做出恰當(dāng)?shù)臎Q策。（二）基于錯(cuò)誤概念的多選題設(shè)計(jì)，既能探查理解水平又便于操作在atlast測(cè)評(píng)工具的開(kāi)發(fā)的過(guò)程中，前期研究人員通過(guò)文獻(xiàn)研究以及開(kāi)放式訪談詳細(xì)整理了相關(guān)的錯(cuò)誤概念，與此同時(shí)，后期atlast還精心設(shè)計(jì)了開(kāi)放性試題，一方面通過(guò)開(kāi)放性試題揭示了教師隱藏的錯(cuò)誤概念；另一方面，教師的作答也為多選題的選項(xiàng)設(shè)置提供了素材和啟示。設(shè)計(jì)的開(kāi)放性試題及多選題例題如圖3所示。atlast設(shè)計(jì)了開(kāi)放性試題以探查教師對(duì)學(xué)生錯(cuò)誤概念的了解以及教師可能存在的錯(cuò)誤概念。此外，多選題的選項(xiàng)設(shè)計(jì)也是基于錯(cuò)誤概念，以便了解學(xué)習(xí)者的認(rèn)知情況

8、。atlast工具的開(kāi)發(fā)是基于認(rèn)知科學(xué)的最新進(jìn)展和相關(guān)理論，開(kāi)發(fā)者認(rèn)為除了學(xué)科內(nèi)容知識(shí)外，學(xué)習(xí)者的錯(cuò)誤概念在概念的理解過(guò)程中也扮演著不容忽視的角色。錯(cuò)誤概念的轉(zhuǎn)變是學(xué)習(xí)者完成深入理解科學(xué)概念過(guò)程中重要的一步，而這一切的前提是了解學(xué)習(xí)者存在的錯(cuò)誤概念。相比開(kāi)放性試題，多選題更省時(shí)省力便于操作，但多聚焦在事實(shí)性記憶內(nèi)容很難探查出真實(shí)的概念理解水平?；阱e(cuò)誤概念的多選題設(shè)計(jì)為解決這一矛盾提供了借鑒，不僅可以探查被試的理解深度，還可以起到診斷理解誤區(qū)及困難的作用，為教學(xué)實(shí)踐提供啟示和引導(dǎo)。（三）精心設(shè)置試題情境，巧妙融入日常教學(xué)背景教師試題均精心設(shè)置在相關(guān)教學(xué)情境之下，開(kāi)發(fā)者在測(cè)試中設(shè)置一定的教學(xué)情境

9、，熟悉的教學(xué)情境使教師可以知曉這套測(cè)試是針對(duì)教師開(kāi)展的，教師可在試題中識(shí)別出日常的工作內(nèi)容，以提高教師參與測(cè)試的積極性。更為重要的是，情境化的試題在測(cè)評(píng)學(xué)習(xí)者的真實(shí)理解水平上有很大幫助。atlast在發(fā)展概念發(fā)展圖、開(kāi)發(fā)試題冊(cè)、進(jìn)行認(rèn)知訪談等環(huán)節(jié)均精心考量教學(xué)情境的設(shè)計(jì)與融入，以便在試題中巧妙地融入符合教師日常工作的教學(xué)情境。五、啟示如何將錯(cuò)誤概念融入測(cè)評(píng)試題，并設(shè)計(jì)出適當(dāng)?shù)那榫盎囶}一直是試題開(kāi)發(fā)的一大挑戰(zhàn)。美國(guó)atlast測(cè)試，以核心概念為主軸，以錯(cuò)誤概念為探針，采用情景化題組的形式呈現(xiàn)問(wèn)題情境，建立起測(cè)試目標(biāo)、測(cè)試內(nèi)容和測(cè)試情境三者之間的有意義聯(lián)系，基于錯(cuò)誤概念及情景化題組的設(shè)計(jì)理念始終

10、貫穿整個(gè)工具開(kāi)發(fā)過(guò)程，由此開(kāi)發(fā)出一套個(gè)性鮮明的測(cè)評(píng)教師學(xué)科內(nèi)容知識(shí)的工具。該工具的理論基礎(chǔ)、開(kāi)發(fā)過(guò)程、設(shè)計(jì)思路及其富有情景化的表述，都能夠?qū)ξ覈?guó)教師專(zhuān)業(yè)發(fā)展測(cè)評(píng)工具的開(kāi)發(fā)提供一定啟示。（一）以學(xué)科核心概念為主軸，以錯(cuò)誤概念為探針貫穿試題設(shè)計(jì)的各個(gè)環(huán)節(jié)美國(guó)課程專(zhuān)家埃里克森（erickson）認(rèn)為，10核心概念是指居于學(xué)科中心、具有超越課堂之外的持久價(jià)值和遷移價(jià)值的關(guān)鍵性概念、原理或方法。這些核心概念具有廣闊的解釋空間，源于學(xué)科中的各種概念、理論、原理和解釋體系，為學(xué)科領(lǐng)域的發(fā)展提供了深入的視角，還為學(xué)科之間提供了聯(lián)系。atlast測(cè)評(píng)工具的開(kāi)發(fā)過(guò)程中，始終以學(xué)科核心概念為主軸貫穿試題設(shè)計(jì)的各個(gè)環(huán)

11、節(jié)。此外，在選項(xiàng)設(shè)計(jì)中融入錯(cuò)誤概念，作為隱形的探針探查學(xué)習(xí)者的概念理解深度及困難之處。以學(xué)科核心概念為主軸，以錯(cuò)誤概念為探針貫穿試題設(shè)計(jì)的各個(gè)環(huán)節(jié)的工具設(shè)計(jì)思路可為我國(guó)相關(guān)測(cè)試工具的研發(fā)提供借鑒。（二）精心設(shè)置教學(xué)情境，考察教師應(yīng)用和決策能力情境化題組是指在任務(wù)中嵌入一定的情境或者背景，考察學(xué)習(xí)者的知識(shí)能力或者態(tài)度。不同于常規(guī)的紙筆測(cè)驗(yàn)試題，僅僅是簡(jiǎn)單的背誦記憶科學(xué)知識(shí)無(wú)法順利完成這些情境化題組，這種設(shè)計(jì)旨在考察當(dāng)學(xué)習(xí)者面對(duì)生活中各種情境及挑戰(zhàn)時(shí)，是否能夠有效應(yīng)用知識(shí)，并且能夠從不同的角度、不同的層面分析問(wèn)題、解決問(wèn)題。11情境化題組的設(shè)計(jì)目前廣泛應(yīng)用于國(guó)際學(xué)業(yè)質(zhì)量測(cè)評(píng)項(xiàng)目，其中最為突出的就是

12、pisa情境化題組注重命題設(shè)計(jì)的情境生活化，考察學(xué)生在生活情境和科學(xué)知識(shí)之間建立聯(lián)系的能力，而不再是孤立的科學(xué)知識(shí)。12這種命題設(shè)計(jì)更有利于測(cè)評(píng)學(xué)生的概念理解深度，區(qū)分不同水平的理解，在科學(xué)概念的命題和測(cè)評(píng)研究中有廣闊的發(fā)展空間。atlast的工具開(kāi)發(fā)過(guò)程始終注重情境的設(shè)計(jì)和融入，對(duì)考察教師在教學(xué)情境下真實(shí)的應(yīng)用知識(shí)能力和決策能力有一定啟發(fā)。綜上所述，教師的概念理解水平對(duì)學(xué)生的學(xué)習(xí)有重要影響，對(duì)教師概念水平的探查是教師專(zhuān)業(yè)發(fā)展中至關(guān)重要的一部分。而當(dāng)前我國(guó)在教師概念水平探查工具的設(shè)計(jì)和開(kāi)發(fā)方面還處于摸索階段，如何科學(xué)嚴(yán)謹(jǐn)?shù)匾?guī)劃工具開(kāi)發(fā)的整個(gè)流程？另一方面，學(xué)習(xí)科學(xué)和科學(xué)教育的豐碩成果為工具的開(kāi)

13、發(fā)提供了契機(jī)，奠定了堅(jiān)實(shí)的理論基礎(chǔ)，但如何結(jié)合這些理論成果創(chuàng)造性地開(kāi)發(fā)測(cè)評(píng)工具、如何設(shè)置試題情境等問(wèn)題仍是工具開(kāi)發(fā)中需要開(kāi)發(fā)人員反復(fù)斟酌的重要課題，攻克這些難題對(duì)于開(kāi)發(fā)科學(xué)有效的教師概念理解測(cè)評(píng)工具是大有裨益的。而atlast項(xiàng)目的測(cè)評(píng)工具設(shè)計(jì)與開(kāi)發(fā)過(guò)程給了我們很好的范例和啟示，即基于學(xué)習(xí)科學(xué)的最新理論，以核心概念為主軸，以錯(cuò)誤概念為探針，采用情境化題組的形式呈現(xiàn)問(wèn)題情境，建立起測(cè)試目標(biāo)、測(cè)試內(nèi)容和測(cè)試情境三者之間的有意義聯(lián)系，連貫一致、環(huán)環(huán)相扣，為今后我國(guó)教師專(zhuān)業(yè)發(fā)展測(cè)評(píng)工具的開(kāi)發(fā)提供了一定啟示和借鑒。參考文獻(xiàn)：1smith，s.exploring the relationship betw

14、een teacher content knowledge andstudent learningr.paper presented at the annual meeting of the national association forresearch in science teaching，garden grove，ca，2009：1-5.2shulman，l. knowledge and teaching：foundations of the new reformj. harvard educational review，1987，57（1）：1-23.3mak，y.，yip，y.，c

15、hung，m. alternative conceptions in biology-related topics of integrated science teachers and implications for teacher educationj. journal of science education and technology，1999，8（2）：161-170.4shulman，l.s. ways of seeing，ways of knowing：ways of teaching，ways of learning about teachingj.journal of cu

16、rriculum studies，1991，23（5）：393-395.5bransford，j.d.，brown，a.l，cocking，r.r. how people learn：brain，mind，experience，and schoolm. washington：national academy press，1999：8-21.6ausubel，d.p. educational psychology：a cognitive viewm.new york：holt，rinehart & winton，1968：1-9.7national research council.ho

17、w students learn：science in the classroomm. washington：national academies press，2005：397-415.8american association for the advancement of science. benchmarks for science literacym. new york：oxford university press，1994.9evans robert，et al.the role of science teachers beliefs in international classrooms：from teacher actions to student learning. rotterdamm.the netherlands：sense publishers，2014：81-102.10張穎之，劉恩山.核心概念在理科教學(xué)中的地位和作用j.教育學(xué)報(bào)，2010，6（1）：57-61.11chen，k.l.，liu，s.y.，chen，p.h.