呼喚課程測量與評價的專業(yè)化

1、呼喚課程測量與評價的專業(yè)化“課程評價國際研討會”綜述楊向東王中男作者簡介：楊向東/華東師范大學課程與教學研究所副教授（上海200062） 王中男/華東師范大學課程與教學研究所博士生（上海200062）2009年11月6日8日，“課程評價改革國際探討會”在華東師范大學召開。 此次研討會由華東師范大學課程與教學研究所舉辦，5位來自美國、澳大利亞、 荷蘭的國際知名測量與評價領域的專家，與200多位我國課程測量與評價的專家、 學者及與會代表一起，圍繞“促進課程評價的專業(yè)化”主題，通過大會學術報告、 分會場專題報告、現(xiàn)場對話等方式，著重探討了 “高考、中考專業(yè)化的體制與機 制；學生學業(yè)質(zhì)量監(jiān)測；考試命題

2、與測驗編制；旨在改進的課堂教學評價；發(fā)展 性課堂學習評價”等我國當前測評研究與實踐中面臨的重要議題。一、我國課程測量與評價領域當前存在的問題就在此次課程評價國際研討會召開前夕，教育部陳小婭副部長在全國基礎教 育課程改革經(jīng)驗交流會上就明確指出，“下一步將深化考試評價制度改革，充分 發(fā)揮推動素質(zhì)教育的導向作用”。參加此次“課程評價改革國際探討會”的與會 專家和代表們對此深表認同。因此，此次課程評價研討會的一個重要議題是重新 反省我國新課程改革進程中課程評價的理論和實踐，充分認識當前課程測量和評 價領域中所面臨的挑戰(zhàn)和存在的問題。經(jīng)過近三天的研討、對話和分析，與會者 就以下幾個問題達成共識。首先，我

3、國當前課程測量與評價領域及其相關領域的研展相對薄弱，無法回 應新課程推進過程中所提出的眾多理論和實踐問題。新課程作為我國基礎教育發(fā) 展歷程中史無前例的改革，在課程理念、目標、內(nèi)容、實施、評價與管理等方面 提出了諸多先進的、前瞻性的思考。然而，如何在課程設計、教材編寫、教學實 踐中貫徹這些理念?如何科學有效地開展相應的測量和評價?這一系列問題都有 待深人系統(tǒng)的研究。評價理念的滯后以及評價研究的薄弱，使得課程測量與評價 逐漸凸現(xiàn)為新課程推進過程中的瓶頸，成為制約實施素質(zhì)教育的重要因素。例如， 新課程倡導建構學習，強調(diào)學習過程是學生主動探究的過程，質(zhì)疑、思考、體驗 生活世界和科學世界的過程。相應地，

4、課程評價應該減少對傳統(tǒng)評價模式的依賴， 降低對學生學科內(nèi)容知識和基本技能的考察，轉(zhuǎn)而尋求對學生靈活運用學科知識 去理解、探究世界，并在理解基礎上提出問題、解決問題的能力的評價。這就要 求我們充分了解建構學習是如何產(chǎn)生和發(fā)展的，基于學科知識結構形成的問題解 決能力是如何形成和培養(yǎng)的。諸如此類的問題，都對課程測量和評價的科學性和 合理性有著至關重要的影響。此外，作為一種評價方式，“聽評課”在我國課堂 教學評價中占據(jù)著穩(wěn)固地位。然而，華東師范大學課程與教學研究所所長崔允都 教授在研究中發(fā)現(xiàn)，當前我國聽評課從專業(yè)化的視角來看存在著“三無”現(xiàn)象一 一聽課無合作、評課無證據(jù)、聽評課無研究。所謂無合作，是指

5、聽評課的人和上 課的人，以及聽評課的人之間往往沒有分工、不合而作，把本來應該是合作的專 業(yè)實踐，當作了個人的事務。無證據(jù)主要是指聽評課的人在談論意見的時候，更 多的是根據(jù)自己的感覺，“我覺得應該怎么上”，而不是基于證據(jù)進行推論。無 研究是指許多人都把聽評課看作是一項管理制度，而不是一項專業(yè)活動一一教師 間合作研究課堂教學的專業(yè)活動。其次，作為課程測量與評價的核心成分，我國當前教育考試的測量學水平亟 待提高。這里的教育考試，包括了從中考、高考，到各種學習質(zhì)量監(jiān)控考試，再 到各種課堂學習評價等學業(yè)成就考試。雖然在整體的設計思路上我國教育考試目 前的實踐與國際上同類測驗相似，但在具體環(huán)節(jié)的實施上還有

6、很大差距，直接影 響到測驗目的的達成和測驗結果的質(zhì)量。華東師范大學課程與教學研究所副教授 楊向東博士認為，這種差距主要體現(xiàn)在測驗編制過程中對測量學問題的思考不 足，對相關測量學技術的應用程度不夠。例如，我國目前現(xiàn)有的課程標準過于概 括抽象，只規(guī)定了最后的目標，缺乏描述各年齡階段學生實際表現(xiàn)程度的水平標 準，直接影響到教育考試框架的制定水平和質(zhì)量保障。在測驗題目開發(fā)方面，我 們更多的依賴命題專家的經(jīng)驗和判斷，較少嚴格遵循詳盡系統(tǒng)的測量學規(guī)范和步 驟。我們較少組織測驗題目的預測，并根據(jù)學生實際回答的數(shù)據(jù)進行測量學方面 的分析，檢驗題目選項是否符合了預期功能、是否測量了應該測量的東西、是否 對不同性

7、別或地區(qū)的學生是公平的等等。這種經(jīng)驗式的命題和組卷模式直接影響 到最終測驗的穩(wěn)定性和準確性，降低了對學生學習情況進行推斷的有效性。第三，我國教育考試多以教育行政部門為主導，缺乏獨立的專業(yè)性的考試研 發(fā)機構。我國教育考試的行政化色彩使得當前的學生學業(yè)評價客觀上過分強調(diào)了 考試評價如何為教育管理和決策服務，而忽視了如何為學生學習和教師教學服 務；客觀上強調(diào)了考試的選拔功能，而忽視了對學生學習的發(fā)展性功能。與會專 家指出，行政的手段有時會直接干預到對學業(yè)成就考試的技術要求，如考試的分 值、題型、題量、難度、等第劃分方式等等，從而使得教育測驗的設計開發(fā)無法 按照科學、正確的程序進行。因此，課程測量和評

8、價的健康發(fā)展呼吁獨立的考試 研發(fā)機構的誕生。此外，專業(yè)性的考試研發(fā)機構的成立還有助于我國大規(guī)?？荚?專業(yè)化水平的提高。大規(guī)?？荚嚨脑O計、開發(fā)、實施和分析是一項復雜的系統(tǒng)工 程，涉及到課程、學科、測量學、心理學以及計算機技術等方面，需要不同背景 的專業(yè)人士組成研發(fā)團隊，團結協(xié)作，緊密配合，在不同的層面上組成梯隊。從 這種意義上講，專業(yè)性的考試研發(fā)機構是組織相關力量，構建考試研發(fā)團隊的理 想平臺。第四，考試開發(fā)和教育實踐隊伍的教育測量和評價素養(yǎng)有待提高。在我國， 中高考等總結性測驗的設計開發(fā)通常是由教育考試機構組織學科專家進行命題 和組卷。學科專家具有的更多的是學科本身的知識，通常缺乏心理與教育測

9、量方 面的知識來理解測驗所要考察的心理屬性，更缺乏相應測量技術和方法來驗證測 驗題目的質(zhì)量。外部評價如此，與實際教學密切結合的課堂評價更是如此。我國 一線教師通常很少受過系統(tǒng)的心理或教育測量理論和技術方面的訓練，課堂評價 任務的設計或選擇往往參照外部考試的題目樣例或模式，較少從當前課程內(nèi)容和 學習目標的實際出發(fā)。上海教育考試院雷新勇副院長指出，造成這種現(xiàn)象的根本 問題在于高校在心理與教育測量方面的教育水平偏低。我國很少有高校開設教育 和心理測量專業(yè)的課程，即使有些教育管理、師范類學生接受了教育評價課程教 育，也多數(shù)是重書本、輕實踐，重理論、輕技術。這是長期以來我國教育考試事 業(yè)落后，問題遲遲得

10、不到解決的深層次原因。二、我國課程測量與評價邁向?qū)I(yè)化的建議與方向除了研討我國當前所面臨的挑戰(zhàn)和存在的問題，與會專家還從各種角度提出 了我國課程測量和評價領域邁向?qū)I(yè)化的種種建議，指明進一步發(fā)展的方向。來 自美國著名的教育測量公司ACT的題目開發(fā)和測驗編制部門的資深測量專家高曉 虹博士向與會人員詳細介紹了 ACT大規(guī)模考試的題目設計和測驗開發(fā)過程。她指 出，題目設計和測驗編制是一個非常復雜的、多周期的過程，是一種藝術與科學 相結合的過程。命題專家的創(chuàng)造性和經(jīng)驗體現(xiàn)在題目設計中，而測量學的理論和 技術則從科學上保證題目的質(zhì)量。給與會專家和學者留下深刻印象的是，在ACT 的大規(guī)?？荚囍?，一道題目從

11、設計伊始到最終進入考試試卷，需要經(jīng)歷至少16 道程序的檢測，歷時2到3年。這其中既有包括學科專家、測量學專家在內(nèi)的題目 評審小組的審核，也有基于預測數(shù)據(jù)的測量學分析。題目質(zhì)量的評審涉及到內(nèi)容、 認知、題型、反應時間、公平性以及常見的難度和區(qū)分度等測量學指標。這種嚴 格遵循詳盡系統(tǒng)的測量學規(guī)范和步驟的測驗開發(fā)過程無疑對我國教育考試的專 業(yè)化有著深刻的借鑒意義。美國著名測量公司CTB/McGraw Hill首席研究專家，前國際心理測量學會主 席wim Vander Linden介紹了當前國際上有關題庫建設的理論和技術的最新進展， 并演示了根據(jù)題庫進行自動化組卷的基本原理與具體技術。他指出，隨著計算

12、機 技術的不斷普及以及現(xiàn)代測量理論的迅猛發(fā)展，構建大型的教育測量和考試的題 庫已成為可能。例如，他所在的CTB / McGraw Hill目前已經(jīng)開發(fā)了一個容納有 70000個題目的大型題庫，包括了美國中小學階段的各個學科的內(nèi)容。利用現(xiàn)代 測量理論，如項目反應理論，既可以保證納人題庫中的測驗題目的測量學指標， 還可以確保不同測驗題目在共同的測量尺度上測量相同的心理或教育屬性，從而 保證了從題庫中生成的各種測驗在測量屬性上的同質(zhì)性。大型題庫的存在是自動 化組卷技術的物質(zhì)前提。自動化組卷可以在幾秒之內(nèi)完成幾十、甚至幾百套試卷 的組卷任務，并能嚴格保證每套試卷滿足多達上百種的技術要求，或者保證不同

13、試卷問的一致性，為我國大規(guī)?？荚囂峁┝撕芎玫慕梃b。目前，國際上所提倡的 連續(xù)性評價的做法就是建立在計算機化的題庫建設和自動化組卷技術基礎之上 的。大型題庫的建設還是計算機適應性測驗的基礎。美國伊利諾伊大學香檳分校 教育測量學教授，美國國家教育進步評估(American NationalAssessment of Eucation Progress； NAEP)設計開發(fā)與技術分析專家張華華是當前國際上著名的 計算機適應性測驗專家。他指出，計算機適應性測驗以項目反應理論為依據(jù)，根 據(jù)學生對已經(jīng)呈現(xiàn)的問題的回答情況動態(tài)調(diào)整后繼測驗題目的呈現(xiàn)，避免了傳統(tǒng) 紙筆測驗中因題目過難或過易而導致的測量效率的降

14、低。采用計算機適應性測驗 具有高效、準確、計分迅速和反饋及時等多種優(yōu)點，因此，他建議我國教育考試 和評價多采用計算機化的測驗模式。他還指出，計算機化測驗還可以與當前國際 上流行的認知診斷測驗相結合，利用測量學技術從學生回答問題的反應模式中挖 掘深層信息，為教育實際工作者提供具有診斷性的反饋信息。在考試結果的分析和匯報方面，澳大利亞教育研究.委員會(Australia Coundl of Educational Research； ACER)的首席執(zhí)行官，前墨爾本大學教授Geoff Masters以PISA為例，向與會人員介紹了如何通過運用現(xiàn)代測量理論建立測驗分 數(shù)的測量尺度(Scale)以及不

15、同分數(shù)的實質(zhì)含義，使教育考試的分數(shù)具有像長度 或重量那樣的特征，從而使對考試結果的解釋不依賴于某個具體的測驗，能夠在 同個尺度上對不同學生個體和集體進行描述和比較。他指出，共同測量尺度的建 立提供了描述和追蹤學生學習和發(fā)展變化的基礎和可能。與國外專家一樣，與會的國內(nèi)專家學者們分別從不同的角度分析論證了我國 課程測量和評價走向?qū)I(yè)化的可能和路徑。專家們從我國考試制度和體制的改 革、課程標準的制定、評價形式的轉(zhuǎn)變、測量技術的提升和應用等等方面介紹了 各自的理論構想和研究成果。例如，眾多的與會學者探討了在現(xiàn)有形式下如何改 革我國的中高考制度和體制，探索了以高考、學業(yè)水平考試和綜合素質(zhì)考試“三 位一體

16、”的評價體系。在改革教育考試開發(fā)與教育行政部門關系上，與會專家指 出教育行政機構應該“從政策層面確定學業(yè)水平考試的目標和要求，而學業(yè)水平 考試的設計、開發(fā)、管理等專業(yè)問題，應該交由專業(yè)的考試機構獨立地進行”。 在課程標準的制定上，上海教育考試院雷新勇副院長認為，我國的課程標準更接 近于西方課程標準和內(nèi)容標準的融合，而缺乏學業(yè)標準或表現(xiàn)標準的成分。他指 出，“教育部已經(jīng)下文要求各省市建立與新課程改革相配套的學業(yè)水平標準”。這就為我國學業(yè)水平考試提供了科學發(fā)展的前提條件。在評價形式的轉(zhuǎn)變方面， 眾多的與會學者分別從關注過程的動態(tài)評價、關注“真實任務”的表現(xiàn)性評價以 及關注信息技術的形成性評價等角度

17、進行了探討。值得一提的是，此次研討會還出現(xiàn)了從認知心理學的角度對教育考試中測驗 題目所涉及的認知因素的研究，如華東師范大學心理學院邵志芳副教授對中高考 試題的認知任務分析，以及上海教育考試院的賈林芝和雷新勇等人對高考題目的 認知要素與測量目標關系的研究。由于我國教育考試效度的研究歷來非常薄弱， 這些研究的出現(xiàn)提供了分析考試效度的一個新途徑。此外，許志勇等基于認知診 斷測量模型對數(shù)學測驗進行設計和分析的研究，也在一定程度上反映了我國在測 量理論和技術方面與國際測量學研究的接軌。三、我國課程測量和評價領域發(fā)展的進一步思考三天的課程評價改革國際研討會取得了圓滿成功，然而中國的課程測量和評 價領域的發(fā)

18、展依然任重而道遠。應該看到，無論是理論研究還是實踐層面，我國 在課程測量和評價領域的發(fā)展與國際先進水平還相去甚遠。中國的課程測量和評 價領域能否發(fā)展壯大，能否承載當前課程改革所提出的種種理論和實踐問題，有 待于幾方面的協(xié)調(diào)發(fā)展。首先，加強課程測量、評價及其相關領域的學科建設， 壯大學科隊伍，提高科研水平。這里科研水平的提高，并不單純是指我國在測量 理論研究和技術開發(fā)上與國際接軌的問題。能夠發(fā)表國際領先的研究成果固然重 要，然而，能否對我國基礎教育改革目前面臨的重大理論和現(xiàn)實問題展開研究， 解決當前課程改革進程中的實際問題有著更為現(xiàn)實的意義。其次，通過專業(yè)協(xié)會 的引領或者政府相關部門的支持，加強與課程測量評價相關問題的跨學科的協(xié)作 與交流。從新課程的