系統(tǒng)化教學(xué)設(shè)計chapt10-

1、第十章設(shè)計和實施形成性評價 目標(biāo)z能夠說出對教師開發(fā)的材料、教師選擇的材料和教師呈現(xiàn)的教學(xué)進行形成性評價的目的,所進行的形成性評價有哪幾個階段組成z能夠說出幾種形成性評價常用的評價量表z能夠為一組教學(xué)材料或教師呈現(xiàn)的教學(xué)制定合適的形成性評價計劃,設(shè)計評估量表z能夠按照對教學(xué)材料或教師呈現(xiàn)型教學(xué)所制定的形成性評價計劃搜集數(shù)據(jù)背景在30年前開發(fā)教學(xué)材料的情景是這樣的:將你的初稿,也許是修改后的初稿,直接當(dāng)作成品,發(fā)給目標(biāo)人群。結(jié)果,由于初稿的不完善,在使用過程中總是會出現(xiàn)很多問題。教師被指責(zé)為不會教,學(xué)習(xí)者被批評說不好好學(xué),而實際上是教學(xué)材料不能夠很好地支持他們的教與學(xué)。在二十世紀(jì)六十年代隨著大型

2、課程開發(fā)項目的出現(xiàn),這種未經(jīng)測試的教材所引起的問題更加突出。在那個時代,“評價”這個概念被定義為新產(chǎn)品和已有產(chǎn)品的有效性比較。在進行這類研究的時候,研究者們經(jīng)常發(fā)現(xiàn)使用新課程材料的學(xué)習(xí)者成績相對較低。在對這種情況研究之后,克羅班徹和斯克瑞溫認(rèn)為必須拓展“評價”的概念。他們建議開發(fā)者實施后來被稱之為形成性評價(formative evaluation的活動即在教學(xué)材料的開發(fā)過程中搜集用于改善教學(xué)效度的數(shù)據(jù)和信息。有研究表明每年美國賣出的數(shù)千種教學(xué)產(chǎn)品都沒有經(jīng)過學(xué)習(xí)者評價,在分發(fā)前也沒有做過修正。還有研究表明即使是只找一個學(xué)習(xí)者來試用,根據(jù)其使用情況修改教學(xué)材料,也會明顯改善教學(xué)材料的教學(xué)效果。因

3、此,教學(xué)設(shè)計模型的這個階段強調(diào)有必要從目標(biāo)學(xué)習(xí)者那里收集與教學(xué)材料的使用及教學(xué)效度相關(guān)的數(shù)據(jù),用這些信息使教學(xué)材料更加有效。你應(yīng)該注意到教學(xué)設(shè)計模型中設(shè)計和開發(fā)過程的各個步驟都以理論、研究以及常識為基礎(chǔ)。在此刻,你要作為評價人員收集你所開發(fā)的教學(xué)材料的有效性數(shù)據(jù),按照教學(xué)設(shè)計模型,你應(yīng)該已經(jīng)完成了教學(xué)材料的開發(fā),并寄希望于它能夠幫助那些原先不能完成學(xué)期目標(biāo)的學(xué)習(xí)者取得重大成就。你現(xiàn)在正處于要驗證這一假設(shè)的關(guān)鍵時刻。形成性評價起初是用來作為改進教學(xué)的一個過程,在教學(xué)材料的第一稿開發(fā)出來后進行。但是,有經(jīng)驗的設(shè)計人員發(fā)現(xiàn),應(yīng)該在設(shè)計過程的早期各階段都進行,以防止大量的問題直到教學(xué)材料初稿完成后才被

4、發(fā)現(xiàn)。讓我們回想一下,在我們講到教學(xué)情境分析的時候,曾經(jīng)建議使用教學(xué)分析的結(jié)果向從目標(biāo)學(xué)習(xí)者中挑選出來的一些學(xué)習(xí)者解釋你將要教他們什么;在你選擇好教學(xué)策略之后,我們也建議你用類似的方法即用你選定的方法來教一些學(xué)習(xí)者,力求在使用它指導(dǎo)教學(xué)開發(fā)之前發(fā)現(xiàn)策略中存在的問題。上述這兩個過程都可以視為形成性評價,因為你在從學(xué)習(xí)者那里收集信息,在進入設(shè)計過程的下一步之前修改教材?，F(xiàn)在你要做類似的事情,以更加系統(tǒng)化的方式,對待你所開發(fā)的教學(xué)。這一章和下一章的內(nèi)容劃分相當(dāng)隨意,我們一般都認(rèn)為形成性評價和對教學(xué)材料的修改是同一步驟。為了更加清楚地說明這個問題,同時也為了強調(diào)在教學(xué)材料修正過程中對教學(xué)設(shè)計全過程進行

5、再度審視的重要性,我們特意把形成性評價的設(shè)計和實施從教學(xué)材料的修正過程中分離出來單獨說明。在這一章,我們將要討論如何應(yīng)用形成性評價的方法,對新開發(fā)出來的教學(xué)材料、選擇并修改的材料、教師傳遞的教學(xué),以及這三種方式的結(jié)合體進行形成性評價。我們還將說明如何把這些方法運用到教學(xué)過程中去,以確保教學(xué)無論是采用哪種呈現(xiàn)模式,都能夠被恰當(dāng)?shù)貙崿F(xiàn)和管理。概念這一章最主要的概念就是形成性評價。形成性評價是教學(xué)設(shè)計人員用來獲取數(shù)據(jù),并通過這些數(shù)據(jù)修正他們的教學(xué),提高教學(xué)效率效果的過程。形成性評價的重點是搜集數(shù)據(jù),分析數(shù)據(jù),改進教學(xué)。當(dāng)教學(xué)的最終版本一經(jīng)完成,就要由其他的評價人員來采集數(shù)據(jù)并確定其有效性,這后一種評

6、價經(jīng)常叫做總結(jié)性評價(summative evaluation。稱其為“總結(jié)性”是因為這時候教學(xué)已經(jīng)呈現(xiàn)其最終形態(tài),而且此時也適合將它與其他類似形式的教學(xué)進行比較了。形成性評價主要分為三個階段:第一個階段是一對一評價,或稱為診斷性評價階段,在這個最初的階段中,設(shè)計師從單個的學(xué)習(xí)者身上采集數(shù)據(jù)并修正教學(xué)材料;第二個階段稱為小組評價階段,一個由8至20個目標(biāo)人群的典型代表組成的小組,利用教學(xué)材料自行學(xué)習(xí),然后通過對他們的測試來采集所需要的數(shù)據(jù);第三個階段通常稱為實地試驗,在實地試驗階段,有多少名學(xué)習(xí)者并不是特別重要,一般30個就足夠了,關(guān)鍵是試驗過程要有一個與“真實世界”盡可能接近的教學(xué)情境。形成

7、性評價的這三個階段都是由一些并未直接參與教學(xué)開發(fā)項目,但是有相關(guān)經(jīng)驗的專家通過審核教學(xué)過程來完成的。下面先介紹這些評價人員的角色,然后再介紹形成性評價三個以學(xué)習(xí)者為導(dǎo)向的階段。學(xué)科專家、學(xué)習(xí)專家和學(xué)習(xí)者專家在形成性評價中的角色盡管形成性評價過程的核心是采集學(xué)習(xí)者的數(shù)據(jù),但是請專家對教學(xué)做評審也很重要。教學(xué)設(shè)計師本身也許很熟悉教學(xué)內(nèi)容,也許還有領(lǐng)域?qū)＜业膮f(xié)助,也許他也非常了解教學(xué)的目標(biāo)人群,但是,仍舊有很多理由要求聽取外部專家的意見。當(dāng)教學(xué)的第一稿寫完之后,設(shè)計師可能會面臨“只見樹木不見森林”的問題,他們可能對教學(xué)材料熟視無睹,這時讓局外人來評價已開發(fā)的成果具有無法估量的意義。一種“局外人”是項

8、目之外對于教學(xué)內(nèi)容領(lǐng)域十分熟悉的專家,這個領(lǐng)域?qū)＜?SME主要評價教學(xué)內(nèi)容的精確性和時新性。盡管很多改進意見都可以接受,但是對于有關(guān)改變教學(xué)策略的建議要三思而后行。另一種“局外人”是教學(xué)所包含的學(xué)習(xí)類型的專家。一個熟悉該種學(xué)習(xí)類型教學(xué)的同事能夠?qū)δ愕慕虒W(xué)策略提出批評意見,并告訴你能增進這類學(xué)習(xí)的教學(xué)理論。另外,如果有人十分熟悉你的教學(xué)對象人群,那么聽取他對你的教學(xué)草案的意見也是很有幫助的因為他可以從學(xué)習(xí)者的視角和可能的反應(yīng)看待你的教學(xué)并提出意見。這類專家可以敏銳地洞察教學(xué)材料是否適用于最終的應(yīng)用環(huán)境。教學(xué)設(shè)計師并非必須采納這些專家的建議,也有人提出教學(xué)設(shè)計師可以等到從學(xué)習(xí)者那里采集來數(shù)據(jù)并總結(jié)

9、出結(jié)論后,再根據(jù)這些結(jié)論決定是否采納專家的意見。不過,這至少使教學(xué)設(shè)計師在學(xué)習(xí)者開始參與形成性評價過程之前就對潛在的問題有所察覺。與學(xué)習(xí)者的一對一評價在對教學(xué)的形成性評價三個階段進行討論的時候,我們假設(shè)設(shè)計師已經(jīng)完成了初步的開發(fā)工作。后面還會探討對使用現(xiàn)有資料和由教師引導(dǎo)的教學(xué)進行形成性評價的過程。形成性評價的第一個階段,一對一評價(one-to-one evaluation階段的目的是確定并改正教學(xué)中存在的明顯錯誤,從學(xué)習(xí)者那里獲得對教學(xué)內(nèi)容的最初使用數(shù)據(jù)和反饋。這主要通過教學(xué)設(shè)計師和單個學(xué)習(xí)者的直接交流來完成,在這個階段,教學(xué)設(shè)計師需要和三名或者三名以上具有代表性的學(xué)習(xí)者一起工作。標(biāo)準(zhǔn)在開

10、發(fā)教學(xué)策略和教學(xué)內(nèi)容的時候,設(shè)計師和開發(fā)者要就教學(xué)內(nèi)容、學(xué)習(xí)者、教學(xué)形式和教學(xué)情境做出多種轉(zhuǎn)換和決定。一對一的評價過程正好給教學(xué)設(shè)計師一個機會,讓他們可以從學(xué)習(xí)者的角度出發(fā),就他們在開發(fā)過程中所做出的轉(zhuǎn)換和決定,進行最初的審視。在評價過程中,設(shè)計師需要遵循的三個主要標(biāo)準(zhǔn)是:1、明晰度:對于學(xué)習(xí)者個體而言,信息或者呈現(xiàn)給他們的教學(xué)內(nèi)容是否明了、清楚?2、影響力:教學(xué)對于學(xué)習(xí)者個體的態(tài)度和達到教學(xué)目標(biāo)有沒有影響?3、可行性:如果得到所需的資源(如時間、教學(xué)情境,教學(xué)的可行性有多大?這種一對一的評價可以用來驗證設(shè)計師和開發(fā)者的預(yù)感是否正確,是否存在對目標(biāo)人群的誤解。挑選學(xué)習(xí)者在形成性評價過程中,設(shè)計

11、師所做出的最關(guān)鍵的決定就是選擇什么樣的學(xué)習(xí)者來參加研究。這不是實驗,所以無需從大量學(xué)習(xí)者中隨機抽取樣本。實際上,設(shè)計師只是要挑選幾個能夠代表目標(biāo)人群的學(xué)習(xí)者,這些學(xué)習(xí)者要能夠代表目標(biāo)學(xué)習(xí)者的能力范圍,因為先前學(xué)過的知識和能力也會影響他們學(xué)習(xí)新知識和新技能。設(shè)計師在挑選學(xué)習(xí)者的時候,可以挑選一個能力超過平均水平的(當(dāng)然,不能是水平最高的,一個處于平均水平的和一個低于平均水平的。然后,和每個學(xué)習(xí)者單獨工作。在完成了與這三個學(xué)習(xí)者的初步評價之后,有時候設(shè)計師還會從目標(biāo)學(xué)習(xí)者中再多挑選幾個學(xué)習(xí)者進行一對一評價。通常有三個學(xué)習(xí)者也就足夠了。設(shè)計師除了要關(guān)注能力因素以外,還要關(guān)心其他與學(xué)習(xí)者的成績密切相關(guān)

12、的學(xué)習(xí)者個性特點,在形成性評價中系統(tǒng)地考慮。就像我們在第五章中提到的那樣,態(tài)度和學(xué)習(xí)者先前的經(jīng)驗非常重要,應(yīng)該在形成性評價過程中有所體現(xiàn)。比如,在形成性評價的一對一階段,設(shè)計師可以挑選一個對所學(xué)的內(nèi)容具有積極態(tài)度的學(xué)習(xí)者,一個態(tài)度一般的和一個持消極態(tài)度的。類似地,如果工作經(jīng)驗也是一個重要因素的話,那么就可以挑選一個在這項工作上有十年以上工作經(jīng)驗的,一個有兩年到五年工作經(jīng)驗的,和一個工作不到一年的。主要的觀點就是:在挑選學(xué)習(xí)者參與形成性評價的時候,能力不是唯一關(guān)鍵的因素。設(shè)計師需要根據(jù)不同的教學(xué)設(shè)計環(huán)境做出不同的決定。數(shù)據(jù)采集一對一評價中三個主要的評判標(biāo)準(zhǔn)和要做出的決定可以幫助評價者專注于各類有

13、用的信息。表10.1包含了用明晰度、影響力和可行性三個標(biāo)準(zhǔn)劃分的信息種類,表中每個標(biāo)準(zhǔn)類列出的內(nèi)容只是示例性的,并沒有窮盡所有,因為各類信息的相關(guān)度會根據(jù)學(xué)習(xí)者的成熟度、教學(xué)內(nèi)容和傳遞方式而有所不同。標(biāo)準(zhǔn)訊息鏈接過程教學(xué)的清晰度z詞匯水平z句型復(fù)雜性z訊息復(fù)雜性z引言z具體闡述z結(jié)論z過渡z背景z實例z類比z圖解z示范z回顧z總結(jié)z順序安排z教學(xué)塊大小z教學(xué)過渡z教學(xué)步調(diào)z呈現(xiàn)變換態(tài)度成績對學(xué)習(xí)者的影響力z信息及技能的有用性(相關(guān)性z要學(xué)的信息及技能的難易程度(自信心z學(xué)習(xí)者對已學(xué)技能的滿意程度z后測做題指導(dǎo)及題目的清晰性z后測的成績學(xué)習(xí)者資源可行性z成熟度z獨立性z動機水平z時間z設(shè)施z環(huán)境

14、對于教學(xué)的清晰度,上表列舉了三大類信息:訊息、鏈接和過程。第一類,訊息,表示傳遞給學(xué)習(xí)者的基本訊息是否清楚明了,與基本訊息相關(guān)的考慮包括以下幾個方面:詞匯、句子的復(fù)雜性和訊息結(jié)構(gòu)。無論學(xué)習(xí)者是讀、是聽、還是看這些訊息,他都必須要能夠理解。第二類,鏈接,指的是基本訊息是如何根據(jù)學(xué)習(xí)者定制的。這些鏈接包括上下文、例子、類比、圖例、演示等等。當(dāng)學(xué)習(xí)者不熟悉這些鏈接時,基本訊息無疑就變得比較復(fù)雜了。第三類,過程,指的是教學(xué)的一些特征,諸如教學(xué)的順序、所呈現(xiàn)教學(xué)塊的大小、兩個教學(xué)塊之間的過渡、教學(xué)步調(diào),以及教學(xué)呈現(xiàn)中的變化等等。當(dāng)上述各要素之一對學(xué)習(xí)者不適合的時候,教學(xué)的清晰度就發(fā)生了變化。比如教學(xué)進度

15、過慢,反復(fù)過多,學(xué)習(xí)者就會喪失興趣;相反,如果教學(xué)進度過快,學(xué)習(xí)者的理解就會變得有些困難。描述性信息比數(shù)量數(shù)據(jù)更能提供改進教學(xué)清晰度的有用信息。如果教學(xué)是通過平面媒體呈現(xiàn)的,無論是在紙上還是在計算機屏幕上,學(xué)習(xí)者都可以在他們不熟悉的詞匯、不清楚的例子、示例和段落下面劃線或做標(biāo)記;他們還可以在他們搞不懂的圖表上面做標(biāo)記。在使用錄像帶或者幻燈片的時候,學(xué)習(xí)者可以簡略的記錄下來哪些術(shù)語或者資料是他們不太明白的,也可以隨時把錄像機或者幻燈機停下來,和評價人員就不清楚的段落或術(shù)語交流。無論一對一評價采用什么教學(xué)傳遞方式,我們都可以向?qū)W習(xí)者問一些教學(xué)過程特征方面的問題,諸如教學(xué)塊的大小和教學(xué)步調(diào)等。這些教

16、學(xué)的過程性特征還可以通過觀察來獲得,例如可以在學(xué)習(xí)者聽老師講課的時候,他們讀書的時候,或看演示的時候進行觀察。這樣的觀察能夠幫助評價人員確定學(xué)習(xí)者們是在熱切地參與學(xué)習(xí),還是已經(jīng)有些厭倦,抑或已經(jīng)疲累不堪,還可以判斷是不是這三種情緒很明顯地表現(xiàn)在教學(xué)的不同點。表10.1中的第二個標(biāo)準(zhǔn),對學(xué)習(xí)者的影響力,與學(xué)習(xí)者對教學(xué)的態(tài)度和他/她在具體學(xué)習(xí)目標(biāo)上的學(xué)習(xí)成就有關(guān)。對于態(tài)度,評價人員需要確定學(xué)習(xí)者是否意識到學(xué)習(xí)是(1與自身密切相關(guān)的,(2通過適當(dāng)?shù)呐涂梢赃_到目標(biāo),(3對學(xué)習(xí)經(jīng)歷感到有興趣并且滿意。至于成就,可以通過后測了解學(xué)習(xí)者是不是能夠回憶起學(xué)過的信息,是否能完成任務(wù)。對學(xué)習(xí)成就的考察方式會因

17、教學(xué)傳遞媒體而不同。對學(xué)習(xí)者的問題或者做題指示可以由教師口頭陳述,學(xué)習(xí)者的回答可以通過(1紙筆或鍵盤(2口頭回答教師的問題(3開發(fā)一個作品或者完成要求做的某件事情。表10.1中的第三個標(biāo)準(zhǔn),可行性,是在一對一試驗期間可以審查的有關(guān)管理方面的考慮?？尚行苑矫娴目紤]包括學(xué)習(xí)者的能力水平、教學(xué)媒體和教學(xué)環(huán)境。感興趣的問題包括以幾個:(1學(xué)習(xí)者的成熟度、獨立性和動機水平如何影響完成教學(xué)所需要的時間量?(2這樣的學(xué)習(xí)者能否操作或者輕易地學(xué)會操作所要求的專門設(shè)備?(3在這樣的環(huán)境下,學(xué)習(xí)者是否會感到舒服?(4在給定時間內(nèi)傳遞教學(xué)的費用是否合理?過程一對一評價的典型過程是,先向?qū)W習(xí)者說明有一套新的教學(xué)材料已

18、經(jīng)設(shè)計出來了,希望能夠聽聽他/她對它的反應(yīng)。你還應(yīng)該向?qū)W習(xí)者說明,出現(xiàn)的任何錯誤都可能是教學(xué)材料的不足引起的,而不是由于學(xué)習(xí)者自身有什么問題。你要鼓勵學(xué)習(xí)者放松地談?wù)摻虒W(xué)材料,學(xué)習(xí)者不僅要看完教學(xué)材料,還要做教學(xué)材料提供的測驗。你還要記錄一個學(xué)習(xí)者完成教學(xué)材料所花費的時間。教學(xué)設(shè)計人員發(fā)現(xiàn)這個過程在教學(xué)材料的準(zhǔn)備階段很有價值。當(dāng)學(xué)習(xí)者以這種方式使用學(xué)習(xí)材料的時候,他們發(fā)現(xiàn)了排版錯誤、內(nèi)容缺失、漏頁、圖表編號錯誤、網(wǎng)頁鏈接錯誤和其他一些難以避免的錯誤,學(xué)習(xí)者經(jīng)常還能夠描述他們在學(xué)習(xí)順序安排和理解所教概念上的困難,他們還可以就測驗是否測定了教學(xué)目標(biāo)而對測驗進行批評。你可以利用所有這些信息來修改教學(xué)

19、材料和測驗,并改正材料中大大小小的錯誤。與教學(xué)設(shè)計的早期階段形成對照的是,一對一的形成性評價階段并不強調(diào)設(shè)計師的分析技能,它的第一個重要特點是非常依賴設(shè)計師的交流能力,即能否在自己和學(xué)習(xí)者之間建立友好信任的關(guān)系,并進行有效的交流。學(xué)習(xí)者也許從來都沒有被要求去評論一個教學(xué),一直以來的假設(shè)就是如果學(xué)習(xí)沒有發(fā)生,那一定是學(xué)習(xí)者的錯誤。學(xué)習(xí)者必須要確信他們是有權(quán)利對呈現(xiàn)給他們的教學(xué)材料進行評價的,但是有時候當(dāng)要求一個年輕人去批評權(quán)威作品的時候還是會特別困難。設(shè)計師要創(chuàng)造一種氛圍,此氛圍能夠接受和支持來自學(xué)習(xí)者的負(fù)面評論。一對一方法的第二個關(guān)鍵特點是它是一個交互的過程。如果設(shè)計師把教學(xué)材料往學(xué)習(xí)者手里一

20、放,說:“來,讀這個,然后告訴我你是否有問題?！蹦敲催@個過程的作用就大大地減弱了。設(shè)計師應(yīng)該坐在學(xué)習(xí)者的斜對面,和學(xué)習(xí)者一起(默默地讀學(xué)習(xí)材料,然后在預(yù)先設(shè)定好的時機,和學(xué)習(xí)者討論材料中呈現(xiàn)的內(nèi)容。對話討論的可以是某道練習(xí)題的答案,也可以是對內(nèi)容呈現(xiàn)中某點的考慮。在每次進行一對一試驗之前,設(shè)計師都應(yīng)該制定一個策略,決定交互該如何進行,學(xué)習(xí)者如何知道什么時候可以和評估人員討論。很明顯,每次一對一試驗都只有一個學(xué)習(xí)者參加。不太可能和兩個或兩個以上的學(xué)習(xí)者同時進行這個過程。當(dāng)設(shè)計師進行評價的時候,一方面需要將學(xué)習(xí)者的建議和意見都記錄下來,另一方面也要把設(shè)計師所做出的有效解釋也記錄下來。這些內(nèi)容都可以

21、記錄在教學(xué)材料的同一個副本上,或者在評價過程中記錄在錄音帶上,總之,采用學(xué)習(xí)者樂于接受的形式。評測和問卷當(dāng)參加一對一試驗的學(xué)習(xí)者完成了教學(xué)之后,他們還要以同樣的方式評論后測和態(tài)度問卷。在做完了評測中的每道題或每個步驟之后,都要問學(xué)習(xí)者為什么要做出這種選擇。這樣不僅能夠發(fā)現(xiàn)錯誤,還可以找出錯誤的原因。這些信息在教學(xué)材料的修改過程中很有用。你還會發(fā)現(xiàn)一些你認(rèn)為很清楚的測驗題目,學(xué)習(xí)者卻完全理解錯誤。如果這些錯誤的題目在進行小組評價的時候仍然存在,那么就會出現(xiàn)一個大問題,即需要決定是這些題目有問題,還是整個教學(xué)都存在問題。對評測量表的評價要和對教學(xué)本身的評價一樣認(rèn)真對待?？荚囍甘菊f明和評價行為、作品

22、和態(tài)度的量表在實際用于評價被測者的工作之前,也要進行形成性評價。就象做紙筆測驗一樣,你必須確保做題指示清楚,學(xué)習(xí)者按照指示去做,就能夠產(chǎn)生預(yù)期的行為或作品。你還必須評估評價量表的可用性。評價量表中各要素的評判標(biāo)準(zhǔn)如下:(1每個需要做出判斷的要素是否可觀察,(2表述方式是否清晰,(3排列順序是否有效。對于評價者的響應(yīng)記錄表,你還要檢查響應(yīng)的種類和標(biāo)準(zhǔn)是不是合理,這主要根據(jù)你需要做出的判斷的種類和數(shù)量,你觀察、判斷和記錄判斷可用的時間來決定。如果你跟不上學(xué)習(xí)者的進度,那么你的判斷的準(zhǔn)確性就會受到影響。你的判斷的可靠性也需要進行評價。這可以通過在一段時間間隔內(nèi)兩次或者多次評價同一個行為或作品來完成。

23、也可以讓兩個或者多個評價人員使用同樣的量表對同一表現(xiàn)或作品進行評價來檢驗可靠性。如果同一個評價人員對同一作品幾次打分不一樣或者不同評價人員對同一產(chǎn)品打分不一致,量表就需要進行修改。對量表需要重新考慮的問題包括要評判的要素個數(shù)、要評定的等級數(shù)目、以及每個等級評判標(biāo)準(zhǔn)描述的清晰度。要被觀察的要素數(shù)量和要進行判斷的等級數(shù)量可以減少到能夠獲得一致性為止。這意味著量表的評價需要多次反復(fù),以確保量表的可用性和使用量表做出判斷的一致性。最后,你還要評價你的評分策略。使用你在量表的形成性評價過程中采集的數(shù)據(jù),匯總各要素等級預(yù)定的分?jǐn)?shù),然后在目標(biāo)層次和總的績效水平考察這些匯總后的數(shù)據(jù)。這些數(shù)據(jù)合乎邏輯嗎?可以解

24、釋嗎?它們可以用來評價教學(xué)或者行為的某個部分嗎?如果對上述問題的回答是否定的,那么就要修改計分策略和/或打分過程,直到獲得了可用的數(shù)據(jù)。學(xué)習(xí)時間設(shè)計人員在一對一評價過程中的興趣之一是確定學(xué)習(xí)者完成教學(xué)所需要的時間。因為一對一評價期間有學(xué)習(xí)者和設(shè)計師的交互,所以只能得到對時間的粗略估計。你可以從總的時間中減去一個百分量,但是經(jīng)驗表明這樣的估計十分不準(zhǔn)確。最后一個關(guān)于一對一評價過程的建議就是要提供良好的環(huán)境。學(xué)習(xí)者很少會處在這樣一個脆弱的位置,還被要求暴露他們的無知。有時候即使是成人也不得不承認(rèn)他不知道某個很常見詞匯的意思,-他們總是說要查字典,但是卻忘記了。在一對一階段,設(shè)計師處于控制地位,因此

25、有責(zé)任為學(xué)習(xí)者提供舒適的工作環(huán)境。學(xué)習(xí)者可能會因為暴露了他們現(xiàn)在的知識水平而感到不好意思,我們要盡一切可能使得教學(xué)更加客觀,給學(xué)習(xí)者更多的支持。因為沒有學(xué)習(xí)者,就沒有形成性評價。數(shù)據(jù)解釋有關(guān)教學(xué)清晰度、對學(xué)習(xí)者的影響力和教學(xué)可行性方面的信息需要進行匯總和聚焦。教學(xué)的薄弱環(huán)節(jié)需要重新考慮,并制定修改計劃,以便提高該教學(xué)對同類學(xué)習(xí)者的教學(xué)水平。在一對一測驗階段進行數(shù)據(jù)解釋的時候,非常重要的一點是:不要過分推廣從單個學(xué)習(xí)者那里收集到的數(shù)據(jù)。盡管我們能夠確保他/她是目標(biāo)學(xué)習(xí)者的典型代表,但是無法保證第二個目標(biāo)學(xué)習(xí)者會做出類似的反應(yīng)。目標(biāo)成員不同的能力水平、期待水平和個性導(dǎo)致了我們從每個人身上得來的數(shù)據(jù)

26、都可能是不一樣的。從一對一階段獲得的信息只能看作是“第一印象”,也許可以推廣,也許不可以推廣。在這個階段,教學(xué)中的嚴(yán)重錯誤都會暴露出來,可以馬上進行修改,但是教學(xué)中還會存在一些問題不會立即修改,而要等到對其他學(xué)習(xí)者重新試驗后,或者在小組評價后才做出改動。成果一對一試驗的結(jié)果使得教學(xué)得到了如下的改進:(1使用的詞匯、語言的復(fù)雜度、例子和圖解都更符合預(yù)期的學(xué)習(xí)者;(2或者使學(xué)習(xí)者具備了正確的態(tài)度和預(yù)期的成就,或者為了在后續(xù)試驗中提高學(xué)習(xí)者態(tài)度和績效而修改了教學(xué);(3適合目前的學(xué)習(xí)者、資源和環(huán)境,具有可行性。教學(xué)可以通過小組試驗得到更進一步地完善。在下一章中,我們將要討論如何匯總在一對一評價階段得到

27、的信息,以及如何確定需要做哪些修改。在這一章中,我們將繼續(xù)討論形成性評價的下一個階段,這個階段是在根據(jù)一對一評價的結(jié)果完成了對教學(xué)的修改之后進行的。小組評價小組評價(small-group evaluation有兩個主要目的,一個是確定在一對一評價后所作的改動是否有效,學(xué)習(xí)者還有哪些學(xué)習(xí)問題;另一個是確定學(xué)習(xí)者是否可以不與教師交流獨立地使用教學(xué)材料。(在此的討論,仍舊假設(shè)設(shè)計師在設(shè)計某種形式的自學(xué)材料。標(biāo)準(zhǔn)和數(shù)據(jù)評價教學(xué)有效性經(jīng)常使用學(xué)習(xí)者在前測和后測的成績。前測一般包括入門技能和教學(xué)目標(biāo),后測測定學(xué)習(xí)者在從屬目標(biāo)和學(xué)期目標(biāo)上的表現(xiàn)。除了學(xué)習(xí)者的成績水平之外,還要通過態(tài)度問卷和后續(xù)訪談了解他們

28、對于教學(xué)的態(tài)度。所收集的有關(guān)教學(xué)可行性方面的信息一般包括以下幾個方面:(1學(xué)習(xí)者完成教學(xué)和所要求的績效評測所需要的時間;(2以預(yù)定的形式在設(shè)定的環(huán)境下傳遞教學(xué)的費用和可行性;(3實施或管理教學(xué)者的態(tài)度。挑選學(xué)習(xí)者對于小組評價,你大約要挑選8到20個學(xué)習(xí)者組成評價小組。如果學(xué)習(xí)者人數(shù)少于8,所得到的數(shù)據(jù)可能不具備代表性;但是另一方面,如果從多于20個學(xué)習(xí)者處獲得數(shù)據(jù),你又會發(fā)現(xiàn)你所獲得的信息超過了你的需要,而且增加的學(xué)習(xí)者并不能帶給你額外的什么有價值的信息。仔細(xì)挑選參加小組評價的學(xué)習(xí)者非常重要,這些評價材料的學(xué)習(xí)者應(yīng)該盡可能地代表你的目標(biāo)人群。在理想的研究環(huán)境下,你應(yīng)該隨機挑選學(xué)習(xí)者,這樣才能把

29、你的發(fā)現(xiàn)推廣到整個目標(biāo)人群。但是在典型的學(xué)校、業(yè)界和成人教育環(huán)境下,純粹的隨機經(jīng)常是不可能的,甚至也可能是不希望的。當(dāng)你無法隨機挑選學(xué)習(xí)者、或者你的挑選余地很小的時候,你要盡可能地確保從目標(biāo)人群的每種類型中至少選取一個做代表,下面給出了目標(biāo)人群類別的幾種劃分方法:z學(xué)業(yè)水平分別為高、中、低的學(xué)習(xí)者z不同母語的學(xué)習(xí)者z熟悉某種學(xué)習(xí)方式(如網(wǎng)絡(luò)教學(xué)的學(xué)習(xí)者,和不熟悉這種學(xué)習(xí)方式的學(xué)習(xí)者z年輕、沒有什么經(jīng)驗的學(xué)習(xí)者,相對更成熟的學(xué)習(xí)者如果你的目標(biāo)組同質(zhì)性高,分出這些子類別并不成問題,但是如果目標(biāo)人群具有不同的技能水平和背景,設(shè)計師就應(yīng)該考慮在小組評價樣本中包括每組的代表。例如,你不可能基于對高學(xué)業(yè)水

30、平學(xué)習(xí)者在教學(xué)材料上的表現(xiàn),來推斷低學(xué)業(yè)水平的學(xué)習(xí)者會怎么樣。通過挑選合適的有代表性的樣本,你就能對教學(xué)中要做的修改加深認(rèn)識。參加小組評價的學(xué)習(xí)者有時候也可能是有偏差的樣本,因為他們可能是一些比一般人更愿意參與教學(xué)的學(xué)習(xí)者。設(shè)計師必須要清楚這個問題,并且要盡可能地獲得最具代表性的小組樣本,要考慮到在挑選小組評價參與者時所可能碰到的所有限制因素。另外還有一點很重要:這個階段雖然被稱為“小組評價”,但是這個“小組”指的是學(xué)習(xí)者的數(shù)量,而不是學(xué)習(xí)者實際使用材料的環(huán)境。比如,如果你的教學(xué)材料需要使用某個專門設(shè)備,而你只得到一臺這樣的設(shè)備,那么你就必須要讓這8到20個學(xué)習(xí)者在單獨的環(huán)境下使用你的材料進行

31、學(xué)習(xí)。進行小組評價并不需要將所有的學(xué)習(xí)者同時集中到一間房間里。過程小組評價的基本過程和一對一評價中所采用的截然不同。評價人員(或者教師先要向?qū)W習(xí)者解釋,學(xué)習(xí)材料正處在開發(fā)的成形階段,需要得到如何改進的意見。說完這些后,教師就要按照教學(xué)材料所設(shè)計的實際使用方式組織學(xué)習(xí)者使用。如果有前測,就先進行前測。在整個過程中,教師要盡可能少地干預(yù)。只有在設(shè)備出現(xiàn)問題,或者某位學(xué)習(xí)者學(xué)習(xí)過程陷入困境,難以繼續(xù)下去的時候,教師才可以出面解決。每個學(xué)習(xí)者遇到的困難和解決辦法也應(yīng)該記錄下來,作為改進數(shù)據(jù)的一部分。評測和問卷小組評價的其他步驟還包括進行態(tài)度問卷調(diào)查,如果可能,與小組中的某些學(xué)習(xí)者進行深入的討論,聽取他

32、們的意見。獲得學(xué)習(xí)者對教學(xué)反饋的主要目的是為了從他們的感受中發(fā)現(xiàn)教學(xué)策略實施過程的優(yōu)劣所在,所以所提出的問題應(yīng)該體現(xiàn)教學(xué)策略的各個成分。以下問題通常情況下都可以使用:z教學(xué)有趣嗎?z你知道你應(yīng)該學(xué)什么嗎?z教學(xué)材料直接和教學(xué)目標(biāo)相關(guān)嗎?z有足夠的練習(xí)嗎?z這些練習(xí)和教學(xué)目標(biāo)相關(guān)嗎?z測驗?zāi)苷嬲乜疾炷銓虒W(xué)目標(biāo)的知識嗎?z在練習(xí)過程中,你得到了足夠的反饋嗎?z當(dāng)考試答題時,你感到自信嗎?這些問題都可以用在態(tài)度問卷中,然后在和學(xué)習(xí)者進行討論時再進一步深入。通過使用這些從教學(xué)策略的成分中導(dǎo)出的問題,諸如上面列舉的這些,就有可能把學(xué)習(xí)者的反饋直接對應(yīng)到教學(xué)材料或教學(xué)過程的某個部分。在完成了材料的評價

33、后,在和學(xué)習(xí)者的討論中,教師還可以就教學(xué)進度、學(xué)習(xí)興趣和材料難度等方面提問。數(shù)據(jù)匯總和分析在上述過程中所得到的數(shù)據(jù)信息和描述性信息都需要加以匯總和分析。數(shù)據(jù)信息包括測驗成績、所需要的時間和項目費用。描述性信息包括從態(tài)度問卷、訪談中收集的評論,以及在試驗過程中評價人員所做的筆記。成果小組試驗和教學(xué)修改的目的是產(chǎn)生高質(zhì)量的教學(xué),這樣的教學(xué)應(yīng)該在預(yù)設(shè)的學(xué)習(xí)環(huán)境中對大多數(shù)目標(biāo)學(xué)習(xí)者都有效。對教學(xué)所做的修改可能很簡單,比如換個例子,或者給測驗題目換個詞,增加分配給學(xué)習(xí)的時間等,但也能需要對教學(xué)策略做較大的改動(如動機激發(fā)策略、目標(biāo)安排順序、教學(xué)傳遞方式等,或者改變呈現(xiàn)給學(xué)習(xí)者的信息。一旦教學(xué)經(jīng)過了充分地

34、修改,實地試驗就可以開始了。在下一章中,我們將舉例說明如何匯總數(shù)據(jù),如何確定它們對修改過程的影響。在這一章,我們集中注意力于形成性評價研究和數(shù)據(jù)的采集。實地試驗在形成性評價的最后這個階段,教師要在一個與教學(xué)材料最終使用環(huán)境盡可能相像的學(xué)習(xí)環(huán)境中進行評價。這個形成性評價最后階段的目的之一是確定在小組評價之后所做出的改動是不是有效。另外一個目的就是要看看教學(xué)在它預(yù)設(shè)的使用環(huán)境下是否能夠使用也就是說,在預(yù)設(shè)環(huán)境中從管理方面考慮實施該教學(xué)的可能性。為了回答這些問題,所有的教學(xué)材料,包括考試卷和教師手冊,都應(yīng)該加以改進并做好實地試驗的準(zhǔn)備。如果可以找到教師實施教學(xué),那么設(shè)計師就不要再擔(dān)任這一角色了。評價

35、地點在挑選實地試驗的地點時,你可能會遇到以下兩種情況之一。第一種情況是,你要在一個平常使用大班教學(xué)、固定步驟的班級里試驗?zāi)愕慕虒W(xué)材料,對于這些學(xué)習(xí)者來說,使用自學(xué)材料可能是很新奇的、不同以往的經(jīng)歷。因此,為了給新教學(xué)過程的實施打好基礎(chǔ),你需要向?qū)W生們解釋怎么使用這些教學(xué)材料,這些材料和他們平時使用的有什么不同。你十有八九會看到學(xué)習(xí)者興趣高漲,但是如果他們的成績沒有提高,那么他們的興趣高漲只是因為這種教學(xué)打破了他們原有的教室教學(xué)方式而已。第二種情況是,你可以在一個個性化教學(xué)的班級里試用教學(xué)材料,問題是可能很難找到足夠多合適的學(xué)習(xí)者來使用你的教學(xué)材料,因為這些學(xué)習(xí)者們在學(xué)習(xí)材料的時候過于分化。評判

36、標(biāo)準(zhǔn)和數(shù)據(jù)實地試驗與戲院的最后彩排很類似,因為教學(xué)都已經(jīng)盡可能地修改完善好了,準(zhǔn)備盡可能地按照最后的方式傳遞。另外,與彩排類似的一點是,實地試驗的主要目的是要找出并消除教學(xué)中尚存的問題。小組試驗和實地試驗有許多相似之處,兩類試驗的過程中都要決定學(xué)習(xí)者的表現(xiàn)是否適當(dāng),教學(xué)的傳遞方式是否可行;另一個相似之處是,二者都是采集學(xué)習(xí)者的成績和態(tài)度信息、教師的教學(xué)過程和態(tài)度,以及諸如時間、費用、空間和設(shè)備等資源信息。二者的最主要差別在于教學(xué)材料、學(xué)習(xí)者、過程、教師和環(huán)境的真實程度不同。挑選學(xué)習(xí)者你需要找大約30個學(xué)習(xí)者來參加你的實地試驗。同樣,要確保這些學(xué)習(xí)者為教學(xué)材料所針對的目標(biāo)人群的代表。因為很難找到

37、“典型”的一組人,所以設(shè)計師經(jīng)常挑選幾個不同的小組來參加實地試驗。這樣的好處是有可能收集所有目標(biāo)環(huán)境下的數(shù)據(jù),這些環(huán)境如開放教室、傳統(tǒng)教學(xué),以及遠程學(xué)習(xí)中心。如果教學(xué)材料的目標(biāo)教學(xué)地點差別很大,那么就有必要多選幾個試驗地點。因為在教學(xué)材料使用的時候,設(shè)計師可能不在場,所以設(shè)計師應(yīng)該告訴老師應(yīng)遵循的教學(xué)過程和需要采集的數(shù)據(jù)。實施實地試驗的過程進行實地試驗的過程和進行小組試驗的過程類似,只有少許不同。主要的變化是設(shè)計師的角色,在實地試驗里,設(shè)計師除了觀察整個教學(xué)過程以外,不再做其他事情,教學(xué)由一個典型的教師實施和傳遞。因此,設(shè)計師可能需要設(shè)計和傳遞對教師的培訓(xùn),這樣教師才能知道該怎么使用這個教學(xué)材

38、料。另外一個變化就是考試題減少了?；谛〗M評價的經(jīng)驗,對前測后測進行了修改,可能減少到僅僅測試最重要的入門技能和最重要的要教的技能。原因是,在開發(fā)過程的這個階段,形成性評價主要關(guān)心的是教學(xué)在預(yù)期的學(xué)習(xí)環(huán)境下的可行性。問卷也要進行修改,更關(guān)注設(shè)計師認(rèn)為對教學(xué)的成功很關(guān)鍵的環(huán)境因素?？傊?問卷的問題集中在可能影響教學(xué)成功的各種因素。對教學(xué)使用過程的觀察,與學(xué)習(xí)者和教師訪談,都是非常有價值的。數(shù)據(jù)匯總和解釋實地試驗的數(shù)據(jù)匯總和分析過程和小組評價是一樣的。成績數(shù)據(jù)應(yīng)該按照教學(xué)目標(biāo)來組織,同樣,只要有可能,學(xué)習(xí)者和教師的態(tài)度信息也應(yīng)該按照教學(xué)目標(biāo)來組織。按照這種方式進行匯總的數(shù)據(jù)可以幫助確定哪部分教學(xué)有

39、效、哪部分教學(xué)無效。從實地試驗得來的信息可用于規(guī)劃和進行對教學(xué)的最后修改。成果實地試驗和對教學(xué)進行最終修改的目的是為了得到有效的教學(xué),這樣的教學(xué)能夠使學(xué)習(xí)者產(chǎn)生要求其達到的學(xué)習(xí)成績和態(tài)度,并且這個教學(xué)要能夠在預(yù)想的教學(xué)環(huán)境中正常工作。根據(jù)實地試驗所收集的數(shù)據(jù),我們要對教學(xué)進行適當(dāng)?shù)匦薷摹．?dāng)修改完成后,就可以開始在技能應(yīng)用環(huán)境下的形成性評價了。應(yīng)用環(huán)境下的形成性評價我們已經(jīng)討論了形成性評價的三個階段,這三個階段都要采集學(xué)習(xí)者成績和對教學(xué)態(tài)度方面的信息和數(shù)據(jù),每個階段的教學(xué)環(huán)境也不相同,從一對一評價時的非正式環(huán)境,到實地試驗中真實的學(xué)習(xí)環(huán)境。但是還遺留了一個問題,就是學(xué)習(xí)者能否在我們稱為“應(yīng)用環(huán)境

40、”即最終需要運用該技能的環(huán)境的地方運用他學(xué)到的新技能。沒有哪個新學(xué)的技能只是為了在學(xué)習(xí)的過程中使用,學(xué)習(xí)技能的目的就是要在其他的時間、其他的場合運用這些技能。設(shè)計師不能忽視這一點,而應(yīng)該在合適而可行的時候,在形成性評價的計劃中包括這方面的評價。設(shè)計師需要確定所教過的技能是否能夠保持,是否會在應(yīng)用環(huán)境中使用,這些技能的使用是否對組織產(chǎn)生了預(yù)期的影響。如果我們得到的是回答是否定的話,那么設(shè)計師就必須確定這對培訓(xùn)的修改意味著什么。我們接下來要描述的就是如何在應(yīng)用環(huán)境中進行形成性評價,它可以在學(xué)習(xí)環(huán)境形成性評價的任何一個階段之后進行。這種在實際環(huán)境下進行的形成性評價基本上要確定三件事情。首先,學(xué)習(xí)者是

41、否意識到可以在工作場所運用他們學(xué)到的新技能,并且是不是已經(jīng)在這么做了?其次,如果已經(jīng)使用了這些技能,對組織產(chǎn)生了什么影響?最后,學(xué)習(xí)者及其同事對改進教學(xué)有何建議?因為學(xué)習(xí)者后測成績好而被認(rèn)為成功的教學(xué),并不能保證學(xué)習(xí)者在工作上取得成功。標(biāo)準(zhǔn)和數(shù)據(jù)應(yīng)用點的評判標(biāo)準(zhǔn)和數(shù)據(jù)因環(huán)境而異,評價方法也要根據(jù)具體地點而調(diào)整。為了收集培訓(xùn)有效果的證據(jù),我們需要挑選最適合的過程,你可以考慮從直接觀察和公司記錄中獲得績效數(shù)據(jù),以及從學(xué)習(xí)者、他們的同事,甚至他們的客戶那里得到觀點和態(tài)度方面的感性數(shù)據(jù)。表10.2匯集了一些基本問題、可能的數(shù)據(jù)來源以及數(shù)據(jù)采集的方法。在形成你自己的問題的時候,要具體說明哪些技能是你的評

42、價最感興趣的。表10.2 應(yīng)用環(huán)境形成性評價要問的問題、數(shù)據(jù)來源和數(shù)據(jù)采集方法問題數(shù)據(jù)來源數(shù)據(jù)采集方法1.技能是否得到了遷移?2.如何使用技能的(頻度、環(huán)境?3.有哪些物理環(huán)境、社會環(huán)境和管理方面的因素促進了技能的遷移和使用?4.有哪些物理環(huán)境、社會環(huán)境和管理方面的因素阻礙了技能的遷移和使用?初問題?怎樣解決的?有何證據(jù)?6.培訓(xùn)還可以怎樣改善提高?z學(xué)習(xí)者z同事/伙伴z學(xué)習(xí)者的下屬z上司z客戶z公司記錄z訪談z問卷z觀察z記錄分析你可能會認(rèn)為應(yīng)用環(huán)境的形成性評價只適用于培訓(xùn)班或者技能培訓(xùn),其實并不是這樣,雖然在這些環(huán)境中確實很容易理解應(yīng)用環(huán)境形成性評價的概念。進行這類評價的最大障礙是時間。對

43、于某些教學(xué)而言,學(xué)習(xí)者馬上就會用到新學(xué)的技能,因為這些技能是技能層次流的一部分(比如運用造句技巧寫短文,設(shè)計師可以在隨后的幾周內(nèi)做跟蹤研究。但是對于那些幾年都不會用到這些技能的公立學(xué)校的學(xué)習(xí)者,或者那些很少用到新學(xué)技能的培訓(xùn)經(jīng)理來說,該怎么做這類評價呢?對于某些教學(xué)而言,這種延遲是可以接受的,一方面可能是整個項目周期很長,另一方面也與這類信息的重要性有關(guān)。挑選回答者誰應(yīng)該來參加這一階段的形成性評價呢?如果這個評價是緊接著一對一評價進行的話,當(dāng)然所有參加一對一評價的學(xué)習(xí)者都應(yīng)該參加本階段的評價,但是如果是在小組評價或者實地試驗之后進行的,則就只需從參加這些評價的學(xué)習(xí)者中挑選一部分樣本學(xué)習(xí)者即可。

44、學(xué)習(xí)者的挑選是根據(jù)他們的后測成績和態(tài)度問卷。可以挑選一些水平高的、一些水平低的,和一些具有設(shè)計師所感興趣的特殊環(huán)境的學(xué)習(xí)者。同樣的問題還要問學(xué)習(xí)者的管理人員和上司。他們的回答可能與學(xué)習(xí)者一模一樣,也可能截然不同。學(xué)習(xí)者的同事及下屬也可以為教學(xué)的效果提供有價值的見解。他們是否注意到學(xué)習(xí)者運用了這些技能?這些學(xué)習(xí)者工作效果好嗎?他們能否做得更好?過程無論哪個階段的形成性評價結(jié)束后,都要告知學(xué)習(xí)者以后某個時間會再和他們聯(lián)系,討論他們剛完成的這個教學(xué)和該教學(xué)的有效性。然后,在給所學(xué)的技能充分地運用時間后這依教學(xué)目的特點而異再聯(lián)系學(xué)習(xí)者。在理想狀況下,設(shè)計師應(yīng)該深入到技能運用的實際工作環(huán)境,但是這種和學(xué)

45、習(xí)者的接觸也可以通過電話來進行。成果在實施點形成性評價所獲得的數(shù)據(jù)可以被用來證明教學(xué)的優(yōu)缺點、說明技能到應(yīng)用環(huán)境的遷移,技能的使用情況,以及最初的需求通過教學(xué)在多大程度上得到了減少或消除。這些數(shù)據(jù)需要進行匯總,并且與學(xué)習(xí)者、他們的上司和其他力求通過該教學(xué)來減少或消除最初需求的人分享。另外,那些在工作場合發(fā)現(xiàn)的阻礙新技能的遷移和運用的問題也要被記錄下來,并通告該組織。因此,實施點的形成性評價的成果應(yīng)該是這樣的幾類文檔:(1教學(xué)的優(yōu)缺點,(2能夠更好地支持新技能遷移和運用的地方,(3對教學(xué)的修改建議,以消除影響新技能在工作場合實施的教學(xué)障礙。在下一章中,我們將討論如何使用這些文檔通過消除所發(fā)現(xiàn)的不

46、足來完善教學(xué)。采集對教學(xué)的反饋數(shù)據(jù)你可以使用哪個參考框架來設(shè)計形成性評價呢?一定要記住,形成性評價的目的是要查明在教學(xué)材料中存在的錯誤,以便改正這些錯誤。評價的設(shè)計包括量表、過程和人員取決于問題的位置及問題發(fā)生的原因。如果僅僅關(guān)注教學(xué)的目的和目標(biāo)就太局限了,盡管知道學(xué)習(xí)者在教學(xué)目的和目標(biāo)上的成績十分重要,但是光知道這些是不夠的,因為這些數(shù)據(jù)只能告訴我們錯誤發(fā)生在哪里,卻不能告訴我們?yōu)槭裁磿霈F(xiàn)這樣的問題。類似的,用那種散彈打鳥的方法采集數(shù)據(jù)也是不合適的,盡管你可以就你想到的任何事情收集數(shù)據(jù),這些數(shù)據(jù)也能夠提供各種信息,但是這種方法所產(chǎn)生的一些數(shù)據(jù)可能是無關(guān)的或不完整的。也許形成性評價設(shè)計的最好

47、著眼點或設(shè)計框架就是教學(xué)策略,因為教學(xué)策略是創(chuàng)建教學(xué)材料的基礎(chǔ),你在創(chuàng)建過程中可能會發(fā)生各種各樣的錯誤,而教學(xué)策略就是找到這些錯誤并了解他們特性的鑰匙。將教學(xué)策略作為開發(fā)形成性評價量表和過程的參考框架,可以避免所設(shè)計的形成性評價過寬或者過窄。如何利用教學(xué)策略來輔助設(shè)計形成性評價呢?一種方法是建立一個矩陣,把教學(xué)策略的各個成分列在一邊,把有關(guān)教學(xué)的主要問題域列在另一邊。在矩陣交叉單元中,你可以產(chǎn)生出與每個問題域和每個教學(xué)策略成分有關(guān)的、在評價中需要回答的問題,然后你就可以使用這些問題,開發(fā)評價要用到的量表和評價過程,確定能提供信息的適當(dāng)人選。現(xiàn)在,你應(yīng)該非常熟悉教學(xué)策略的不同成分了。那么對于教學(xué)

48、材料的每個部分都應(yīng)該問哪些普遍性的問題呢?盡管每個教學(xué)材料都會有一些特定的問題,但是下面這5個問題域應(yīng)該對所有教學(xué)材料都合適。這些問題域與你在開發(fā)教學(xué)材料時所做出的決定直接相關(guān)。1、教學(xué)材料是否適合特定類型的學(xué)習(xí)?根據(jù)教學(xué)目標(biāo)是智慧技能、運動技能、態(tài)度還是言語信息,在教學(xué)材料開發(fā)時會有不同的做法。你應(yīng)該關(guān)注你所產(chǎn)生的教學(xué)材料是不是與所建議的能力類型一致。對教學(xué)材料這方面做評價的最佳人選是這種學(xué)習(xí)類型的專家。2、教學(xué)材料是否完整包括了所需學(xué)習(xí)的各個技能,各個技能的學(xué)習(xí)順序和分塊安排是否合乎邏輯?這個問題域的最佳評價者是內(nèi)容領(lǐng)域的專家。3、材料表述對于目標(biāo)人群的代表來說是否清晰、易理解?顯然,只有

49、目標(biāo)人群的成員可以回答這些問題。熟悉目標(biāo)學(xué)習(xí)者的老師也可以為你提供初步的信息,但是只有學(xué)習(xí)者能夠最終評判教學(xué)材料是否明了清晰。4、教學(xué)材料是否能激發(fā)學(xué)習(xí)者的學(xué)習(xí)動機?學(xué)習(xí)者是否發(fā)現(xiàn)教學(xué)材料和他們的需求和興趣相關(guān)?他們在利用教材學(xué)習(xí)過程中是否具有自信?他們對已經(jīng)學(xué)到的東西是否滿意?我們要再次強調(diào):最適合在這個方面做出判斷的人是那些目標(biāo)組的代表。5、教學(xué)材料所采用的媒體形式是否能有效施行?目標(biāo)學(xué)習(xí)者和教師都適合來回答這個問題。表10.3是設(shè)計形成性評價的推薦框架。使用這樣的框架,能確保你的設(shè)計包括了與教學(xué)材料中不同部分相關(guān)的各種問題,同時也包含了適當(dāng)?shù)娜后w和個人。表10.3 形成行評價設(shè)計框架有關(guān)

50、教學(xué)材料的主要問題域教學(xué)材料主要成分學(xué)習(xí)類型內(nèi)容清晰度動機管理教學(xué)前動機激發(fā)教學(xué)目標(biāo)入門行為內(nèi)容呈現(xiàn)順序安排單元大小內(nèi)容舉例學(xué)習(xí)者參與練習(xí)反饋評測前測后測應(yīng)用環(huán)境誰做判斷?學(xué)習(xí)專家內(nèi)容專家目標(biāo)學(xué)習(xí)者目標(biāo)學(xué)習(xí)者目標(biāo)學(xué)習(xí)者/教師怎么收集數(shù)據(jù)?核查表訪談核查表訪談觀察訪談測驗材料觀察訪談測驗觀察訪談?wù)堊⒁馍厦孢@個矩陣最下面的兩行。第一行顯示哪些人或哪組人最適合評價教學(xué)材料的這個方面,第二行提醒你必須要考慮如何從評價者處收集所需要的各類信息。你還要創(chuàng)建一個核查表或者一個問題列表,配合你向所選擇的專家提供的材料。你或許還需要對這些專家進行訪談,以確定為什么他們認(rèn)為教學(xué)的某部分不合適,獲得他們關(guān)于教材應(yīng)該

51、如何改進的建議。在設(shè)計從學(xué)習(xí)者那里采集數(shù)據(jù)的量表時,你需要考慮所處的評價階段(如,一對一、小組還是實地試驗、評價環(huán)境(學(xué)習(xí)環(huán)境還是應(yīng)用環(huán)境,以及你所采集數(shù)據(jù)的性質(zhì)。在一對一評價的時候,教學(xué)材料本身就是一種量表,你可以讓學(xué)習(xí)者直接在教學(xué)材料上圈出字句或者寫下他們的評論。矩陣中交叉單元所包含的問題,可以用來開發(fā)其他的量表,比如指導(dǎo)觀察的核查表或包含在訪談和問卷中的問題。需要注意的是,盡管在這里有關(guān)材料的不同問題域是分開描述的,但是這并意味著要用不同的量表?？傊?你所設(shè)計的量表要能有效地從參與者那里采集數(shù)據(jù)。你需要采集的數(shù)據(jù)最少應(yīng)該有以下幾種:z學(xué)習(xí)者的入門能力測試、前測、后測成績,以及在應(yīng)用環(huán)境下

52、的表現(xiàn)z學(xué)習(xí)者在材料上遇到困難的地方所做的標(biāo)記和評論;z從態(tài)度問卷和總結(jié)討論中采集的數(shù)據(jù),揭示了學(xué)習(xí)者對教學(xué)的整體反應(yīng),面對教材中困難的感受,以及對教學(xué)過程的看法;z學(xué)習(xí)者完成教學(xué)各個部分所需要的時間;z領(lǐng)域?qū)＜业囊庖?領(lǐng)域?qū)＜邑?fù)責(zé)確認(rèn)教學(xué)單元的內(nèi)容是否準(zhǔn)確而且是最新的;z觀察過學(xué)習(xí)者在應(yīng)用環(huán)境下運用這些技能的上司或管理人員的看法。對選定材料的形成性評價如果對一組學(xué)習(xí)者試用的教學(xué)中選擇了現(xiàn)有的材料,那么前面所介紹的形成性評價的三個階段就不完全適用了。因為在使用現(xiàn)有材料時,不會去進行一對一評價和小組評價后所進行的材料內(nèi)容的編輯和修訂。不做這些過程,并不是因為它們對改進教學(xué)沒有幫助,而是因為在現(xiàn)實

53、中,選用現(xiàn)有材料進行教學(xué)的老師很少有時間和資源來進行這兩個階段的評估。在這種情況下,教師會直接向一組學(xué)習(xí)者進行實地試驗。對現(xiàn)有材料進行形成性評價的一個主要目的是確定該材料是否適合于特定環(huán)境中的特定人群,另外一個目的是要找出該材料需要增刪之處,以及教學(xué)步驟中需要變動的地方,以提高材料的使用效果。基于上述原因,對選定材料進行形成性評價的過程與前面談到的實地試驗最為接近?，F(xiàn)有材料實地試驗的準(zhǔn)備工作如同新設(shè)計材料的實地試驗一樣,先要做有關(guān)文檔的分析,這些文檔包括材料的開發(fā)文檔、特定人群使用材料的效果,以及用于實地評價階段的特定過程的描述信息。特別是要研究一下材料會被如何使用,對材料附帶的測試要分析其與

54、行為目標(biāo)的關(guān)系,分析是否需要增加其它測試或態(tài)度問卷。在實地試驗中,通常教師都應(yīng)該進行前測,除非能夠很明確地知道學(xué)習(xí)者已經(jīng)具備入門能力,并對要教授的內(nèi)容缺乏了解。當(dāng)然,應(yīng)該準(zhǔn)備后測和態(tài)度問卷,以評價學(xué)習(xí)者的學(xué)習(xí)結(jié)果和他們對材料的看法。在對選用的現(xiàn)有材料或經(jīng)過改編的現(xiàn)有材料進行實地試驗時,教師能夠觀察到學(xué)習(xí)者使用這些材料的過程和態(tài)度,教師甚至可能觀測到使用修改或未修改材料的不同組學(xué)習(xí)者的表現(xiàn),這樣就可以確定對現(xiàn)有材料所做的修改是否提高了該材料的教學(xué)效果。當(dāng)然,教師應(yīng)該花時間跟隨整個實地試驗過程,并聽取學(xué)習(xí)者描述自己對教學(xué)的看法,因為通常能從這個過程中獲取一些對材料和教學(xué)過程的好見解。完成對選定材料

55、的實地試驗后,教師應(yīng)該能搜集到和對新設(shè)材料進行形成性評價后得到的類型種類差不多的數(shù)據(jù)。對教師引導(dǎo)型的教學(xué)進行形成性評價如果教師打算使用教師引導(dǎo)對一組學(xué)習(xí)者進行教學(xué),那么對這種教學(xué)進行形成性評價的目的與對自學(xué)材料的形成性評價基本相同,即確定教學(xué)是否有效以及如何改進。而且,對教學(xué)計劃的形成性評價和對教學(xué)材料進行實地試驗也是很相似的,在這種情況下,往往沒有時間進行一對一評價或小組評價。在準(zhǔn)備對教師引導(dǎo)型的教學(xué)進行實地試驗時,教師要關(guān)心學(xué)習(xí)者的入門技能、已有知識,后測知識及學(xué)習(xí)者的態(tài)度,提供交互練習(xí)和反饋。交互練習(xí)和反饋應(yīng)該包含在教學(xué)策略中,因為學(xué)習(xí)者需要機會來展示他們所學(xué)到的技能,這些過程還可以用來

56、確定學(xué)習(xí)者尚未掌握的技能。這類發(fā)生在教學(xué)過程中的練習(xí)和考核可以采取兩種形式:或者由教師向不同的學(xué)習(xí)者口頭提問,記錄他們的表現(xiàn),或者在課堂上定期發(fā)放印刷好的練習(xí)和答案,后一種可以提供有關(guān)學(xué)習(xí)者進展的具體證據(jù)。教師還可以利用實地試驗這個機會來評價教學(xué)過程。對教學(xué)過程的觀察可以顯示分組模式及時間分配是否合適,學(xué)習(xí)者對各種課堂活動興趣如何。很多教師已經(jīng)在教學(xué)中采用這些類型的形成性評價了,我們這里強調(diào)的是要徹底地和系統(tǒng)化地使用這些技巧來收集和分析修改教學(xué)計劃所需要的數(shù)據(jù)。這些課堂數(shù)據(jù)可以與后測成績、態(tài)度問卷,以及學(xué)習(xí)者在課堂結(jié)束后的評論相對比,用以確定教程計劃中的不足,并為糾正不足提供線索。對選定材料的

57、實地試驗和對教師引導(dǎo)型教學(xué)的實地試驗經(jīng)常是交織在一起的,因為選定材料的使用往往需要教師的參與,同樣地,教師引導(dǎo)中也會用到一些已經(jīng)準(zhǔn)備好的教學(xué)材料。在這兩種情況下,會采用大致相同的實地評價過程,并進行同樣類型的修訂。搜集選定材料和教師引導(dǎo)型的數(shù)據(jù)有關(guān)新開發(fā)教學(xué)材料實地試驗數(shù)據(jù)搜集方面的很多考慮都同樣適用于評價選定材料和教學(xué)過程的數(shù)據(jù)收集過程。比如,在教學(xué)中用到的設(shè)備必須是狀態(tài)良好可用的,進行實地試驗的環(huán)境要適宜傳遞學(xué)習(xí)等等。當(dāng)教師對自學(xué)材料、選定材料或教師引導(dǎo)教學(xué)進行評價時,與學(xué)習(xí)者氣氛和諧友好十分重要。在對材料或教學(xué)引導(dǎo)進行評價時,要讓學(xué)習(xí)者認(rèn)識到他們參與的重要性,并積極為研究做出貢獻。與熟悉

58、的學(xué)習(xí)者一起工作的教師,因為了解學(xué)習(xí)者的入門技能,往往能夠準(zhǔn)確預(yù)測學(xué)習(xí)者的前測表現(xiàn)。但是,教師應(yīng)該避免完全依賴這種推測,如果對學(xué)習(xí)者表現(xiàn)有任何疑慮,都要進行測試,來確定是否需要特定技能的教學(xué)。當(dāng)教師選擇多個材料來實施某種教學(xué)策略時,會出現(xiàn)一些特殊要關(guān)注的問題,有關(guān)的信息可以通過觀察和問卷來獲得。主要的問題是“教學(xué)是否統(tǒng)一?”。為了回答這個問題,教師要確定指導(dǎo)學(xué)習(xí)者學(xué)習(xí)不同材料的指導(dǎo)是否充足,是否注意了教學(xué)材料之間的冗余和空缺,以及教學(xué)策略中是否有足夠的反復(fù)和回顧?如果是教師呈現(xiàn)教學(xué),那么在教學(xué)呈現(xiàn)過程中也要注意這些問題。由學(xué)習(xí)者提出的各類問題是發(fā)現(xiàn)教學(xué)策略不足之處的關(guān)鍵。影響形成性評價的一些因素教學(xué)設(shè)計過程的形成性評價部分會因為教學(xué)理論方法和哲學(xué)觀的不同而不同。但不管怎樣,你都不能靠推測來說明你的教學(xué)材料具有有效性,而必須要用學(xué)習(xí)者來測試這些材料。因此,你要盡可能搜集最真實反應(yīng)材料有效性的數(shù)據(jù)。在計劃和