教育測量-人文類課件

教育測量1.教育測量基本概念回顧2.教育測量的分類3.教育測量理論

3.1經(jīng)典測量理論（CTT）

3.2項目反映應(yīng)論（IRT）4.教育測驗的編制4.1編制步驟

4.2編制細則評價＝測量（量的記述）或非測量（質(zhì)的記述）＋價值判斷1.教育測量基本概念回顧測量的定義量表信度效度難度區(qū)分度2.教育測量的種類按測驗的目標分類：學(xué)業(yè)成就測驗智力測驗?zāi)芰A向測驗測驗結(jié)果的評價標準分類：常模參照測驗?zāi)繕藚⒄諟y驗經(jīng)典測量理論

（ClassicalTestTheory）在實際測驗中所得到的分數(shù)稱作實測分數(shù)實測分數(shù)的組成：有效分數(shù)＋測量誤差，測量誤差＝隨機誤差＋系統(tǒng)誤差故實測分數(shù)＝有效分數(shù)（V）＋隨機誤差（E）＋系統(tǒng)誤差（I）即：X＝V＋I＋E真分數(shù)：通常把上式中穩(wěn)定出現(xiàn)的V、I之和稱作真分數(shù)，用T表示T＝V＋I實測分數(shù)X＝T＋E，移項得：E＝X－TE是由偶然因素造成的，結(jié)果可正可負3.1.1概念描述3.1.2CTT的基本假設(shè)對某個學(xué)生進行測驗所得分數(shù)X可看作是代表該生實際知識水平的真實分數(shù)和測驗誤差分數(shù)的線性組合，真實分數(shù)是指在測驗完全沒有誤差時所得到的理想值；是由隨機誤差引起（并未包括系統(tǒng)誤差）。所謂隨機誤差是指，由與測量目的無關(guān)的偶然因素所引起的無規(guī)律的誤差；系統(tǒng)誤差則是指，由與測量目的無關(guān)的固定因素所引起的有規(guī)律的誤差?？烧⒖韶?，因而測得的分數(shù)X可能大于真實分數(shù)，也可能小于。誤差分數(shù)的數(shù)學(xué)期望（統(tǒng)計平均值）為零，因此真實分數(shù)也可以用一個被試在大量測驗中所得分數(shù)的統(tǒng)計平均值來表示。任意兩次測驗所產(chǎn)生的誤差相互獨立。3.1.3假設(shè)的公式推演3.1.4項目分析項目分析是對測驗中的每一道題目進行分析，所以也稱“題目分析”。對測驗題目的分析一般包括難度分析、區(qū)分度分析和迷惑效力分析等三個方面。3.1.5難度分析非客觀性試題（填空題，證明題，問答題，計算題，改錯題等）的難度為：客觀性試題（選擇題）的難度為：3.1.6區(qū)分度分析好的試題應(yīng)能對不同知識水平和能力水平的被試加以區(qū)分，所謂區(qū)分度就是用來表示這種區(qū)分能力大小的質(zhì)量指標。一道試題的區(qū)分度高是指，該題被能力強者答對的可能性大，被能力弱者答對的可能性?。粎^(qū)分度低的試題則不能反映出這種差別。計算區(qū)分度的方法有多種，較簡單而有效的一種是“兩極分組法”。這種方法的基本思想是，比較測驗總分最高和最低的兩組被試在答對率上的差別。其計算公式如下：3.1.7迷惑效力分析迷惑性答案的效力，是指多項選擇題中用的非正確答案被考生選中的可能性，所以這項指標只對多項選擇題有意義。對這項指標的計算比較困難，通常是用一次測驗中選中某答案的次數(shù)來估計該答案的迷惑效力。如果在考試中某一選項無一人挑選，則說明改選項沒有迷惑力；如果選用的人數(shù)多且低分組的選用多于高分組，則說明改選項的迷惑力強；如果高、低分組選擇某選項的人數(shù)都較少且人數(shù)接近，則說明該選項的迷惑力較弱。顯然，在測驗組卷時應(yīng)盡量少用或不用迷惑力弱的試題，以免影響測驗效果。3.1.8整體分析為了檢驗?zāi)骋粶y驗是不是良好的測量工具，應(yīng)當(dāng)對測驗的質(zhì)量進行分析評估。一個高質(zhì)量的測驗的測驗，它的結(jié)果應(yīng)當(dāng)是可靠而且有效的。所謂可靠是指多次測驗的結(jié)果一致；所謂有效是指該測驗準確地測量了它所要測的內(nèi)容。用來估計測量一致性程度的指標稱為“信度”；而用來估計測量準確性程度的指標則稱為“效度”。顯然，信度和效度是評價測量質(zhì)量的兩個最主要的指標。

3.1.9信度的估計信度是測量的可靠性度量，而在測驗所得的分數(shù)中，隨機誤差所占比重的大小直接反映了測驗的可靠性。因此我們可以將真實分數(shù)的方差（真實分數(shù)的變異數(shù)）與測驗所得分數(shù)的方差（總變異數(shù)）之比用來表示信度的大小，并稱之為信度系數(shù)，用表示，即：3.1.10效度的估計

效度是測量的有效性度量。在一個測驗所得分數(shù)中，與測量目的無關(guān)的因素影響越?。ɑ蛘哒f與測量目的有關(guān)的因素影響越大），測驗的有效性就越高，由上式可見這就相當(dāng)于要求增大的比重。因此我們就可以將真實分數(shù)的方差中與測量目的有關(guān)的部分即（稱為“有效變異數(shù)”）與測驗所得分數(shù)的方差（總變異數(shù)）之比，用來表示效度的大小，并稱之為“效度系數(shù)”，用表示，即：3.1.11效度類型內(nèi)容效度：指試題對欲測內(nèi)容的符合程度，即該測驗所采用的試題是否能充分反映欲測范圍內(nèi)的教學(xué)內(nèi)容與教學(xué)目標。當(dāng)以考試結(jié)果作為了解學(xué)生在某一學(xué)科的整體表現(xiàn)時，應(yīng)采用內(nèi)容效度來評價考試的有效性。對內(nèi)容效度的估計至今沒有定量的計算方法，目前主要采用的是專家判斷法和再測法。構(gòu)想效度：構(gòu)想效度是指測驗對某種理論上的構(gòu)想或假設(shè)的符合程度，因此構(gòu)想效度主要用于理論研究。估計構(gòu)想效度的基本步驟是：先從某一理論出發(fā)，提出關(guān)于某種心理特質(zhì)或認知能力的假設(shè)；然后設(shè)計和編制響應(yīng)的測驗對被試施測；最后對測驗結(jié)果用相關(guān)分析法進行分析以驗證與理論構(gòu)想（假設(shè)）的符合程度。3.1.11效度類型準則關(guān)聯(lián)效度：準則關(guān)聯(lián)效度是根據(jù)測驗所作的預(yù)測是否能被證實來衡量測驗的有效性。如果測驗所作的預(yù)測與未來實際發(fā)生的事情很接近，這個測驗就是一個有效的好測驗。在這種場合，被預(yù)測行為是用來衡量測驗是否有效的標準，因此被稱之為“準則”。準則關(guān)聯(lián)效度就是要考察測驗得分與準則之間有什麼樣的關(guān)系。例如用“模擬考試”來預(yù)測高考的成績，模擬考試在這里就是一個準則。如果預(yù)測的準確性高，該模擬考試就是一個有效的好測驗。3.1.12經(jīng)典測量理論的局限第一，CTT用于評價試題質(zhì)量的指標（如難度和區(qū)分度）嚴重依賴于計算這些指標時所用的被試樣本。例如：對同一試題，若被試樣本的能力水平異質(zhì)（程度參差不齊），則求出的區(qū)分度值會很高，反之會很低。經(jīng)典測量理論(CTT)在三條基本假設(shè)的基礎(chǔ)上建立了自己的測驗方法體系，導(dǎo)出了包括信度、效度、難度、區(qū)分度和迷惑效力在內(nèi)的一整套質(zhì)量指標的計算公式，使整個測驗過程比較科學(xué)和客觀，因而具有較大的實用價值。但是，隨著測量實踐的深入和發(fā)展，經(jīng)典測量理論也暴露出一些難以克服的局限：3.1.12經(jīng)典測量理論的局限第二，CTT對被試的某項能力或知識水平的估計，只有當(dāng)所有被試都使用同一個測驗或并行的測驗時才是可比的；若對同一水平的被試使用不同的測驗，則其測量效果無法進行直接比較。第三，CTT主要適合與檢查學(xué)生相對能力水平的測驗（亦稱“常模參照測驗”），而不適合于考察學(xué)生實際能力水平的測驗（亦稱“目標參照測驗”）。例如，在目標參照測驗中，當(dāng)被試組全部通過或全部不能通過測驗時（這種情況完全可能發(fā)生），CTT根本無法對這種情況的難度和區(qū)分度進行計算。3.2項目反映理論

（ItemResponseTheory）3.2.1項目反映理論項目反映理論（IRT）正是針對經(jīng)典測量理論的上述局限提出來的。它的最大優(yōu)點就是，項目參數(shù)（CTT中的質(zhì)量指標對應(yīng)）的估計值與被試樣本的選擇無關(guān)；對被試能力水平的估計值與施測所用試題無關(guān)；同時還能給出測驗項目對被試實際能力估計值的精度。

3.2.2項目反映理論的假設(shè)第一、單維性假設(shè)──即假定當(dāng)前測驗僅測量被試的某一項知識或能力。事實上，任何測驗都不可能是單維，因為除了該測量的能力之外，被試的個性、認知特點、測驗環(huán)境等因素都可能對測驗有影響。但是，只要所測量的內(nèi)容是其中最主要的或主導(dǎo)的因素，就可以認為是單維性測驗。這樣做不僅簡化了對問題的分析，也基本符合絕大多數(shù)的實際情況。第二、局部獨立性假設(shè)──被試對某一測驗項目的反應(yīng)只與該測驗項目本身有關(guān)，而不受其它測驗項目的影響；在某一測驗項目上作答的各個被試也彼此獨立，各被試的成績僅由本身的內(nèi)在素質(zhì)和能力水平?jīng)Q定，一個被試的成績不會影響另一個被試。第三、項目特性曲線假設(shè)──IRT認為，可觀察的被試的測驗得分與影響測驗成績的不可觀察的內(nèi)在素質(zhì)、能力水平之間所存在的關(guān)系，可用“項目特性曲線”描述。所謂項目特性曲線假設(shè)，就是對這種關(guān)系的數(shù)學(xué)表示形式所作出的一種假設(shè)。在IRT中，這種假設(shè)也被稱為“項目反映模型”。換句話說，項目反映模型就是用來表示被試的測驗得分（或正答概率）與被試內(nèi)在素質(zhì)、能力水平之間所存在關(guān)系的一種數(shù)學(xué)函數(shù)，所以也叫“項目反映函數(shù)”。3.2.3項目反映模型3.2.4項目反應(yīng)模型的參數(shù)

被試的能力參數(shù)，用Q表示項目的質(zhì)量參數(shù)，用a、b、c標識，分別稱為區(qū)分度參數(shù)、難度參數(shù)和猜測參數(shù)這些參數(shù)值都不能由直接測量得到，而必須通過對被試的反應(yīng)數(shù)據(jù)進行估計來求出。對于項目反應(yīng)模型中參數(shù)的估計，通常采用的是極大似然估計法3.2.5項目與測驗的信息函數(shù)

某個試題j的信息函數(shù)值的大小直接反映出該題對被試能力素質(zhì)水平的估計精度，信息函數(shù)值越大，這種估計就越精確。因而信息函數(shù)可作為衡量測驗試題是否有效的工具。在項目反應(yīng)理論中，某個測驗項目j的信息函數(shù)定義為：4教育測驗的編制與實施4.1編制測驗的一般步驟確定測驗?zāi)康姆治鼋逃繕藴y驗取材并編擬題目試測與分析編制測驗（測驗的目的、時間限制、回答試題的方法、記分的方法）4.2.1簡答題與填空題1.基本特點根據(jù)呈現(xiàn)的問題，學(xué)生以一個詞、短語、數(shù)字或者符號做出回答適合測量各種相對簡單的學(xué)習(xí)結(jié)果問題答案可以由數(shù)字或符號表示的數(shù)學(xué)和科學(xué)領(lǐng)域（此類問題用選擇題的方式進行測試，可能會不能達到測試的目的）2.優(yōu)點和局限性優(yōu)點：容易編制學(xué)生必須提供答案，減少了通過猜測獲得答案的可能局限性：不適合測量復(fù)雜的學(xué)習(xí)結(jié)果記分的難度3.編制簡答題的一些建議題目措辭時，應(yīng)使要求的答案簡潔具體以其他動物的肉為食的動物是（）以其他動物的肉為食的動物屬于（）類不要直接引用教材上的陳述作為簡答題的基礎(chǔ)直接提問通常比不完整的陳述效果更好如果答案要以數(shù)字單位的形式表示，請標明要求的答案類型給題目答案留的空白長度應(yīng)該一樣而且都放在題目的右端使用填空題時，需要學(xué)生填的空不要太多4.2.1簡答題與填空題1.基本特點用于測量事實性陳述、術(shù)語定義以及定律表述是否正確的辨認能力2.優(yōu)點和局限性優(yōu)點：效率高可以獲得課程內(nèi)容的大樣本局限性：測量的學(xué)習(xí)結(jié)果種類有限（大多為知識領(lǐng)域）具有猜測性4.2.2是非題3.編制是非題的一些建議要判斷正誤，應(yīng)避免過于寬泛的判斷美國總統(tǒng)是選舉產(chǎn)生的（）美國總統(tǒng)通常是選舉產(chǎn)生的（）避免瑣碎的陳述避免使用否定句式，尤其是雙重否定避免使用長的復(fù)雜句型如果不是測量因果關(guān)系，應(yīng)避免在一個判斷中包含兩個觀點避免使用沒有任何來源的觀點，除非要測的是判斷觀點的能力避免使用長度不一的正確判斷和錯誤判斷避免正確判斷和錯誤判斷地數(shù)量不合比率4.2.2是非題1.基本特點由一個問題和一列選項組成學(xué)生答題方式是選擇正確的或者最佳的選項錯誤的選項叫干擾項，目的在于干擾那些知識掌握不牢固的學(xué)生答題2.優(yōu)點和局限性優(yōu)點：較強的靈活性，可以用來測量多種類型的知識和理解水平的學(xué)習(xí)內(nèi)容在測量各種類型的學(xué)業(yè)成績方面有廣泛的應(yīng)用性擺脫了其他類型的客觀題的局限性與填空題相比：呈現(xiàn)一個更加明確的問題與匹配題相比：不需要同質(zhì)性的材料與判斷題相比：減少了線索和猜測的可能性局限性：局限于對言語水平的測量難以找到足夠多的似是而非的干擾項4.2.3選擇題3.設(shè)計選擇題的建議題干本身具有意義并以一個確定的問題呈現(xiàn)南美（）大多數(shù)居住在南美的殖民者來自于（）題干應(yīng)包括盡可能多的內(nèi)容，但與題干無關(guān)的材料應(yīng)該刪去大多數(shù)南美國家的居民是來自西班牙的殖民者。你將如何解釋大量的西班牙殖民者定居在那里呢？西班牙殖民者定居在南美許多國家是為了尋找除非某種重要的學(xué)習(xí)結(jié)果需要，一般不使用否定式的題干下面哪個州不位于回歸線以北？下面哪個州位于回歸線以南？全部的選項都應(yīng)與題干在語法上保持一致除非說明是多選題，否則一個題目應(yīng)該只有一個正確或者明顯的最佳答案4.2.3選擇題3.設(shè)計選擇題的建議用來測量理解力的題目應(yīng)該具有一定的新穎性，但也不要過于新穎所有的干擾項都應(yīng)該是似是而非的選擇題中應(yīng)該有多少個選項？編制具有迷惑性的干擾項的方法使用學(xué)生最常見的錯誤使用與題干聽起來重要的詞，但不要過分使用那些在口語中與題干相聯(lián)系的詞使用課本上的語言或者其他具有真理性的措辭使用那些由于學(xué)生誤解或者是粗心大意而造成的錯誤答案干擾項在內(nèi)容上與正確答案同質(zhì)或者相似干擾項在形式上與題干平行，在語法上與題干一致使干擾項與正確答案在長度、詞匯、句子結(jié)構(gòu)和內(nèi)容的復(fù)雜程度上相似4.2.3選擇題3.設(shè)計選擇題的建議避免使題干與正確答案之間存在語言聯(lián)系不要通過選項的相對長度來提供答案的線索正確答案出現(xiàn)在選項重的位置應(yīng)該大致平均而且是隨機的少用諸如“以上都不對”、“以上都對”的選項如果其他題型更合適，就不要使用選擇題4.2.3選擇題1.基本特點應(yīng)試在解答問題時，可以自由組織答案評分者按照給分標準，借助主觀判斷確定