測試效及其驗證方法實用教案

1、教學(xué)(jio xu)目標(biāo)1.了解整體效度觀的主要思想2.整體效度觀3.測試辯論(binln)法4.圖爾明模型5.了解累進(jìn)效度觀的主要思想6.測試辯論(binln)模型的邏輯錯誤及成因7.累進(jìn)辯論(binln)法8.累進(jìn)效度觀第1頁/共26頁第一頁，共27頁。整體(zhngt)效度觀主 要 時 期 ： 2 0 世 紀(jì) 8 0 年 代 中 期 ( z h n g q ) 以 后基 本 觀 點 ： 整 體 多 維 性驗 證 方 法 ： 理 性 辯 論辯 論 框 架 ： 圖 爾 明 模 型第2頁/共26頁第二頁，共27頁。定義(dngy) 教育與心理測驗標(biāo)準(zhǔn)（1985） Validity refers

2、 to the appropriateness, meaningfulness and usefulness of the specific inferences made form test scores. （從考分中推理出來的特定結(jié)論的恰當(dāng)性、意義性和有用性） 教育與心理測驗標(biāo)準(zhǔn)（1999） Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of tests. （證據(jù)和理論支持測試使用所

3、需的考分解釋( jish)的程度）第3頁/共26頁第三頁，共27頁。解讀(ji d)（效度概念的內(nèi)涵） 整體多維性 整體概念：構(gòu)念效度整體效度，即效度（不存在類別之分） 多維互補：之前(zhqin)不同類別的效度同一整體的不同維度（相互補充、相互依存，為整體效度提供證據(jù)） 重心轉(zhuǎn)移 不再是測試本身固有的屬性，而在于分?jǐn)?shù)的解釋和使用，包括分?jǐn)?shù)解釋的合理性、使用決策的恰當(dāng)性和使用后果的裨益性 不再是“有”或“無”的問題，而是“程度”問題 不再是單一指標(biāo)，而是綜合評判 不再是抽象數(shù)值，而是理性結(jié)論 不再由公式計算，而應(yīng)邏輯推理無所謂效度系數(shù)(xsh)之說第4頁/共26頁第四頁，共27頁。Validi

4、ty Model (Messick 1988: 42)1. An inductive summary of convergent and discriminant evidence that the test scores have a plausible meaning or construct interpretation, 2. An appraisal of the value implications of the test interpretation3. A rationale and evidence for the relevance of the construct and

5、 the utility of the scores in particular applications4.An appraisal of the potential social consequences of the proposed use and of the actual consequences when used第5頁/共26頁第五頁，共27頁。Interpretive Argument (IA, Kane 1992)(轉(zhuǎn)引(zhun yn)自McNamara & Roever, 2006: 25) IA: Score interpretation and use第6頁

6、/共26頁第六頁，共27頁。Assessment Argument (Mislevy et al. 2003) Evidence-centered Design (ECD)第7頁/共26頁第七頁，共27頁。Evidence-based Validation (Weir 2005)第8頁/共26頁第八頁，共27頁。Assessment Use Argument (AUA, Bachman & Palmer 2010)第9頁/共26頁第九頁，共27頁。Logical Structure of IA, ECD, AUAIA, based on Kane (1990, 1992)ECD, Mi

7、slevy et al. (2003: 15)AUA, Bachman (2005: 15)Alternative Explanation orRival HypothesisRebuttal DataRebuttal BackingMost questionable assumption第10頁/共26頁第十頁，共27頁。Logical Problems of ECDClaimWarrantBackingDataRebuttalAlternative第11頁/共26頁第十一頁，共27頁。Logical Problems of AUA1Data：Jim is going to the hosp

8、ital.Claim：Jim is sick.(Warrant)：People often go to the hospital when they are sick.sincesoRebuttal：Jim could be visiting someone who is in the hospital.Rebuttal Backing：Jim is visiting his partner in the hospital.Counterclaim：Jim is not sick.unlessSupports(Bachman & Palmer, 2010, p. 97)What if

9、Jim is attending a meeting in the hospital, not visiting anyone in particular?What if he is seeing the doctor himself as well?If we already know Jim is visiting his partner in the hospital, do we still need to go through all these steps?!第12頁/共26頁第十二頁，共27頁。Logical Problems of AUA2Claim: Malissa wasp

10、aid time and a half.Data: Malissa worked overtime.Rebuttal: Malissa is in an exempt category.Rebuttal Backing: Malissas personnel file indicates that she is not in an exempt category.Warrant: All Employers who work overtime must be paid time and a half.Backing: According toUS labor law .Rejectsunles

11、ssinceso(Bachman & Palmer, 2010, p. 98)Can it still be called Rebuttal Backing if it rejects the Rebuttal?第13頁/共26頁第十三頁，共27頁。The Toulmin Model (Toulmin 1958, 2003)DSo, Q, CSinceWUnlessROn account ofBHarry was born in BermudaSo, presumably, Harry is a British subjectA man born in Bermuda will gen

12、erally be a British subjectBoth his parents were aliens/He has become a naturalized American/The following statutes and other legal provisions:(rare and exceptional conditions)(properly worded qualifier)presumablyRational logic(readily available facts or truth)(highly probable assumption)可以忽略：例外不足以威

13、脅聲明的整體(zhngt)合理性；必須忽略：追究例外即為陷入死循環(huán)不容置疑：假定性理由應(yīng)不證自明，或已事先(shxin)證明不可省略：結(jié)論通常(tngchng)不是絕對的，應(yīng)該根據(jù)反駁的可能性選用一個恰當(dāng)?shù)南薅ㄔ~限定聲明的語氣強度或成立條件客觀存在：事實性支撐應(yīng)可隨時奉取，而無需爭辯理性推理：以一般情況下都可以接受的假定性理由為前提，結(jié)論應(yīng)該具有合理性第14頁/共26頁第十四頁，共27頁。IA、ECD和AUA共同的邏輯錯誤(cuw)及其產(chǎn)生根源錯誤(cuw)根源 結(jié)構(gòu)修改 增加了反駁的證據(jù) 刪除了限定詞 模型誤解 將假設(shè)稱為聲明（因為沒有聲明的模型就不能稱為辯論模型） 將反駁由必須忽略的特殊例

14、外替換為不可忽略的反面解釋（為了消除質(zhì)疑和異議） 將辯論雙方(shungfng)都應(yīng)該遵循的邏輯推理過程誤解為雙方(shungfng)的爭辯過程 反駁誤用 用反駁來論證聲明而不是限定聲明邏輯錯誤 自相矛盾先聲明后論證，即先作出聲明后又說自己的聲明不一定成立 強調(diào)論證反駁，但在論證反駁時又不得不放棄論證反駁 不具理性明知聲明不一定成立，也要強行作出聲明（將假設(shè)作為聲明提出）對反駁的論證，既不講理由也不顧反駁（又一次強行做出結(jié)論） 無限循環(huán) 反駁不可窮盡，甚至不可預(yù)知聲明的反駁的反駁正是聲明自身第15頁/共26頁第十五頁，共27頁。So, presumablyAnne is one of Jack

15、s sistersAnne now has red hairSinceAny sister of Jacks may be taken to have red hairOn account of the fact thatAll his sisters have previously been observed to have red hairUnlessAnne has dyed/gone white/lost her hair 圖爾明對三段論的批判(p pn) 大前提存在歧義，既可以是假定，也可是(ksh)事實，因此三段論不能區(qū)分真假辯論。 結(jié)論非是即否，容不得例外，因此三段論在日常辯論中

16、應(yīng)用價值不大。Element Example 1 Example 2（p.115） Minor Premise Socrates is a man Anne is one of Jacks sisters Major Premise All men are mortal All Jacks sisters have red hair Conclusion Socrates is mortal So, Anne has red hair 例1以假定為大前期，結(jié)論為對未來或未知的推理，因此可爭可辯；例2的大前提為事實(shsh)，結(jié)論實為大前提事實(shsh)的重復(fù)，而不是推理的結(jié)果，因此無可爭辯

17、。如對事實(shsh)存在質(zhì)疑，爭辯沒有必須，擺出事實(shsh)即可（如把Anne叫到跟前，頭發(fā)顏色自知）。第16頁/共26頁第十六頁，共27頁。基于圖爾明模型(mxng)的AUA示例A: Jim is going to the hospital, so he is probably sick. (since people often go to the hospital when they are sick, unless they are visiting someone who is in the hospital) B: Jim is going to the hospital to

18、 visit his partner, so he cant possibly be sick himself. (since people are usually not sick themselves when they are visiting someone, unless they are seeing the doctor themselves)A: Jim is seeing the doctor himself as well, so he must be sick. 可見(kjin)，限定詞是圖爾明模型與三段論的唯一的顯性差別，沒有限定詞，圖爾明模型也成了三段論，這正是圖爾明

19、所批判的。IA、ECD和AUA中，限定詞都已被刪除，且所謂的“聲明”實為假設(shè)。因此，三個模型實質(zhì)上并不是辯論模型，也不是所謂的論證模型，因為即使將“聲明”改為假設(shè)，但如何檢驗假設(shè)仍然不得而知。第17頁/共26頁第十七頁，共27頁。累進(jìn)(lijn)效度及累進(jìn)(lijn)辯論法主 要 時 期 ： 最 新 提 出 （ 2 0 1 1 ）基 本 觀 點 ( g u n d i n ) ： 層 級 累 進(jìn) 觀驗 證 方 法 ： 累 進(jìn) 辯 論 法辯 論 框 架 ： 累 進(jìn) 辯 論 模 型第18頁/共26頁第十八頁，共27頁。定義(dngy) 測試數(shù)據(jù)對測試目標(biāo)構(gòu)念的體現(xiàn)(txin)程度Developin

20、gTaskConstructScoreSpecificationPurpose/ConsqResponseCriterionA PosterioriA PrioriReferencingUsingDsgn/InvstgAdministratingScoringn效度是相對于測試環(huán)節(jié)而言的。每個環(huán)節(jié)的結(jié)果(ji gu)數(shù)據(jù)，而不僅僅是測后分?jǐn)?shù)，都應(yīng)該充分體現(xiàn)測試的目標(biāo)構(gòu)念n當(dāng)前環(huán)節(jié)的效度是所有前任環(huán)節(jié)效度層級累進(jìn)的結(jié)果(ji gu)，并對所有后續(xù)環(huán)節(jié)的效度產(chǎn)生影響。n累進(jìn)意味著一個環(huán)節(jié)的效度最大不大于最薄弱前任環(huán)節(jié)的效度；一個環(huán)節(jié)的效度不可接受，所有后續(xù)環(huán)節(jié)都沒有效度可言。層級累進(jìn)觀說明：1.

21、累進(jìn)辯論可以始于任何一個環(huán)節(jié)，只要有理由相信前任環(huán)節(jié)是有效的，否則永遠(yuǎn)找不到起始點。2. 效度雖是“程度”問題，但只要達(dá)到可以接受的程度，測試就是“有效”的，否則即為“無效”。3. 測試效度自然是測試固有的屬性，而不屬于數(shù)據(jù)的解釋或使用，否則就是解釋效度或使用效度。第19頁/共26頁第十九頁，共27頁。CriterionConsequenceScoreResponseTaskSpecification1. Comparability2. Reference Value3. Predictability4. 1. Beneficence2. Fairness3. Ethics4. 1. Reli

22、ability2. Item Quality3. Language level4. 1. Relevancy2. Authenticity3. Interactiveness4. 1. Correctness2. Representativeness3. Sufficiency4. 1. Clarity2. Specificity3. Practicability4. HypothesisPlanningExecutingClaimConstruct累進(jìn)(lijn)辯論法由果及因：詳細(xì)(xingx)列舉問題明確提出假設(shè)由因及果：逐一檢驗假設(shè)做出理性(lxng)結(jié)論第20頁/共26頁第二十頁，共

23、27頁。累進(jìn)辯論模型：理性辯論與科學(xué)調(diào)查(dio ch)的有機整合DataClaimSinceWarranton account of BackingHypothesisUnlessRebuttalSoQualifierAnalysis(evidential?)(c=1-)(/)(p)YN(H0|H1)()n基礎(chǔ)部分：理性辯論，確保模型(mxng)本質(zhì)上仍然屬于辯論模型(mxng)（統(tǒng)計分析的設(shè)計、實施和解讀都離不開邏輯推理）n擴(kuò)展部分：假設(shè)檢驗，用于處理復(fù)雜數(shù)據(jù)并得出有說服力的結(jié)論（邏輯推理僅適用于數(shù)據(jù)簡單明了、理由顯而易見的情況）不會陷入死循環(huán)只要理由充分(chngfn)，無需假設(shè)檢驗（可

24、避免濫用）一次假設(shè)檢驗，必然得出結(jié)論（需避免誤用）第21頁/共26頁第二十一頁，共27頁。DH0H1YNp?D=p: probabilityH0: There is no significant difference.H1: The difference is significant.: significance level (e.g. 0.05, 0.1, 0.01)DC0WBRQ(a)DC1WBRQe.g. D=0.8C0: There is no significant differenceR=Type II error ()e.g. D=0.0C1: The difference is

25、 significantR=Type I error ()W=1-=0.95 (confidence level); B=Empirical data (e.g. statistics)Q=at the significance level of (b)(c)假設(shè)檢驗結(jié)果(ji gu)解讀第22頁/共26頁第二十二頁，共27頁。證實(zhngsh)與證偽InterpretationEvidenceCCWBRWBR(D)JustifyingFalsifyingQQ(D)正面解釋與反面解釋：有利于測試的解釋為正面解釋，反之即為反面解釋。聲明與反聲明：聲明既可以是正面解釋，也可以是反面解釋。也就是說，聲明并不等于正面解釋，反聲明亦不等于反面解釋。證據(jù)與反面證據(jù)：證據(jù)只會“支持”而不會“拒絕”聲明。所謂反面證據(jù)，實際上是支持反聲明的證據(jù)。證實與證偽：證偽實際上是通過(tnggu)證實反聲明來間接實現(xiàn)的。正面解釋和反面解釋的內(nèi)容是確定的。研究問題一旦確定，正面與反面解釋隨之確定；聲明與反聲明的內(nèi)容是不確定的，反聲明依賴于聲明而存在，沒有聲明也就無所謂反聲明。只有研究結(jié)果產(chǎn)生(chnshng)以后，聲明和反聲明才會出現(xiàn)。第23頁/共26頁第二十三頁，共27頁。循環(huán)(xnhun)與遞歸Executing(Q = Hypothesis)(Q = Claim)Q Q 1-1Q 1-