測(cè)量效度與系統(tǒng)誤差控制-心理測(cè)量

第三章測(cè)量效度與系統(tǒng)誤差控制,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,第三章測(cè)量效度與系統(tǒng)誤差控制,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,第三章測(cè)量效度與系統(tǒng)誤差控制,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量效度概述,什么是效度測(cè)量工具測(cè)量了他所希望測(cè)量的心理特質(zhì)或行為特征的效果和程度。效度總是與一定的測(cè)量目標(biāo)相聯(lián)系的。我們稱為某測(cè)量工具進(jìn)行效度驗(yàn)證的過(guò)程為效度證據(jù)的獲取過(guò)程，簡(jiǎn)稱為效度驗(yàn)證。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量效度概述,效度與信度的關(guān)系信度研究的是測(cè)量結(jié)果的穩(wěn)定性問(wèn)題，效度研究的是測(cè)量結(jié)果的準(zhǔn)確性問(wèn)題。測(cè)量的信度只受到隨機(jī)誤差或非系統(tǒng)測(cè)量誤差的影響，而測(cè)量效度會(huì)同時(shí)受到隨機(jī)誤差和系統(tǒng)測(cè)量誤差的影響。一個(gè)測(cè)量工具可能是非常穩(wěn)定（信度高），但卻是無(wú)效的，因?yàn)樗c測(cè)量的目標(biāo)之間產(chǎn)生了系統(tǒng)性的偏差；當(dāng)然，一個(gè)完全不穩(wěn)定的測(cè)量工具也不可能是有效的。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,第三章測(cè)量效度與系統(tǒng)誤差控制,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,根據(jù)測(cè)量目標(biāo)的不同，對(duì)測(cè)量工具進(jìn)行效度驗(yàn)證的方法主要有三種：基于所測(cè)內(nèi)容的效度驗(yàn)證方法。基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法。基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)內(nèi)容的效度驗(yàn)證方法含義就是要對(duì)測(cè)量工具本身的具體內(nèi)容進(jìn)行系統(tǒng)性的查驗(yàn)，以確定這些內(nèi)容是不是測(cè)量目標(biāo)特質(zhì)或行為領(lǐng)域的一個(gè)有代表性的樣本。主要應(yīng)用學(xué)業(yè)成就測(cè)驗(yàn)、職業(yè)資格測(cè)驗(yàn)。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)內(nèi)容的效度驗(yàn)證方法評(píng)估方法確定測(cè)量目標(biāo)的全域范圍及各部分內(nèi)容權(quán)重。確定一批有經(jīng)驗(yàn)的領(lǐng)域?qū)＜遥谏钊肱嘤?xùn)的基礎(chǔ)上，要求他們按照已確定的測(cè)量全域范圍及各部分內(nèi)容權(quán)重，初步分析測(cè)試題目的代表性，并對(duì)題目測(cè)量的被試作答的內(nèi)部心理過(guò)程進(jìn)行初步分析。進(jìn)行實(shí)測(cè)，根據(jù)測(cè)試數(shù)據(jù)分析和被試作答過(guò)程分析，全面驗(yàn)證測(cè)量工具的效度。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)內(nèi)容的效度驗(yàn)證方法關(guān)于測(cè)量工具的表面效度嚴(yán)格來(lái)說(shuō)，表面效度并不符合效度的定義，因?yàn)樗从车牟皇菍?shí)際要測(cè)量的目標(biāo)是什么，或?qū)δ繕?biāo)測(cè)量的程度如何，而反映的是，測(cè)量工具從表面上看測(cè)量了什么。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效標(biāo)：它是獨(dú)立于測(cè)量工具并可以從實(shí)踐中獲得的被試的行為特征表現(xiàn)，用于驗(yàn)證測(cè)量工具的有效性。根據(jù)測(cè)量工具與效標(biāo)兩者結(jié)果獲得的時(shí)間間隔的不同，基于效標(biāo)關(guān)聯(lián)性的效度證據(jù)采集可以有同時(shí)效度與預(yù)測(cè)效度兩種方法。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的預(yù)測(cè)效度方法含義：驗(yàn)證現(xiàn)有測(cè)量評(píng)價(jià)結(jié)果與將來(lái)才可能獲取的效標(biāo)評(píng)價(jià)結(jié)果之間的關(guān)聯(lián)程度。主要應(yīng)用：人員選拔、安置類型的測(cè)量工具,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的預(yù)測(cè)效度方法首先，獲取被試在當(dāng)前測(cè)量工具上的評(píng)價(jià)結(jié)果，如測(cè)驗(yàn)分?jǐn)?shù)、等級(jí)評(píng)定；然后，間隔一定的時(shí)間，采集被試在預(yù)測(cè)目標(biāo)（效標(biāo)）上的評(píng)價(jià)結(jié)果；最后，分析以上這兩個(gè)評(píng)價(jià)結(jié)果之間的關(guān)聯(lián)性程度，這種關(guān)聯(lián)性程度的分析方法常用的有以下幾種：相關(guān)分析區(qū)分能力分析命中率分析,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的同時(shí)效度方法含義：對(duì)同時(shí)獲得的測(cè)量工具評(píng)價(jià)結(jié)果與效標(biāo)評(píng)價(jià)結(jié)果之間的關(guān)聯(lián)性程度進(jìn)行分析。主要應(yīng)用經(jīng)常用于評(píng)價(jià)測(cè)量工具診斷被試當(dāng)前心理特質(zhì)狀態(tài)的效果。在許多情形下，效度證據(jù)采集的同時(shí)性效度方法會(huì)替代預(yù)測(cè)效度方法。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法影響效標(biāo)關(guān)聯(lián)性效度的因素群體的一致性或同質(zhì)性程度：應(yīng)該盡量擴(kuò)大被試群體的異質(zhì)性，避免低估測(cè)驗(yàn)的真實(shí)效度。測(cè)驗(yàn)長(zhǎng)度：一般來(lái)說(shuō)，測(cè)驗(yàn)長(zhǎng)度越長(zhǎng)，測(cè)試結(jié)果越穩(wěn)定，效度系數(shù)會(huì)傾向于越高。效標(biāo)污染：有時(shí)候校標(biāo)本身就沒(méi)有很好的效度，或者由于測(cè)量校標(biāo)的方法存在問(wèn)題而被污染了。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法估計(jì)標(biāo)準(zhǔn)誤指的是測(cè)量工具實(shí)際測(cè)量的結(jié)果與預(yù)先設(shè)定的測(cè)量目標(biāo)之間相互偏離的程度，而效度驗(yàn)證的過(guò)程就是要考察這種偏離程度的大小。從實(shí)際應(yīng)用范圍及計(jì)算過(guò)程的便利性角度看，估計(jì)標(biāo)準(zhǔn)誤的實(shí)際應(yīng)用更多的是基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法中。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法估計(jì)標(biāo)準(zhǔn)誤是表現(xiàn)為相關(guān)系數(shù)的效度系數(shù)；是效標(biāo)評(píng)定分?jǐn)?shù)的標(biāo)準(zhǔn)差。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法含義：對(duì)測(cè)量工具測(cè)量了心理學(xué)中某種特質(zhì)或特質(zhì)結(jié)構(gòu)的程度進(jìn)行驗(yàn)證的方法。主要應(yīng)用：各種心理測(cè)驗(yàn)，如智力測(cè)驗(yàn)、人格測(cè)驗(yàn)、焦慮測(cè)驗(yàn)、成就動(dòng)機(jī)測(cè)驗(yàn)等。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法評(píng)估方法專家判斷分析法主要依靠專家的主觀專業(yè)經(jīng)驗(yàn)。盡量減少專家主觀隨意性的影響。德?tīng)柗品ǎ菏且环N采用通訊方式分別將所需解決的問(wèn)題單獨(dú)發(fā)送到各個(gè)專家手中，征詢意見(jiàn)，然后回收匯總?cè)繉＜业囊庖?jiàn)，并整理出綜合意見(jiàn)。隨后將該綜合意見(jiàn)和預(yù)測(cè)問(wèn)題再分別反饋給專家，在次征詢意見(jiàn)，各專家依據(jù)綜合意見(jiàn)修改自己原有的意見(jiàn)，然后再匯總。這樣多次反復(fù)，逐步取得比較一致的預(yù)測(cè)結(jié)果的決策方法。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法評(píng)估方法測(cè)驗(yàn)內(nèi)部一致性分析法基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證的一個(gè)重要證據(jù)來(lái)源。這個(gè)方法的實(shí)質(zhì)是，測(cè)驗(yàn)總分本身是用于評(píng)價(jià)所測(cè)心理結(jié)構(gòu)的效度最好的效標(biāo)。相關(guān)分析法：求取每個(gè)項(xiàng)目與測(cè)驗(yàn)總分之間的相關(guān)系數(shù)，如果項(xiàng)目測(cè)驗(yàn)相關(guān)顯著，表明該項(xiàng)目與總測(cè)驗(yàn)的結(jié)構(gòu)是一致的。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法評(píng)估方法測(cè)驗(yàn)內(nèi)部一致性分析法對(duì)照組比較法：按照被試的測(cè)驗(yàn)總分，選出一個(gè)高分組被試和一個(gè)低分組被試，然后，比較高分組被試與低分組被試在各個(gè)項(xiàng)目上的作答表現(xiàn)，如果高分組被試的通過(guò)比例顯著大于低分組被試的通過(guò)比例，表明該項(xiàng)目與總測(cè)驗(yàn)的結(jié)構(gòu)是一致的。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法評(píng)估方法測(cè)驗(yàn)內(nèi)部一致性分析法很明顯，測(cè)驗(yàn)內(nèi)部一致性證據(jù)保證的是測(cè)驗(yàn)結(jié)構(gòu)的同質(zhì)性或單一性。測(cè)驗(yàn)內(nèi)部一致性證據(jù)的作用是有限的，因?yàn)樗吘篃o(wú)法證明該測(cè)驗(yàn)究竟測(cè)量了什么結(jié)構(gòu)。,測(cè)量工具效度驗(yàn)證的方法,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法評(píng)估方法與現(xiàn)有研究結(jié)論一致性的分析法通過(guò)分析新開(kāi)發(fā)測(cè)量工具測(cè)試結(jié)果是否與已有研究結(jié)論相一致。在許多傳統(tǒng)智力測(cè)驗(yàn)中，成長(zhǎng)發(fā)展性變化證據(jù)是測(cè)驗(yàn)效度的一個(gè)重要證據(jù)。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法評(píng)估方法與其他測(cè)量工具的相關(guān)分析法求取新開(kāi)發(fā)測(cè)量工具與另一個(gè)已經(jīng)被公認(rèn)為有效的測(cè)量工具之間的相關(guān)關(guān)系，是證明新開(kāi)發(fā)測(cè)量工具測(cè)量了相同內(nèi)容結(jié)構(gòu)的一個(gè)有效證據(jù)。求取新開(kāi)發(fā)測(cè)量工具與另一個(gè)測(cè)量工具之間的相關(guān)關(guān)系，有時(shí)候也被用于證明該測(cè)量工具沒(méi)有受到其他無(wú)關(guān)心理因素的影響。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法其他評(píng)估方法因素分析法因素分析方法是基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法中幾乎最為常用的一種方法，他很適合用于鑒別測(cè)量工具所測(cè)的心理特質(zhì)結(jié)構(gòu)。實(shí)際上，因素分析方法是一種分析觀察數(shù)據(jù)之間相關(guān)矩陣的統(tǒng)計(jì)分析技術(shù)。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法其他評(píng)估方法多特質(zhì)多方法矩陣分析法,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量工具效度驗(yàn)證的方法,基于所測(cè)心理結(jié)構(gòu)的效度驗(yàn)證方法其他評(píng)估方法結(jié)構(gòu)方程建模分析法除了鑒別測(cè)量的潛在結(jié)構(gòu)之外，對(duì)這些潛在特質(zhì)結(jié)構(gòu)本身之間的關(guān)系以及它們之間的影響路徑進(jìn)行考察，同樣是非常重要的。分析潛在特質(zhì)結(jié)構(gòu)之間的關(guān)系及其與效標(biāo)變量之間的路徑，有利于我們更深入理解所測(cè)特質(zhì)的作用機(jī)制。這種分析過(guò)程可以用結(jié)構(gòu)方程建模的方式進(jìn)行。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,第三章測(cè)量效度與系統(tǒng)誤差控制,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量的系統(tǒng)誤差控制,影響測(cè)量工具有效性的因素測(cè)量的心理特質(zhì)本身的特點(diǎn)有些心理特質(zhì)至今研究不夠深入，概念界定還不清晰。有些心理特質(zhì)本身不太穩(wěn)定。測(cè)量工具的建構(gòu)過(guò)程建構(gòu)過(guò)程應(yīng)遵循嚴(yán)謹(jǐn)?shù)膽B(tài)度才能建構(gòu)出優(yōu)良的測(cè)量工具，避免出現(xiàn)系統(tǒng)偏差。,心理測(cè)量學(xué),江西師大心理與教育統(tǒng)計(jì)測(cè)量中心,測(cè)量的系統(tǒng)誤差控制,影響測(cè)量工具有效性的因素測(cè)量工具本身的信度信度是效度的必要條件。