測量效與系統(tǒng)誤差控制

會計學1測量效與系統(tǒng)誤差控制心理測量學高等教育出版社第三章測量效度與系統(tǒng)誤差控制測量效度概述1測量工具效度驗證的方法2測量的系統(tǒng)誤差控制3第1頁/共43頁心理測量學高等教育出版社第三章測量效度與系統(tǒng)誤差控制測量效度概述1第2頁/共43頁心理測量學高等教育出版社測量效度概述

什么是效度測量工具測量了他所希望測量的心理特質或行為特征的效果和程度。效度總是與一定的測量目標相聯(lián)系的。我們稱為某測量工具進行效度驗證的過程為效度證據(jù)的獲取過程，簡稱為效度驗證。第3頁/共43頁心理測量學高等教育出版社測量效度概述測量學定義：

S2X=S2T+S2ES2T=S2V+S2IS2X=S2V+S2I+S2Er2xy=S2V/S2XrXX=S2T/S2X第4頁/共43頁心理測量學高等教育出版社測量效度概述效度與信度的關系信度研究的是測量結果的穩(wěn)定性問題，效度研究的是測量結果的準確性問題。測量的信度只受到隨機誤差或非系統(tǒng)測量誤差的影響，而測量效度會同時受到隨機誤差和系統(tǒng)測量誤差的影響。一個測量工具可能是非常穩(wěn)定（信度高），但卻是無效的，因為他與測量的目標之間產(chǎn)生了系統(tǒng)性的偏差；當然，一個完全不穩(wěn)定的測量工具也不可能是有效的。第5頁/共43頁心理測量學高等教育出版社第三章測量效度與系統(tǒng)誤差控制測量工具效度驗證的方法2第6頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法根據(jù)測量目標的不同，對測量工具進行效度驗證的方法主要有三種：基于所測內容的效度驗證方法。基于所測心理結構的效度驗證方法。基于效標關聯(lián)性的效度驗證方法。第7頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測內容的效度驗證方法含義就是要對測量工具本身的具體內容進行系統(tǒng)性的查驗，以確定這些內容是不是測量目標特質或行為領域的一個有代表性的樣本。主要應用學業(yè)成就測驗、職業(yè)資格測驗，還如人員選拔與安置中的工作樣本測驗。第8頁/共43頁欺負研究言語欺負身體欺負關系欺負第9頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測內容的效度驗證方法評估方法確定測量目標的全域范圍及各部分內容權重。確定一批有經(jīng)驗的領域專家，在深入培訓的基礎上，要求他們按照已確定的測量全域范圍及各部分內容權重，初步分析測試題目的代表性，并對題目測量的被試作答的內部心理過程進行初步分析。進行實測，根據(jù)測試數(shù)據(jù)分析和被試作答過程分析，全面驗證測量工具的效度。第10頁/共43頁心理測量學高等教育出版社內容效度評估方法：專家評判法（雙向細目表）、統(tǒng)計分析法（再測法）、經(jīng)驗推測法（試測發(fā)展變化）。內容效度比CVR=(ne-N/2)/(N/2);ne表示認為項目很好地表示了測量內容范疇的評判者人數(shù)。內容效度的特性：注意區(qū)分內容效度和表面效度測量工具效度驗證的方法第11頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測內容的效度驗證方法關于測量工具的表面效度嚴格來說，表面效度并不符合效度的定義，因為他反映的不是實際要測量的目標是什么，或對目標測量的程度如何，而反映的是，測量工具從表面上看測量了什么。表面效度關心的是測量的友好性和與公眾的和諧關系。第12頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于效標關聯(lián)性的效度驗證方法效標：它是獨立于測量工具并可以從實踐中獲得的被試的行為特征表現(xiàn)，用于驗證測量工具的有效性。根據(jù)測量工具與效標兩者結果獲得的時間間隔的不同，基于效標關聯(lián)性的效度證據(jù)采集可以有同時性設計與預測性設計兩種方法。第13頁/共43頁量表業(yè)績工作壓力心理問題醫(yī)鬧創(chuàng)收晉升領導本我快樂自我現(xiàn)實超我良心第14頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于效標關聯(lián)性的效度驗證方法效度證據(jù)采集的預測性設計方法含義：驗證現(xiàn)有測量評價結果與將來才可能獲取的效標評價結果之間的關聯(lián)程度。主要應用：人員選拔、安置類型的測量工具第15頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于效標關聯(lián)性的效度驗證方法效度證據(jù)采集的預測性設計方法首先，獲取被試在當前測量工具上的評價結果，如測驗分數(shù)、等級評定；然后，間隔一定的時間，采集被試在預測目標（效標）上的評價結果；最后，分析以上這兩個評價結果之間的關聯(lián)性程度，這種關聯(lián)性程度的分析方法常用的有以下幾種：相關分析區(qū)分能力分析命中率分析第16頁/共43頁心理測量學高等教育出版社10198127512161252415263324134241314692125223112101012345678910工作成績測驗成績第17頁/共43頁心理測量學高等教育出版社命中率法(如何分析上頁表格)效標成績測驗預測失?。?）成功（+）成功（+）A（失誤）B（命中）失?。?）C（命中）D（失誤）第18頁/共43頁命中率法習題假設用某種測驗選拔員工100人，經(jīng)過一段時間的工作檢驗，得到以下四組數(shù)據(jù)：正確接受為42人，正確拒絕為34人，錯誤接受為10人，錯誤拒絕為14人。請算出該次選拔的總命中率。心理測量學高等教育出版社第19頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于效標關聯(lián)性的效度驗證方法效度證據(jù)采集的同時性設計方法含義：對同時獲得的測量工具評價結果與效標評價結果之間的關聯(lián)性程度進行分析。主要應用經(jīng)常用于評價測量工具診斷被試當前心理特質狀態(tài)的效果。在許多情形下，效度證據(jù)采集的同時性設計方法會替代預測性設計方法。評估方法第20頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于效標關聯(lián)性的效度驗證方法基于效標關聯(lián)性的效度驗證方法的影響因素群體的一致性或同質性程度：應該盡量擴大被試群體的異質性，避免低估測驗的真實效度。測驗長度：一般來說，測驗長度越長，測試結果越穩(wěn)定，效度系數(shù)會傾向于越高。效標污染第21頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于效標關聯(lián)性的效度驗證方法估計標準誤指的是測量工具實際測量的結果與預先設定的測量目標之間相互偏離的程度，而效度驗證的過程就是要考察這種偏離程度的大小。從實際應用范圍及計算過程的便利性角度看，估計標準誤的實際應用更多的是基于效標關聯(lián)性的效度驗證方法中。第22頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于效標關聯(lián)性的效度驗證方法估計標準誤是表現(xiàn)為相關系數(shù)的效度系數(shù)；是效標評定分數(shù)的標準差。第23頁/共43頁測量標準誤與估計標準誤TX同一種心理變量XY不同的變量心理測量學高等教育出版社第24頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法含義：對測量工具測量了心理學中某種特質或特質結構的程度進行驗證的方法。主要應用：各種心理測驗，如智力測驗、人格測驗、焦慮測驗、成就動機測驗等。第25頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法評估方法專家判斷分析法主要依靠專家的主觀專業(yè)經(jīng)驗。盡量減少專家主觀隨意性的影響。德爾菲法。第26頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法評估方法測驗內部一致性分析法基于所測心理結構的效度驗證的一個重要證據(jù)來源。這個方法的實質是，測驗總分本身是用于評價所測心理結構的效度最好的效標。相關分析法：求取每個項目與測驗總分之間的相關系數(shù)，如果項目—測驗相關顯著，表明該項目與總測驗的結構是一致的。第27頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法評估方法測驗內部一致性分析法對照組比較法：按照被試的測驗總分，選出一個高分組被試和一個低分組被試，然后，比較高分組被試與低分組被試在各個項目上的作答表現(xiàn)，如果高分組被試的通過比例顯著大于低分組被試的通過比例，表明該項目與總測驗的結構是一致的。第28頁/共43頁心理測量學高等教育出版社基于所測心理結構的效度驗證方法評估方法測驗內部一致性分析法很明顯，測驗內部一致性證據(jù)保證的是測驗結構的同質性或單一性。測驗內部一致性證據(jù)的作用是有限的，因為他畢竟無法證明該測驗究竟測量了什么結構。測量工具效度驗證的方法第29頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法評估方法與現(xiàn)有研究結論一致性的分析法通過分析新開發(fā)測量工具測試結果是否與已有研究結論相一致。在許多傳統(tǒng)智力測驗中，成長發(fā)展性變化證據(jù)是測驗效度的一個重要證據(jù)。第30頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法評估方法與其他測量工具的相關分析法求取新開發(fā)測量工具與另一個已經(jīng)被公認為有效的測量工具之間的相關關系，是證明新開發(fā)測量工具測量了相同內容結構的一個有效證據(jù)。求取新開發(fā)測量工具與另一個測量工具之間的相關關系，有時候也被用于證明該測量工具沒有受到其他無關心理因素的影響。第31頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法其他評估方法因素分析法（因素分析法的基本原理及因素旋轉）因素分析方法是基于所測心理結構的效度驗證方法中幾乎最為常用的一種方法，他很適合用于鑒別測量工具所測的心理特質結構。實際上，因素分析方法是一種分析觀察數(shù)據(jù)之間相關矩陣的統(tǒng)計分析技術。第32頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法其他評估方法聚合與區(qū)分效度驗證分析法為了驗證測量工具所測的心理結構，我們不僅必須提供關于它與另外一個理論上應該存在高相關的測量工具之間存在高相關的實際證據(jù)，同時，也需要提供關于它與另外的無關變量之間不存在顯著相關的證據(jù)。多特質—多方法矩陣分析法第33頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法其他評估方法實驗介入分析法通過實驗的方法考察某些重要變量的介入是否對被試測量分數(shù)產(chǎn)生顯著影響。第34頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法其他評估方法結構方程建模分析法除了鑒別測量的潛在結構之外，對這些潛在特質結構本身之間的關系以及它們之間的影響路徑進行考察，同樣是非常重要的。分析潛在特質結構之間的關系及其與效標變量之間的路徑，有利于我們更深入理解所測特質的作用機制。這種分析過程可以用結構方程建模的方式進行。第35頁/共43頁心理測量學高等教育出版社測量工具效度驗證的方法基于所測心理結構的效度驗證方法其他評估方法尋求當代認知心理學證據(jù)的分析方法基于信息加工理論的研究方法為我們深入理解人類問題解決的加工過程提供了更豐富的證據(jù)。認知加工模型讓我們了解完成某種認知任務的智能過程、這個過程的組織方式、涉及的知識內容、這些知識在記憶中的表征形式及其提取模式，這些研究無疑會讓我們對人類心理特質結構的認知更加深入。第36頁/共43頁對分課堂討論1、探索性因素分析和驗證性因素分析的異同2、如何用spss做探索性因素分析3、如何用結構方程軟件做驗證性因素分析4、從第17屆全國心理學學術大會的摘要集中，找出《心理測量》口頭報告、張貼報告，并總結作者是如何在摘要中報告信度、效度等測量學指標的心理測量學高等教育出版社第37頁/共43頁心理測量學高等教育出版社第三章測量效度與系統(tǒng)誤差控制測量的系統(tǒng)誤差控制3第38頁/共43頁心理測量學高等教育出版社測量的系統(tǒng)誤差控制影響測量工具有效性的因素測量的心理特質本身的特點有些心理特質至今研究不夠深入，概念界定還不清晰。有些心理特質本身不太穩(wěn)定。測量工具的建構過程建構過程應遵循嚴謹?shù)膽B(tài)度才能建構出優(yōu)良的測量工具，避免出現(xiàn)系統(tǒng)偏差。第39頁/共43頁心理測量學高