研究工具性能的測定課件

第七章

研究工具性能的測定泰山醫(yī)學院護理學院2023/8/5李蕾第七章

研究工具性能的測定泰山醫(yī)學院護理學院2023/7教學目標掌握信度的概念和分類掌握效度的概念和分類掌握信度與效度的關系熟悉信度測量方法熟悉效度的建立和測量的方法了解國外量表翻譯的基本步驟護理研究第七章研究工具性能的測定教學目標掌握信度的概念和分類護理研究第七章研究2023/8/5你如何解釋下述現(xiàn)象？

一個很聰明的孩子，測得智商是80分一個學習很好的學生，考試成績?yōu)?0分一個人緣很好的人，人際關系測量低于常模值護理研究第七章研究工具性能的測定2023/7/31你如何解釋下述現(xiàn)象？

一個很聰明的孩子，測2023/8/5誤差的含義

在測量中與目的無關的因素所引起的不準確或不一致效應。不準確、不一致不準確、一致準確、一致測量誤差護理研究第七章研究工具性能的測定2023/7/31誤差的含義不準確、不一致不準確、一研究工具的性能指標信度：可靠性（一致性）效度：有效性2023/8/5無效度、無信度有效度、有信度無效度、有信度研究工具的性能指標信度：可靠性（一致性）2023/7/31無效度信度表面效度內容效度效標效度結構效度評定者間信度重測信度內部一致性信度復本信度2023/8/5效度信度表面效度內容效度效標效度結構效度評定者間信度重測信度第一節(jié)信度reliability2023/8/5護理研究第七章研究工具性能的測定第一節(jié)信度2023/7/31護理研究一、信度的基本概念

信度指研究工具所獲得結果的一致程度。一個好的測量工具必須穩(wěn)定可靠，即多次測量的結果要保持一致。2023/8/5護理研究第七章研究工具性能的測定一、信度的基本概念

信度指研究工具所獲得結果的一致程信度的主要特征穩(wěn)定性(stability)內在一致性(consistence)等同性(equivalence)2023/8/5護理研究第七章研究工具性能的測定信度的主要特征2023/7/31護理研究第七章研究工穩(wěn)定性

用同一工具兩次或多次測定同一研究對象，所得結果的一致程度。一致程度越高，工具的穩(wěn)定性越好。護理研究第七章研究工具性能的測定穩(wěn)定性用同一工具兩次或多次測定同一研究對象，所得結

內在一致性

組成研究工具的各項目之間的同質性和內在相關性。內在相關性越大或同質性越好，工具的內在一致性越好，信度越高。護理研究第七章研究工具性能的測定內在一致性護理研究第七章研究工具性能的測

等同性

不同評定者使用相同工具同時測量相同對象時，評定者間的一致程度；或大致相同兩個研究工具同時被用于研究對象，工具的一致程度。護理研究第七章研究工具性能的測定等同性護理研究第七章研究工具性能的測定二、信度的計算方法穩(wěn)定性內在一致性等同性

重測信度折半信度Cronbach’α系數(shù)KR-20值評定者間信度復本信度護理研究第七章研究工具性能的測定二、信度的計算方法穩(wěn)定性內在一致性

（一）重測信度(test-retestreliability)

1.定義:用同一工具兩次或多次測定同一研究對象所得結果的一致程度。常表示研究工具的穩(wěn)定性。一致程度越高，重測信度越高，研究工具的穩(wěn)定性越好。護理研究第七章研究工具性能的測定（一）重測信度(test-retestrelia

2.計算方法

使用研究工具對研究對象施行第一次測試,間隔一段時間后使用同一工具對同一研究對象進行重測，然后計算兩次資料的相關系數(shù)，該系數(shù)反映研究工具重測信度的高低。相關系數(shù)在0～1之間，越接近1，說明重測信度越高。護理研究第七章研究工具性能的測定2.計算方法護理研究第七章研究工具性能的

研究對象第一次測試（X）第二次測試（Y）123272443833537453495444662628732348282593834103936人格問卷重測數(shù)值表研究對象第一次測試（X）第二次測試（Y）123272

第一次測試和第二次測試數(shù)據(jù)間的相關系數(shù)即為人格問卷的重測信度。

護理研究第七章研究工具性能的測定第一次測試和第二次測試數(shù)據(jù)間的相關系數(shù)即為人格問卷3.使用重測信度需考慮的問題

(1)兩次測量之間的間隔時間：

使第一次測量對第二次測量的結果不會造成影響；在客觀情況未發(fā)生改變時進行；

護理研究第七章研究工具性能的測定3.使用重測信度需考慮的問題(1)兩次測量之間的間隔時間：時間間隔的把握間隔時間越長，穩(wěn)定性系數(shù)越低。適宜時間間隔依照測驗目的、性質及被試特點而定。幾分鐘至幾年。年幼兒童，間隔要小；年長群體，間隔可大。一般間隔時間不超過六個月。（即不能讓被試記住上一次測驗的內容，又不能讓其特質發(fā)生變化，或對所學知識產(chǎn)生遺忘）2023/8/5護理研究第七章研究工具性能的測定時間間隔的把握間隔時間越長，穩(wěn)定性系數(shù)越低。適宜時間間隔依照(2)測量環(huán)境的一致盡量保證測量環(huán)境的一致，如相同的測試者、相同的測量程序、相同的測量時間、相同的測量環(huán)境等2023/8/5護理研究第七章研究工具性能的測定(2)測量環(huán)境的一致2023/7/31護理研究第七章(3)工具所測量的變量的性質：對性質相對穩(wěn)定的問題，如性格、價值觀、生活質量等進行測量，適宜用重測信度來表示研究工具的信度如何；對性質不穩(wěn)定的問題，如情感、態(tài)度、知識等進行測量，則不宜使用重測信度來表示研究工具的信度如何。護理研究第七章研究工具性能的測定(3)工具所測量的變量的性質：護理研究第七章研究工具（二）內在一致性信度內在一致性（internalconsistence)是指組成研究工具的各項目之間的同質性或內在相關性。內在相關性越好，說明組成研究工具的各項目都在一致地測量同一個問題或指標，也就是說明工具的內在一致性越好，信度越高。2023/8/5護理研究第七章研究工具性能的測定（二）內在一致性信度內在一致性（internalconsi折半信度Cronbach’α系數(shù)KR-202023/8/5護理研究第七章研究工具性能的測定折半信度2023/7/31護理研究第七章研究工具性能1.折半信度(split-halfreliability)將一種工具對一群人使用一次，將每個人的結果分數(shù)按工具中各項目分成兩組，計算兩組分數(shù)的相關系數(shù)。

內在一致性護理研究第七章研究工具性能的測定1.折半信度(split-halfrel方法:

前后折半法奇偶折半法缺點:

不同的折半方法會導致不同的結果

一個10個條目的問卷可以有126種不同的折半方法！護理研究第七章研究工具性能的測定方法:前后折半法護理研究第七章研究工具性能的測定

2.Cronbach’α系數(shù)計算研究工具中所有項目間的平均相關程度，反映研究工具的內在一致。

K：測驗的題目數(shù)；

Si2：某一題目分數(shù)的變異數(shù)；

Sx2：測驗總分的變異數(shù)。

2023/8/5護理研究第七章研究工具性能的測定

2.Cronbach’α系數(shù)計算研究工具中所有項目間的平均3.KR-20值

是Cronbach’α的一種特殊形式，用來反映研究工具的內在一致性。適用于二分制的研究工具，如回答“是”或“否”、“正確”或“錯誤”。護理研究第七章研究工具性能的測定3.KR-20值是Cronbach’α的一種特殊形表1PACIE各條目間相關矩陣項目面部表情聲音/語言身體姿勢活動情緒人際互動/交流生命體征睡眠總分面部表情-聲音/語言0.69**-身體姿勢0.48**0.56*-活動0.55*0.62**0.35**-情緒0.24**0.57**0.21

0.19-人際互動/交流0.35**0.49**0.45*0.38*0.36*-生命體征0.40**0.41**0.41**0.44**0.41**0.46**-睡眠0.67**0.54**0.57**0.41**0.28*0.41**0.46**-總分0.75**0.81**0.58**0.66**0.44*0.56**0.49**0.68**-注：*相關系數(shù)假設檢驗P<0.05，**P<0.01內部一致性信度

量表總分的Cronbach’sα系數(shù)為0.85。

護理研究第七章研究工具性能的測定表1PACIE各條目間相關矩陣面部聲音/語言身體活動情表示研究工具的等同性（equivalence）評定者間信度（inter－raterreliability)

不同的評定者使用相同工具，同時測量相同對象時，計算一致性的程度。最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關系數(shù)。2023/8/5（三）評定者間信度護理研究第七章研究工具性能的測定表示研究工具的等同性（equivalence）2023/7/（四）復本信度任何測驗只是所有可能題目中的一份取樣（行為樣本），所以可編制許多平行的等值測驗，叫做復本。兩個大致相同的研究工具同時被用于研究對象，計算兩種復本測量分數(shù)的相關系數(shù)，稱為復本信度（Alternate-formreliability）。相關系數(shù)越大說明兩個復本構成帶來的變異越小。2023/8/5護理研究第七章研究工具性能的測定（四）復本信度任何測驗只是所有可能題目中的一份取樣（行為樣本A卷：你是一個喜歡熱鬧的人嗎？1=絕對是2=是3=不一定4=不是5=絕對不是2023/8/5護理研究第七章研究工具性能的測定A卷：你是一個喜歡熱鬧的人嗎？1=絕對是B卷：你是一個喜歡安靜的人嗎？1=絕對是2=是3=不一定4=不是5=絕對不是2023/8/5護理研究第七章研究工具性能的測定B卷：你是一個喜歡安靜的人嗎？1=絕對是復本等值要符合下列條件：

各份測驗測量的是同一變量。各份測驗具有相同的形式。各份測驗的題目不應重復。各份測驗題目數(shù)量相等，難度和區(qū)分度大體相同。各份測驗的分數(shù)分布（平均數(shù)和標準差）大致相等。2023/8/5護理研究第七章研究工具性能的測定復本等值要符合下列條件：各份測驗測量的是同一變量。2023研究工具信度的基本要求1、通常通過預試驗測試研究工具的信度2、報告研究工具的信度時，不僅要報告信度系數(shù)，還應報告是何種信度，信度系數(shù)是如何計算的。3、一般認為，研究工具重測信度和內部一致性信度系數(shù)應不小于0.7。而評定者信度和復本信度一般應達到0.9以上。護理研究第七章研究工具性能的測定研究工具信度的基本要求1、通常通過預試驗測試研究工具的信度護第二節(jié)效度（validity）2023/8/5護理研究第七章研究工具性能的測定第二節(jié)效度2023/7/31護理研究一、效度的概念

效度是測量的有效性，真正能反映他所期望研究的概念的程度，即一個工具對它所要測量特質的準確程度。效度回答兩個問題：

1.一個工具測評什么？

2.一個工具對于所測量的變量，準到什么程度？2023/8/5護理研究第七章研究工具性能的測定一、效度的概念

效度是測量的有效性，真正能反映他所期望研究的二、效度的測量表面效度內容效度效標效度結構效度2023/8/5護理研究第七章研究工具性能的測定二、效度的測量表面效度2023/7/31護理研究第七章1、表面效度(facevalidity)表面效度指測驗給人的第一個印象好像測量甚么東西，而不是指測驗事實上能測量到什么東西。

2023/8/5護理研究第七章研究工具性能的測定1、表面效度(facevalidity)2023/7/31抑郁自評量表（SDS）

ABCDE1、我感到情緒沮喪，郁悶 □□□□□2、我感到早晨心情最好 □□□□□3、我要哭或想哭□□□□□4、我夜間睡眠不好 □□□□□5、我吃飯像平常一樣多 □□□□□6、我的性功能很正?！酢酢酢酢?、我感到體重減輕 □□□□□8、我為便秘而煩惱 □□□□□9、我的心跳比平時快 □□□□□10、我無故感到疲勞 □□□□□11、我的頭腦像往常一樣清楚□□□□□12、我做事情像平時一樣不感到困難□□□□□13、我坐臥不安，難以保持平靜 □□□□□14、我對未來感到有希望 □□□□□15、我比平時更容易激怒□□□□□16、我覺得作出決定是很容易的 □□□□□17、我感到自己是有用的和不可缺少的人□□□□□18、我的生活很有意義□□□□□19、假若我死了別人會過得更好□□□□□20、我仍舊喜愛自己平時喜愛的東西□□□□□2023/8/5抑郁自評量表（SDS）2023/7/31

表面效度是由評估人根據(jù)自己對所要測量概念的理解，盡其判斷能力之所及來斷定工具是否適當而做出的一種直覺判斷。對工具的效度用“有或無”反映，未體現(xiàn)程度。表面效度一般不能作為工具質量的有力證據(jù)。2023/8/5護理研究第七章研究工具性能的測定表面效度是由評估人根據(jù)自己對所要測量概念的理解，盡其判斷2、內容效度(contentvalidity)內容效度是根據(jù)理論基礎及實際經(jīng)驗對工具是否反映了所要測量的變量、是否包括足夠的項目而且有恰當?shù)膬热莘峙浔壤鞒龅呐袛?。指項目對欲測的內容或行為范圍取樣的適當程度。2023/8/5護理研究第七章研究工具性能的測定2、內容效度(contentvalidity)內容效度是一個測驗要具備較好的內容效度必須滿足兩個條件。①要確定好內容范圍，并使測驗的全部項目均在此范圍內。②測驗項目應是已界定的內容范圍的代表性樣本。換句話說，就是選出的項目能包含所測的內容范圍的主要方面，并且使各部分項目所占比例適當。具體做法是對內容范圍進行系統(tǒng)分析，將該范圍劃分為具體綱目，并對每個綱目作適當加權，然后根據(jù)權重，從每個綱目中隨機取樣。2023/8/52、內容效度護理研究第七章研究工具性能的測定一個測驗要具備較好的內容效度必須滿足兩個條件。2023/7內容效度建立在大量文獻查閱、工作經(jīng)驗以及綜合分析、判斷的基礎上，多由有關專家委員會進行評議（專家效度)。2023/8/52、內容效度護理研究第七章研究工具性能的測定內容效度建立在大量文獻查閱、工作經(jīng)驗以及綜合分析、判斷的基礎

實施要求：

1、專家人數(shù)3-10人，以5人較合適

2、專家的選擇應與研究工具所涉及的領域有關

3、兩次評議時間最好間隔10-14天護理研究第七章研究工具性能的測定實施要求：護理研究第七章研究工具性能的測定2023/8/5項目活動時休息時不相關修改后相關相關需要小改動非常相關不相關修改后相關相關需要小改動非常相關1.聲音（非語言性）:以非詞語形式表達疼痛—呻吟、嘆氣、哼哼、哭泣、呼吸粗重修改意見修改意見2.表情痛苦/退縮：皺眉、閉眼抿唇、咬牙、表情扭曲修改意見修改意見疼痛評分指南護理研究第七章研究工具性能的測定2023/7/31項目活動時休息時不相關修改后相關相關需要小內容效度的應用適合于測驗所要測量的內容總體能夠明確界定的情況主要缺點缺乏可靠的數(shù)量指標妨礙各測驗間的相互比較2023/8/52、內容效度護理研究第七章研究工具性能的測定內容效度的應用2023/7/312、內容效度護理研究第七3、效標關聯(lián)效度(criterion-relatedvalidity)側重反映研究工具與其他測量標準之間的關系，考察測驗分數(shù)與效標的關系，屬于實證效度,或統(tǒng)計效度。根據(jù)測驗的時間可分為：同時效度（concurrentvalidity)預測效度（predictivevalidity)2023/8/5護理研究第七章研究工具性能的測定3、效標關聯(lián)效度(criterion-relatedval預測效度與同時效度

（1）同時效度：是指研究工具與現(xiàn)有標準之間的關系。如對一個人格測驗的結果，可以用同學、家長對他人的評定作為效標。（2）預測效度：測量工具作為未來情況預測指標的有效程度。效標是過一段時間后搜集得到。用智力測驗的結果預測一個人會不會成功，用人格測驗預測人會不會患心理疾病。2023/8/5護理研究第七章研究工具性能的測定預測效度與同時效度2023/7/31護理研究第七章研同時效度的目的是檢查測驗測量現(xiàn)有的某種能力或特質的有效性，即描述當前狀態(tài)時的有效性，而預測效度則表明測驗對某種行為的預測的有效性。2023/8/5護理研究第七章研究工具性能的測定同時效度的目的是檢查測驗測量現(xiàn)有的某種能力或特質的有效性，即4、結構效度（constructvalidity）

反映工具與其所依據(jù)的理論或概念框架的相結合程度，是工具的內在屬性。是指實驗與理論之間的一致性，即實驗是否真正測量到假設（構造）的理論。2023/8/5護理研究第七章研究工具性能的測定4、結構效度（constructvalidity）反映工重點是了解工具的內在屬性，而不是使用工具測得的分數(shù)。它主要回答“該工具到底在測量什么？”，“使用該工具能否測量出被研究的抽象概念？”這類問題。2023/8/5護理研究第七章研究工具性能的測定重點是了解工具的內在屬性，而不是使用工具測得的分數(shù)。它主結構效度是目前最為嚴謹?shù)囊环N建立和測量研究工具效度的方法，也是最為復雜的效度研究方法。護理研究第七章研究工具性能的測定結構效度是目前最為嚴謹?shù)囊环N建立和測量研究工具效度的方法例如：智力測驗的結構效度檢驗對智力的構念，目前較為流行的觀點認為智力代表了一個人獲得、保持知識的能力，推理能力及適應環(huán)境的能力。根據(jù)智力的定義，可以推演出以下幾點假設，1）智力不同于后天獲得的知識，因此與遺傳因素有關，且更為穩(wěn)定，2）智力會隨著人的生理變化而發(fā)展變化，3）智力會影響人的學習成績和事業(yè)成功。為驗證以上假設，可以從三方面著手：1）計算同卵雙生子、異卵雙生子、其他同胞、非同胞間智商的相關，看相關系數(shù)是否依次降低；2）看智商與學業(yè)成績間是否有高相關；3）智商是否隨著年齡的增長而逐漸提高，在某一個階段又是相對穩(wěn)定的。如果以上假設都得到了證實，則說明所編的智力測驗是有效的，如果假設得不到證實，則說明測驗的效度不高。2023/8/5護理研究第七章研究工具性能的測定例如：智力測驗的結構效度檢驗對智力的構念，目前較為流行的觀點2023/8/5癲癇生活質量量表2023/7/31癲癇生活質量量表優(yōu)勢：促使研究者把著眼點放在提出假設、檢驗假設上，使得測驗成為理論研究的重要工具；主要缺點：有些構想概念模糊，沒有一致的定義；確定效度時沒有明確的操作步驟；沒有單一的數(shù)量指標來描述有效程度。2023/8/5護理研究第七章研究工具性能的測定優(yōu)勢：2023/7/31護理研究第七章研究工具性能的主要通過因子分析，來判斷結構效度。屬于實證效度或統(tǒng)計效度。2023/8/5護理研究第七章研究工具性能的測定2023/7/31護理研究第七章研究工具性能的測定2023/8/5信度高，并不保證效度就一定高；但效度高的話，信度必然要高。信度是效度的必要條件。護理研究第七章研究工具性能的測定2023/7/31信度高，并不保證效度就一定高；但效度高的話信度和效度關系1、信度是效度的必要前提高信度不能代表高效度低信度則可以肯定低效度2、效度是信度的必然保證有效度的工具一定有信度有信度的工具未必有效度護理研究第七章研究工具性能的測定信度和效度關系1、信度是效度的必要前提護理研究第七章

第三節(jié)國外量表的翻譯和應用過程的性能測定護理研究第七章研究工具性能的測定第三節(jié)國外量表的翻譯和應用過程的性能測定護理研究

翻譯和應用國外量表的原則：

1、不偏離原文的原意

2、適合中國的文化特點

3、譯后的量表具有較好的信度和效度2023/8/5護理研究第七章研究工具性能的測定翻譯和應用國外量表的原則：2023/7/31護理研究翻譯國外量表的步驟翻譯回譯檢譯護理研究第七章研究工具性能的測定翻譯國外量表的步驟翻譯回譯檢譯護理研究第七章研究工具1、翻譯兩個或多個既熟悉原量表語言又有較好漢語功底的翻譯者將國外量表翻譯成中文；注意直譯與意譯結合，使更適合中國文化特點；多個翻譯版本進行集體討論后形成中文版本的量表。護理研究第七章研究工具性能的測定1、翻譯兩個或多個既熟悉原量表語言又有較好漢