第十二章素質(zhì)測評質(zhì)量分析

第十二章素質(zhì)測評質(zhì)量分析12-1測評的信度信度是標(biāo)準化素質(zhì)測評的基本要求之一，如果測評工具的信度不理想，測量結(jié)果就無法被認為能代表應(yīng)試者的一致、穩(wěn)定和可靠的行為表現(xiàn)，就可能誤導(dǎo)對應(yīng)試者的評價。12-1-1信度及其影響因素如果我們用一個游標(biāo)卡尺來測量一個鋼管的外直徑，每次測量時都難免會有一定的誤差。首先，游標(biāo)卡尺作為一種測量工具是有一定精度限制的，也就是說，測量工具本身存在誤差。當(dāng)然這種誤差是必然存在的，而且誤差是在一定范圍中有規(guī)律的變動的，這種誤差在測量工作中被稱之為系統(tǒng)誤差（systematicerror）。其次，我們每一次測量都可能出現(xiàn)操作上的差異，或者由于不可預(yù)見的外界因素的影響，產(chǎn)生測量誤差。這些誤差是很難控制的，而且無規(guī)律可循，有時大有時小，這種誤差被稱為隨機誤差（randomerror）。前者在一定程度上可以控制，而后者很難控制，一個好的測量工具應(yīng)該不僅要有盡可能高的精確度（與系統(tǒng)誤差相關(guān)），還能夠把誤差控制在一個有規(guī)律的范圍以內(nèi)，這樣才能夠得到穩(wěn)定可信的測量結(jié)果。信度實際上就是對隨機誤差的一種度量。1、信度的概念信度（reliability）信度是標(biāo)示測驗一致性高低的統(tǒng)計指標(biāo)。主要指測量結(jié)果的可靠性、穩(wěn)定性和一致性，可以定義為測驗結(jié)果不受測驗情境或測驗過程中無關(guān)變量影響的程度。實際上就是指測驗分數(shù)不受測量誤差影響的程度?？梢灾赋鰷y驗出的個體差異在多大程度上是真正的差異，又在多大程度上是由于隨機誤差造成的。隨機誤差越大，信度就越低。反之，信度就越高。通常任何測驗都存在某種程度的不一致性（同一受試者在不同時間或在不同的測驗條件下做同一測驗）因為誤差的存在，我們永遠不可能完全揭示人的心理特點，只能無限接近真實分數(shù)。所有測驗都有誤差，心理測驗分數(shù)也不例外。如果一個人連續(xù)兩天接受同一測驗，或者完成同一測驗被認為是等值的兩個版本，如果得分相同會讓人感到驚訝，如果分數(shù)有相當(dāng)大的變化可能讓人吃驚，但是有一點可以肯定，這是由于偶然或隨機因素影響了每次測驗的成績。然而，對于兒童，如果同一測驗在半年或一年之后測第二遍，分數(shù)有很大的差異是不足為奇的，因為他們的成長導(dǎo)致測驗成績的變化非常自然。問題將是確定有多少變化是由于成績的隨機變化引起的，又有多少可以歸因于個人在這段時間內(nèi)所發(fā)生的變化。測量結(jié)果的穩(wěn)定性：測驗分數(shù)一致性的程度（不同時間、測驗條件下所得分數(shù)之間的一致性）一個人獲得分數(shù)與“真實分數(shù)”之間的接近程度測量結(jié)果的一致性是否達到實際應(yīng)用的程度影響穩(wěn)定性的原因：什么因素造成了這種差異（誤差的來源）這些效應(yīng)的相對作用如何（分數(shù)的實際含意）在研究信度時，主要應(yīng)考慮兩方面的問題：信度的計算：信度系數(shù)信度指標(biāo)的一般公式：測驗分數(shù)=真實分數(shù)+測量誤差或者：X=T+e信度的高低通常以相關(guān)系數(shù)表示，稱為信度系數(shù)（reliabilitycoefficient）。信度系數(shù)一般是同一樣本所得的兩組資料的相關(guān)，因此有：測驗分數(shù)方差=真實分數(shù)方差+誤差分數(shù)方差

X2=T2+e2信度系數(shù)：rxx=T2/X2=T2

/（T2

+e2

）信度系數(shù)即是真實分數(shù)方差（變異數(shù)）與測驗分數(shù)總方差（變異數(shù)）之比。2、信度的作用測驗信度要能夠區(qū)分出：導(dǎo)致一致性的因素：個體穩(wěn)定的特性（測量對象）導(dǎo)致不一致性的因素：可能影響測驗，但又與測驗對象沒有關(guān)系的個體和環(huán)境的特性在素質(zhì)測評中，對信度系數(shù)進行確定通常有以下作用：解釋真實分數(shù)與實得分數(shù)之間的相關(guān)說明可以接受的信度水平解釋真實分數(shù)與實得分數(shù)之間的相關(guān)信度可以解釋為總的方差（標(biāo)準差的平方的縮略語）中有多少比例是由真實分數(shù)的方差決定的，即測量分數(shù)的變化中有多少是真正反映了被測者分數(shù)的變化。例如：當(dāng)rxx時，我們可以說，實得分數(shù)中有90%的方差是來自真實分數(shù)的變化，僅有10%是來自測量的誤差。信度系數(shù)的分布是從的正數(shù)范圍，代表了從缺乏信度到完全可信的所有狀況。思考：如果rxx表示什么？rxx表示什么？說明可以接受的信度水平信度的理想水平是，但是實際上是達不到的。一般能力與成就測驗的信度系數(shù)在以上；人格、興趣等測驗的信度通常在之間。一般來說，當(dāng)rxx

時，不能用測驗對個人進行評價，也不能在團體間作比較；當(dāng)rxx時，可用于團體間比較；當(dāng)rxx時，可用于鑒別個人。3、信度的影響因素

受試者個體持久而泛化的特性：進行測驗的一般技能水平理解測驗指示語的一般能力水平進行類似測驗的一般的人格特質(zhì)受試者個體持久而特殊的特性：進行某項測驗（或其形式）需要的特殊的技能、能力和特質(zhì)；以及穩(wěn)定的反映定勢；對某個測驗項目內(nèi)容的熟悉程度受試者個體短時而泛化的特性：健康、疲勞、動機、情緒狀態(tài)、測驗自如性；溫度、光亮、通風(fēng)等測驗外部條件

受試者個體短時而特殊的特性對特殊測驗的理解，測驗所需要的特殊技巧；為做測驗所進行的練習(xí)；對測驗項目內(nèi)容的注意、記憶等的飄忽不定。影響測驗過程和解釋的外部因素系統(tǒng)改變測驗條件；對測驗的各種限制；干擾程度；指示語的清晰度；受試者在個性、性別、種族等與測驗主試的交互作用；對測驗結(jié)果的不一致或有偏差的評判。無法解釋的變化（隨機因素）猜測、運氣，以及暫時的干擾12-1-2信度的評估方法針對不同的誤差來源，信度可以有不同的確定方法。信度系數(shù)類型誤差來源重測信度時間取樣復(fù)本信度（即時）內(nèi)容取樣重測復(fù)本信度（延遲）時間和內(nèi)容取樣分半信度內(nèi)容取樣同質(zhì)性信度內(nèi)容的異質(zhì)性評分者信度評分者間差異1、重測信度(test-retestreliability)又稱為穩(wěn)定性系數(shù)，是采用重測法計算信度的方法，即用同一測驗在不同時間對同一對象施測兩次，兩次測量分數(shù)的相關(guān)系數(shù)即為重測系數(shù)。人事測量所測查的特質(zhì)中，有相當(dāng)多的內(nèi)容具有一定的穩(wěn)定性，如人格、能力傾向等，因此，對于這些內(nèi)容而言，重測信度對于衡量測量工具的質(zhì)量是很重要的指標(biāo)。在日常生活中，你也許常常到市場上去買東西。如果你買了5斤瘦肉后覺得比上次少了點，沒有那么重，那么你可以自己再用稱稱一下。如果也是5斤，那么你可能就會覺得確實有5斤。這是因為兩次稱得的結(jié)果完全一致，變異度為0。人的素質(zhì)測評沒有這么簡單，因為素質(zhì)本身又是無法精確定義，因而我們常常把對個體測評結(jié)果的準確性檢驗，置于群體測評結(jié)果的相互關(guān)系之中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當(dāng)同一對象的測評結(jié)果以同樣的測評方式再次獲得后，其順序位置關(guān)系變異很小時，則說明測評結(jié)果比較準確。例如：在技能測評中A分數(shù)88，在全體被測者中排名第一。這是否可靠可信？我們可以再測一次，結(jié)果A分數(shù)95，還是排名第一，而且其他被測的位置順序變化很小。這時我們可以說第一次的技能測評結(jié)果是可靠的（信度高）。重測信度的考察對象重測信度所考察的誤差來源是時間的變化所帶來的隨機影響（氣候、噪音的干擾、疾病、疲勞、情緒的影響等），根據(jù)重測相關(guān)系數(shù)的高低，可以得知測量結(jié)果在經(jīng)過一段時間之后的穩(wěn)定程度。重測信度表示測量能夠應(yīng)用于不同時間的程度，信度越高說明測量結(jié)果受環(huán)境中日常的隨機因素影響越小，測量結(jié)果越穩(wěn)定、可靠。評估重測信度時，要注意重測間隔的時間，時間太短被試對測試題記憶猶新，必然會造成假性相關(guān)；時間太長，測驗結(jié)果又會受應(yīng)試者的身心特質(zhì)改變的影響，使相關(guān)系數(shù)降低。間隔時間的長短必須根據(jù)測驗的性質(zhì)和目的來確定。如果希望測量結(jié)果能預(yù)測較長時間的變化，則重測間隔時間應(yīng)該長一些。例如人格測驗一般間隔2-6個月比較合適。應(yīng)用重測信度應(yīng)注意：重測信度一般只反映由隨機因素導(dǎo)致的變化，而不反映被測者行為的長久變化。例如被測者智力的發(fā)展與能力的提高，不是重測信度考察的因素。這些因素導(dǎo)致的重測相關(guān)系數(shù)的降低，不能說明測驗的重測信度低。不同行為受隨即誤差影響不同。例如手指敏捷性就比言語理解力更容易受疲勞、環(huán)境等因素的影響。因此必須分析測量目的和了解所預(yù)測的行為。當(dāng)測量的行為或特質(zhì)較為穩(wěn)定時，重測信度的解釋才有效。只有不大容易受重復(fù)影響的測驗，如感覺-運動測驗或人格測驗，才比較適合用重測法計算信度系數(shù)。因為被測者一旦知道答案就不容易忘記，從而造成假性相關(guān)。2、復(fù)本信度(alternative-formreliability)又稱為等值性系數(shù)，它是以兩個測驗復(fù)本（功能等值但題目內(nèi)容不同）來測量同一對象，然后求得被測者在這兩個測驗上得分的相關(guān)系數(shù)。復(fù)本信度反映了兩個測驗復(fù)本在內(nèi)容上的等值性程度。復(fù)本信度考慮的是內(nèi)容取樣誤差的影響問題，計算復(fù)本信度的主要目的在于考察兩個測驗復(fù)本的題目取樣或內(nèi)容取樣是否等值。優(yōu)點：能夠避免重測信度的一些問題，如記憶效果、練習(xí)效應(yīng)等；適用于進行長期追蹤研究或調(diào)查某些干涉變量對測驗成績的影響；減少了輔導(dǎo)或作弊的可能性。缺點：如果測量的行為受練習(xí)的影響，復(fù)本信度只能減少而不能消除這種影響；有些測驗的性質(zhì)會由于重復(fù)測量而發(fā)生改變，例如某些問題解決型的測驗，如果掌握了解題原則就有可能產(chǎn)生遷移，尤其當(dāng)復(fù)本只是在題目具體內(nèi)容上有改變時，這種正遷移的作用會很強；有些測驗很難找到復(fù)本。3、一致性信度ConsistencyReliability一致性信度又稱為同質(zhì)性信度，是指一個測評活分測評中各個題目所測內(nèi)容的一致性。同質(zhì)性是保證測評只測量同一特質(zhì)的必要條件。也就是說，評估一組測驗題目內(nèi)部一致性程度，對于確定測驗題目是否測量了同一事物很重要。如果同質(zhì)性差，則表示測評混淆了不同的測評內(nèi)容，其結(jié)果就無從判斷究竟是否反映了被測者的某一特質(zhì)。一致性信度的作用重測信度和復(fù)本信度分別注重考慮測量跨時間的一致性（穩(wěn)定性）和跨形式的一致性（等值性），而內(nèi)部一致性信度用內(nèi)部一致性系數(shù)表示，主要反映的是測驗內(nèi)部題目之間的關(guān)系，考察測驗的各個題目是否測量了相同的內(nèi)容或特質(zhì)，即測驗內(nèi)部各部分之間具有同質(zhì)性（測驗同一特性的各個項目的得分呈正相關(guān)）。同質(zhì)性的測驗，其結(jié)果的解釋較為明確。例如：在一個同質(zhì)性的語言邏輯推理能力測驗中，應(yīng)試者的得分可以反映其語言邏輯推理能力的高低；而如果一個測驗既包含有測查邏輯推理能力的試題，又含有測查數(shù)量分析能力的試題，那么在應(yīng)試者得分低的情況下，就無法說明被測者到底哪種能力不足。一致性信度應(yīng)用實例例如：在人格測評中，樂觀情緒特質(zhì)和外向特質(zhì)是兩個容易混淆的內(nèi)容，這就要求測評設(shè)計時能夠找到相應(yīng)的題目把二者區(qū)分開來。再例如：在考察管理技能時，預(yù)測和決策、監(jiān)督和控制等都是不太容易區(qū)分的，對題目設(shè)計的要求就相當(dāng)高，否則就會把不同技能混淆，導(dǎo)致結(jié)論錯誤和用人失誤。在設(shè)計測評題目時，所有測評題目都要保證只測量一種特質(zhì)或內(nèi)容，如果需要在一個測評中測量不同內(nèi)容，就應(yīng)該將測評設(shè)計為幾個分測評進行分別測評。例如16PF人格測評就包括16個分測評，每個分測評量表只對一種人格特質(zhì)進行測評。一致性信度的計算方法分半信度——項目折半分析，是通過將測驗分成兩半，計算這兩半測驗之間的相關(guān)性而獲得的信度系數(shù)。通常的方法是在測驗實施后將測驗分為等值的兩半，并分別計算每位被測者在兩半測驗上的得分，再求出這兩個分數(shù)的相關(guān)系數(shù)。這個相關(guān)系數(shù)就代表了兩半測驗內(nèi)容取樣的一致性程度。同質(zhì)性信度——α系數(shù)分析，是指測驗內(nèi)部的各題目在多大程度上考察了同一內(nèi)容，即所有測驗題目測量的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為所有測驗題目得分的一致性。4、評分者信度（ratersreliability）在有些測量情形中，評分者的評判也是誤差的來源之一。例如投射測驗、創(chuàng)造力測驗、無領(lǐng)導(dǎo)小組討論、管理者情境模擬等，都依賴于評分者的判斷，這種判斷的主觀性往往造成不同評分者的評分很不一致，因此有必要考慮評分者信度。評分者信度是指不同評分者對同一對象進行評定時的一致性。最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關(guān)系數(shù)。評分者的評分越一致，評分者信度越高。（等級相關(guān)）信度小結(jié)：各種信度評估的適用情景：重測信度評估側(cè)重考察測評跨時間的一致性和穩(wěn)定性；復(fù)本信度評估側(cè)重考察測評跨形式的一致性和等值性；內(nèi)部一致性信度評估主要反映的是一個測評內(nèi)部題目之間的關(guān)系，揭示測評的各個題目是否測量了相同的內(nèi)容或特質(zhì)。評分者信度評估主要是考察評分者的主觀誤差。12-2測量的效度效度是評價測量工具好壞的重要標(biāo)準之一。較高的效度是一個良好的測量工具最重要的特性，是必要條件，也是選擇和評價測量工具質(zhì)量的重要依據(jù)。一般來說。效度的作用比信度的作用更為重要。如果一個測驗效度很低，無論它的信度有多高，這項測驗都沒有應(yīng)用價值。效度高的測量工具往往信度也高。通過對效度的分析，可以了解對所要測量的心理學(xué)變量的測量準確程度如何，以及對外在標(biāo)準的預(yù)測能力怎樣。效度高的測量工具，既能夠準確的測量出目標(biāo)心理特質(zhì)，又能夠根據(jù)測量結(jié)果做出正確的推論。12-2-1效度及其影響因素1、效度的概念測量結(jié)果的效度就是指測量的有效性，即能夠測量到所要測量目標(biāo)的程度，反映了測量結(jié)果對測量目標(biāo)的體現(xiàn)程度。效度的高低只有程度上的差別，不存在完全沒有或完全有的情況。效度可以看作為對有用性和準確性的測量，回答的是“對什么有用？”或“我怎么知道這個測驗是否值得用？”的問題，一般被定義為測驗?zāi)軠y量到所要測量東西的程度。在評價任何測驗時這都是最重要的考慮。“效度指從分數(shù)進行推論的證據(jù)的程度?！薄督逃托睦頊y驗標(biāo)準》效度與信度的關(guān)系二者的區(qū)別：信度與效度的差別在于所考慮的誤差不同。信度考慮的是隨機誤差的影響；效度考慮的誤差包括隨機誤差和對測驗?zāi)康臒o關(guān)的變量引起的系統(tǒng)誤差。二者的聯(lián)系：信度是效度的必要條件，但不是充分條件。換句話說，信度高不一定效度必然高。但效度高必定信度高。2、效度的作用就好像用磅秤測量身高，每次測量的結(jié)果都很一直穩(wěn)定（信度很高），但它并不能代表身高，也就是說其測量值并不反映身高這一屬性（效度很低），所以說，磅秤不是身高這一測量對象的適宜測量工具。例如,一個數(shù)學(xué)測驗可能對學(xué)生的數(shù)學(xué)成績的預(yù)測效度很好，但對學(xué)生整體智力的預(yù)測效度就沒有那么好，對學(xué)生的性格可能根本就沒有預(yù)測效度。3、效度的影響因素一個測驗效度的高低，很大程度上取決于該測驗受無關(guān)因素影響的程度。凡是能造成測驗結(jié)果誤差的因素，都會影響測驗效度。測驗題目的質(zhì)量：難易程度、暗示性、題意表達、試題內(nèi)容取樣的代表性實施測驗時的干擾因素：指導(dǎo)語、計分錯誤被試的影響因素：反應(yīng)定勢、測驗動機、情緒測驗的長度：增加測驗題目往往能增加測驗的信度和效度。12-2-2效度的評估方法對測量效度的考察反映在下面兩個問題之中：該測驗?zāi)軌蚝芎玫念A(yù)測我們感興趣的成績嗎？該測驗真正測量的是什么？第一個問題集中于效標(biāo)，也就是判斷一個測驗預(yù)測的成功性的標(biāo)準。這就要求建立測驗成績與那個標(biāo)準之間的關(guān)系。（預(yù)測效度）第二個問題集中于測驗，要求明確關(guān)于測驗所測量目標(biāo)的內(nèi)在理論或心理構(gòu)想。（內(nèi)容效度）測驗效度不能按籠統(tǒng)的方式去測量，而只能根據(jù)測驗所考慮的特定用途去測量，在決定是否使用測驗時，我們需要了解從已知測驗結(jié)果做出某種推論的有效性，也就是說，我們是證實測驗的有效性，還是證實我們希望對測驗結(jié)果進行推論的有效性。對于一個特定問題，測量目的決定了所用的效度評定方法，問題是關(guān)于使用測驗成績來預(yù)測在校標(biāo)上的成績，還是關(guān)于研究測驗實際測量的內(nèi)容或構(gòu)想。1、內(nèi)容效度contentvalidity內(nèi)容效度是一個測驗實際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度，是檢查測驗內(nèi)容是否是所預(yù)測量的行為領(lǐng)域的代表性取樣的指標(biāo)。在實際工作中我們編制的測驗不可能包含所要測量的行為領(lǐng)域的全部可能的材料或情境，只能選擇一個有代表性的樣本，通過觀察被試對個別題目的反應(yīng)，來推測他的總體行為表現(xiàn)。應(yīng)用范圍：主要應(yīng)用于成就測驗、職業(yè)選拔和分類人事測驗。內(nèi)容效度適合于選拔和分類人事測驗，因為這類測驗內(nèi)容是實際工作的一個樣本，應(yīng)包含實際工作所需要的技能和知識，通過內(nèi)容效度的分析來確定測驗是否測量了實際工作中需要的知識和技能。內(nèi)容效度一般不適用于能力傾向測驗和人格測驗，因為這類測驗不太要求與所取樣的行為領(lǐng)域的內(nèi)在相似性，其測驗題目的選擇更多的受某種假設(shè)的指導(dǎo)。此外，能力傾向和人格測驗與成就測驗不同，他們不是建立在某種課程或知識基礎(chǔ)上，在對相同的題目做出反應(yīng)時，每個被試使用的方法和心理過程是很不相同的，同一測驗對不同被試來說測量的是不同的心理過程。在這種情況下，不可能從檢查測驗的內(nèi)容來確定測驗測量的功能。內(nèi)容效度的評價可以回答：該測驗是否是應(yīng)考察的某種技能和知識的代表性樣本測驗成績是否不受無關(guān)因素的影響內(nèi)容效度對效標(biāo)參照測驗尤為重要，因為在校標(biāo)參照測驗中，被試的表現(xiàn)往往以測驗內(nèi)容來解釋。2、效標(biāo)關(guān)聯(lián)效度criterion-relatedvalidity效標(biāo)關(guān)聯(lián)效度又稱為效標(biāo)效度，指測評結(jié)果與某種標(biāo)準結(jié)果的一致性程度，反映的是測驗分數(shù)與外在標(biāo)準（效標(biāo)）的相關(guān)程度，即測驗分數(shù)對個體的效標(biāo)行為表現(xiàn)進行預(yù)測的有效性程度。（效標(biāo)是考察測驗效用的外在參照標(biāo)準。）效標(biāo)關(guān)聯(lián)效度往往用于預(yù)測性測驗，在這些測驗中，測驗分數(shù)一般用于甄選決策，只有當(dāng)證明測驗分數(shù)確實能夠預(yù)測所研究的行為時，這種決策才可能正確。效標(biāo)效度的種類根據(jù)效標(biāo)結(jié)果與測評分數(shù)獲得的時間是否相同可分為預(yù)測效度和同時效度。同時效度的效標(biāo)材料可以和測驗分數(shù)差不多同時收集。預(yù)測效度的效標(biāo)資料是在測量結(jié)束后相隔一段時間才取得的，它反映的是由測驗分數(shù)對任一段時間間隔后被試行為表現(xiàn)的預(yù)測程度。適用于對人員進行選拔、分類、安置的人事測量，這些測量需要對應(yīng)試者將來的工作績效進行可靠的預(yù)測。二者的差異根源不在于收集效標(biāo)的時間，而是在于預(yù)測目的的不同，預(yù)測效度多用于預(yù)測未來的結(jié)果，同時效度多用于診斷現(xiàn)在的狀態(tài)。“某人成功了嗎？”或“某人患病了嗎？”“某人會成功嗎？”或“某人會患病嗎？”常見效標(biāo)種類學(xué)術(shù)成就——前提是“智力高的人，學(xué)術(shù)成就應(yīng)該越大”。如：在校成績、學(xué)歷、研究成果等。特殊訓(xùn)練成績——能力傾向測驗成績常用某種特殊訓(xùn)練中取得的成績做效標(biāo)。如：言語智商用語文成績做效標(biāo)；機械能力用技術(shù)培訓(xùn)成績做效標(biāo)等。實際工作表現(xiàn)團體特征——用兩個在效標(biāo)表現(xiàn)上有差別的團體比較他們在預(yù)測源分數(shù)上的差別。如：一個音樂傾向測驗的效度，可以由比較音樂學(xué)院學(xué)生的分數(shù)與一般大學(xué)生分數(shù)獲得。等級評定結(jié)果前期測評結(jié)果3、結(jié)構(gòu)效度constructvalidity結(jié)構(gòu)效度是指測驗?zāi)軌驕y量到理論上的構(gòu)想或特質(zhì)的程度。所謂構(gòu)想通常指一些抽象的、假設(shè)性的概念或特質(zhì)，如智力、創(chuàng)造力、言語流暢性、焦慮等。這些構(gòu)想無法直接觀察。但是每個構(gòu)想都有其心理上的理論基礎(chǔ)和客觀現(xiàn)實性，可以通過各種可觀察的材料加以確定。例如言語流暢性可以通過語速、語句間的邏輯性、口誤的數(shù)量等可觀察的指標(biāo)進行確定。適用范圍：適用于智力測驗、人格測驗等。確定構(gòu)想效度的方法1、提出理論假設(shè)，并將其分解成細目；2、依據(jù)理論框架，推演出有關(guān)測驗成績的假設(shè)（操作化定義）；3、用邏輯的和實證的方法來驗證假設(shè)（排除法、咨詢法、相關(guān)法、邏輯分析法、多元分析法）。例如：韋克斯勒首先假設(shè)“智力是一個人去理解和應(yīng)付他周圍世界的總的才能”，然后，他依據(jù)這一定義，編制11個分測驗從十幾個方面來說明智力，編好測驗又從多個角度加以驗證，最后，用因素分析法驗證，該測驗實際測量了三類共同因素，即A因素（言語理解）、B因素（知覺組織）、C因素（記憶和注意集中）。12-3項目分析項目分析是指根據(jù)試測結(jié)果對組成測驗的各個題目（項目）進行分析，從而評價題目好壞、對題目進行篩選的程序和方法。通過項目分析，對測驗題目進行選擇和