國外審計(jì)動態(tài) (2)

1、PAGE PAGE 63 國外審計(jì)動態(tài)第8期（總第265期）審計(jì)署審計(jì)科研所 2011年4月7日績效審計(jì)方法之四 結(jié)構(gòu)化訪談方法一、結(jié)構(gòu)化訪談方法概述美國審計(jì)署的主要職責(zé)是審計(jì)和評估聯(lián)邦部門機(jī)構(gòu)的計(jì)劃、活動及資金使用，提出提高效率和效果的建議。美國審計(jì)署的評估目標(biāo)決定了所涉及問題的廣泛性，其評估策略可分為說明性評估、標(biāo)準(zhǔn)化評估和影響（因果）評估。結(jié)構(gòu)化訪談被美國審計(jì)署常用于評估策略需要進(jìn)行抽樣調(diào)查時(shí)，結(jié)構(gòu)化訪談也可用于必須向計(jì)劃參與者或者活動組成員獲取信息的現(xiàn)場實(shí)驗(yàn)。以此類推，在案例研究評估中，當(dāng)我們必須向很多人獲取相同的信息時(shí)，使用結(jié)構(gòu)化訪談方法也會很有效。結(jié)構(gòu)化訪談常常與使用統(tǒng)計(jì)采樣的設(shè)計(jì)

2、結(jié)合使用。這種組合提供的數(shù)據(jù)可用于預(yù)測整個(gè)抽樣群體的情況。但是需要指出的是，評估設(shè)計(jì)程序中的各步驟是相互關(guān)聯(lián)和可重復(fù)的。如，如果通過結(jié)構(gòu)化訪談收集用于回答某評估問題的信息，那么訪談問題將決定訪談內(nèi)容或者主題。確定和選擇樣本中的任何限制都可能要求細(xì)化原評估問題。可通過更多樣本證明該程序的可重復(fù)性。我們必須記住利用結(jié)構(gòu)化訪談收集數(shù)據(jù)并不是一個(gè)孤立的過程，不能將結(jié)構(gòu)化訪談視為回答評估問題過程中與其他任務(wù)無關(guān)的一項(xiàng)獨(dú)立任務(wù)。二、結(jié)構(gòu)化訪談方法定義及使用時(shí)機(jī)多年以來，美國審計(jì)署的審計(jì)人員一直通過各種方法收集數(shù)據(jù)，如查閱記錄，與政府和承包商管理人員、雇員及計(jì)劃參與人員進(jìn)行交談。自 1972 年以來，對于需

3、要從大量個(gè)例中采集相同或者統(tǒng)一信息的任務(wù)，他們越來越多地用到數(shù)據(jù)采集工具（DCI）。數(shù)據(jù)采集工具是以系統(tǒng)、準(zhǔn)確的方式列出問題的文件；其目的是使評估員能取得便于比較、歸納的統(tǒng)一數(shù)據(jù)（如果是量化數(shù)據(jù)，還需進(jìn)行統(tǒng)計(jì)分析）。數(shù)據(jù)采集工具根據(jù)其用途采用不同的格式。數(shù)據(jù)采集工具可用于結(jié)構(gòu)化訪談、自填問卷調(diào)查（可通過郵件發(fā)給個(gè)人或者組織，也可由個(gè)人在小組內(nèi)完成），也可用作通過記錄獲取信息的格式表。結(jié)構(gòu)化訪談是指利用數(shù)據(jù)采集工具通過電話或者面對面訪談的方式收集數(shù)據(jù)的訪談方法。在進(jìn)行結(jié)構(gòu)化訪談時(shí)，評估員以準(zhǔn)確的方式向很多個(gè)體或者代表很多組織的個(gè)體提出相同的問題，向受訪者提供相同的答復(fù)選項(xiàng)。相比之下，非結(jié)構(gòu)化訪談

4、則包括很多開放式問題，這些問題也并不以準(zhǔn)確的結(jié)構(gòu)化方式提出。在為一項(xiàng)評估或者數(shù)據(jù)采集期間的一類訪談設(shè)計(jì)任務(wù)的階段，以及一項(xiàng)評估的分析階段，結(jié)構(gòu)化程度較低、導(dǎo)向性相對較弱的訪談可能更有效。對于閱讀能力較弱的群體，面對面的交談和電話訪談比復(fù)雜的問卷調(diào)查更有效。當(dāng)今時(shí)代，無線電和電視在人們的生活中扮演著重要角色，相對于書面資料而言，部分群體覺得口語更易于理解。電話訪談和面對面的交談（更多），使訪談員與受訪者之間能建立友好和諧的關(guān)系。在郵寄問卷調(diào)查中，某些調(diào)查對象會完全忽略調(diào)查問卷或者拒絕回答部分與自己相關(guān)的問題；但是在面對面訪談和電話訪談中，訪談員通常能說服他們作出真實(shí)的答復(fù)。此外，當(dāng)受訪者在理解或

5、者回答某個(gè)問題過程中遇到困難時(shí)，經(jīng)過正規(guī)培訓(xùn)的訪談員會及時(shí)發(fā)現(xiàn)此類問題，并通過適當(dāng)?shù)姆绞綆椭茉L者克服困難，作出合理答復(fù)，不影響訪談的有效性。相對于電話訪談而言，面對面訪談使訪談員有機(jī)會在聽取受訪者意見時(shí)觀察受訪者。如，如果需要記錄受訪者的生活安排，或者記錄受訪者的生活安排有利于進(jìn)行評估，那么選擇面對面訪談會更合適。此外，與電話訪談相比，比較復(fù)雜的問題也更適合在面對面訪談中提出。訪談員可以向受訪者出示包含各答復(fù)選項(xiàng)的卡片，方便受訪者考慮和記住這些選項(xiàng)。此外，面對面訪談可提的問題也更多。一般情況下，電話訪談的時(shí)間不超過 20 到 30 分鐘，而面對面訪談的時(shí)間則可長達(dá)一小時(shí)。計(jì)算機(jī)輔助電話訪談（

6、CATI）是電話訪談的形式之一。計(jì)算機(jī)輔助電話訪談的調(diào)查問卷或者數(shù)據(jù)采集工具儲存在計(jì)算機(jī)中。在進(jìn)行訪談時(shí)，各問題會顯示在計(jì)算機(jī)屏幕上，受訪者直接將答復(fù)輸入計(jì)算機(jī)。電話訪談的成本通常介于低成本的郵件調(diào)查（成本最低）和高成本的面對面訪談之間。此外，在采樣規(guī)模、訪談員人數(shù)、問題數(shù)量及問題的復(fù)雜性適當(dāng)?shù)那闆r下，電話調(diào)查可以很快完成。與郵寄問卷調(diào)查相比，面對面訪談和電話訪談收集數(shù)據(jù)的速度更快。但是面對面訪談需要培訓(xùn)訪談員，訪談員需要花時(shí)間出行并與受訪者溝通，這些都使面對面訪談的成本遠(yuǎn)遠(yuǎn)高于電話訪談、郵寄問卷調(diào)查或者團(tuán)體問卷調(diào)查。與電話訪談相比，兩種問卷調(diào)查形式的時(shí)間都可以更長，也可以包括更復(fù)雜的問題（如

7、果調(diào)查群體的閱讀理解能力較強(qiáng)）。組織團(tuán)體問卷調(diào)查的前提是能夠?qū)⒄{(diào)查對象召集在一起。所以團(tuán)體問卷調(diào)查通常用于調(diào)查對象是一個(gè)團(tuán)體或者其大部分成員的情況，比如軍隊(duì)的一個(gè)連或者營，或者某機(jī)構(gòu)在同一地點(diǎn)的全體或者大部分員工。團(tuán)體問卷調(diào)查比郵寄問卷調(diào)查快，可以在一定程度對相關(guān)問題進(jìn)行解釋（但不如訪談解釋的得透徹）。但是跟郵寄問卷調(diào)查一樣，團(tuán)體問卷調(diào)查所用語言的復(fù)雜性必須與調(diào)查對象的閱讀理解水平相匹配?？偟膩碚f，美國審計(jì)署使用郵寄問卷調(diào)查的頻率要高于團(tuán)體問卷調(diào)查、電話訪談和面對面訪談。但是，掌握結(jié)構(gòu)化訪談方法還是非常必要的，因?yàn)樵谀承┣闆r下我們無法進(jìn)行郵寄問卷調(diào)查。三、設(shè)計(jì)結(jié)構(gòu)化訪談設(shè)計(jì)結(jié)構(gòu)化訪談遠(yuǎn)不止編寫

8、一套調(diào)查問題那么簡單。本章將先介紹確定、開發(fā)及挑選訪談問題的過程；再描述編寫和統(tǒng)一問題的標(biāo)準(zhǔn)程序。這些程序的目的是確保所采集的數(shù)據(jù)可靠、有效，方便數(shù)據(jù)的編輯和分析，同時(shí)將受訪者的負(fù)擔(dān)減小到最低限度。閱讀本文并不能使你成為編寫結(jié)構(gòu)化訪談問題的專家。所以當(dāng)你計(jì)劃使用結(jié)構(gòu)化訪談時(shí)，我們建議你與任務(wù)計(jì)劃部門的設(shè)計(jì)、方法及技術(shù)援助組的衡量專家合作。如果調(diào)查涉及 10 個(gè)或者 10 個(gè)以上普通公民、私有企業(yè)或者地方政府；5 個(gè)或者 5 個(gè)以上州政府；25 個(gè)或者 25 個(gè)以上聯(lián)邦機(jī)構(gòu)官員或者雇員，那么用于結(jié)構(gòu)化訪談的數(shù)據(jù)采集工具應(yīng)由一個(gè)設(shè)計(jì)、方法及技術(shù)援助組進(jìn)行評審。在某些行政機(jī)構(gòu)中，美國審計(jì)署指定了專門

9、的代表，并建立了進(jìn)行結(jié)構(gòu)化訪談和問卷調(diào)查時(shí)必須遵循的程序。（一）確定變量和開發(fā)問題。第一步是確定評估或者審計(jì)從總體上需回答的主要問題。為什么要進(jìn)行該研究？我們希望說明或者證明什么？我們的主要任務(wù)是不是說明某計(jì)劃的實(shí)際實(shí)施情況？我們是否希望將實(shí)際發(fā)生的情況與已確立或者隱含的標(biāo)準(zhǔn)進(jìn)行比較（標(biāo)準(zhǔn)化問題）？或者我們是否希望確定某項(xiàng)計(jì)劃的效果（因果型問題）？如： 說明性問題：XYZ失業(yè)人員再就業(yè)計(jì)劃的結(jié)業(yè)人員如何在社會上找工作？ 標(biāo)準(zhǔn)化問題：在幫助失業(yè)人員再就業(yè)方面，該計(jì)劃是否實(shí)現(xiàn)了其預(yù)定目標(biāo)？ 因果問題：為什么有些結(jié)業(yè)人員找到了工作，而另外一些卻沒有找到？所問問題的類型將決定評估策略。此外，某些策略也

10、更適合回答某類問題。但是，結(jié)構(gòu)化訪談只是一種數(shù)據(jù)采集方法，它可結(jié)合多種評估策略進(jìn)行使用，所以可用于各種審計(jì)任務(wù)。第二步，在確定總體問題后，這些總體問題必須以假設(shè)或者問題的形式分解成可衡量的要素。如在上例中，要評估參加者找工作的情況，我們需要開發(fā)各種衡量標(biāo)準(zhǔn)，如參加者了解職位空缺的信息來源，聯(lián)系過的雇主數(shù)量，安排過的面視數(shù)量等。其次，必須確定目標(biāo)群體。目標(biāo)群體是采集信息的來源（個(gè)人、團(tuán)體或者組織）。所以，在研究計(jì)劃參加者完成培訓(xùn)后如何找到工作時(shí)，研究的目標(biāo)群體是完成培訓(xùn)的各計(jì)劃參與者。然后，我們應(yīng)開發(fā)一個(gè)旨在衡量所考慮變量的問題庫。問題庫中的問題可包括衡量同一變量的多種途徑。如對于年齡問題，你可

11、以問：“請問你剛過了多少歲的生日？”，或者“請問你是哪年哪月出生的？”兩個(gè)問題都可以幫你確定受訪者的年齡，但是第二種問法可以獲得更多信息。決定使用哪一種，再從問題庫中選擇最有用或者最合適的問題。（二）編寫適當(dāng)?shù)膯栴}。在編寫訪談問題時(shí)需確保問題具有關(guān)系性（即與進(jìn)行的研究之間有關(guān)聯(lián)性）、針對性且易于回答。 關(guān)聯(lián)性：問題與所進(jìn)行的研究之間應(yīng)有關(guān)聯(lián)性，應(yīng)很有可能產(chǎn)生最終報(bào)告所需的數(shù)據(jù)。盡管這一點(diǎn)看起來很明顯，但有時(shí)候評估員想盡量多挖掘一些信息，希望將各種變量都包括在內(nèi)，結(jié)果給調(diào)查對象增加了不必要的負(fù)擔(dān)，分散了他們對訪談主要目的的注意力。 選擇受訪者：初步考慮哪些人可能會對提出的問題作出答復(fù)。某個(gè)問題可

12、能與所進(jìn)行的研究相關(guān)，但是仍可能出現(xiàn)選擇受訪者不當(dāng)?shù)那闆r。 易于回答：訪談的目的是獲取沒有通過其他方式進(jìn)行記錄的數(shù)據(jù)，或者雖有記錄但需要進(jìn)一步解釋的數(shù)據(jù)，包括與研究問題相關(guān)的意見和看法。你應(yīng)盡量編寫比較容易回答的問題，不要給受訪者帶來不必要的負(fù)擔(dān)。避免需要受訪者查看記錄或者其他信息源之后才能回答的問題。如果確需提出此類問題，那么此類問題應(yīng)僅用于郵寄問卷調(diào)查。電話訪談所使用的問題應(yīng)更簡單，因?yàn)殡娫捲L談過程中幫助受訪者理解問題的機(jī)會更少。我們可以提前向受訪者發(fā)送調(diào)查問卷，請他們收集必要的信息，為訪談活動做一定的準(zhǔn)備工作。還應(yīng)避免可能讓受訪者感到不舒服的其他問題（或者提出問題的方式），如確需使用此類

13、問題，那么使用時(shí)應(yīng)特別謹(jǐn)慎。帶有指責(zé)傾向或者容易讓受訪者處于難堪境地的問題也應(yīng)盡量避免，尤其是提出后可能導(dǎo)致訪談終止的問題。同樣，我們還應(yīng)盡量避免不屬于審計(jì)機(jī)關(guān)研究范圍的個(gè)人隱私問題及只會讓訪談人員難堪的問題（如測試或者質(zhì)疑受訪者的智力或者了解受訪者的個(gè)人習(xí)慣）。在必要時(shí)，我們應(yīng)在保密或者匿名的郵寄問卷調(diào)查中問相關(guān)敏感問題。我們應(yīng)盡量避免可能產(chǎn)生不必要對抗情緒的問題，避免需要訪談員和受訪者選擇立場并可能引起爭論的問題。此類問題可能使訪談偏離主題，產(chǎn)生偏見，嚴(yán)重影響答復(fù)的有效性。我們還應(yīng)盡量避免沒有答案的問題，避免可能產(chǎn)生無用結(jié)果的問題。當(dāng)然，此類問題不應(yīng)與有效回答為“無從判斷”或者“沒有意見”

14、的問題（有些受訪者可能沒有做出判斷或者發(fā)表意見的依據(jù)）混淆在一起。（三）選擇問題格式。在決定所用問題格式或者類型時(shí)需考慮的問題包括：如何提出或者表述問題？向受訪者問些什么？以及有哪些備選答復(fù)？我們所使用的問題類型包括開放式問題、填空、二元選擇及程度答復(fù)。接下來我們將進(jìn)行具體討論。1開放式問題。開放式問題不提供回答問題的框架，允許受訪者發(fā)表自己的觀點(diǎn)，受訪者的回答不一定是訪談員想了解的內(nèi)容。通過提煉問題，你可以突出重點(diǎn)，如： 廣泛性問題：沒有工作時(shí)你遇到了哪些問題？ 有針對性的問題：沒有工作時(shí)你如何應(yīng)付日常開支？開放式問題比較容易回答。在進(jìn)行初步研究時(shí)，我們可能利用開放式問題成功獲取初步信息，再

15、利用這些初步信息編寫更具體的問題和答復(fù)選項(xiàng)。對于調(diào)查對象較少的定性分析（而不是量化分析），開放式問題也會很有用。我們應(yīng)盡量避免將開放式問題用于調(diào)查對象很多，需要將回答編制成表格的研究。在此類情況下，內(nèi)容分析應(yīng)在制表前進(jìn)行。在計(jì)算機(jī)輔助電話訪談問卷中，各問題應(yīng)根據(jù)結(jié)構(gòu)化電話調(diào)查指導(dǎo)方針進(jìn)行設(shè)計(jì)，并適用其他有關(guān)慣例。如，應(yīng)盡量避免使用開放式問題，這主要是因?yàn)殚_放式問題需要花大量時(shí)間輸入答復(fù)。如果問卷中的問題還處于探討階段，那么我們建議不要使用計(jì)算機(jī)輔助電話訪談。計(jì)算機(jī)輔助電話訪談要求對調(diào)查問題的理解達(dá)到一定的成熟度。如果計(jì)算機(jī)輔助電話訪談中確需包括開放式問題，那么其設(shè)計(jì)應(yīng)便于輸入答復(fù)。此類問題將在

16、計(jì)算機(jī)數(shù)據(jù)文件中占據(jù)很大的空間，應(yīng)盡量將此類問題放在調(diào)查問卷的最后，訪談員應(yīng)在掛斷電話后記錄回答內(nèi)容。此類問題可能會中斷計(jì)算機(jī)輔助電話訪談的流程，影響訪談效果。某些非開放式問題可以用看似開放式問題的形式提出。我們可以準(zhǔn)備一份潛在答復(fù)清單，在進(jìn)行訪談時(shí)，當(dāng)受訪者談到各種答復(fù)選項(xiàng)時(shí)，訪談員在清單內(nèi)相應(yīng)的答復(fù)選項(xiàng)后打勾。但是不要將各選項(xiàng)讀給受訪者聽。與簡單的開放式問題相比，此類問題針對性更強(qiáng)、更具體，可以縮小潛在答復(fù)的范圍。2填空題。此類問題的答案比較簡單，通常要求填寫某種名稱、頻率或數(shù)量。你也可以準(zhǔn)備一份潛在答復(fù)選項(xiàng)清單，以便在訪談時(shí)根據(jù)受訪者的答復(fù)標(biāo)出相應(yīng)的選項(xiàng)。3二元選擇題。二元選擇題即回答為

17、“是與否”或者“真與假”的問題，這種問題很適合用于獲取事實(shí)信息，但一般不用于了解調(diào)查對象的意見或者感覺。二元選擇題要求受訪者在兩個(gè)極端中做出選擇，所以受訪者的選擇應(yīng)視為強(qiáng)制性選擇。4程度問題。在程度問題中，你將代表不同程度并按升序或者降序排列的一系列答案選項(xiàng)讀給受訪者聽（或者出示給受訪者看）。程度問題包括三種類型：平衡程度問題、非平衡程度問題、評級和排名程度問題。5平衡程度問題。平衡程度問題答案選項(xiàng)的兩端通常是意思相反的形容詞或者短語，比如“非常滿意”和“非常不滿意”。顧名思義，平衡程度問題在參考點(diǎn)或者中性回答兩側(cè)的答案選項(xiàng)數(shù)量相等。這種程度問題對上述二元選擇題進(jìn)行了擴(kuò)展，提供了一系列可更好反

18、映人們觀點(diǎn)的答案選項(xiàng)。6非平衡程度問題。非平衡程度問題用于不可能提供否定回答的情況。非平衡程度問題的參考點(diǎn)通常為“零點(diǎn)”或者“無”，屬性值連續(xù)增加，強(qiáng)度范圍從無到極強(qiáng)。7評級和排名程度問題。評級問題要求受訪者按規(guī)定標(biāo)準(zhǔn)對各人員、地點(diǎn)或者事情進(jìn)行評級。評出的等級可用數(shù)字或者文字表示。無論用文字還是數(shù)字進(jìn)行評級，各相鄰級別之間的差距應(yīng)一樣。排名問題要求受訪者按規(guī)定的標(biāo)準(zhǔn)對所列各項(xiàng)進(jìn)行排序。排名問題有多種排名方法。你可以請受訪者對所有項(xiàng)進(jìn)行排序，或者只選擇出排名第一（最好）和最后（最差）的項(xiàng)，或者排出前三位，或者將幾種排名方法結(jié)合使用。與評分問題相比，排名問題的答案并不能保證相鄰兩選項(xiàng)之間的差距一致

19、。如，假設(shè)約翰、格林和史密斯分別排名 1、2、3，但這并不代表受訪者認(rèn)為約翰與格林之間的差距同格林與史密斯之間的差距一樣。當(dāng)我們需要獲取受訪者對各項(xiàng)之間差距的看法時(shí)（如，一項(xiàng)比另一項(xiàng)好多少或者差多少），我們應(yīng)使用評分問題。雖然評分問題也可能形成順序，但是調(diào)查對象可能會對兩項(xiàng)或者多項(xiàng)給出相同的評分。如果你希望受訪者在不超過七項(xiàng)的各選項(xiàng)中作出選擇，但各選項(xiàng)之間的差距無關(guān)緊要，那么你應(yīng)使用排序問題。但是，如果選項(xiàng)數(shù)量更多，那么讓受訪者評分可能會比排名更容易。對數(shù)量很多的項(xiàng)目進(jìn)行排序是很困難的。應(yīng)避免兩項(xiàng)排名相同的情況，尤其是在訪談中。最后，可以通過對各調(diào)查對象的評分取平均值來進(jìn)行最后排名。8提示數(shù)量

20、。程度問題的提示（答復(fù)選項(xiàng)）數(shù)量取決于預(yù)期受訪者類型和分析類型。受訪者能夠作出反應(yīng)的提示數(shù)量存在物理極限，一般在七個(gè)左右。美國審計(jì)署一般采用五個(gè)選項(xiàng)。對研究很感興趣的調(diào)查對象可能可以應(yīng)對更多提示。選項(xiàng)越多，對最終進(jìn)行的數(shù)據(jù)分析越有利，因?yàn)樘崾驹蕉?，衡量的敏感性就越?qiáng)，分析師在選擇分析數(shù)據(jù)的方法時(shí)就會有更大的靈活性。答案選項(xiàng)數(shù)為偶數(shù)的平衡程度問題通常沒有中間或者中立選項(xiàng)，使受訪者必須選擇一個(gè)具有肯定或者否定性質(zhì)的回答。答案選項(xiàng)數(shù)為奇數(shù)的程度問題可以選擇中間或者中立選項(xiàng)，更接近人們實(shí)際的意見或者感覺范圍。當(dāng)答案選項(xiàng)中沒有“無從判斷”、“不記得了”或者“不清楚”時(shí)，受訪者可能感覺被迫選擇一個(gè)不準(zhǔn)確的

21、答案。這里的問題是有些人確實(shí)無法回答某些問題。如果你有理由認(rèn)為訪談群體中可能存在此類人員，那么你應(yīng)在向受訪者提供的答案選項(xiàng)中包括“無從判斷”、“不記得了”或者“不清楚”之類的選項(xiàng)。如果沒有這些選項(xiàng)，那么受訪者可能會通過猜測或者想象做出回答，或者完全忽略某些問題。9選項(xiàng)順序。我們可利用各選項(xiàng)的排列順序在一定程度上抵消受訪者在回答問題時(shí)可能存在的偏見。如，假設(shè)審計(jì)機(jī)關(guān)有初步證據(jù)表明某培訓(xùn)計(jì)劃的參與者沒有獲得就業(yè)輔導(dǎo)，那么我們可以提出以下問題：“就業(yè)輔導(dǎo)是指有關(guān)人員向你說明如何提交應(yīng)聘申請，如何參加面試等。請問你在參加該計(jì)劃時(shí)獲得了多少就業(yè)輔導(dǎo)？”然后按以下順序向受訪者提供選項(xiàng)： 很多 較多 中等

22、有一些 很少或者沒有在上例中，選項(xiàng)的排列順序略微偏向于培訓(xùn)計(jì)劃（即對培訓(xùn)計(jì)劃有利）。有些不太關(guān)心該問題的受訪者可能直接選擇第一項(xiàng)，表示他們接受了很多就業(yè)輔導(dǎo)。這將從總體上傾向于產(chǎn)生偏向于接受過就業(yè)輔導(dǎo)的答案。對于程度選項(xiàng)問題，要完全排除選項(xiàng)排列順序所固有的傾向性需要很大的成本。這種偏向性是很弱的。但是當(dāng)確實(shí)存在這種偏向性時(shí)，我們應(yīng)讓問題偏向于我們所審查假設(shè)相反的方向。10選項(xiàng)的措詞。如前例所示，各選項(xiàng)代表某種行為表現(xiàn)的各種程度。當(dāng)某種行為或者過程在一個(gè)問題中進(jìn)行評估時(shí)，我們最好用描述該行為或者過程的語言表述問題和回答選項(xiàng)。上述問題一般可以重新表述為“你接受了多少就業(yè)輔導(dǎo)？”，回答選項(xiàng)可表述為“

23、很多輔導(dǎo)”、“較多輔導(dǎo)”、“中等程度的輔導(dǎo)”等。11非程度問題。非程度問題向受訪者提供一系列回答選項(xiàng)，要求受訪者從中選擇一個(gè)或者多個(gè)其認(rèn)為適當(dāng)?shù)拇鸢?。答案列表?yīng)包括相互排斥的類別。最后一個(gè)選項(xiàng)通常為“其他”，用于覆蓋多種可能出現(xiàn)但并不常見的答案，或者訪談人員可能給出的獨(dú)特回答。12組織問題。在任何數(shù)據(jù)采集工具中，各問題的排列順序都是非常重要的。前面的問題給數(shù)據(jù)采集程序定調(diào)，可影響后面問題的回答，還可幫你了解受訪者，與受訪者建立成功完成訪談所需的友好關(guān)系。如，在與XYZ計(jì)劃的參與者進(jìn)行訪談時(shí)，前面的問題可用于評審機(jī)構(gòu)文件所提供數(shù)據(jù)的準(zhǔn)確性，如家庭成員、年齡及教育程度等。接下來的問題也應(yīng)比較容易回

24、答，因?yàn)榇藭r(shí)你仍處于與受訪者建立友好關(guān)系的階段。如果這些排在前面的問題相對于已建立的關(guān)系水平而言太難或者太敏感，那么受訪者可能會終止訪談。我們還應(yīng)記住這些問題必須能吸引受訪者的注意力；所以，你必須提出一些“有趣”的問題，涉足一些涵蓋受訪者態(tài)度的敏感領(lǐng)域。以合理的方式提出問題。根據(jù)具體情況按時(shí)間先后順序或者相反的順序提出問題。避免突然從一個(gè)話題跳到另一個(gè)話題。此外，應(yīng)盡量避免提問的順序產(chǎn)生偏向性。如，在確定一項(xiàng)計(jì)劃的利弊時(shí)，不要在訪談剛開始時(shí)提到該計(jì)劃可能的利弊?？偟膩碚f，訪談員可根據(jù)不同的受訪者提出不同的問題。有很多問題只有在受訪者對某個(gè)問題做出特定回答時(shí)才會提出。所以，訪談中我們可能會跳過某

25、些問題。各問題之間的相互關(guān)系將構(gòu)成數(shù)據(jù)采集工具的“跳過模式”。對于不使用CATI 系統(tǒng)的面對面訪談和電話訪談，我們應(yīng)盡量避免復(fù)雜的數(shù)據(jù)采集工具跳過模式。否則，訪談員可能很難找到應(yīng)提的下一個(gè)問題。計(jì)算機(jī)輔助電話訪談的一個(gè)重要優(yōu)勢是可以采用相當(dāng)復(fù)雜的跳過模式，因?yàn)檫@方面的問題完全由計(jì)算機(jī)進(jìn)行處理。整個(gè)問卷調(diào)查可能可沿多條路徑進(jìn)行。通常計(jì)算機(jī)會把下一個(gè)問題顯示在屏幕上。此外，我們也可設(shè)計(jì)條件跳過安排，從一個(gè)具體問題跳到問卷后面的某個(gè)問題。這些跳過安排可以以受訪者對一個(gè)或者多個(gè)問題的回答為依據(jù)。計(jì)算機(jī)輔助電話訪談問卷的缺點(diǎn)是很難處理允許有多個(gè)答案的多項(xiàng)選擇題。在可以選擇多個(gè)選項(xiàng)時(shí)，受訪者很難記住所有選

26、項(xiàng)。所以，允許受訪者選擇所有適用選項(xiàng)的多項(xiàng)選擇題應(yīng)分解為幾個(gè)問題，每個(gè)問題針對原多項(xiàng)選擇問題的一個(gè)選項(xiàng)，詢問受訪者是“選擇”還是“不選”該選項(xiàng)。13版式考慮。打印數(shù)據(jù)采集工具的版式或者格式（適用于計(jì)算機(jī)輔助電話訪談以外的形式）是非常重要的。打印的數(shù)據(jù)采集工具是你帶到訪談現(xiàn)場用作指導(dǎo)的資料，它將為你在提問時(shí)提供現(xiàn)場指導(dǎo)，使你能記錄受訪者的回答。此后，它還可方便編輯、輸入及電算化分析。在設(shè)計(jì)數(shù)據(jù)采集工具時(shí)需考慮以下問題：字體。一般情況下，數(shù)據(jù)采集工具中需讀給受訪者聽的文本與不讀給受訪者聽的說明應(yīng)采用不同的字體。問題的連貫性?？偟膩碚f，一個(gè)問題不要跨欄或者跨頁，因?yàn)槿绻鐧诨蛘呖珥摚憧赡軙蚴茉L者

27、提供不完整的問題或者選項(xiàng)?？蚓€。需要書給定答案的問題應(yīng)提供上方開口的答題框供訪談員記錄答案。在各問題旁邊的標(biāo)準(zhǔn)位置上提供答題框或者橫線，方便訪談員記錄、編輯、輸入數(shù)據(jù)及后面對整個(gè)問卷的分析。打孔編號。需要將數(shù)據(jù)輸入計(jì)算機(jī)文件時(shí)，打孔編號應(yīng)置于各問題旁邊的標(biāo)準(zhǔn)位置上，以方便打孔。跳過問題。如果受訪者對某個(gè)問題的某種回答要求訪談員跳過下面問題，那么應(yīng)在該回答選項(xiàng)旁邊注明“跳至”。有兩個(gè)計(jì)算機(jī)程序可用于幫助設(shè)計(jì)結(jié)構(gòu)化訪談和計(jì)算機(jī)輔助電話訪談問卷及其版式，即 QUEST（由美國審計(jì)署信息管理辦開發(fā)）和 QPL（問卷編程語言，由人力資源設(shè)計(jì)、方法及技術(shù)援助組開發(fā)）。在 QUEST 的支持下，審計(jì)人員可利

28、用激光打印機(jī)打印出含排版和圖形要素（如復(fù)選框、箭頭及斜體）的調(diào)查問卷。QUEST 可自動處理上面所說的很多版式問題?？煽焖偕刹捎卯?dāng)前桌面出版概念的問卷草案或者預(yù)測試版本問卷（含排版）。設(shè)計(jì)者用確定問卷各要素和控制頁面排版布局的代碼編寫一個(gè) WORDPERFECT 文件。這些代碼方便糾正問卷中的問題，可自動給頁面、問題和選項(xiàng)編號，還可自動修改打孔說明。設(shè)計(jì) QPL 的目的是實(shí)現(xiàn)調(diào)查數(shù)據(jù)采集和準(zhǔn)備過程中很多活動的自動化，主要用于美國審計(jì)署進(jìn)行的計(jì)算機(jī)輔助電話訪談；也可用作其他數(shù)據(jù)采集工具的數(shù)據(jù)輸入程序。在該系統(tǒng)中，調(diào)查問卷最初通過文字處理程序用 QPL 編寫，然后再進(jìn)行編譯。編譯的版本在計(jì)算機(jī)屏

29、幕上顯示問題，一次顯示一個(gè)，等訪談員輸入答案后再顯示下一個(gè)問題。訪談員可以向前或者向后翻頁，以便進(jìn)行修改或者檢查答案。隨后將訪談記錄添加到數(shù)據(jù)文件內(nèi)。編譯的版本也可轉(zhuǎn)入能處理 QPL 數(shù)據(jù)文件的 SAS 和 SPSS 統(tǒng)計(jì)分析程序。QPL 系統(tǒng)內(nèi)有個(gè)程序可將計(jì)算機(jī)問卷的格式變?yōu)闀鎲柧砀袷?，給所有問題編號，畫出上方開口的答題框，規(guī)定數(shù)據(jù)文件中各答案的卡片和欄位置，并編寫跳過指示。跟 QUEST 不同，QPL問卷并不包含排版和圖形要素，但可方便問題的檢查和修改。四、與訪談設(shè)計(jì)相關(guān)的更多信息：避免問題在本部分中，我們提供了編寫訪談問題，預(yù)防理解或者偏見問題的其他方法。審計(jì)人員在編寫此類問題時(shí)，需考

30、慮訪談所用語言的適宜性及深度，使用合格語言的影響及明確表述的重要性。我們還討論了訪談問題措詞中可能隱藏的各種偏向及它們對評估結(jié)果有效性的影響。（一）語言的適宜性。訪談?wù)Z言是否適當(dāng)可能與“說什么”、“怎么說”、“什么時(shí)候說”相關(guān)，下面我們進(jìn)行具體討論。訪談中所“說什么”的問題基本上由書面的結(jié)構(gòu)化數(shù)據(jù)采集工具決定。數(shù)據(jù)采集工具提前進(jìn)行準(zhǔn)備和預(yù)測試，訪談員也要接受數(shù)據(jù)采集工具的使用培訓(xùn)；所以，從某種程度上說，所說內(nèi)容的適宜性已經(jīng)過了測試。訪談員的任務(wù)是將這些問題的意思忠實(shí)地傳達(dá)給受訪者。除了準(zhǔn)確表述問題外，你還可以在數(shù)據(jù)采集工具中添加補(bǔ)充說明，如果受訪者不能理解問題的原表述方式，訪談員可使用此類補(bǔ)充

31、說明。如果在訪談過程中，受訪者仍不能理解該問題，那么訪談員必須臨時(shí)用其他語言進(jìn)行解釋。此類用于解釋的臨時(shí)語言應(yīng)予以注明，并在數(shù)據(jù)分析前進(jìn)行考慮。“怎么說”的問題涉及訪談員的講話方式和態(tài)度，訪談員提出問題的方式和態(tài)度可能會改變問題的原意。“什么時(shí)候說”的問題主要涉及各問題在訪談中所處的關(guān)系位置。盡管在設(shè)計(jì)數(shù)據(jù)采集工具時(shí)你應(yīng)確定提出問題的順序，但是在實(shí)際訪談過程中，為了解釋問題，檢查信息或者推遲提出可能比較敏感的問題，你可以適當(dāng)改變提問題的順序?；蛘弋?dāng)受訪者對某個(gè)問題表現(xiàn)出顧慮或者敏感時(shí)，改變后面問題的用語可能會打消其顧慮。（二）語言水平。在編寫訪談問題時(shí)，應(yīng)考慮所用語言水平。應(yīng)使用受訪者能理解的

32、語言進(jìn)行交流，形成既有利于數(shù)據(jù)采集，又使受訪者感到舒服的口語環(huán)境。在第三部分中我們對所用的編寫方法進(jìn)行了討論；在本部分中，我們將討論受訪都聽到問題的感覺及談話所形成的氛圍。常見的問題是如何讓所用語言水平剛好適合受訪者的理解水平?！八谜Z言超過了受訪者的理解水平”包括使用復(fù)雜、不常用及外來的詞語和短語，或者多音節(jié)詞、縮寫及某些行業(yè)術(shù)語。這些語言對訪談員或者評估組來說可能是適當(dāng)?shù)?，但是受訪者不一定能理解。如，在對某培訓(xùn)計(jì)劃的參與者進(jìn)行訪談時(shí)，縮寫詞“OJT”和“PSE”對參與者來說就是幾個(gè)字母，他們無從知道這些縮寫詞所代表的含義；即使像“在職培訓(xùn)”和“公共服務(wù)就業(yè)”之類的提法也可能超出受訪者的理解

33、水平。在實(shí)際進(jìn)行訪談時(shí)，你很可能需要對其含義進(jìn)行進(jìn)一步解釋并提供相關(guān)例子加以說明。所以，所用語言如果超出了受訪者的理解水平將影響交流。受訪者可能會對自己不能理解所提的問題感到難為情，于是不回答問題，或者猜測問題的意思，給出不準(zhǔn)確的答案。受訪者也可能會覺得你并不關(guān)心他怎么回答，并對訪談失去興趣。“所用語言低于受訪者的理解水平”也同樣糟糕。你可能過度簡化數(shù)據(jù)采集工具中所用的語言，結(jié)果受訪者覺得你把他們當(dāng)作文盲。這種方式會給人以貶低身份的感覺。你與這些人接觸是因?yàn)樗麄兛梢韵蚰闾峁┲匾畔?。把這些人看得低你一等（或者你給了他們這種感覺）將產(chǎn)生負(fù)面影響。同樣，你還應(yīng)慎用俚語、俗語及某些行話。也許此類用語

34、可能會有利于你拉近與受訪者之間的距離，但這些用語未必能準(zhǔn)確表達(dá)你的意思。為了避免出現(xiàn)帶有以上兩種傾向的錯(cuò)誤，你應(yīng)對數(shù)據(jù)采集工具中的最終措詞和訪談方法進(jìn)行預(yù)測試。（三）使用限定語。在擬定一個(gè)訪談問題后，你可能發(fā)現(xiàn)需要添加一個(gè)形容詞、限定語或者時(shí)間限定，以使問題完整，或者給受訪者提供充足、完整的信息。如，“你們有多少雇員？”可變成“你們有多少與全職員工相當(dāng)?shù)墓蛦T？”；“你看過幾次醫(yī)生？”可能變成“在過去 6 個(gè)月內(nèi)你看過幾次醫(yī)生？”如果在實(shí)際訪談過程中可以提供反饋，那么受訪者在必要時(shí)可要求訪談員進(jìn)行進(jìn)一步限定。如果你的數(shù)據(jù)采集工具中沒有提供必要的限定語，那么其他訪談員可能會給出不同的限定，結(jié)果可能

35、導(dǎo)致難以對數(shù)據(jù)進(jìn)行歸納和分析。此外，受訪者在沒有意識到缺少限定語的情況下可能按自己的理解做出回答。結(jié)果，由于各受訪者對問題的理解不同，所以他們相當(dāng)于是在對不同的問題作出回答。（四）語言的明晰性。問題的措詞風(fēng)格可能影響其含義的明晰性。接下來我們從以下幾個(gè)方面討論該問題：問題長度、復(fù)雜性及混淆性；雙重問題；雙重否定；極端語言；定義術(shù)語。1長度、復(fù)雜性及混淆性。包含太多意思和概念的問題可能會太復(fù)雜，使受訪者難以理解，尤其是口頭表述時(shí)，此類問題使受訪者很難全面顧及問題的各個(gè)部分。受訪者可能只是在對問題的某個(gè)部分作出回答，但訪談員卻可能將其理解為對整個(gè)問題的回答。你應(yīng)在多個(gè)句子中分解這些概念，為受訪者提

36、供適當(dāng)?shù)乃伎伎蚣堋Ｈ纭霸趨⒓?XYZ 計(jì)劃時(shí)你對用于幫助你找工作的時(shí)間是否感到滿意？”可改為“請回想一下你在參加 XYZ 計(jì)劃時(shí)的培訓(xùn)體驗(yàn)，你對用于幫助你找工作的時(shí)間是否感到滿意？”同樣，一個(gè)句子中還可能包含意思不明的混淆用語。問題應(yīng)簡明扼要。以下是一些減少句子混淆性的技巧： 盡量不使用從句引導(dǎo)詞“that”（僅適用于英文）。 使用簡單明了的語言。如，“上述”可用“前面所說的”代替。 盡量避免使用被動語態(tài)。用代詞（我、我們或者他們）和行為動詞代替。如不要說“取得*是必要的”，而要說“我們需要*”。2雙重問題。雙重問題是容易引起混淆的典型例子。如：你是否在參加計(jì)劃時(shí)接受了技能培訓(xùn)并在完成培訓(xùn)后找

37、到了一份工作？該問題試圖確定技能培訓(xùn)和找到工作之間是否存在聯(lián)系。但是當(dāng)受訪者回答“是”時(shí)，他們既有可能是對兩個(gè)部分同時(shí)表示肯定，也有可能只是肯定其中一部分，即“接受過技能培訓(xùn)”或“找到了工作”。其他一些受訪者可能覺得這個(gè)問題很亂，可能不會做出回答。你實(shí)際上提出了兩個(gè)問題，但只給了一個(gè)回答問題的機(jī)會。受訪者和訪談員都可能認(rèn)為只需要給一個(gè)回答。你應(yīng)分別提出兩個(gè)問題。3雙重否定。在編寫問題時(shí)應(yīng)避免使用雙重否定，因?yàn)殡p重否問題很難回答。如，“請問下列哪些組織目標(biāo)是你并不認(rèn)為不能在兩年內(nèi)實(shí)現(xiàn)的？”應(yīng)改為“你認(rèn)為下列哪些目標(biāo)是能夠在兩年內(nèi)實(shí)現(xiàn)的？”4極端用語。盡量避免使用“所有”、“完全沒有”、“一切”、

38、“從不”等代表極端含義的詞語。包含此類用語的句子很少能表示真正的事實(shí)，使用極端用語將導(dǎo)致受訪者避開程度選項(xiàng)中處于兩端的選項(xiàng)。也有適合使用“所有”或者“完全沒有”的情況，但比較少見。在是非題中，使用極端用語可能產(chǎn)生誤導(dǎo)。如，如果有一個(gè)雇員沒有醫(yī)療保險(xiǎn)，那么當(dāng)訪談員問“你們的所有雇員是否都有醫(yī)療保險(xiǎn)？”時(shí)，受訪者不可能回答“是”。其實(shí)更好的提問方法是“你們的雇員中有醫(yī)療保險(xiǎn)的約占多大比例？”5定義術(shù)語。應(yīng)盡可能對問題中使用的關(guān)鍵詞語和概念進(jìn)行定義。如在談到“雇員”時(shí)，可對雇員一詞進(jìn)行明確定義，說明所說的雇員是兼職還是全職？是永久性還是臨時(shí)性？是白領(lǐng)還是藍(lán)領(lǐng)？6問題中的偏向性。如果一個(gè)問題容易使受訪

39、者給出不能反映其真實(shí)看法的回答，那么我們說這個(gè)問題具有偏向性。受訪者可能會意識到這種偏向性，但也可能全然不知。在以下情況下將產(chǎn)生問題： 受訪者沒有意識到問題的偏向性，按問題的導(dǎo)向給出回答； 受訪者意識到問題的偏向性，故意按與其意見相反的方向做出回答； 受訪者意識到問題的偏向性，并以此為由拒絕做出回答。偏向性出現(xiàn)在題干（或者陳述）部分，也可出現(xiàn)在回答選項(xiàng)部分。當(dāng)問題中包含隱藏的答案時(shí)，或者答案選項(xiàng)不公平時(shí)，或者使用含義豐富的詞語時(shí)，或者程度問題不平衡時(shí)，也可能出現(xiàn)偏向性。接下來我們將對這些問題進(jìn)行討論。7隱含答案的偏向性。問題的措詞可指出社會公認(rèn)的答案。如“大部分審計(jì)署雇員都參加了美國儲蓄債券計(jì)

40、劃，請問你參加了嗎？”擔(dān)心自己被視為脫離社會主流的受訪者即使沒有參加該計(jì)劃也可能回答“是”。該問題應(yīng)改為“請問你是否參加了美國儲蓄債券計(jì)劃？”問題的措詞可能迫使有些人偏向于一種回答，使另一些人偏向于另一種回答。但兩種受訪者都可能完全沒有意識到措詞中的偏向性。此類偏向性通常出現(xiàn)在給問題添加了限定或者識別信息的情況。如“對于我們的首席經(jīng)濟(jì)學(xué)家Pat Brown 制定的計(jì)劃和我們雇用的顧問Chris Green 制定的計(jì)劃，你覺得哪個(gè)計(jì)劃更好？”不了解這兩個(gè)計(jì)劃的受訪者可能基于計(jì)劃的制定者是組織內(nèi)部人員還是外部人員做出判斷，盡管這可能跟計(jì)劃的質(zhì)量沒有什么必然聯(lián)系。更好的提問方法是：“對于Pat Br

41、own 和 Chris Green的計(jì)劃，你覺得哪個(gè)更好？”8不均衡選項(xiàng)產(chǎn)生的偏向性。在確定答案選項(xiàng)時(shí)，各選項(xiàng)必須均衡。如果過度強(qiáng)調(diào)某個(gè)選項(xiàng)，那么受訪者容易選擇該選項(xiàng)。9特定詞語產(chǎn)生的偏向性。某些詞語在各種上下文中都包含了豐富的情感內(nèi)涵，因?yàn)樗鼈儠酒饛?qiáng)烈的情緒和感情，如“美國”、“自由”、“平等”、“正義”等一般會喚起正面情緒，而“共產(chǎn)主義分子”、“社會主義分子”、“官僚”、“核浩劫”則容易喚起負(fù)面情緒（從美國人的角度看）。由于此類詞語的情感內(nèi)涵很難控制，所以最好避免使用這些詞語。10失衡產(chǎn)生的偏向性。使用程度問題時(shí)，應(yīng)避免題干和答案選項(xiàng)中出現(xiàn)偏向性。旨在衡量人們對某事滿意度的問題應(yīng)從兩個(gè)方

42、向上提供平衡的衡量選項(xiàng)。（五）電話訪談工具需考慮的問題?？偟膩碚f，上述原則也適用于電話訪談問題和答案選項(xiàng)的設(shè)計(jì)。但是，電話訪談還需考慮其他因素，尤其要考慮到面對面訪談中存在的某些提示在電話訪談中并不存在。在電話訪談中，訪談員無法觀察受訪者的反應(yīng)（包括迷惑、不確定或者敵意的表情），并在訪談時(shí)進(jìn)行相應(yīng)的調(diào)整。問題應(yīng)盡量簡短一些，將多項(xiàng)選擇題分解為二元選擇題，面對面進(jìn)行一定的預(yù)測試，這樣可以克服部分問題。電話訪談的另一個(gè)不利之處是電話交流不易傳遞個(gè)人感情，訪談員在進(jìn)行電話訪談時(shí)容易表現(xiàn)得過于熱情。訪談員必須抑制這種傾向，始終意識到自己在闡述問題。在 QPL 系統(tǒng)中，有些詞語大寫、加下劃線或者使用粗體

43、，以幫助訪談員保持適當(dāng)?shù)恼Z調(diào)并突出重點(diǎn)?？偠灾?，設(shè)計(jì)一次結(jié)構(gòu)化訪談并不容易，需要考慮很多因素和選項(xiàng)：需問的具體問題、問題的格式、語言順序、版式等。五、預(yù)測試和專家評審預(yù)測試和專家評審可能是設(shè)計(jì)結(jié)構(gòu)化訪談過程中最不受歡迎的一個(gè)環(huán)節(jié)。為了在規(guī)定時(shí)間內(nèi)完成任務(wù)，員工們可能會問，“為什么不去掉預(yù)測試這個(gè)環(huán)節(jié)？”或者“我們需要外部人員對訪談表提意見嗎？”但是該環(huán)節(jié)可能是設(shè)計(jì)訪談過程中最重要的環(huán)節(jié)，這是一個(gè)不斷利用評估員和技術(shù)專家輸入導(dǎo)出最終產(chǎn)品的反復(fù)過程。正如Cannell 等人（1989）所說，當(dāng)評估員對某個(gè)問題沒什么經(jīng)驗(yàn)或者受訪者很難理解某個(gè)問題時(shí)，我們可能需要做大量的工作才能設(shè)計(jì)出可獲得所需結(jié)果

44、的問題。研究表明，問題的表述方式對結(jié)果的影響率高達(dá) 50%。預(yù)測試和專家評審程序向評估員提供反饋信息，幫助他們確定所做的努力是否會產(chǎn)生預(yù)期的效果。在進(jìn)行預(yù)測試和專家評審后，數(shù)據(jù)采集工具將根據(jù)需要進(jìn)行重新設(shè)計(jì)（這是一個(gè)在每次或者每組預(yù)測試后都會進(jìn)行的反復(fù)過程）。（一）預(yù)測試的目的。在預(yù)測試中，我們從訪談所針對的群體中抽取部分受訪者對數(shù)據(jù)采集工具進(jìn)行測試，以預(yù)測數(shù)據(jù)采集工具在實(shí)際數(shù)據(jù)采集過程中的表現(xiàn)。預(yù)測試的目的是確定： 所問的問題是否適合用于獲取所需的信息； 各問題的內(nèi)容或者主題是否與受訪者相關(guān)，受訪者是否掌握了回答問題所需的知識； 訪談所用的措詞及程序是否能確保獲得有效、可靠的結(jié)果。Canne

45、ll 等人的研究（1989）表明調(diào)查問題容易出現(xiàn)以下幾種問題： 因句子結(jié)構(gòu)復(fù)雜、繞口或者詞語發(fā)音較難而導(dǎo)致提問困難； 因所用詞匯較難、句子結(jié)構(gòu)復(fù)雜或者所需信息及其格式不明確而導(dǎo)致問題難以理解； 各受訪者對問題中的術(shù)語或者概念存在不同的理解，或者受訪者對此類術(shù)語或者概念的理解不同于訪談設(shè)計(jì)者的原意，從而導(dǎo)致問題中的術(shù)語或者概念缺乏共識； 受訪者沒有相關(guān)信息，要做出回答需做出一定的努力，從而形成答題困難。（二）預(yù)測試程序。預(yù)測試的次數(shù)通常取決于調(diào)查的規(guī)模和可能影響調(diào)查結(jié)果的條件范圍。對于受訪者人數(shù)在幾千人左右的結(jié)構(gòu)化訪談，一般需進(jìn)行 25 75 次預(yù)測試。有時(shí)當(dāng)樣本數(shù)不到 500 人時(shí)，可以只進(jìn)行

46、十幾次或者更少的預(yù)測試，但條件是所進(jìn)行的預(yù)測試能涵蓋數(shù)據(jù)采集條件的整個(gè)范圍。你應(yīng)與設(shè)計(jì)數(shù)據(jù)采集工具的衡量專家討論預(yù)測試的具體次數(shù)。結(jié)構(gòu)化訪談的預(yù)測試程序在很大程度上是對實(shí)際數(shù)據(jù)采集過程的模擬。應(yīng)盡可能對結(jié)構(gòu)化訪談所涉及的各種程序進(jìn)行測試，包括選擇和接觸受訪者。預(yù)測試在某種程度上應(yīng)按實(shí)際訪談過程中所用的模式進(jìn)行，也就是說面對面訪談的預(yù)測試應(yīng)與受訪者面對面地進(jìn)行，而電話訪談的預(yù)測試則應(yīng)通過電話進(jìn)行。但是，面對面訪談在某種程度上也應(yīng)進(jìn)行電話和郵件調(diào)查。計(jì)算機(jī)輔助電話訪談的受訪者一般不超過 300 人，所以只需進(jìn)行十幾次預(yù)測試。這些預(yù)測試應(yīng)以面對面和電話交流的方式進(jìn)行。（三）由誰來進(jìn)行預(yù)測試。預(yù)測試應(yīng)

47、由以下兩類工作人員代表審計(jì)署進(jìn)行： 參加該工作的評估員，因?yàn)樗?她最了解與數(shù)據(jù)采集工具和評估背景相關(guān)的問題； 設(shè)計(jì)數(shù)據(jù)采集工具的衡量專家，因?yàn)樗?她需要評估訪談過程，包括數(shù)據(jù)采集工具的表現(xiàn)，并提出改進(jìn)建議。 在第一次和第二次（可能）預(yù)測試時(shí)，衡量專家作為訪談員提問，評估員進(jìn)行觀察。接下來的預(yù)測試由評估員提問，衡量專家作為觀察員參加預(yù)測試。（四）選擇和接觸預(yù)測試受訪者。預(yù)測試受訪者從最終研究所針對的群體中抽?。ú⒉灰欢S機(jī)抽?。Ｈ绻芯咳后w是同類群體（如福利受助人），那么預(yù)測試對象不必仔細(xì)平衡各種屬性特征。但是對于異類群體（如納稅人或者美國公民），則應(yīng)盡量對各類對象都進(jìn)行預(yù)測試，包括高收入和低

48、收入的人，老年人和年輕人，高學(xué)歷和低學(xué)歷的人，以及女人和男人。數(shù)據(jù)采集工具最好能在異類群體的各種小群體中各抽幾個(gè)人進(jìn)行預(yù)測試。通過電話聯(lián)系或者直接面對面接觸預(yù)測試受訪者，進(jìn)行預(yù)測試安排。盡可能按實(shí)際數(shù)據(jù)采集過程將使用的程序執(zhí)行。自我介紹，簡要說明審計(jì)署的性質(zhì)及其所做的工作，解釋本研究的性質(zhì)，說明他們參與本研究的重要性。如果是面對面進(jìn)行的預(yù)測試，則安排一個(gè)對受訪者來說方便且不易分心的場所進(jìn)行預(yù)測試。如果是電話預(yù)測試，則安排一個(gè)對受訪者來說方便的時(shí)間進(jìn)行預(yù)測試。（五）進(jìn)行預(yù)測試。預(yù)測試的前面幾步跟實(shí)際數(shù)據(jù)采集程序一樣。先向受訪者提供必要的背景信息（即使在安排預(yù)測試時(shí)已經(jīng)介紹過）。由于訪談是一個(gè)互動

49、的過程，所以受訪者在回答問題的同時(shí)還可能提供很多其他反饋信息。與數(shù)據(jù)采集工具或者程序相關(guān)的問題可能會立即出現(xiàn)，你可現(xiàn)場進(jìn)行處理，然后繼續(xù)。如果某條說明、某個(gè)詞語或者概念無法理解，那么訪談通常無法繼續(xù)下去。但是，總的來說最好能在不偏離主題的情況下順利完成整個(gè)訪談。這樣，你可以檢查訪談流程，估計(jì)完成訪談所需的總時(shí)間。在預(yù)測試過程中，訪談員的任務(wù)包括： 進(jìn)行正常的介紹和提問，整個(gè)流程不要出現(xiàn)過多中斷； 當(dāng)受訪者不能或者不愿意回答問題時(shí)，提供必要的解釋或者試著換一種說法，并進(jìn)行記錄； 將受訪者的回答記錄在數(shù)據(jù)采集工具上，以便測試記錄程序和速記技能； 記錄訪談過程中出現(xiàn)的表明數(shù)據(jù)采集工具或者程序存在問題

50、的情況； 完成訪談時(shí)進(jìn)行簡要總結(jié)，了解受訪者對訪談的看法，但不發(fā)表評論。對于第二點(diǎn)，訪談員在進(jìn)行解釋或者換說法時(shí)應(yīng)特別謹(jǐn)慎，因這時(shí)可能產(chǎn)生訪談員的偏向性。訪談問卷在編寫時(shí)盡量避免產(chǎn)生偏向性。在脫離預(yù)定文本后，你可能沒有足夠的時(shí)間以適當(dāng)?shù)姆绞街匦卤硎鲆粋€(gè)問題，你的措詞可能會不經(jīng)意地偏向于你對該問題的看法。電話訪談的預(yù)測試可能更容易進(jìn)行，可提供更多信息。訪談員應(yīng)告知受訪者有衡量專家旁聽，以改進(jìn)數(shù)據(jù)采集工具?？墒褂脫P(yáng)聲器，使更多組員能參加旁聽，做筆記，記錄回答，但不打斷訪談流程。在經(jīng)受訪者同意后，可對訪談過程進(jìn)行錄音，以便進(jìn)行更詳細(xì)的分析。在此類安排下，電話訪談?lì)A(yù)測試可能會比面對面預(yù)測試順利得多。但

51、是，如前所述，我們必須進(jìn)行一些面對面訪談。（六）確認(rèn)問題。在進(jìn)行一次預(yù)測試后，評估員和衡量專家將回顧訪談過程，確認(rèn)訪談員在提問時(shí)或者受訪者在回答時(shí)出現(xiàn)的問題。如果預(yù)測試暴露出解釋不清或者其他問題（下面將進(jìn)行討論），那么你必須修改訪談設(shè)計(jì)，再重新進(jìn)行測試，直到問題得到解決為止。在不成熟的條件下提前結(jié)束預(yù)測試可能導(dǎo)致數(shù)據(jù)不準(zhǔn)確。常見的問題包括： 訪談員在讀問題時(shí)對問題略作改動； 訪談員在讀問題時(shí)對問題進(jìn)行了重要改動，或者沒有讀完整個(gè)問題； 通過回答打斷問題； 很難回答，表現(xiàn)為受訪者緊張，對不同問題的回答自相矛盾，回想或者改變前面的回答，或者需考慮很長時(shí)間才能做出回答； 受訪者要求說明、解釋或者重復(fù)

52、問題； 受訪者提供帶限定的回答； 受訪者提供不適當(dāng)?shù)幕卮?，包括提供所列選項(xiàng)以外的答案或者訪談員已知的答案； 受訪者表示“不知道”； 受訪者拒絕回答。這些問題分為兩類：1）與數(shù)據(jù)采集工具設(shè)計(jì)或者管理相關(guān)的問題；2）與受訪者缺乏相關(guān)知識或者不原意回答相關(guān)的問題。第一類問題可通過設(shè)計(jì)數(shù)據(jù)采集工具的工作人員進(jìn)行控制，第二類問題則只作為觀察到的行為進(jìn)行記錄。Cannell 等人的研究（1989）發(fā)現(xiàn)，各預(yù)測試訪談員在確認(rèn)與問卷調(diào)查題相關(guān)的問題或者提供修改建議方面的意見并不一致。在沒有對調(diào)查題和程序的質(zhì)量實(shí)施控制措施的情況下，各訪談員的意見差別可高達(dá) 50%。當(dāng)訪談員人數(shù)較多時(shí)，有兩種方法非常有用，即對受

53、訪者行為進(jìn)行分類和使用探討性調(diào)查題。第一種方法用表格列出整個(gè)訪談過程中每個(gè)調(diào)查題出現(xiàn)上述各問題的頻率。預(yù)計(jì)各調(diào)查題在一小部分訪談中會出現(xiàn)某種問題。但是如果某個(gè)調(diào)查師在很多訪談中都出現(xiàn)相同的問題，則說明該調(diào)查題需要進(jìn)行修改。第二種方法（使用探討性調(diào)查題）可用于明確第一種方法所發(fā)現(xiàn)問題的性質(zhì)。訪談中可加入特殊的探討性問題，或者在訪談結(jié)束時(shí)提出，請受訪者詳細(xì)解釋某個(gè)回答，說明他們?nèi)绾卫斫庀嚓P(guān)調(diào)查題及其答案，或者說明他們所遇到的困難。探討題分為三類： 一般性探討題，請受訪者就特定題目或者整個(gè)訪談提供更多信息； 回顧信息的探討題，詢問受訪者是否記得回答提問所需的信息； 理解探討題，請受訪者談?wù)勊麄內(nèi)绾卫?/p>

54、解特定的調(diào)查題或者短語。（七）專家評審的目的。由于沒有任何工具是完美的，所以請外部專家對我們所使用的方法進(jìn)行評論通常非常有用。我們就使用結(jié)構(gòu)化訪談的任務(wù)征求外部專家意見，以幫助我們確定： 所提的問題及提問的方式是否適合回答評估所提出的總體問題； 預(yù)定受訪群體是否有回答這些問題所需的知識； 所開發(fā)的數(shù)據(jù)采集工具是否與當(dāng)前的技術(shù)發(fā)展水平相當(dāng)。在很多情況下，評審專家由被審計(jì)機(jī)構(gòu)的官員擔(dān)任。在這一階段征求相關(guān)機(jī)構(gòu)意見可避免在花時(shí)間和資金完成數(shù)據(jù)采集后出現(xiàn)問題。此外，其他設(shè)計(jì)、方法和技術(shù)援助組人員、PEMD 工作人員或者具有相關(guān)領(lǐng)域知識或者評估經(jīng)驗(yàn)的人員也可進(jìn)行專家評審，尤其是向我們提供受訪群體或者樣本

55、名單的相關(guān)協(xié)會專家。進(jìn)行專家評審的人員不能作為受訪者。他們不回答問題，只提供評論。（八）工具的重新設(shè)計(jì)。評估員和衡量專家考慮預(yù)測試和專家評審結(jié)果，對數(shù)據(jù)采集工具進(jìn)行適當(dāng)?shù)男薷?。如果改動較小，數(shù)據(jù)采集工具可以不必再進(jìn)行預(yù)測試而直接投入使用；如果改動較大，則需要再進(jìn)行一系列的預(yù)測試。如果進(jìn)行預(yù)測試的時(shí)間可以拉長，那么可以多測試幾個(gè)數(shù)據(jù)采集工具版本，每個(gè)版本所用的受訪者可以少一些?？梢灾苯舆M(jìn)行明顯需要進(jìn)行的修改，修改后的版本可以用于下一次預(yù)測試。這使我們在每輪預(yù)測試時(shí)可以使用一個(gè)相對較完善的版本。六、培訓(xùn)訪談員在多數(shù)情況下，美國審計(jì)署的結(jié)構(gòu)化訪談由自己的評估員進(jìn)行，但有時(shí)我們也會使用其他機(jī)構(gòu)或者承包

56、商的員工。無論哪種情況，訪談員都必須進(jìn)行與評估目的和訪談程序相關(guān)的培訓(xùn)。（一）培訓(xùn)方法。美國審計(jì)署利用各種途徑培訓(xùn)其訪談員，幫助他們在整個(gè)數(shù)據(jù)采集過程中保持良好的技能，這些培訓(xùn)途徑包括：召開動員會議，發(fā)放訪談手冊，進(jìn)行角色模擬、實(shí)地練習(xí)、現(xiàn)場視察及電話聯(lián)系。除了以下討論的各項(xiàng)外，訪談員培訓(xùn)還應(yīng)重視第八部分所說的訪談技巧，尤其應(yīng)注意結(jié)構(gòu)化訪談技巧、探討技巧及鞏固方法。下面也會談到這些問題。（二）動員會議。無論項(xiàng)目規(guī)模如何，美國審計(jì)署通常都會召開項(xiàng)目動員會，向各地區(qū)及其他部門的員工明確評估目的，進(jìn)行分工，并回答與會人員的提問。當(dāng)一個(gè)項(xiàng)目的數(shù)據(jù)采集階段包括結(jié)構(gòu)化訪談時(shí)，該會議通常會延長，以便向訪談員

57、詳細(xì)說明數(shù)據(jù)采集工具的用法。最好所有潛在的訪談員都能參加該會議。如果一個(gè)地區(qū)只派對一名代表參加動員會，那么該代表應(yīng)為參與該研究并進(jìn)行訪談的人員。訪談手冊（在下一部分進(jìn)行討論）中并不能包括培訓(xùn)的所有方面；所以除了衡量專家外，參加實(shí)踐課程的還應(yīng)包括將實(shí)地進(jìn)行訪談的人員和可能對該地區(qū)其他人員進(jìn)行訪談培訓(xùn)的人員。培訓(xùn)首先由評估員主管和衡量專家回顧研究目的，分析如何將訪談數(shù)據(jù)納入總目標(biāo)。然后通過訪談手冊詳細(xì)介紹數(shù)據(jù)采集程序。培訓(xùn)師對訪談表的題目進(jìn)行逐個(gè)討論，包括數(shù)據(jù)需求，受訪者不能理解時(shí)可使用的其他措詞，如何記錄受訪者的回答及可能出現(xiàn)的其他情況。受訓(xùn)者可以提問，討論細(xì)節(jié)，找出數(shù)據(jù)采集工具中的排字錯(cuò)誤，并

58、根據(jù)自己的經(jīng)驗(yàn)提出修改建議。即使到了召開動員會的階段，我們?nèi)钥蓪?shù)據(jù)采集工具進(jìn)行修改，以免相關(guān)問題被帶入實(shí)際訪談過程。培訓(xùn)師努力解決的潛在問題通常包括確認(rèn)訪談員： 知道對各題目來說什么樣的回答是有效的。如果訪談員不知道這一點(diǎn)，那么他們可能會接受無效的回答。設(shè)計(jì)結(jié)構(gòu)化訪談的目的是通過答案選項(xiàng)向訪談員說明哪些回答是有效的，哪些回答是無效的。要掌握這一點(diǎn)，訪談員必須理解數(shù)據(jù)采集工具。 正確地提問。需提出的問題已打印在紙上；訪談員的任務(wù)是嚴(yán)格按數(shù)據(jù)采集工具上提供的文本進(jìn)行表述，確保題目含義和表述方式的統(tǒng)一，以排除偏向性。即使數(shù)據(jù)采集工具進(jìn)行了預(yù)測試，某些受訪者仍可能難以理解某些措詞。訪談員必須充分了解

59、各題目，當(dāng)訪談員只能通過改變措詞向受訪者進(jìn)行解釋時(shí)，訪談員所使用的措詞不應(yīng)偏離題目的原義。 不要跳過他們認(rèn)為已通過其他問題得到回答的問題。除非使用說明要求跳過某個(gè)題目或者受訪者拒絕回答，否則應(yīng)讓受訪者回答所有問題（拒絕回答可視為一種回答）。即使受訪者在某個(gè)問題提出之前已經(jīng)對該問題做出了回答，訪談員仍應(yīng)按正常程序提出該問題，或者陳述該問題并請受訪者確認(rèn)其前面的回答。 在提問時(shí)不要引入偏向性。（三）訪談手冊。如果訪談?lì)}目數(shù)量不多，也不是很難或者很復(fù)雜，且進(jìn)行訪談的工作人員參與了數(shù)據(jù)采集工具的開發(fā)過程，那么我們將只通過動員會向訪談員詳細(xì)說明如何處理各題目。但是，如果訪談活動規(guī)模較大，那么審計(jì)署項(xiàng)目組

60、成員可準(zhǔn)備一份詳細(xì)介紹數(shù)據(jù)采集工具中各題目的訪談手冊。（該手冊類似于人口調(diào)查局向人口調(diào)查員發(fā)放的手冊）。一般情況下，審計(jì)署的手冊不僅包括訪談?lì)}目，還包括抽樣程序、聯(lián)系受訪者及編碼程序等其他事項(xiàng)。下面我們將進(jìn)行詳細(xì)討論。（四）抽樣程序。對于需要使用統(tǒng)計(jì)抽樣程序選擇受訪者的情況，該手冊將向訪談員說明如何確定抽樣范圍及選擇樣本。該手冊在必要時(shí)可包括一個(gè)隨機(jī)數(shù)字表，并說明簡單的隨機(jī)抽樣和更復(fù)雜的兩階段程序。（五）聯(lián)系受訪者的程序。手冊提供了聯(lián)系潛在受訪者的規(guī)則，規(guī)定了在受訪者拒絕或者找不到受訪者時(shí)如何進(jìn)行處理，提供了通過電話安排訪談的例子，還規(guī)定訪談員必須通過日志記錄所有訪談聯(lián)系情況，以確保抽樣合理。