調(diào)查資料的整理

1、第九章 調(diào)查資料的整理 1第一節(jié) 調(diào)查資料的接收和編輯 2一.資料的接收調(diào)查資料的整理計劃應該在研究設計階段就制定好，但真正著手整理是從仍在實施的現(xiàn)場中回收的第一份問卷開始的。因此，如果一旦發(fā)現(xiàn)問題，還可以及時地糾正或改進實施的工作。 3接收調(diào)查資料（完成的問卷）工作的要點如下：認真仔細地管理好資料的收集和問卷的回收工作，要掌握每天完成的問卷數(shù)和每天接收的問卷數(shù)。在完成的問卷後面記錄下問卷完成的日期和接收的日期，以便有必要時在分析過程中可對先接收的資料和後接收的資料作比較。 多個專案同時實施時，必須清楚地記錄以下的數(shù)值：交付實施的專案數(shù)、仍在實施的專案數(shù)、已經(jīng)完成並返回的專案數(shù)。4每一份返回的

2、問卷都要記錄一個唯一的、有順序的識別號碼，作為原始的文件。讓所有參與資料整理工作的人員都知道，他們不但負有保證工作質(zhì)量的責任，還負有保證不丟失任何原始文件的責任。5二.資料的檢查 料的檢查一般是指對回收問卷的完整性和訪問質(zhì)量的檢查。目的是要確定哪些問卷可以接受，哪些問卷要作廢。這些檢查常常是在實施還在進行的過程中就已經(jīng)開始。如果實施是委託某個資料收集機構(gòu)去做的，那麼研究者在實施工作結(jié)束後還要進行獨立的檢查。 6要點是：規(guī)定若干規(guī)則，使檢查人員明確問卷完整到什麼程度才可以接受。例如，至少要完成多少，哪一部分是應該全部完成的，哪些缺失資料是可以容忍的等等。 對於每份看似完成了的問卷都必須徹底地檢查

3、，要檢查每一頁和每一部分，以確認調(diào)查員（被訪者）是按照指導語進行了訪問（回答）並將答案記錄在了恰當?shù)奈恢蒙稀?7三.資料的校訂 檢查不滿意的答案 為了增加準確性，對那些初步接受的問卷還要進一步地檢查和校訂。校訂的工作通常包括檢查問卷，找出任何屬於下列情況之一的答案： (1) 字跡模糊的(2) 不完全的(3) 不一致的(4) 模棱兩可的(5) 分叉錯誤的同時對這些不滿意的答案作出適當?shù)奶幚頉Q定。 82. 處理不滿意的答案下一個問題是如何處理不滿意的答案，通常有三種處理辦法：(1) 退回調(diào)查現(xiàn)場去獲取較好的資料 (2) 按缺失值處理 (3) 整個問卷（被訪者）作廢 9不過，不滿意的問卷與滿意的問卷

4、之間一般都會有差異，而且將某份問卷（某個被訪者）指定為不滿意的問卷也可能是主觀的。上述這兩個因數(shù)都會使資料產(chǎn)生偏差。如果研究者決定要扔掉不滿意的問卷，應該向客戶報告識別這些問卷（被訪者）的方法和作廢的數(shù)量。 10第二節(jié) 調(diào)查資料的編碼和輸入 11一.事前編碼(Pre-coding) 資料編碼就是給每一個問答題的每一個可能答案分配一個代號，通常是一個數(shù)值。編碼可以在設計問卷時進行，也可以在資料收集結(jié)束以後進行，分別叫事前編碼和事後編碼。 12如果問卷經(jīng)過適當?shù)慕M織和構(gòu)造，那麼大多數(shù)問答題都會是“有結(jié)構(gòu)的”，以致大多數(shù)的答案都會落入事先確定的類別中。此外，事先編碼的問卷通常是將每個答案的對應值印在

5、問卷上，資料檔案用的記錄格式常常放在最右邊或放在某處的括弧內(nèi)。以下的部分問卷給出了一個事先編碼的格式： 13上述例子不但指示了問卷設計的方法，還說明大多數(shù)編碼工作都幾乎是很容易在調(diào)查實施的同時進行的。在許多情況下，為了簡化，表示列位置的括弧內(nèi)的數(shù)位是省略的。因為列位置可以在資料輸入時才規(guī)定，或採用自由格式輸入。 14二.事後編碼(Post-coding) 事後編碼指的是給某個沒有事先編碼的答案分配一個代碼。通常需要事後編碼的有： 封閉式問答題的“其他”項 開放式問答題 15類似資料的檢查工作，此處也需要一份空白的“參照問卷”，用於指示需要考察和編碼的專案。將這些專案用紅筆圈出，以避免編碼員遺漏

6、。 16下表給出了IEM8 30國世界環(huán)境意識調(diào)查（針對第一個記錄）的部分內(nèi)容（調(diào)查實施地點為中國大陸）。 17三.資料輸入(Data transferring)資料輸入指的是將問卷或編碼表中的每一專案對應的代碼讀到磁片、磁帶中，或通過鍵盤直接鍵入電腦中。在科技時代，資料的收集常常是採用CATI或CAPI進行的，因此鍵盤輸入就不再需要。此外，還可以利用特殊的Mark Sense Forms、光學掃描等方法來讀取資料。 18為了保證高度的準確性，有必要對輸入的結(jié)果進行核查以發(fā)現(xiàn)是否有錯誤。全面的核查(verification)要求每一個個案都必須輸入兩次，採用一臺核查機和兩個輸入人員。第二個輸入

7、人員將編碼的問卷重新再輸入一遍。兩個人輸入的資料要進行逐個個案的比較，如稍有不同，輸入的錯誤就會被檢測出來。 19四.資料淨化(Data cleaning) 資料淨化的重要性遠遠高於一般人的想象。如果資料不“乾淨”，會發(fā)生兩方面的嚴重問題。首先，很有可能無法適當?shù)貓?zhí)行下一步的資料分析，因而報告呈交的時限也將被嚴重地推遲。其次更糟的是，資料分析和報告已經(jīng)完成，但是研究人員並沒有意識到裏面的許多錯誤。 20資料淨化主要是盡可能地處理錯誤的或不合理的資料以及進行一致性檢查。雖然在資料的校訂階段已經(jīng)進行了初步的檢查，但是因為這個階段採用的是電腦，因此檢查會是更徹底更廣泛的。 21經(jīng)常使用有時使用很少使

8、用根本不使用非常熟悉51451812比較熟悉43324663有點熟悉44151聽說過但完全不熟悉208從未聽說過2120表9-2 例示用交叉表尋找邏輯上的不一致 22第三節(jié) 調(diào)查資料的統(tǒng)計預處理23一.缺失資料的處理 在許多情況下，小量的缺失回答是可以容忍的。但是如果缺失值的比例超過了10，就可能出現(xiàn)嚴重的問題。處理缺失值主要有四種方法： 用一個樣本統(tǒng)計量的值去代替缺失值用從一個統(tǒng)計模型計算出來的值去代替缺失值 將有缺失值的個案整個刪除(list-wise) 將有缺失值的個案保留，僅在相應的分析中作必要的排除(paire-wise) 24二.加權(quán)處理在市場研究中，加權(quán)處理是比較常用的。其主要的

9、兩個目的是為了使樣本更具有代表性，或為了強調(diào)某些被訪者群體的重要性。 25在加權(quán)處理時，要給資料庫中的每一個個案或被訪者以一個權(quán)重，用於反映其相對於別的個案或被訪者的重要性。加權(quán)處理的效果是在具有某些特徵的樣本中增加（權(quán)重1）或減少（權(quán)重1）個案的數(shù)量。 26表9-3 通過加權(quán)處理使樣本更具代表性年齡樣本()母體()權(quán)重151914.08.60.61202958.024.90.43303923.025.51.1140492.813.94.9650或以上2.227.112.3合計100.0100.027三.原始資料或變數(shù)的轉(zhuǎn)換在進行資料的統(tǒng)計分析之前，常常需要將原始資料重新分類、重新編碼，或重新

10、定義變數(shù)、修改變數(shù)。 28對於以下兩種情況，有必要將原始資料重新分類或重新編碼：需要將資料分成更有意義的類別 需要將資料合併成更少的幾個大類別 29第四節(jié) 資料統(tǒng)計任務書的制定30一.任務書的內(nèi)容 在市場調(diào)查的總體方案設計書或計劃書中，可能已經(jīng)給出了資料處理和分析的計劃。但一般來說，總體方案中給出的計劃只是原則性的或概略的，不是操作性的。專案主管或分析師應該將資料處理和統(tǒng)計分析的具體要求詳細地列出，以使程式設計者明確其所需完成的全部統(tǒng)計工作。稱這份詳細地列出全部必須的統(tǒng)計工作的可操作的清單為統(tǒng)計任務書。31變數(shù)標識和變數(shù)值標識的編制在資料輸入階段，對變數(shù)一般可能只用字母和數(shù)位來表示。 所需完成

11、的基本統(tǒng)計數(shù)表市場調(diào)查中，向客戶提供的最基本的統(tǒng)計數(shù)表一般是兩部分：首先是所有問答題（變數(shù)）的頻數(shù)表； 其次是反映被訪者背景資料（如性別、年齡層、教育程度、收入範圍等）的變數(shù)與所有其他問答題（變數(shù)）的交叉分析表所需完成的統(tǒng)計圖的形式和數(shù)量 所需完成的基礎(chǔ)統(tǒng)計分析 所需完成的高等統(tǒng)計分析或模型 32二.選擇統(tǒng)計方法的原則 任務書的制定離不開一系列的統(tǒng)計方法。目前資料的統(tǒng)計一般都採用現(xiàn)成的統(tǒng)計軟體，軟體中可供選擇的統(tǒng)計方法是十分豐富的。選擇時一般要考慮以下幾個方面：331. 研究目的和研究的性質(zhì)在制定統(tǒng)計任務書之前，必須再次認真地參考調(diào)查專案的總體方案設計的計劃書，明確該項研究的主要目的是什麼，客

12、戶所面臨的經(jīng)營決策問題是什麼，本專案所研究的主要問題是什麼，在研究設計中有哪些待檢驗的基本假設等等。 研究的性質(zhì)不同，所選擇的方法也會很不相同。顯然，學術(shù)性的研究和商業(yè)性的研究、描述性的研究和預測性的研究，適用的任務書會有很大的差異。 342.研究方法和資料的性質(zhì) 研究方法不同，所採用的統(tǒng)計分析方法也會有所不同。例如對隨機的大樣本資料和對小樣本的實驗資料、對按不等機率抽取的樣本資料和對等機率樣本的資料，選擇的分析方法都會有各異。 此外，問卷中使用的量表和本章前面部分所述的資料整理方法都將影響資料的性質(zhì)，從而影響到統(tǒng)計方法的選擇。例如，處理類別變數(shù)、順序變數(shù)和等距變數(shù)的統(tǒng)計方法顯然是大不相同的。

13、 353.統(tǒng)計方法的作用和性質(zhì) 在選擇統(tǒng)計方法時還應充分理解各種方法的適用場合、應用目的、解決問題的性質(zhì)、必須滿足的假定或前提等等。例如有些統(tǒng)計方法適用於考察不同群體間是否存在顯著的差異，有些則適用於研究變數(shù)間的聯(lián)繫緊密程度，有些用於分類，有些用於簡化資料，還有些特別適用於進行預測。有些方法需要假定變數(shù)服從常態(tài)分佈，有些要求樣本是獨立同分佈的，也有些方法並不需要任何的前提或假定。 364.研究者和客戶的背景 專案研究主管的專業(yè)背景、工作經(jīng)歷和處理問題的習慣也影響到統(tǒng)計方法的選擇。經(jīng)過嚴格的統(tǒng)計訓練並富有經(jīng)驗的研究者，往往會選用多種不同的方法來處理各種不同的問題，甚至會採用一些高等的統(tǒng)計方法來深

14、入地研究和挖掘資料中存在的豐富資訊。有些研究者會對所研究的變數(shù)或總體作一些合理的假定；但有些研究者可能不願意這樣，他們也許寧願保守一些，因此可能選擇不需要對分佈有前提假定的方法，例如無母數(shù)方法等。37三.常用統(tǒng)計方法的分類 常用的統(tǒng)計方法可以按單變數(shù)分析和多變數(shù)分析分成兩大類。單變數(shù)分析也稱之為基礎(chǔ)統(tǒng)計分析法，適用於樣本中的一個單位只有一個度量值，或雖有幾個度量值，但每一個度量都是按一個變數(shù)單獨地進行分析的情況。38表9-5 常用基礎(chǔ)統(tǒng)計分析法（單變數(shù)分析） 類別變數(shù)等距（順序）變數(shù)單個樣本兩個或以上樣本單個樣本兩個或以上樣本獨立樣本配對樣本獨立樣本配對樣本頻數(shù)分析法卡方檢驗法符號檢驗法Z檢驗法Z檢驗法T檢驗法卡方檢驗法W檢驗法馬克紐摩檢驗法T檢驗法T檢驗法K-S檢驗