在線調(diào)查的代表性與可靠性的對比探究

1、一.在線調(diào)查在中國的機遇與挑戰(zhàn)     借助互聯(lián)網(wǎng)這一現(xiàn)代化的信息溝通渠道，在線調(diào)查具有低成本、高速度、跨越空間局限、有著豐富的表現(xiàn)形式、具有智能化及互動性等優(yōu)點。在線調(diào)查在歐洲、美洲以及日韓等互聯(lián)網(wǎng)發(fā)達的國家已經(jīng)相當(dāng)普遍，在線調(diào)查在、民意調(diào)查以及學(xué)術(shù)研究方面得到廣泛的應(yīng)用。隨著中國互聯(lián)網(wǎng)的普及，在線調(diào)查在中國有迅速普及的趨勢。根據(jù)CNNIC 報告，中國大陸網(wǎng)民總體數(shù)量在05年上半年已經(jīng)超過1億用戶。中國互聯(lián)網(wǎng)的普及使在線迅速成為可能。媒體特別是網(wǎng)絡(luò)媒體越來越多的借鑒調(diào)查的形式收集與反饋瀏覽者的意見、觀點，網(wǎng)上輿論及熱點問題調(diào)查是其最常見的形式，這種調(diào)查

2、的內(nèi)容與目的都與傳統(tǒng)的市場、民意調(diào)查有較大的區(qū)別，本身缺少樣本抽樣設(shè)計、結(jié)論也不具備足夠的代表性與準確性。準確意義的在線調(diào)查涵蓋的范圍并不包括這些網(wǎng)絡(luò)投票。因為在線調(diào)查的方便性，許多企業(yè)也在自己的網(wǎng)絡(luò)上進行自主調(diào)研，使用調(diào)查的方式收集自己用戶的觀點等。專業(yè)調(diào)研公司也正在逐漸推廣在線調(diào)查，使之成為傳統(tǒng)調(diào)研形式的重要補充。     在線調(diào)查正在越來越多的被應(yīng)用與重視的同時，在線調(diào)查的代表性與可靠性也受到研究者與調(diào)查應(yīng)用者的質(zhì)疑。在2004年的一份以在線調(diào)查為基礎(chǔ)的杜蕾斯全球性調(diào)查報告顯示，中國人的平均性伴侶數(shù)超過歐美國家，名列世界第一，達到19.3人，遠高于

3、全球平均數(shù)的10.5人。這個數(shù)據(jù)反映的中國人的性伴侶“世界第一”是聳人聽聞，無法采信的。此數(shù)據(jù)一出，就遭受到廣泛的質(zhì)疑。這樣在線調(diào)查的結(jié)果除了被某些特殊的目的應(yīng)用于宣傳外，怎么可以應(yīng)用于商業(yè)或者政策決策中去。     調(diào)查的代表性與可靠性受到調(diào)查實施過程的許多因素的影響，包括有樣本框、抽樣過程、訪問過程等。而在線調(diào)查與傳統(tǒng)調(diào)查相比，在這些方面都有很大的差異。在線調(diào)查的基本樣本框為網(wǎng)民，盡管中國總體網(wǎng)民的數(shù)量達到1億，但是只占總體人口的不到10%，互聯(lián)網(wǎng)不夠普及，在線調(diào)查的被訪者基本背景與居民總體存在較大差異。所以在線調(diào)查的代表性以及樣本結(jié)構(gòu)是肯定存在偏差

4、。在線調(diào)查的被訪者招募與抽樣過程也不相同，在線調(diào)查的被訪者一般是自愿參與或者是因為某些共同的原因參與該調(diào)查，通常缺少代表性抽樣過程。即使都是網(wǎng)民，接受在線調(diào)查的人群與不接受在線調(diào)查的人群還可能存在較大的差異。這些招募與抽樣過程就影響整個結(jié)果的可靠性。在線調(diào)查的形式對調(diào)查的結(jié)果也可能產(chǎn)生影響，在線調(diào)查的答題過程一般被訪者自我管理，缺少人與人的交流與監(jiān)控；在線調(diào)查的題目呈現(xiàn)方式也與傳統(tǒng)調(diào)查有較大差異；被訪者在填寫問題時情景的差異也很大，可能是在家中也可能在公共場所，這些因素都可能影響答題的可靠性。總的來說，在線調(diào)查的網(wǎng)民樣本框、自愿調(diào)查的攔截方式、缺少抽樣過程、問卷呈現(xiàn)與填答方式都可能對影響到在線

5、調(diào)查結(jié)果的代表性與可靠性。     本研究將從的實際問題出發(fā)選擇在同一時間段完成的兩個線下調(diào)查與在線調(diào)查的結(jié)果從樣本框、調(diào)查結(jié)果的角度進行比較與分析，盡量了解在線調(diào)查的代表性與可信度的狀況，為在線調(diào)查在中國更好的實施提供指導(dǎo)性意見。二 . 研究方法與實施 1 數(shù)據(jù)來源     線下調(diào)查數(shù)據(jù)     來自華通現(xiàn)代市場信息咨詢有限公司(ACSR)的網(wǎng)絡(luò)追蹤項目(NetTrack)。該項目為季度性追蹤，采用計算機輔助電話訪問(CATI, Computer Assisted Tele

6、phone Interview)的方式對全國14 個城市居民進行電話隨機訪問，在城市內(nèi)應(yīng)用PPS與RDD技術(shù)進行抽樣。本次對比研究選擇2004年度第三季度的調(diào)查數(shù)據(jù)，調(diào)查執(zhí)行時間2004年7-8月，問卷平均長度23分鐘，共訪問2000隨機樣本 ，2000網(wǎng)民。（ Nettrack 隨機樣本定義為14-50歲居民。Nettrack 網(wǎng)民定義為隨機樣本中，在訪問時的過去一周內(nèi)曾經(jīng)使用過互聯(lián)網(wǎng)。 ）     在線調(diào)查數(shù)據(jù)     來自ACSR在2004年6月份進行的某居民消費習(xí)慣調(diào)查。從華通現(xiàn)代的e-mail 中隨機抽取

7、部分名單，發(fā)郵件邀請其填寫問卷，并承諾有機會獲得價值1000元的禮品一份。問卷長度為5-10分鐘，共采集3063個完整填答問卷的樣本。在采集調(diào)查信息后，利用了IP地址+若干特征標志的辦法作為判斷被調(diào)查者填表次數(shù)唯一性的檢驗條件，以實現(xiàn)網(wǎng)上用戶身份的唯一性，排除干擾。 在進行分析之前對樣本進行進一步的篩選限制，只選擇北京、上海、廣州三個城市的樣本進行比較。線下樣本共904隨機樣本，其中435網(wǎng)民樣本。在線調(diào)查1463樣本。 線下調(diào)查 在線調(diào)查 城市 北京、上海、廣州 北京、上海、廣州 調(diào)查時間 2004年6-7月 2004年6月 數(shù)據(jù)采集方法 CATI EMail邀請被訪者參與在線調(diào)查 樣本框

8、居民家庭電話 EMail Panel 抽樣方法 PPS + RDD 隨機抽樣 樣本量 隨機樣本 904；網(wǎng)民 435 1463 2 比較的內(nèi)容     與民意調(diào)查的內(nèi)容非常復(fù)雜，為了簡化問題，并得到有代表性的比較結(jié)果，我們將重點比較一下三類主要的調(diào)查問題。     人口學(xué)問題 ：描述被訪者結(jié)構(gòu)的基本問題，通過他們我們可以了解被訪者在社會中的基本生存狀態(tài)，為不同人群進行比較提供依據(jù)。     狀態(tài)性問題 ：要求被訪者對已經(jīng)發(fā)生狀況或者事實的描述，狀態(tài)性的問題調(diào)查的是一種現(xiàn)狀這是

9、一些客觀的指標。通?？梢杂糜诠烙嬚加新?、份額、使用習(xí)慣等。    意向性問題 ：對未發(fā)生事件的描述，主要調(diào)查被訪者對未來的估計、態(tài)度、意愿等。此類意向性問題是一種主觀變量，包括態(tài)度、狀態(tài)、信仰、個性、動機、偏好、傾向性等。通?？梢杂糜陬A(yù)測未來市場走向、投票趨勢等。 具體問題如下 問題類型 比較內(nèi)容 人口學(xué)問題 樣本年齡、性別、受教育程度、個人月收入 狀態(tài)性問題 個人或者家庭擁有以下產(chǎn)品的比例： 臺式電腦、筆記本電腦、手機、小靈通、MP3、數(shù)碼相機、攝像機、打印機、家用轎車。 意向性問題 個人或者家庭在未來一年內(nèi)計劃購買以下產(chǎn)品的比例： 臺式電腦、筆記本電

10、腦、手機、小靈通、MP3、數(shù)碼相機、攝像機、打印機、家用轎車。 三、 調(diào)查結(jié)果分析 1 在線樣本與線下樣本在人口學(xué)樣本結(jié)構(gòu)上差異明顯     如圖1-圖4所示，在線調(diào)查與線下調(diào)查在人口學(xué)問題上有較大差異。網(wǎng)民的年齡傾向于年輕化，29歲以下的樣本占整個樣本的64%。而在線調(diào)查樣本的年齡向20-29歲集中，占整個樣本的71%，20歲以下的樣本比例降低到僅為3%。網(wǎng)民受教育程度偏高，而在線樣本的受教育程度比網(wǎng)民更加偏高，88%的樣本教育程度為大?；蛞陨?。網(wǎng)民的個人收入(2641元/月)要高于隨機樣本(2148元/月)，但在線樣本的平均收入更高，為3一五0元/月

11、。網(wǎng)民中，男性的比例為60%，高于女性，但是在在線樣本中，男女比例的差異不大。 圖1樣本年齡分布 備注：Random Sample 為線下調(diào)查的隨機樣本；Netizen 為線下調(diào)查網(wǎng)民樣本；Online Sample 為在 線調(diào)查樣本。以下同。 圖2 樣本受教育程度 圖 3 樣本性別分布 圖 4 樣本個人收入的差異     在線調(diào)查的樣本與線下調(diào)查樣本在結(jié)構(gòu)呈現(xiàn)巨大差異是預(yù)料之中的。在線調(diào)查研究的總體應(yīng)當(dāng)是網(wǎng)民，中國網(wǎng)民呈現(xiàn)年輕化、高學(xué)歷與高收入傾向。根據(jù)中國互聯(lián)網(wǎng)中心 (CNNIC)在2004年7月份發(fā)布的第14次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告的數(shù)據(jù)，中

12、國大陸的網(wǎng)民中男性比例為59.3%；30歲以下的網(wǎng)民占總體網(wǎng)民的70.5%；大專及以上學(xué)歷的比例為56.8%。CNNIC在同一時間段的調(diào)查結(jié)果與華通現(xiàn)代NetTrack調(diào)查的結(jié)果在網(wǎng)民人口學(xué)變量上的分布基本一致，因為此次分析的樣本主要來自于北京、上海、廣州這三個一線城市，所以網(wǎng)民的學(xué)歷相對CNNIC調(diào)查的全國結(jié)果更加偏高一些。     表1大陸網(wǎng)民年齡與受教育程度分布 （來源中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告，2004年7月） 年齡段 一八歲以下 一八-24歲 25-30歲 31-35歲 36-40歲 41-50歲 51-60歲 60歲以上 比例% 17.3

13、36.8 16.4 11.5 7.3 6.7 3.3 0.7 年齡段 高中(中專) 以下 高中(中專) 大專 本科 碩士 博士 比例% 12.6 30.6 26 28.2 2.1 0.5     除了受到網(wǎng)民結(jié)構(gòu)的影響外，在線調(diào)查所采用的是電子郵件招募方式也對被訪者結(jié)構(gòu)有所影響。被調(diào)查者應(yīng)該為電子郵件用戶甚至是深度用戶，根據(jù)華通現(xiàn)代的NetTrack的調(diào)查結(jié)果，20歲以下的年輕的網(wǎng)民使用電子郵件的比例與頻率都較低。經(jīng)常使用電子郵件的用戶主要為學(xué)歷較高、收入較高的在職人士。這就導(dǎo)致在線調(diào)查樣本年齡向20-29歲集中，學(xué)歷與收入偏高的現(xiàn)象。2 對樣本進行加權(quán)

14、處理，可大幅度降低樣本結(jié)構(gòu)的差異     網(wǎng)民樣本框與樣本結(jié)構(gòu)本身存在一定的局限性，在線樣本結(jié)構(gòu)的差異必然會給調(diào)查結(jié)果帶來很大的偏差，這一特點早就被研究者與實際調(diào)查研究者所了解與重視。實際操作的情況下，研究者常常采用配額的方式進行加權(quán)或者選擇樣本。為方便起見，從兩個調(diào)查中都選擇20-29歲的樣本進行比較。此年齡段的居民上網(wǎng)比例較高，也是中國在線調(diào)查的最主要目標群體。     如圖5-6所示，限定樣本年齡為20-29歲后，在線樣本在受教育程度以及個人月收入上的結(jié)構(gòu)已經(jīng)趨向于線下調(diào)查的網(wǎng)民樣本，與完全隨機的樣本還存在一

15、些差距。樣本受教育程度的差異顯著性縮小各個受教育程度的百分比偏差為7%以下。限制年齡段后，樣本個人收入的差異顯著性縮小，隨機樣本2148元，網(wǎng)民2641元；網(wǎng)絡(luò)被訪者3一五0元，在線樣本中月收入1000元以下的樣本比例為21%相對線下調(diào)查的網(wǎng)民樣本小9%，在其他收入段的百分比差異小于5%。除低收入段外，限制年齡段后的在線調(diào)查樣本個人收入結(jié)構(gòu)與線下調(diào)查網(wǎng)民基本一致。     圖5 20-29歲樣本受教育程度比較 圖 6 20-29歲樣本個人收入比較 3 在線調(diào)查結(jié)果在狀態(tài)性問題與意向性問題呈現(xiàn)不同的差異     限定

16、年齡段在20-29歲之間后，在線樣本與線下網(wǎng)民樣本在人口學(xué)結(jié)構(gòu)上的相似性為比較其他數(shù)據(jù)提供了基礎(chǔ)。     線上線下樣本在狀態(tài)性問題的數(shù)據(jù)有較高的相似性，相關(guān)系數(shù)大于0.95。也存在數(shù)字上的少量差異，線上樣本擁有臺式電腦、筆記本電腦、手機、MP3、數(shù)碼相機以及汽車的比例相對線下網(wǎng)民樣本更高一些，而在攝像機、打印機的擁有率上的比例相對低一些。     但是線上線下樣本在意向性問題上有很大差異，相關(guān)系數(shù)小于0.45，甚至呈現(xiàn)一種相反的態(tài)勢。在線調(diào)查樣本更多的傾向于購買筆記本電腦、攝像機以及汽車等產(chǎn)品，而較少傾向性購買臺

17、式電腦、手機等產(chǎn)品。因為購買傾向性還會受到目前是否擁有該產(chǎn)品的影響。 圖7 20-29歲樣本狀態(tài)性問題答案比較 圖 8 20-29歲樣本意向性問題答案比較 四、應(yīng)用在線調(diào)查的注意事項    在線調(diào)查與其他傳統(tǒng)調(diào)查存在較大差異。如果不加注意的采用在線調(diào)查方式，有可能會得到錯誤的結(jié)果。研究者在使用在線調(diào)查時，需要注意以下問題。 1 根據(jù)調(diào)查對象決定是否可以采用在線調(diào)查 ：    在線調(diào)查樣本框為網(wǎng)民，不到中國總?cè)丝诘?0%，而且具有年輕化、高學(xué)歷與高收入的趨勢。在中國的目前情況下，在線調(diào)查還有很大的局限性，只有調(diào)查目標

18、群體大多數(shù)是網(wǎng)民的情況下才可以采用在線調(diào)查。2 合理選擇在線調(diào)查的攔截與招募方式 ：    網(wǎng)上活動豐富多彩，各種活動用戶具有自己的特征。不同的接觸方式獲得的樣本具有不同的特點。研究者在實施過程中，需要根據(jù)被調(diào)查對象的差異合理使用e-mail、網(wǎng)頁攔截、IM方式攔截等，建立明確被訪者身份的Online Panel等。 3 必須應(yīng)用配額或者加權(quán)調(diào)整樣本結(jié)構(gòu) ：    在線調(diào)查不是隨機調(diào)查。被訪者結(jié)果與目標樣本框會存在較大差異，必須進行調(diào)整，這樣才能夠盡量保證樣本的代表性。 4 謹慎應(yīng)用調(diào)查結(jié)果 ：    如本比較研究所示，在線調(diào)查的可靠性還比較低，特別是在意愿性題目類型上與傳統(tǒng)調(diào)查存在較大差異，而且呈現(xiàn)出不合理性。研究者在應(yīng)用在線調(diào)查數(shù)據(jù)時，需要對調(diào)查內(nèi)容進行謹慎的分析與判斷。     在線調(diào)查中意向性問題有差異而狀態(tài)性問題無差異的一個主要原因是意向性問題，是一種主觀變量，需要被