在線調(diào)查的代表性與可靠性的對(duì)比探究

1、一.在線調(diào)查在中國(guó)的機(jī)遇與挑戰(zhàn)     借助互聯(lián)網(wǎng)這一現(xiàn)代化的信息溝通渠道，在線調(diào)查具有低本錢、高速度、跨越空間局限、有著豐富的表現(xiàn)形式、具有智能化及互動(dòng)性等優(yōu)點(diǎn)。在線調(diào)查在歐洲、美洲以及日韓等互聯(lián)網(wǎng)興旺的國(guó)家已經(jīng)相當(dāng)普遍，在線調(diào)查在、民意調(diào)查以及學(xué)術(shù)研究方面得到廣泛的應(yīng)用。隨著中國(guó)互聯(lián)網(wǎng)的普及，在線調(diào)查在中國(guó)有迅速普及的趨勢(shì)。根據(jù)CNNIC 報(bào)告，中國(guó)大陸網(wǎng)民總體數(shù)量在05年上半年已經(jīng)超過(guò)1億用戶。中國(guó)互聯(lián)網(wǎng)的普及使在線迅速成為可能。媒體特別是網(wǎng)絡(luò)媒體越來(lái)越多的借鑒調(diào)查的形式收集與反應(yīng)瀏覽者的意見、觀點(diǎn)，網(wǎng)上輿論及熱點(diǎn)問題調(diào)查是其最常見的形式，這種調(diào)查

2、的內(nèi)容與目的都與傳統(tǒng)的市場(chǎng)、民意調(diào)查有較大的區(qū)別，本身缺少樣本抽樣設(shè)計(jì)、結(jié)論也不具備足夠的代表性與準(zhǔn)確性。準(zhǔn)確意義的在線調(diào)查涵蓋的范圍并不包括這些網(wǎng)絡(luò)投票。因?yàn)樵诰€調(diào)查的方便性，許多企業(yè)也在自己的網(wǎng)絡(luò)上進(jìn)行自主調(diào)研，使用調(diào)查的方式收集自己用戶的觀點(diǎn)等。專業(yè)調(diào)研公司也正在逐漸推廣在線調(diào)查，使之成為傳統(tǒng)調(diào)研形式的重要補(bǔ)充。     在線調(diào)查正在越來(lái)越多的被應(yīng)用與重視的同時(shí)，在線調(diào)查的代表性與可靠性也受到研究者與調(diào)查應(yīng)用者的質(zhì)疑。在2004年的一份以在線調(diào)查為根底的杜蕾斯全球性調(diào)查報(bào)告顯示，中國(guó)人的平均性伴侶數(shù)超過(guò)歐美國(guó)家，名列世界第一，到達(dá)19.3人，遠(yuǎn)高于

3、全球平均數(shù)的10.5人。這個(gè)數(shù)據(jù)反映的中國(guó)人的性伴侶“世界第一是聳人聽聞，無(wú)法采信的。此數(shù)據(jù)一出，就遭受到廣泛的質(zhì)疑。這樣在線調(diào)查的結(jié)果除了被某些特殊的目的應(yīng)用于宣傳外，怎么可以應(yīng)用于商業(yè)或者政策決策中去。     調(diào)查的代表性與可靠性受到調(diào)查實(shí)施過(guò)程的許多因素的影響，包括有樣本框、抽樣過(guò)程、訪問過(guò)程等。而在線調(diào)查與傳統(tǒng)調(diào)查相比，在這些方面都有很大的差異。在線調(diào)查的根本樣本框?yàn)榫W(wǎng)民，盡管中國(guó)總體網(wǎng)民的數(shù)量到達(dá)1億，但是只占總體人口的不到10%，互聯(lián)網(wǎng)不夠普及，在線調(diào)查的被訪者根本背景與居民總體存在較大差異。所以在線調(diào)查的代表性以及樣本結(jié)構(gòu)是肯定存在偏差。

4、在線調(diào)查的被訪者招募與抽樣過(guò)程也不相同，在線調(diào)查的被訪者一般是自愿參與或者是因?yàn)槟承┕餐脑騾⑴c該調(diào)查，通常缺少代表性抽樣過(guò)程。即使都是網(wǎng)民，接受在線調(diào)查的人群與不接受在線調(diào)查的人群還可能存在較大的差異。這些招募與抽樣過(guò)程就影響整個(gè)結(jié)果的可靠性。在線調(diào)查的形式對(duì)調(diào)查的結(jié)果也可能產(chǎn)生影響，在線調(diào)查的答題過(guò)程一般被訪者自我管理，缺少人與人的交流與監(jiān)控；在線調(diào)查的題目呈現(xiàn)方式也與傳統(tǒng)調(diào)查有較大差異；被訪者在填寫問題時(shí)情景的差異也很大，可能是在家中也可能在公共場(chǎng)所，這些因素都可能影響答題的可靠性?？偟膩?lái)說(shuō)，在線調(diào)查的網(wǎng)民樣本框、自愿調(diào)查的攔截方式、缺少抽樣過(guò)程、問卷呈現(xiàn)與填答方式都可能對(duì)影響到在線調(diào)

5、查結(jié)果的代表性與可靠性。     本研究將從的實(shí)際問題出發(fā)選擇在同一時(shí)間段完成的兩個(gè)線下調(diào)查與在線調(diào)查的結(jié)果從樣本框、調(diào)查結(jié)果的角度進(jìn)行比較與分析，盡量了解在線調(diào)查的代表性與可信度的狀況，為在線調(diào)查在中國(guó)更好的實(shí)施提供指導(dǎo)性意見。二 . 研究方法與實(shí)施 1 數(shù)據(jù)來(lái)源     線下調(diào)查數(shù)據(jù)     來(lái)自華通現(xiàn)代市場(chǎng)信息咨詢(ACSR)的網(wǎng)絡(luò)追蹤工程(NetTrack)。該工程為季度性追蹤，采用計(jì)算機(jī)輔助 訪問(CATI, Computer Assisted Telephone

6、Interview)的方式對(duì)全國(guó)14 個(gè)城市居民進(jìn)行 隨機(jī)訪問，在城市內(nèi)應(yīng)用PPS與RDD技術(shù)進(jìn)行抽樣。本次比照研究選擇2004年度第三季度的調(diào)查數(shù)據(jù)，調(diào)查執(zhí)行時(shí)間2004年7-8月，問卷平均長(zhǎng)度23分鐘，共訪問2000隨機(jī)樣本 ，2000網(wǎng)民。 Nettrack 隨機(jī)樣本定義為14-50歲居民。Nettrack 網(wǎng)民定義為隨機(jī)樣本中，在訪問時(shí)的過(guò)去一周內(nèi)曾經(jīng)使用過(guò)互聯(lián)網(wǎng)。     在線調(diào)查數(shù)據(jù)     來(lái)自ACSR在2004年6月份進(jìn)行的某居民消費(fèi)習(xí)慣調(diào)查。從華通現(xiàn)代的e-mail 中隨機(jī)抽取局部名單，發(fā)郵件邀請(qǐng)

7、其填寫問卷，并承諾有時(shí)機(jī)獲得價(jià)值1000元的禮品一份。問卷長(zhǎng)度為5-10分鐘，共采集3063個(gè)完整填答問卷的樣本。在采集調(diào)查信息后，利用了IP地址+假設(shè)干特征標(biāo)志的方法作為判斷被調(diào)查者填表次數(shù)唯一性的檢驗(yàn)條件，以實(shí)現(xiàn)網(wǎng)上用戶身份的唯一性，排除干擾。 在進(jìn)行分析之前對(duì)樣本進(jìn)行進(jìn)一步的篩選限制，只選擇北京、上海、廣州三個(gè)城市的樣本進(jìn)行比較。線下樣本共904隨機(jī)樣本，其中435網(wǎng)民樣本。在線調(diào)查1463樣本。 線下調(diào)查 在線調(diào)查 城市 北京、上海、廣州 北京、上海、廣州 調(diào)查時(shí)間 2004年6-7月 2004年6月 數(shù)據(jù)采集方法 CATI EMail邀請(qǐng)被訪者參與在線調(diào)查 樣本框 居民家庭 EMai

8、l Panel 抽樣方法 PPS + RDD 隨機(jī)抽樣 樣本量 隨機(jī)樣本 904；網(wǎng)民 435 1463 2 比較的內(nèi)容     與民意調(diào)查的內(nèi)容非常復(fù)雜，為了簡(jiǎn)化問題，并得到有代表性的比較結(jié)果，我們將重點(diǎn)比較一下三類主要的調(diào)查問題。     人口學(xué)問題 ：描述被訪者結(jié)構(gòu)的根本問題，通過(guò)他們我們可以了解被訪者在社會(huì)中的根本生存狀態(tài)，為不同人群進(jìn)行比較提供依據(jù)。     狀態(tài)性問題 ：要求被訪者對(duì)已經(jīng)發(fā)生狀況或者事實(shí)的描述，狀態(tài)性的問題調(diào)查的是一種現(xiàn)狀這是一些客觀的指標(biāo)。通常可

9、以用于估計(jì)占有率、份額、使用習(xí)慣等。    意向性問題 ：對(duì)未發(fā)生事件的描述，主要調(diào)查被訪者對(duì)未來(lái)的估計(jì)、態(tài)度、意愿等。此類意向性問題是一種主觀變量，包括態(tài)度、狀態(tài)、信仰、個(gè)性、動(dòng)機(jī)、偏好、傾向性等。通?？梢杂糜陬A(yù)測(cè)未來(lái)市場(chǎng)走向、投票趨勢(shì)等。 具體問題如下 問題類型 比較內(nèi)容 人口學(xué)問題 樣本年齡、性別、受教育程度、個(gè)人月收入 狀態(tài)性問題 個(gè)人或者家庭擁有以下產(chǎn)品的比例： 臺(tái)式電腦、筆記本電腦、 、小靈通、MP3、數(shù)碼相機(jī)、攝像機(jī)、打印機(jī)、家用轎車。 意向性問題 個(gè)人或者家庭在未來(lái)一年內(nèi)方案購(gòu)置以下產(chǎn)品的比例： 臺(tái)式電腦、筆記本電腦、 、小靈通、MP3、

10、數(shù)碼相機(jī)、攝像機(jī)、打印機(jī)、家用轎車。 三、 調(diào)查結(jié)果分析 1 在線樣本與線下樣本在人口學(xué)樣本結(jié)構(gòu)上差異明顯     如圖1-圖4所示，在線調(diào)查與線下調(diào)查在人口學(xué)問題上有較大差異。網(wǎng)民的年齡傾向于年輕化，29歲以下的樣本占整個(gè)樣本的64%。而在線調(diào)查樣本的年齡向20-29歲集中，占整個(gè)樣本的71%，20歲以下的樣本比例降低到僅為3%。網(wǎng)民受教育程度偏高，而在線樣本的受教育程度比網(wǎng)民更加偏高，88%的樣本教育程度為大?；蛞陨稀＞W(wǎng)民的個(gè)人收入(2641元/月)要高于隨機(jī)樣本(2148元/月)，但在線樣本的平均收入更高，為3一五0元/月。網(wǎng)民中，男性的比例為60

11、%，高于女性，但是在在線樣本中，男女比例的差異不大。 圖1樣本年齡分布 備注：Random Sample 為線下調(diào)查的隨機(jī)樣本；Netizen 為線下調(diào)查網(wǎng)民樣本；Online Sample 為在 線調(diào)查樣本。以下同。 圖2 樣本受教育程度 圖 3 樣本性別分布 圖 4 樣本個(gè)人收入的差異     在線調(diào)查的樣本與線下調(diào)查樣本在結(jié)構(gòu)呈現(xiàn)巨大差異是預(yù)料之中的。在線調(diào)查研究的總體應(yīng)當(dāng)是網(wǎng)民，中國(guó)網(wǎng)民呈現(xiàn)年輕化、高學(xué)歷與高收入傾向。根據(jù)中國(guó)互聯(lián)網(wǎng)中心 (CNNIC)在2004年7月份發(fā)布的第14次中國(guó)互聯(lián)網(wǎng)絡(luò)開展?fàn)顩r統(tǒng)計(jì)報(bào)告的數(shù)據(jù)，中國(guó)大陸的網(wǎng)民中男性比例為5

12、9.3%；30歲以下的網(wǎng)民占總體網(wǎng)民的70.5%；大專及以上學(xué)歷的比例為56.8%。CNNIC在同一時(shí)間段的調(diào)查結(jié)果與華通現(xiàn)代NetTrack調(diào)查的結(jié)果在網(wǎng)民人口學(xué)變量上的分布根本一致，因?yàn)榇舜畏治龅臉颖局饕獊?lái)自于北京、上海、廣州這三個(gè)一線城市，所以網(wǎng)民的學(xué)歷相對(duì)CNNIC調(diào)查的全國(guó)結(jié)果更加偏高一些。     表1大陸網(wǎng)民年齡與受教育程度分布 來(lái)源?中國(guó)互聯(lián)網(wǎng)絡(luò)開展?fàn)顩r統(tǒng)計(jì)報(bào)告?，2004年7月 年齡段 一八歲以下 一八-24歲 25-30歲 31-35歲 36-40歲 41-50歲 51-60歲 60歲以上 比例% 17.3 36.8 16.4 11.

13、5 7.3 6.7 3.3 0.7 年齡段 高中(中專) 以下 高中(中專) 大專 本科 碩士 博士 比例% 12.6 30.6 26 28.2 2.1 0.5     除了受到網(wǎng)民結(jié)構(gòu)的影響外，在線調(diào)查所采用的是電子郵件招募方式也對(duì)被訪者結(jié)構(gòu)有所影響。被調(diào)查者應(yīng)該為電子郵件用戶甚至是深度用戶，根據(jù)華通現(xiàn)代的NetTrack的調(diào)查結(jié)果，20歲以下的年輕的網(wǎng)民使用電子郵件的比例與頻率都較低。經(jīng)常使用電子郵件的用戶主要為學(xué)歷較高、收入較高的在職人士。這就導(dǎo)致在線調(diào)查樣本年齡向20-29歲集中，學(xué)歷與收入偏高的現(xiàn)象。2 對(duì)樣本進(jìn)行加權(quán)處理，可大幅度降低樣本結(jié)構(gòu)

14、的差異     網(wǎng)民樣本框與樣本結(jié)構(gòu)本身存在一定的局限性，在線樣本結(jié)構(gòu)的差異必然會(huì)給調(diào)查結(jié)果帶來(lái)很大的偏差，這一特點(diǎn)早就被研究者與實(shí)際調(diào)查研究者所了解與重視。實(shí)際操作的情況下，研究者常常采用配額的方式進(jìn)行加權(quán)或者選擇樣本。為方便起見，從兩個(gè)調(diào)查中都選擇20-29歲的樣本進(jìn)行比較。此年齡段的居民上網(wǎng)比例較高，也是中國(guó)在線調(diào)查的最主要目標(biāo)群體。     如圖5-6所示，限定樣本年齡為20-29歲后，在線樣本在受教育程度以及個(gè)人月收入上的結(jié)構(gòu)已經(jīng)趨向于線下調(diào)查的網(wǎng)民樣本，與完全隨機(jī)的樣本還存在一些差距。樣本受教育程度的差

15、異顯著性縮小各個(gè)受教育程度的百分比偏差為7%以下。限制年齡段后，樣本個(gè)人收入的差異顯著性縮小，隨機(jī)樣本2148元，網(wǎng)民2641元；網(wǎng)絡(luò)被訪者3一五0元，在線樣本中月收入1000元以下的樣本比例為21%相對(duì)線下調(diào)查的網(wǎng)民樣本小9%，在其他收入段的百分比差異小于5%。除低收入段外，限制年齡段后的在線調(diào)查樣本個(gè)人收入結(jié)構(gòu)與線下調(diào)查網(wǎng)民根本一致。     圖5 20-29歲樣本受教育程度比較 圖 6 20-29歲樣本個(gè)人收入比較 3 在線調(diào)查結(jié)果在狀態(tài)性問題與意向性問題呈現(xiàn)不同的差異     限定年齡段在20-29歲之間后

16、，在線樣本與線下網(wǎng)民樣本在人口學(xué)結(jié)構(gòu)上的相似性為比較其他數(shù)據(jù)提供了根底。     線上線下樣本在狀態(tài)性問題的數(shù)據(jù)有較高的相似性，相關(guān)系數(shù)大于0.95。也存在數(shù)字上的少量差異，線上樣本擁有臺(tái)式電腦、筆記本電腦、 、MP3、數(shù)碼相機(jī)以及汽車的比例相對(duì)線下網(wǎng)民樣本更高一些，而在攝像機(jī)、打印機(jī)的擁有率上的比例相對(duì)低一些。     但是線上線下樣本在意向性問題上有很大差異，相關(guān)系數(shù)小于0.45，甚至呈現(xiàn)一種相反的態(tài)勢(shì)。在線調(diào)查樣本更多的傾向于購(gòu)置筆記本電腦、攝像機(jī)以及汽車等產(chǎn)品，而較少傾向性購(gòu)置臺(tái)式電腦、 等產(chǎn)品。因?yàn)橘?gòu)置傾

17、向性還會(huì)受到目前是否擁有該產(chǎn)品的影響。 圖7 20-29歲樣本狀態(tài)性問題答案比較 圖 8 20-29歲樣本意向性問題答案比較 四、應(yīng)用在線調(diào)查的考前須知    在線調(diào)查與其他傳統(tǒng)調(diào)查存在較大差異。如果不加注意的采用在線調(diào)查方式，有可能會(huì)得到錯(cuò)誤的結(jié)果。研究者在使用在線調(diào)查時(shí)，需要注意以下問題。 1 根據(jù)調(diào)查對(duì)象決定是否可以采用在線調(diào)查 ：    在線調(diào)查樣本框?yàn)榫W(wǎng)民，不到中國(guó)總?cè)丝诘?0%，而且具有年輕化、高學(xué)歷與高收入的趨勢(shì)。在中國(guó)的目前情況下，在線調(diào)查還有很大的局限性，只有調(diào)查目標(biāo)群體大多數(shù)是網(wǎng)民的情況下才可以

18、采用在線調(diào)查。2 合理選擇在線調(diào)查的攔截與招募方式 ：    網(wǎng)上活動(dòng)豐富多彩，各種活動(dòng)用戶具有自己的特征。不同的接觸方式獲得的樣本具有不同的特點(diǎn)。研究者在實(shí)施過(guò)程中，需要根據(jù)被調(diào)查對(duì)象的差異合理使用e-mail、網(wǎng)頁(yè)攔截、IM方式攔截等，建立明確被訪者身份的Online Panel等。 3 必須應(yīng)用配額或者加權(quán)調(diào)整樣本結(jié)構(gòu) ：    在線調(diào)查不是隨機(jī)調(diào)查。被訪者結(jié)果與目標(biāo)樣本框會(huì)存在較大差異，必須進(jìn)行調(diào)整，這樣才能夠盡量保證樣本的代表性。 4 謹(jǐn)慎應(yīng)用調(diào)查結(jié)果 ：    如本比較研究所示，在線調(diào)查的可靠性還比較低，特別是在意愿性題目類型上與傳統(tǒng)調(diào)查存在較大差異，而且呈現(xiàn)出不合理性。研究者在應(yīng)用在線調(diào)查數(shù)據(jù)時(shí)，需要對(duì)調(diào)查內(nèi)容進(jìn)行謹(jǐn)慎的分析與判斷。     在線調(diào)查中意向性問題有差異而狀態(tài)性問題無(wú)差異的一個(gè)主要原因是意向性問題，是一種主觀變量