GBT 43389-2023 市場、民意和社會調(diào)查 數(shù)據(jù)分析方法

市場、民意和社會調(diào)查數(shù)據(jù)分析方法2023-11-27發(fā)布國家標(biāo)準(zhǔn)化管理委員會GB/T43389—2023前言 I 2規(guī)范性引用文件 3術(shù)語和定義 4調(diào)查數(shù)據(jù)預(yù)處理 24.1概述 4.2一致性檢查 24.3缺失值處理 4.4異常值診斷與處理 4.5變量轉(zhuǎn)換 4.6量表轉(zhuǎn)換 5調(diào)查數(shù)據(jù)的分析方法 35.1概述 5.2描述統(tǒng)計(jì)分析 35.3推論統(tǒng)計(jì)分析 5.4應(yīng)用示例 參考文獻(xiàn) I本文件按GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由全國市場、民意和社會調(diào)查標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC320)提出并歸口。本文件起草單位：中國標(biāo)準(zhǔn)化研究院、宜賓學(xué)院、廣州云檢測科學(xué)研究院有限公司、四川省產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)檢測院、紹興湖瑞紡織有限公司、西安正建工程咨詢有限公司、瀘州老窖股份有限公司、浙江省產(chǎn)品與工程標(biāo)準(zhǔn)化協(xié)會、吉林省格遠(yuǎn)市場調(diào)研咨詢有限公司、山東及時(shí)雨建材科技有限公司、廣東省江門市質(zhì)量技術(shù)監(jiān)督標(biāo)準(zhǔn)與編碼所、浙江省長三角標(biāo)準(zhǔn)技術(shù)研究院、中國計(jì)量大學(xué)、《中國城市報(bào)》社有限公司。1市場、民意和社會調(diào)查數(shù)據(jù)分析方法本文件描述了市場、民意和社會調(diào)查中常見的數(shù)據(jù)分析方法，包括調(diào)查數(shù)據(jù)預(yù)處理及分析方法。本文件適用于開展市場、民意和社會調(diào)查數(shù)據(jù)分析活動。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。下列術(shù)語和定義適用于本文件。注：research在實(shí)際應(yīng)用中也稱為“研究”或“調(diào)研”。相對survey而言research還包含了分析的過程。由所關(guān)注的全部個(gè)體組成的集合。樣本sample從總體中抽取的抽樣單元構(gòu)成的集合。由隨機(jī)變量完全確定的函數(shù)。樣本中位數(shù)samplemedian有序樣本中處于中間位置的數(shù)值。注：如果樣本數(shù)據(jù)量為偶數(shù)，則為中間兩個(gè)數(shù)值的平均值。算術(shù)平均值arithmeticmean一組數(shù)據(jù)之和除以數(shù)據(jù)的總個(gè)數(shù)所得的值。2樣本方差samplevariance一組數(shù)據(jù)中每個(gè)數(shù)據(jù)值與該組數(shù)據(jù)的算術(shù)平均數(shù)之差的平方和除以樣本數(shù)據(jù)的總個(gè)數(shù)減1所得樣本標(biāo)準(zhǔn)差samplestandarddeviation樣本方差的非負(fù)平方根。給定類(組)中，特定事件發(fā)生的次數(shù)或觀測值的個(gè)數(shù)。用事件或者觀測值發(fā)生的總數(shù)目除以頻數(shù)所得的值。賦予事件閉區(qū)間[0,1]中的一個(gè)實(shí)數(shù)。定性變量的觀測結(jié)果。注：可分為分類數(shù)據(jù)和定序數(shù)據(jù)。定量數(shù)據(jù)quantitativedata定量變量的取值結(jié)果。4調(diào)查數(shù)據(jù)預(yù)處理主要包括變量的取值是否超出合理范圍、有無邏輯錯(cuò)誤及有無極端值。缺失值處理方法包括但不限于以下幾個(gè)方面。a)刪除缺失值：如果缺失值的比例較小且對整體數(shù)據(jù)影響不大，可以直接刪除包含缺失值的樣本b)插補(bǔ)缺失值：如果缺失值的比例較大或?qū)φw數(shù)據(jù)影響較大，可以使用插補(bǔ)方法填充缺失值。3常見的插補(bǔ)方法包括均值插補(bǔ)、中位數(shù)插補(bǔ)、眾數(shù)插補(bǔ)、回歸插補(bǔ)、隨機(jī)插補(bǔ)等。c)使用特殊值填充：對于某些特定的缺失值，可以使用特殊值(如0或一1)進(jìn)行填充，表示該值缺失。d)使用插值方法填充：對于時(shí)間序列數(shù)據(jù)或空間數(shù)據(jù)，可以使用插值方法(如線性插值、樣條插e(cuò))使用機(jī)器學(xué)習(xí)算法預(yù)測填充：對于缺失值較多的情況，可使用機(jī)器學(xué)習(xí)算法(如隨機(jī)森林、支持向量機(jī)等)進(jìn)行預(yù)測填充。4.4異常值診斷與處理一般首先采用統(tǒng)計(jì)分布法、回歸診斷法對異常值進(jìn)行診斷，以及采用刪除法、縮尾法、變換變量、降低異常值權(quán)數(shù)、插補(bǔ)法等處理異常值。根據(jù)數(shù)據(jù)分析的需要，在分析之前宜對現(xiàn)有的變量進(jìn)行一定的修改或生成新的變量，可采用變量重新定義、變量轉(zhuǎn)換、定類變量轉(zhuǎn)換為0-1變量等方法。為保證數(shù)據(jù)的可比性，便于進(jìn)行數(shù)據(jù)分析，某些場景下需要做一些量表的轉(zhuǎn)換，可采用標(biāo)準(zhǔn)化變換、規(guī)格化變換等方法。5調(diào)查數(shù)據(jù)的分析方法5.1概述市場、民意和社會調(diào)查數(shù)據(jù)分析方法可分為描述統(tǒng)計(jì)分析和推論統(tǒng)計(jì)分析。5.2描述統(tǒng)計(jì)分析將數(shù)據(jù)以表格、圖形或數(shù)值形式表現(xiàn)出來，著重于對數(shù)量水平或其他特征的描述，可通過某具體指標(biāo)反映某一方面的特征，也能通過若干變量描述它們的相互關(guān)系，其結(jié)果重在數(shù)量描述，但不具有推斷性質(zhì)。5.3推論統(tǒng)計(jì)分析通過樣本推斷總體，這類方法對數(shù)據(jù)的收集方法、變量的選擇、測度的決定、資料的空間時(shí)間范圍有嚴(yán)格的限制，宜符合嚴(yán)格的假設(shè)條件，其結(jié)果不僅可用于描述數(shù)量關(guān)系，還可以推斷總體，進(jìn)行預(yù)測、揭示原因以及檢驗(yàn)理論等。5.4應(yīng)用示例描述性統(tǒng)計(jì)分析適用于能收集到定量數(shù)據(jù)的幾乎所有領(lǐng)域，它能為市場、民意和社會調(diào)查提供多方面的信息分析。推論統(tǒng)計(jì)分析使用樣本數(shù)據(jù)來進(jìn)行推斷，并從中得出關(guān)于總體的結(jié)論，有助于在數(shù)據(jù)不夠豐富的條件下為市場、民意和社會調(diào)查分析提供更多的支持。如表1所示。4表1調(diào)查數(shù)據(jù)分析方法示例類型基本性質(zhì)應(yīng)用案例適用的分析方法單變量統(tǒng)計(jì)方法多變量統(tǒng)計(jì)方法定性數(shù)據(jù)表明對象或其類別的數(shù)字性別、品牌、商店等比例、眾數(shù)等二項(xiàng)式檢驗(yàn)等表示對象的相對位置，但不能表示差異大小的數(shù)字偏好排序、在市場中的位次、社會分層等比例、眾數(shù)、中位數(shù)等順序相關(guān)系數(shù)、弗里德曼檢驗(yàn)、方差分析等定量數(shù)據(jù)可以分類、排序、比較對象間的差異態(tài)度、年齡、收入、成本、銷售量、市場份額等中位數(shù)、全距、均值等相關(guān)系數(shù)、t檢驗(yàn)、方差分析、回歸、因子分析、結(jié)構(gòu)方程、結(jié)合分析等5.4.2描述性統(tǒng)計(jì)分析示例計(jì)算數(shù)據(jù)集中數(shù)值的平均值，可用于了解數(shù)據(jù)的中心趨勢。例如，計(jì)算一組學(xué)生的考試成績平均計(jì)算數(shù)據(jù)集中數(shù)值的中間值，可用于了解數(shù)據(jù)的中心位置。例如，計(jì)算一組員工的薪資中位數(shù)，以了解工資分布的中間水平。測量數(shù)據(jù)集中數(shù)值的離散程度，反映數(shù)據(jù)的變異程度。例如，在市場調(diào)研中，計(jì)算產(chǎn)品銷售量的標(biāo)準(zhǔn)差可以評估銷售數(shù)據(jù)的波動性。將數(shù)據(jù)分組并計(jì)算每個(gè)組別中的觀察頻數(shù)，用于了解數(shù)據(jù)的分布情況。例如，制作一個(gè)年齡組別的頻數(shù)分布表，以了解調(diào)查樣本的年齡分布情況。計(jì)算數(shù)據(jù)在總體中的百分比，用于描述某個(gè)類別在整體中的相對比例。例如，計(jì)算產(chǎn)品市場份額的百分比，以衡量產(chǎn)品在市場上的占有率。確定數(shù)據(jù)集中的最大和最小數(shù)值差值，以了解數(shù)據(jù)的范圍。例如，計(jì)算某地區(qū)氣溫?cái)?shù)據(jù)的最高和最低值差值，以描述氣候的變化情況。計(jì)算數(shù)據(jù)集中特定百分比處的數(shù)值，可用于了解數(shù)據(jù)集的分位數(shù)分布。例如，計(jì)算一組學(xué)生的分?jǐn)?shù)5在75%百分位數(shù)處的值，以確定高分學(xué)生的水平。5.4.3推論統(tǒng)計(jì)分析示例用于比較同一組觀察值在不同條件下的均值差異是否顯著。例如，通過配對t檢驗(yàn)來評估某種治療方法前后患者血壓的變化。用于比較數(shù)據(jù)集的分布或中位數(shù)等非參數(shù)統(tǒng)計(jì)量的差異是否顯著。例如，使用非參數(shù)檢驗(yàn)比較兩組樣本的中位數(shù)差異。在進(jìn)行多組比較時(shí)，采用修正方法來控制因多次比較而產(chǎn)生的錯(cuò)誤率。例如，在進(jìn)行多個(gè)廣告渠道的效果比較時(shí)，使用多重比較方法進(jìn)行比較。5.4.3.4方差分析的協(xié)變量在進(jìn)行方差分析時(shí)，考慮一個(gè)或多個(gè)協(xié)變量對因變量的影響。例如，在比較不同教育水平學(xué)生的成績時(shí)控制年齡的影響。用于建立自變量和因變量之間的非線性關(guān)系模型。例如，使用非線性回歸分析來擬合一組企業(yè)發(fā)展曲線數(shù)據(jù)，以了解企業(yè)的發(fā)展過程。用于分析時(shí)間序列數(shù)據(jù)的趨勢、季節(jié)性和周期性等特