社會調(diào)查數(shù)據(jù)分析方法

社會調(diào)查數(shù)據(jù)分析方法社會調(diào)查數(shù)據(jù)分析方法一、社會調(diào)查數(shù)據(jù)的特點(diǎn)通常情況下,社會調(diào)查數(shù)據(jù)特點(diǎn)如下。(1)相關(guān)性對于一個(gè)樣本個(gè)體而言，它具有本身的多個(gè)特征，這些特征之間就具有一定的相關(guān)性。對于多個(gè)樣本而言，個(gè)體與個(gè)體的特征之間具有相關(guān)性。如果樣本隨時(shí)間而變化，那么該樣本在不同時(shí)刻的特征之間又具有相關(guān)性。因此，由于上述多個(gè)原因使得社會調(diào)查數(shù)據(jù)具有了復(fù)雜的相關(guān)性，傳統(tǒng)的統(tǒng)計(jì)學(xué)調(diào)查難以解決這樣的問題。(2)離散性因?yàn)樯鐣{(diào)查數(shù)據(jù)是通過自填式問卷、網(wǎng)絡(luò)調(diào)查數(shù)據(jù)庫等方法得到，所以社會調(diào)查數(shù)據(jù)一般以離散變量為主，且這些數(shù)據(jù)之間只有標(biāo)示作用，并沒有嚴(yán)格的邏輯關(guān)系。(3)模糊性社會調(diào)查數(shù)據(jù)當(dāng)中不可避免的會接觸到各種表達(dá)方式和概念，因此,它具有模糊性。因?yàn)橛勺蕴钍絾柧砘蚪Y(jié)構(gòu)式訪問的方法得到的社會調(diào)查數(shù)據(jù)具有以上特點(diǎn)，所以在實(shí)際應(yīng)用中基于統(tǒng)計(jì)學(xué)的處理方法只能籠統(tǒng)的顯示數(shù)據(jù)的部分特性,如頻數(shù)、離散程度等。對于數(shù)據(jù)之間的關(guān)系只能分析出維數(shù)極少的大致的關(guān)系。而且利用軟件進(jìn)行數(shù)據(jù)挖掘時(shí)，因?yàn)楝F(xiàn)有的軟件中的數(shù)據(jù)挖掘算法對于數(shù)據(jù)類型和格式要求較高,所以能應(yīng)用到的數(shù)據(jù)挖掘算法很少。就算是數(shù)據(jù)要求較低的關(guān)聯(lián)分析,其結(jié)果也存在大量的冗余。因此,我們需要建立一個(gè)合適的社會調(diào)查數(shù)據(jù)的數(shù)學(xué)模型來完善原先的方法并使跟多的數(shù)據(jù)挖掘方法可以運(yùn)用到其中，使得結(jié)果更準(zhǔn)確。二、社會調(diào)查數(shù)據(jù)的建模研究中我們發(fā)現(xiàn),三維矩陣可適用于社會調(diào)查數(shù)據(jù)的建模。1三維矩陣的定義三維矩陣的定義：由n個(gè)pXq階的矩陣組成的nXpXq階的矩陣A稱為三維矩陣,又稱立體陣。Ak,i,j表示三維矩陣A的第k層，第i行,第j列上的元素。其中n,p,q分別表示三維矩陣的高度,厚度和寬度。2三維矩陣模型的建立調(diào)查問卷的題目一般有三種類型:單選題、多選題和排序題。這三類題目都可以表示成向量的形式,其中每一道單選題、多選題可以表示成一個(gè)向量,排序題可以表示成多個(gè)向量組成的矩陣。對于單選題和多選題,可以按選項(xiàng)的順序可以表示成一個(gè)向量,其中選中的用“1”表示,未選中的項(xiàng)用“0”表示。對于排序題，可以表示成一個(gè)nXn的方陣，，其中n表示該排序題的選項(xiàng)數(shù)，。這樣，每一題就可以定義為空間中的一個(gè)維度，從而所有的題目就可以構(gòu)成一個(gè)N維空間。每份調(diào)查問卷的信息用一個(gè)MXN矩陣表示(M為題目的最大選項(xiàng)數(shù))，其在每一維上的選擇稱之為一個(gè)元素,這樣每份問卷的信息就包括了N個(gè)元素。以第1,2,3題數(shù)據(jù)為例,其中第1題為單選題選擇“B”，用向量(0,1,0..0)T表示為一個(gè)元素,第2題為多選題選擇“ACE”，用向量(1,0,1,0,1,0..0)T表示為一個(gè)元素，第3題為排序題順序?yàn)镃BADEFIHG,用矩陣表示，每一個(gè)列向量是一個(gè)元素,如圖1所示。那么，假設(shè)有一問卷信息用一個(gè)大小為MXN的'矩陣表示。K份的問卷信息就可以用K個(gè)大小為MXN的矩陣表示。將這K個(gè)矩陣疊加，形成一個(gè)三維矩陣。這個(gè)三維矩陣就是我們建立的三維矩陣數(shù)學(xué)模型,如圖2所示。在圖2中我們看到,該三維矩陣數(shù)學(xué)模型有三個(gè)坐標(biāo)軸，它們分別是題目、人數(shù)、選項(xiàng)。題目軸以每一道題為一個(gè)單位；人數(shù)軸以每一份問卷為一個(gè)單位；選項(xiàng)軸的刻度A,B,C,D,E,F等題目選項(xiàng),其個(gè)數(shù)為該調(diào)查問卷中選項(xiàng)最多的題目的選項(xiàng)個(gè)數(shù)。在此基礎(chǔ)之上,這樣的三維矩陣具有以下性質(zhì)。在題目軸中選取對應(yīng)的題目，將三維矩陣面向豎切得到截面1，截面2表示每一道題所有人選擇的信息。在人數(shù)軸中選取對應(yīng)的人，將三維矩陣橫切得到橫截面1，橫截面1表示對應(yīng)的人選擇所有題目的信息。在得到三維矩陣后，可對它進(jìn)行像素化處理，置1的元素用黑點(diǎn)代替,置0元素的則空白，在得到像素化三維矩陣后我們可以將三維矩陣沿著人數(shù)維度上向下投影，這樣就可以得到一個(gè)具有濃黑不一的點(diǎn)的平面。通過這些點(diǎn)的濃度，可以知道每一選項(xiàng)選擇的人數(shù)。接下來我們可用灰度級表示點(diǎn)的濃度,篩選出濃度大于一定程度的點(diǎn)，在此基礎(chǔ)上進(jìn)行后續(xù)算法處理。上述三維矩陣數(shù)學(xué)模型具有數(shù)學(xué)三維矩陣的所有性質(zhì)，可依據(jù)調(diào)查問卷的需求進(jìn)行轉(zhuǎn)置，加權(quán)、相乘、篩選等數(shù)學(xué)處理,另外在數(shù)學(xué)處理的基礎(chǔ)上，采用超圖理論可以大大豐富了調(diào)查問卷的處理方法。三、基于超圖算法的調(diào)查問卷分析技術(shù)超圖是離散數(shù)學(xué)中重要的內(nèi)容,是對圖論的推廣。超圖是有限集合的子系統(tǒng),它是一個(gè)由頂點(diǎn)的集合V和超邊集合E組成的二元對，超圖的一條邊可以有多個(gè)頂點(diǎn)的特性，這與一般的圖有很大不同。超圖分為有向超圖與無向超圖兩類,在無向超圖的每條超邊上添加方向后得到的有向二元對就是有向超圖。超圖在許多領(lǐng)域有廣泛的應(yīng)用。大家可以利用無向超圖表示每一道題的選擇情況，先將這每一題的每一個(gè)選項(xiàng)設(shè)成一個(gè)節(jié)點(diǎn),然后將三維矩陣從上向下投影，如果某一題的若干個(gè)選項(xiàng)同時(shí)被一個(gè)人選擇，就用一條超邊包圍這些節(jié)點(diǎn),那么選這些選項(xiàng)的人越多，投影得到的超邊就越濃。這樣就用超圖表示了問卷中每道題的信息,可以進(jìn)行聚類處理。利用有向超圖,可以將關(guān)聯(lián)規(guī)則表示成有向超圖的形式，在得到了關(guān)聯(lián)規(guī)則后，設(shè)實(shí)際中得到的關(guān)聯(lián)規(guī)則的形式為：前項(xiàng)和后項(xiàng)都是由多個(gè)項(xiàng)組成的集合。該文定義一條關(guān)聯(lián)規(guī)則由一條有向超邊表示，有向超邊的頭節(jié)點(diǎn)表示關(guān)聯(lián)規(guī)則的前項(xiàng),有向超邊的尾節(jié)點(diǎn)表示關(guān)聯(lián)規(guī)則的后項(xiàng)。每條有向超邊的頭節(jié)點(diǎn)和尾節(jié)點(diǎn)均可以為多個(gè)，如此便成功表示了復(fù)合規(guī)則，從而可以使用相關(guān)算法進(jìn)行冗余規(guī)則檢測。通過基于有向超圖的冗余規(guī)則檢測就可以將關(guān)聯(lián)規(guī)則之間存在著的大量冗余檢測出，減少挖掘資源的浪費(fèi)，從而增加了挖掘結(jié)果的有效性。傳統(tǒng)的聚類方法都對原始數(shù)據(jù)計(jì)算它們之間的距離來得到相似度，然后通過相似度進(jìn)行聚類，這樣的方法對于低維數(shù)據(jù)有良好的效果，但是對于高維數(shù)據(jù)卻不能產(chǎn)生很好的聚類效果，因?yàn)楦呔S數(shù)據(jù)的分布有其特殊性。通過超圖模型的分割實(shí)現(xiàn)對高維數(shù)據(jù)的聚類卻能產(chǎn)生較好的效果。它先將原始數(shù)據(jù)之間關(guān)系轉(zhuǎn)化成超圖，數(shù)據(jù)點(diǎn)表示成超圖的節(jié)點(diǎn)，數(shù)據(jù)點(diǎn)間的關(guān)系用超邊的權(quán)重來表示。然后對超圖進(jìn)行分割，除去相應(yīng)的超邊使得權(quán)重大的超邊中的點(diǎn)聚于一個(gè)類中，同時(shí)使被除去的超邊權(quán)重之和最小。這樣就通過對超圖的分割實(shí)現(xiàn)了對數(shù)據(jù)的聚類。具體的算法流程如下。首先，將數(shù)據(jù)點(diǎn)之間的關(guān)系轉(zhuǎn)化為超圖，數(shù)據(jù)點(diǎn)表示為超圖節(jié)點(diǎn)。如果某幾個(gè)數(shù)據(jù)點(diǎn)的支持度大于一定閾值，則它們能構(gòu)成一個(gè)頻繁集，就將它們用一條超邊連接，超邊的權(quán)重就是這一頻繁集的置信度，重復(fù)同樣的方法就可以得超邊和權(quán)重。然后，在基礎(chǔ)此上，通過超圖分割實(shí)現(xiàn)數(shù)據(jù)的聚類。若設(shè)將數(shù)據(jù)分成k類，則就是對超圖的k類分割，不斷除去相應(yīng)的超邊，直到將數(shù)據(jù)分為k類，且每個(gè)分割中數(shù)據(jù)都密切相關(guān)為止，同時(shí)保持每次被除去的超邊權(quán)重和最小，最終得到的分割就是聚類的結(jié)果。首先，將數(shù)據(jù)點(diǎn)之間的關(guān)系轉(zhuǎn)化為超圖，數(shù)據(jù)點(diǎn)表示為超圖節(jié)點(diǎn)。如果某幾個(gè)數(shù)據(jù)點(diǎn)的支持度大于一定閾值，則它們能構(gòu)成一個(gè)頻繁集，就將它們用一條超邊連接，超邊的權(quán)重就是這一頻繁集的置信度，重復(fù)同樣的方法就可以得超邊和權(quán)重。然后，在基礎(chǔ)此上，通過超圖分割實(shí)現(xiàn)數(shù)據(jù)的聚類。若設(shè)將數(shù)據(jù)分成k類，則就是對超圖的k類分割，不斷除去相應(yīng)的超邊，直到將數(shù)據(jù)分為k類，且每個(gè)分割中數(shù)據(jù)都密切相關(guān)為止，同時(shí)保持每次被除去的超邊權(quán)重和最小，最終得到的分割就是聚類的結(jié)果。如圖3所示是基于超圖算法的選題型調(diào)查問卷的分析技術(shù)的流程圖,主要包括4個(gè)主要部分,一是用向量表示調(diào)查問卷結(jié)果,二是將向量表示的調(diào)查問卷轉(zhuǎn)化為三維矩陣數(shù)學(xué)模型表示調(diào)查問卷結(jié)果,三是使用超圖算法進(jìn)行優(yōu)化,四是根據(jù)要求顯示調(diào)查問卷結(jié)果。四、結(jié)語該文針對社會調(diào)查數(shù)據(jù)處理與分析中存在的問題，建立了基于三維矩陣的數(shù)學(xué)模型,將單選題和多選題表示成向量，將排序題表