項(xiàng)目七 挖掘市場調(diào)查資料

項(xiàng)目七

挖掘市場調(diào)查資料學(xué)習(xí)目標(biāo)√了解訓(xùn)練數(shù)據(jù)分析的思維√熟悉數(shù)據(jù)挖掘的流程√掌握掌握各種數(shù)據(jù)挖掘方法的應(yīng)用√掌握分析解讀數(shù)據(jù)挖掘的結(jié)果任務(wù)7.1文本挖掘任務(wù)7.2K-Means聚類挖掘任務(wù)7.3分類問題的數(shù)據(jù)挖掘任務(wù)7.4回歸問題的數(shù)據(jù)挖掘C

ONTENTS文本挖掘/

017.1.1文本挖掘的概念5購物平臺上關(guān)于產(chǎn)品的評論影視劇的彈幕和評論知乎或微博上時事熱點(diǎn)的討論被調(diào)查者觀點(diǎn)和看法的文本文本數(shù)據(jù)挖掘?qū)ο笪谋就诰蛞步形谋拘畔⒌闹R發(fā)現(xiàn)，即是從大量的文本數(shù)據(jù)中，提取有價(jià)值和意義的關(guān)鍵信息。（“精煉”文字）7.1.1文本挖掘的概念6TF-IDF：用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)，用以評估一個字詞對于一個文件集或一個語料庫中的其中一份文件的重要程度的統(tǒng)計(jì)方法。TF：詞頻；IDF：是逆文本頻率指數(shù)。一個字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時會隨著它在語料庫中出現(xiàn)的頻率成反比下降。7.1.2文本挖掘的應(yīng)用7文本挖掘作為市場調(diào)研、客戶體驗(yàn)管理的一種補(bǔ)充手段，可以幫助企業(yè)完成諸如“消費(fèi)者情緒識別”、“售前支持”、“購買信號”、“發(fā)掘意見領(lǐng)袖”等信息的挖掘。網(wǎng)購平臺對商品的服務(wù)和評價(jià)企業(yè)網(wǎng)絡(luò)輿情監(jiān)測與分析調(diào)查問卷開放式問題的分析（3）做一做根據(jù)調(diào)查的美團(tuán)“團(tuán)購美食評論.xlsx”數(shù)據(jù)，分析調(diào)查的消費(fèi)者對團(tuán)購美食的整體評價(jià)和情感態(tài)度。課堂活動8K-Means聚類挖掘/

027.2.1聚類分析概念10根據(jù)研究對象的某些屬性把研究對象進(jìn)行分組：組內(nèi)對象相似，組間對象不同。事先沒有確定的類數(shù)或類：沒有因變量（沒有事先給定組別）（“無監(jiān)督”法）。7.2.2K-Means聚類分析原理1115234首先指定類別數(shù)k給出初始聚類中心計(jì)算每一個樣本到各個類中心的距離，將每個樣本分配到離其最近的類中心代表的類別中，形成k個類別。重新計(jì)算更新k個類別的類中心重復(fù)3和4兩個步驟，直至k個類中心不變或者達(dá)到規(guī)定的更新迭代次數(shù)停止。7.2.3聚類分析的應(yīng)用12幫助企業(yè)完成客戶細(xì)分實(shí)驗(yàn)市場選擇銷售片區(qū)確定抽樣方案設(shè)計(jì)市場機(jī)會研究做一做利用K-Means聚類挖掘方法對“某電信行業(yè)客戶數(shù)據(jù).sav”，完成通信客戶類群劃分。課堂活動13分類問題的數(shù)據(jù)挖掘/

037.3.1Logistic回歸模型原理151.決策樹模型決策樹算法是一種很好的歸納分類算法,既可以處理類別型輸出變量也可以處理連續(xù)型輸出變量，是一種根據(jù)訓(xùn)練數(shù)據(jù)集。決策樹算法通過一系列的測試問題輸出分類結(jié)果進(jìn)行決策的過程。根結(jié)點(diǎn)條件判斷……葉結(jié)點(diǎn)（決策）條件判斷……葉結(jié)點(diǎn)（決策）7.3.1Logistic回歸模型原理162.隨機(jī)森林模型隨機(jī)森林是專門為決策樹而設(shè)計(jì)的集成學(xué)習(xí)算法。集成學(xué)習(xí)就是利用多個算法模型（基分類器）進(jìn)行組合建模的一種技術(shù)。基于數(shù)據(jù)建立多個基分類器，然后對基分類器輸出的結(jié)果，利用投票（分類型）或是取平均值（連續(xù)型）進(jìn)行集成輸出，從而獲得更加穩(wěn)健的輸出結(jié)果。圖7-1集成學(xué)習(xí)中的隨機(jī)森林決策樹1決策樹2決策樹3集成策略輸出結(jié)果7.3.3人工神經(jīng)網(wǎng)絡(luò)模型原理17人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種模擬人腦思維的計(jì)算機(jī)建模方式。人工神經(jīng)網(wǎng)絡(luò)通過類似于生物神經(jīng)元的處理單元，以及處理單元之間的有機(jī)連接，解決現(xiàn)實(shí)世界的模式識別、聯(lián)想記憶、優(yōu)化計(jì)算等問題。圖7-2人工神經(jīng)網(wǎng)絡(luò)單個處理單元7.3.4分類模型的應(yīng)用18幫助企業(yè)完成消費(fèi)者行為研究客戶風(fēng)險(xiǎn)監(jiān)測和識別市場機(jī)會判斷決策等信息的挖掘做一做基于“銀行信貸客戶違約數(shù)據(jù).sav”，進(jìn)行客戶信用風(fēng)險(xiǎn)評估，挖掘影響客戶違約的重要風(fēng)險(xiǎn)因素。課堂活動19回歸問題的數(shù)據(jù)挖掘/

047.4.1線性回歸原理線性回歸分析是指通過提供變量間數(shù)學(xué)表達(dá)式來定量描述變量間相關(guān)關(guān)系的一種統(tǒng)計(jì)分析方法。自變量是影響變量，也稱為解釋變量、預(yù)測變量，是可以觀測和控制的。因變量是被影響變量，也稱為被解釋變量，是隨機(jī)變量。線性回歸模型的一般表達(dá)形式如下：217.4.2CART決策樹及神經(jīng)網(wǎng)絡(luò)原理兩種算法主要應(yīng)用于市場調(diào)查研究中涉及分析的輸出特征是連續(xù)型變量的問題。對于輸入的自變量是類別型數(shù)據(jù)還是連續(xù)型數(shù)據(jù)則沒有要求。227.4.3回歸模型的應(yīng)用回歸算法模型應(yīng)用于解決市場調(diào)查中研究的輸出變量為連續(xù)型的問題。本質(zhì)上回歸算法模型與分類算法模型解決的市場調(diào)查分析問題都是一致的，只是一個解決影響變量為類別型，一個解決影響變量類別為連續(xù)型。23分析調(diào)查項(xiàng)目之間的關(guān)聯(lián)性和因果關(guān)系量化研究影響