如何進(jìn)行定量分析

如何進(jìn)行定量分析??本文我們正式來(lái)研究如何進(jìn)行定量分析。一、什么是定量分析與定性分析相同的是，定量分析一詞同樣出自化學(xué)領(lǐng)域，在xx百科中是這樣定義的：“本指分析化學(xué)中的一個(gè)分支，用以測(cè)定物質(zhì)中各種成分的含量。引申指在社會(huì)科學(xué)領(lǐng)域中從量的方面分析事物，運(yùn)用數(shù)學(xué)方法研究、考察事物之間的相互聯(lián)系和作用的分析方法。”從中可以發(fā)現(xiàn)，定量分析最大的特點(diǎn)就是從量的角度出發(fā)分析問(wèn)題，也就是上文所提到的先對(duì)問(wèn)題進(jìn)行量化以降低問(wèn)題的不確定性，然后再對(duì)所得的數(shù)據(jù)使用數(shù)學(xué)、統(tǒng)計(jì)學(xué)的方法進(jìn)行研究，目標(biāo)是去尋找事物間的相互聯(lián)系，例如：因果關(guān)系、相關(guān)性等。二、定量分析與定性分析的異同點(diǎn)1.目標(biāo)不同：雖然分析的最終目的都是解決問(wèn)題，但定性分析和定量分析的目標(biāo)卻是不同的。定量分析的目標(biāo)是去尋找事物之間的相互聯(lián)系，而定性分析的目標(biāo)是去揭示事物的行為、態(tài)度、動(dòng)機(jī)。2.方式/方法不同：定性分析可以選擇的方式非常靈活，有許多可以使用的方法，例如上文提到過(guò)的：直接觀察法、訪談法、文件分析法等。而定量分析的方式則比較單一，主要就是依托于數(shù)學(xué)和統(tǒng)計(jì)學(xué)的方法。3.難點(diǎn)不同;相比定性分析，定量分析工作量大，人力、物力和時(shí)間成本都會(huì)比較高。在數(shù)據(jù)收集階段，將問(wèn)題量化就是一個(gè)系統(tǒng)且復(fù)雜的思考過(guò)程，其中往往還需要各種人力、物力的支持。到了分析階段，又要面對(duì)數(shù)據(jù)量大，存儲(chǔ)成本高，運(yùn)算效率等一系列的問(wèn)題（這些問(wèn)題我們會(huì)在下文中詳細(xì)討論），而定性分析，執(zhí)行的難點(diǎn)則在于執(zhí)行過(guò)程中的非系統(tǒng)誤差比較大，會(huì)出現(xiàn)各種各樣的意外情況，且主觀成分過(guò)多，也會(huì)帶來(lái)系統(tǒng)性的偏差。4.核心不同定性分析依賴于個(gè)人（或群體）的經(jīng)驗(yàn)、能力和水平，其標(biāo)準(zhǔn)常常因人而異，會(huì)帶有主觀任意性。而定量則依賴于量化系統(tǒng)，分析階段所得出的所有結(jié)論、規(guī)律都是基于量化系統(tǒng)所提供的數(shù)據(jù)，數(shù)據(jù)的質(zhì)量、緯度很大程度上決定了此次定量分析的結(jié)果是否有效。?三、定量分析步驟定量分析主要分為兩大階段：量化階段和分析階段，量化階段的內(nèi)容上文已經(jīng)討論過(guò)在這里就不再贅述，我們直接來(lái)研究分析階段。當(dāng)通過(guò)量化階段完成了預(yù)期的數(shù)據(jù)收集后，就必須面對(duì)這些數(shù)據(jù)如何預(yù)處理的問(wèn)題，這個(gè)過(guò)程需要耗費(fèi)大量的時(shí)間，當(dāng)然這也是大數(shù)據(jù)時(shí)代所面臨的主要課題。在技術(shù)短時(shí)間內(nèi)無(wú)法突破的情況下，可以通過(guò)一個(gè)系統(tǒng)的步驟來(lái)提高效率。制定一個(gè)分析計(jì)劃在我個(gè)人的工作習(xí)慣中，我一直傾向于在分析開(kāi)始之前先做一個(gè)時(shí)間計(jì)劃，預(yù)估接下來(lái)會(huì)在什么時(shí)間點(diǎn)進(jìn)行哪些步驟，每個(gè)步驟預(yù)計(jì)花費(fèi)多少時(shí)間。在實(shí)際的項(xiàng)目中，我們往往不是像kaggle競(jìng)賽那樣直接拿到一個(gè)完整的數(shù)據(jù)集或者等所有的數(shù)據(jù)收集結(jié)束之后才開(kāi)始分析工作，更多情況需要我們?cè)跀?shù)據(jù)收集過(guò)程中就逐步開(kāi)始分析，在這樣的情況下管控好各類(lèi)數(shù)據(jù)到位的時(shí)間節(jié)點(diǎn)和分析工作的時(shí)間節(jié)點(diǎn)，是避免重復(fù)勞動(dòng)的有效手段（當(dāng)然也并非必須）。制定一個(gè)分析框架分析框架有很多，時(shí)下比較普遍的框架是這樣的：?值得一提的是，第2、3、4步將會(huì)是一個(gè)循環(huán)往復(fù)的過(guò)程，模型所得的結(jié)果達(dá)不到預(yù)期時(shí)，就必須回到第3步去調(diào)整或者更換模型，預(yù)先處理好的數(shù)據(jù)此時(shí)可能就需要重新準(zhǔn)備。實(shí)際項(xiàng)目中，這幾個(gè)步驟重復(fù)多次是非常常見(jiàn)的事情。了解數(shù)據(jù)了解數(shù)據(jù)又稱(chēng)為數(shù)據(jù)探索，這個(gè)過(guò)程在分析中非常重要，了解數(shù)據(jù)集，對(duì)于接下來(lái)構(gòu)造什么樣的特征、選取什么樣的模型都起到至關(guān)重要的作用。當(dāng)然這個(gè)探索過(guò)程也不僅僅只是簡(jiǎn)單的弄清楚數(shù)據(jù)集里每一個(gè)字段所代表的意思，還需要考察數(shù)據(jù)的分布、缺失值等各項(xiàng)指標(biāo)，才算是對(duì)數(shù)據(jù)集有了一個(gè)初步的認(rèn)識(shí)。我們舉一個(gè)Kaggle競(jìng)賽中的一個(gè)例子，這是一個(gè)信用違約數(shù)據(jù)集查看各個(gè)字段的數(shù)量、均值、最值等指標(biāo)圖片來(lái)與公眾號(hào)用直方圖來(lái)查看年齡字段的分布情況（當(dāng)然能做的探索還有很多，在這里只是進(jìn)行舉例）選擇技術(shù)在這里技術(shù)選擇指的就是選擇什么樣的模型和算法?？蛇x的模型和算法不勝枚舉，在這里就不做贅述，但也需要注意一些問(wèn)題：1.明確目標(biāo)例如：我們需要進(jìn)行預(yù)測(cè)時(shí)，可以選擇回歸；需要分類(lèi)時(shí)，可以選擇樸素貝葉斯、決策樹(shù)；2.貼合數(shù)據(jù)的特點(diǎn)根據(jù)特征工程的所構(gòu)建出的字段的類(lèi)型和特點(diǎn)來(lái)選擇比較貼合的算法，也可以減小很多不必要的麻煩。3.根據(jù)經(jīng)驗(yàn)如果個(gè)人（或團(tuán)隊(duì)）有一定的類(lèi)似項(xiàng)目經(jīng)驗(yàn)，根據(jù)此前的項(xiàng)目經(jīng)驗(yàn)來(lái)進(jìn)行選擇也可以有效的避開(kāi)很多坑。驗(yàn)證和分享結(jié)果驗(yàn)證的方式同樣有很多，時(shí)下比較流行的是對(duì)原有數(shù)據(jù)集進(jìn)行切分，將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，拆分的方法有簡(jiǎn)單的三七開(kāi)，也有比較復(fù)雜的交叉驗(yàn)證法等。使用