如何零基礎(chǔ)入門(mén)數(shù)據(jù)分析.doc

如何零基礎(chǔ)入門(mén)數(shù)據(jù)分析隨著數(shù)據(jù)分析相關(guān)領(lǐng)域變得火爆，最近越來(lái)越多的被問(wèn)到：數(shù)據(jù)分析如何從頭學(xué)起？其中很多提問(wèn)者都是商科背景，之前沒(méi)有相關(guān)經(jīng)驗(yàn)和基礎(chǔ)。我在讀Buisness Analytics碩士之前是商科背景，由于個(gè)人興趣愛(ài)好，從大三開(kāi)始到現(xiàn)在即將碩士畢業(yè)，始終沒(méi)有停下自學(xué)的腳步。Coursera和EDX等平臺(tái)上大概上過(guò)20多門(mén)網(wǎng)課，Datacamp上100多門(mén)課里，刷過(guò)70多門(mén)。這篇文章是想談一談個(gè)人的數(shù)據(jù)分析學(xué)習(xí)經(jīng)驗(yàn)，希望對(duì)想要入門(mén)這個(gè)領(lǐng)域的各位有幫助。1. 基本工具學(xué)習(xí)數(shù)據(jù)分析的第一步，是了解相關(guān)工具Excelexcel至是最基礎(chǔ)的數(shù)據(jù)分析工具，至今還是非常有效的，原因是它便于使用，受眾范圍極廣，且分析結(jié)果清晰可見(jiàn)。相信大多數(shù)人都有使用excel的基本經(jīng)驗(yàn)，不需要根據(jù)教材去學(xué)習(xí)了。重點(diǎn)掌握：基本操作的快捷鍵；函數(shù)：計(jì)算函數(shù)、if類(lèi)、字符串函數(shù)、查找類(lèi)(vlookup和match)，一定要熟悉函數(shù)功能的絕對(duì)和相對(duì)引用； 數(shù)據(jù)透視表功能等。另外，excel可以導(dǎo)入一些模塊來(lái)使用，典型的包括數(shù)據(jù)分析模塊，作假設(shè)檢驗(yàn)常用；規(guī)劃求解，作線性規(guī)劃和決策等問(wèn)題非常有效。利用這些模塊可以獲得很不錯(cuò)的分析報(bào)告，簡(jiǎn)單且高效。SQL數(shù)據(jù)分析的絕對(duì)核心！大部分?jǐn)?shù)據(jù)分析工作都是對(duì)數(shù)據(jù)框進(jìn)行的，在這個(gè)過(guò)程中，需要不斷的根據(jù)已有變量生成新變量、過(guò)濾掉一些樣本還有轉(zhuǎn)換level。SQL的設(shè)計(jì)就是為了解決這些問(wèn)題。其他常用的數(shù)據(jù)操作工具，包括R語(yǔ)言的數(shù)據(jù)框、Python里的pandas，基本都是借鑒了SQL的思想，一通百通。SQL入門(mén)容易，它的語(yǔ)法極其簡(jiǎn)單，基本可以說(shuō)上過(guò)一門(mén)相關(guān)的課或看過(guò)一本相關(guān)的書(shū)就可以了解大概，但融會(huì)貫通并能夠進(jìn)行各種邏輯復(fù)雜的操作，就需要長(zhǎng)時(shí)間的錘煉了。SQL的學(xué)習(xí)建議，隨便找一本書(shū)或者網(wǎng)課就好，因?yàn)橹髁鞯恼n程基本都是一個(gè)思路：先講SELECT、WHERE、GROUP BY(配合簡(jiǎn)單的聚合函數(shù))、ORDER BY這類(lèi)單表操作，之后講JOIN進(jìn)行多表連接。除此之外，必會(huì)的基本技能還應(yīng)該包括WINDOW FUNCTION和CASE WHEN等等。學(xué)了基本的內(nèi)容之后，就是找項(xiàng)目多練，不斷提升。R/Python熟練SQL之后，對(duì)數(shù)據(jù)操作方面的內(nèi)容就得心應(yīng)手了。接下來(lái)更復(fù)雜的問(wèn)題，如搜索和建模，則需要使用編程語(yǔ)言。R vs Python目前最主流的數(shù)據(jù)分析編程語(yǔ)言就是R和Python，網(wǎng)上遍是關(guān)于這兩者的爭(zhēng)論，有興趣的可以簡(jiǎn)單看一下，但不用陷入過(guò)度的糾結(jié)。我個(gè)人的經(jīng)驗(yàn)來(lái)看，熟練兩者其中的任何一個(gè)都可以勝任數(shù)據(jù)分析中的大部分工作，不存在某一個(gè)語(yǔ)言有明顯缺陷的情況。這里不想大篇幅的比較兩者，但是想簡(jiǎn)單的說(shuō)一下兩者的側(cè)重點(diǎn)：R語(yǔ)言是為了解決統(tǒng)計(jì)問(wèn)題而設(shè)計(jì)的，因此它有一個(gè)很人性化的地方：最大程度的簡(jiǎn)化語(yǔ)言，從而讓分析人員忽略編程內(nèi)容，直面數(shù)據(jù)分析。也因?yàn)槭墙y(tǒng)計(jì)語(yǔ)言，很多基本的統(tǒng)計(jì)分析內(nèi)容在R里都是內(nèi)置函數(shù)，調(diào)用十分便捷。此外，R的報(bào)告能力很強(qiáng)，大部分模型庫(kù)在訓(xùn)練模型后都會(huì)提供很多細(xì)節(jié)，也比較容易通過(guò)rmd轉(zhuǎn)換成優(yōu)美的doc/pdf/html。Python先是一門(mén)general的編程語(yǔ)言，之后才是數(shù)據(jù)分析工具。初學(xué)python，語(yǔ)法肯定是不如R容易理解的。但使用到后來(lái)，當(dāng)越來(lái)越多的需要自己定義時(shí)，Python的優(yōu)勢(shì)就顯現(xiàn)出來(lái)了。另外，Python在數(shù)據(jù)量大時(shí)速度會(huì)比較快。至于先學(xué)哪一個(gè)，需要結(jié)合自己的規(guī)劃來(lái)看：如果最終兩個(gè)都要學(xué)，那我毫不猶豫的建議從R開(kāi)始；如果兩個(gè)選一個(gè)學(xué)的話，我目前傾向于Python，不過(guò)如果你確定自己以后只做業(yè)務(wù)方面的內(nèi)容，那R可能更好一些。另外，如果有專注的領(lǐng)域的話，那么要結(jié)合自己的領(lǐng)域來(lái)定，比如搞投資分析的可以看一看R語(yǔ)言的PortfolioAnalytics庫(kù)，大概就明白，說(shuō)R語(yǔ)言把編程簡(jiǎn)化專注結(jié)果所言非虛。R語(yǔ)言學(xué)習(xí)當(dāng)然無(wú)論入門(mén)哪種語(yǔ)言，學(xué)習(xí)路徑都很重要。R語(yǔ)言的學(xué)習(xí)建議從基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)開(kāi)始，了解R中的vector、dataframe和list等結(jié)構(gòu)，對(duì)語(yǔ)法有基本的理解。之后建議學(xué)習(xí)dplyr和ggplot2這兩個(gè)庫(kù)，兩者分別是數(shù)據(jù)操縱和可視化庫(kù)，學(xué)過(guò)之后可以做一些基本的數(shù)據(jù)項(xiàng)目了。學(xué)習(xí)平臺(tái)首推datacamp，是付費(fèi)的但絕對(duì)物有所值，沒(méi)有比邊學(xué)邊練更好的學(xué)習(xí)方式了。此外推薦一本R語(yǔ)言實(shí)戰(zhàn)(R in Action)，可以當(dāng)作學(xué)習(xí)手冊(cè)。Python學(xué)習(xí)包括我在內(nèi)的很多同學(xué)都把Coursera上的Python for everyone當(dāng)作啟蒙教材，這是一門(mén)很好的課程，但對(duì)于專注數(shù)據(jù)分析的Python使用者而言，課程沒(méi)有提供最完美的學(xué)習(xí)路徑。學(xué)習(xí)Python也應(yīng)該從數(shù)據(jù)結(jié)構(gòu)開(kāi)始，list、dictionary、tuple這些數(shù)據(jù)結(jié)構(gòu)要了解。之后建議學(xué)習(xí)numpy、pandas和matplotlib，分別是矩陣庫(kù)、數(shù)據(jù)框庫(kù)和可視化庫(kù)，基本就算是入門(mén)了。學(xué)習(xí)Python，Datacamp依然是個(gè)很不錯(cuò)的平臺(tái)，但是資源不如R豐富。首推一本叫利用python進(jìn)行數(shù)據(jù)分析(Python for data analysis)的教材，直接傳授數(shù)據(jù)分析最需要的編程技能，熟悉書(shū)中的知識(shí)基本就可以說(shuō)學(xué)會(huì)Python數(shù)據(jù)分析的基本操作了。2. 描述性分析和統(tǒng)計(jì)基礎(chǔ)了解基本工具之后，還要擁有相關(guān)的知識(shí)才能正式開(kāi)始數(shù)據(jù)分析。分析的基礎(chǔ)是統(tǒng)計(jì)知識(shí)，相信大部分人都學(xué)過(guò)概率和統(tǒng)計(jì)相關(guān)的課程，自己基礎(chǔ)是否夠扎實(shí)，可以考一考自己：均值/標(biāo)準(zhǔn)差/相關(guān)性等指標(biāo)，各種探索性分析場(chǎng)景用哪種可視化方法比較好，抽樣分布/置信區(qū)間/假設(shè)檢驗(yàn)，貝葉斯理論等。在這些相關(guān)內(nèi)容沒(méi)有徹底熟練之前，建議不要認(rèn)為自己基礎(chǔ)已經(jīng)足夠扎實(shí)了，這些內(nèi)容都是值得反復(fù)學(xué)習(xí)的。另外，可以結(jié)合數(shù)據(jù)分析工具來(lái)學(xué)習(xí)，比如用R或Python進(jìn)行雙均值假設(shè)檢驗(yàn)（當(dāng)然這里是手寫(xiě)而不是調(diào)用函數(shù)），對(duì)理解編程和理解統(tǒng)計(jì)都有幫助。這里推薦深入淺出統(tǒng)計(jì)學(xué)和深入淺出數(shù)據(jù)分析兩本書(shū)，可以作為入門(mén)，也可以作為復(fù)習(xí)，當(dāng)然如果統(tǒng)計(jì)背景比較深，沒(méi)必要看了，太基礎(chǔ)了。也推薦Coursera杜克大學(xué)的Statistics with R，前三門(mén)課質(zhì)量都比較高，需要有R的基本知識(shí)，可以邊學(xué)統(tǒng)計(jì)邊練R。描述性分析真的很重要，這里需要再?gòu)?qiáng)調(diào)一下。如果真的想做數(shù)據(jù)分析，尤其是業(yè)務(wù)導(dǎo)向的數(shù)據(jù)分析，建議一定要重視這部分。平時(shí)做項(xiàng)目也是一樣的，拿到數(shù)據(jù)后先徹底的理解數(shù)據(jù)，不要急著往模型里放。3. 機(jī)器學(xué)習(xí)終于到了機(jī)器學(xué)習(xí)，我猜對(duì)于很多數(shù)據(jù)分析學(xué)習(xí)者，機(jī)器學(xué)習(xí)是本質(zhì)目的。機(jī)器學(xué)習(xí)是有不同種學(xué)法的：對(duì)于業(yè)務(wù)數(shù)據(jù)分析者，了解各類(lèi)模型的使用場(chǎng)景、優(yōu)劣勢(shì)，基本就足夠了；對(duì)于偏數(shù)據(jù)科學(xué)和挖掘的人員來(lái)說(shuō)，要深入理解每一種模型，至少得寫(xiě)出推導(dǎo)步驟；更深入的算法導(dǎo)向人員，還要有從頭實(shí)現(xiàn)算法的能力。這篇文章的目標(biāo)讀者主要是第一類(lèi)和第二類(lèi)。學(xué)習(xí)機(jī)器學(xué)習(xí)模型可以從理解模型和實(shí)現(xiàn)兩個(gè)方向入手，目前主流的實(shí)現(xiàn)工具還是R和Python。Datacamp上有很多用R和Python進(jìn)行機(jī)器學(xué)習(xí)的課程，看了之后基本可以了解機(jī)器學(xué)習(xí)模型在做什么，平時(shí)的應(yīng)用場(chǎng)景大概怎樣。流行的模型一定要理解，像邏輯回、支持向量機(jī)(核函數(shù))、k鄰近、樸素貝葉斯、集成學(xué)習(xí)模型(隨機(jī)森林和各類(lèi)boosting)都是很常用的模型；bias-variance tradeoff、標(biāo)準(zhǔn)化、正則化、交叉檢驗(yàn)、重采樣，這些概念也要了解。如果想進(jìn)一步深入的去理解模型細(xì)節(jié)，那么微積分和線性代數(shù)是必要的先修課，否則無(wú)法繼續(xù)進(jìn)行了。當(dāng)然如果決定進(jìn)一步學(xué)習(xí)細(xì)節(jié)，需要看更多的教材，上一些相關(guān)課程。網(wǎng)上的相關(guān)課有很多，目前最火爆的肯定是Coursera Andrew Ng的機(jī)器學(xué)習(xí)。這門(mén)課也是我的入門(mén)課，確切的說(shuō)我第一次學(xué)這門(mén)課的時(shí)候，甚至還不會(huì)調(diào)包，也不太會(huì)編程，就跟著一步一步做，很艱難的完成了作業(yè)。做到神經(jīng)網(wǎng)絡(luò)那部分，當(dāng)時(shí)實(shí)在寫(xiě)不出來(lái)，去網(wǎng)上找答案看。到現(xiàn)在，這門(mén)課我應(yīng)該看過(guò)有五遍了，基本上每隔幾個(gè)月重新看一下都有新的收獲。Coursera還有另一系列的機(jī)器學(xué)習(xí)課來(lái)自華盛頓大學(xué)，質(zhì)量也很高，課程用Python(缺陷是使用的庫(kù)不是pandas和sklearn，而是授課者自己開(kāi)發(fā)的庫(kù))，很大一部分內(nèi)容是手寫(xiě)模型，很有助于打好基礎(chǔ)。此外，因?yàn)檫@是一系列課，所以覆蓋范圍要比Andrew Ng的課廣一些，回歸問(wèn)題、分類(lèi)問(wèn)題、非監(jiān)督問(wèn)題，都單獨(dú)成為一門(mén)課程。很多機(jī)器學(xué)習(xí)的教材寫(xiě)的也不錯(cuò)，比如An Introduction to Statistical Learning(ISL)和Machine Learning with R，兩者都是講模型的數(shù)學(xué)推導(dǎo)，并用R語(yǔ)言實(shí)現(xiàn)。機(jī)器學(xué)習(xí)確實(shí)是很深?yuàn)W的東西，如果時(shí)間允許建議經(jīng)典的課程和教材都看一看，有的課甚至可以多看幾遍。4. 更進(jìn)一步如果以上內(nèi)容都比較扎實(shí)的完成，可以說(shuō)能夠進(jìn)行大部分項(xiàng)目了，也對(duì)數(shù)據(jù)分析有著很成體系的理解。之后可以結(jié)合自己的需求，深入學(xué)習(xí)更多的內(nèi)容，或者結(jié)合實(shí)際項(xiàng)目練習(xí)。嘗試著找一些完整的項(xiàng)目去做，比如說(shuō)kaggle就是很不錯(cuò)的平臺(tái)，會(huì)提供數(shù)據(jù)集進(jìn)行使用。kaggle的入門(mén)賽也做的很好，簡(jiǎn)單易懂，讓新人不會(huì)太迷茫。如果有額外興趣的話，還是有很多更深?yuàn)W的東西值得學(xué)習(xí)的，比如深度學(xué)習(xí)范圍的內(nèi)容或者大數(shù)據(jù)的相關(guān)技術(shù)等。5. 結(jié)尾的話很多人在入門(mén)數(shù)據(jù)分析時(shí)候都會(huì)問(wèn)：我從零開(kāi)始，多久能學(xué)會(huì)機(jī)器學(xué)習(xí)？其實(shí)取決于你怎么理解會(huì)，如果從頭學(xué)python，到能使用sklearn調(diào)出機(jī)器學(xué)習(xí)模型，大概一個(gè)月就完成了。但深入的去理解以上內(nèi)容，確實(shí)不是一年半載能完成的。我見(jiàn)過(guò)很多人追求速成，也確實(shí)速成了。遇到項(xiàng)目基本就是把數(shù)據(jù)導(dǎo)進(jìn)來(lái)，不做特征處理，然后調(diào)出各種模型(其中不乏像神經(jīng)網(wǎng)絡(luò)和boosting這種比較高級(jí)的模型)，每個(gè)