數(shù)據(jù)分析基礎(chǔ) 課件 項(xiàng)目1 Python數(shù)據(jù)分析概述

任務(wù)1.1 認(rèn)識(shí)數(shù)據(jù)分析1知識(shí)準(zhǔn)備2任務(wù)描述1.1

認(rèn)識(shí)數(shù)據(jù)分析【任務(wù)描述】數(shù)據(jù)分析是大數(shù)據(jù)技術(shù)的重要組成部分。近年來，隨著大數(shù)據(jù)技術(shù)的發(fā)展，數(shù)據(jù)分析技能也是被認(rèn)為是數(shù)據(jù)科學(xué)領(lǐng)域中數(shù)據(jù)從業(yè)人員需要的技能之一。同時(shí)數(shù)據(jù)分析師也成為當(dāng)下最熱門的職業(yè)之一。掌握數(shù)據(jù)分析技能是一個(gè)循序漸進(jìn)的過程，明確數(shù)據(jù)分析概念、流程等相關(guān)知識(shí)是掌握數(shù)據(jù)分析的第一步。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】1掌握數(shù)據(jù)分析的概念.數(shù)據(jù)分析是指用適當(dāng)?shù)姆治龇椒▽?duì)收集來的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論，對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。隨著計(jì)算機(jī)技術(shù)的全面發(fā)展，企業(yè)生產(chǎn)、收集、存儲(chǔ)和處理數(shù)據(jù)的能力大大提高，數(shù)據(jù)量與日俱增。而在現(xiàn)實(shí)生活中，需要將這些繁多、復(fù)雜的數(shù)據(jù)通過統(tǒng)計(jì)分析進(jìn)行提煉，以此研究出數(shù)據(jù)的發(fā)展規(guī)律，進(jìn)而幫助企業(yè)管理層做出決策。數(shù)據(jù)分析是指根據(jù)分析目的，采用對(duì)比分析、分組分析、交叉分析和回歸分析等分析方法，對(duì)收集的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個(gè)特征統(tǒng)計(jì)量結(jié)果的過程。Python數(shù)據(jù)分析概述2.掌握數(shù)據(jù)分析的流程數(shù)據(jù)分析已經(jīng)逐漸演化為一種解決問題的過程，甚至是一種方法論。雖然每個(gè)公司都會(huì)根據(jù)自身需求和目標(biāo)創(chuàng)建最適合的數(shù)據(jù)分析流程，但是數(shù)據(jù)分析的核心步驟是一致的。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】式，需要依據(jù)需求分析的結(jié)果而定。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】1.數(shù)據(jù)獲取數(shù)據(jù)獲取是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取、收集數(shù)據(jù)。數(shù)據(jù)獲取主要有兩種方式：網(wǎng)絡(luò)數(shù)據(jù)與本地?cái)?shù)據(jù)。網(wǎng)絡(luò)數(shù)據(jù)是指存儲(chǔ)在互聯(lián)網(wǎng)中的各類視頻、圖片、語音和文字等信息。本地?cái)?shù)據(jù)則是指存儲(chǔ)在本地?cái)?shù)據(jù)庫中的生產(chǎn)、營銷和財(cái)務(wù)等系統(tǒng)的數(shù)據(jù)。地?cái)?shù)據(jù)按照數(shù)據(jù)時(shí)間又可以劃分為兩部分，分別是歷史數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)。歷史數(shù)據(jù)是指系統(tǒng)在運(yùn)行過程中遺存下來的數(shù)據(jù)，其數(shù)據(jù)量隨系統(tǒng)運(yùn)行時(shí)間的增加而增長；實(shí)時(shí)數(shù)據(jù)是指最近一個(gè)單位時(shí)間周期（月、周、日、小時(shí)等）內(nèi)產(chǎn)生的數(shù)據(jù)。在數(shù)據(jù)分析過程中，具體使用哪種數(shù)據(jù)獲取方Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】2.數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理是指對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)合并、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)變換，并直接用于分析建模的這一過程的總稱。其中，數(shù)據(jù)合并可以將多張互相關(guān)聯(lián)的表格合并為一張；數(shù)據(jù)清洗可以去除重復(fù)、缺失、異常、不一致的數(shù)據(jù)；數(shù)據(jù)標(biāo)準(zhǔn)化可以去除特征間的量綱差異；數(shù)據(jù)變換則可以通過離散化、啞變量處理等技術(shù)滿足后期分析與建模的數(shù)據(jù)要求。在數(shù)據(jù)分析的過程中，數(shù)據(jù)預(yù)處理的各個(gè)過程互相交叉，并沒有明確的先后順序。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】3.分析與建模分析與建模是指通過對(duì)比分析、分組分析、交叉分析、回歸分析等分析方法，以及聚類模型、分類模型、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法，發(fā)現(xiàn)數(shù)據(jù)中有價(jià)值的信息，并得出結(jié)論的過程。分析與建模的方法按照目標(biāo)不同可以分為幾大類。如果分析目標(biāo)是描述客戶行為模式的，那么可以采用描述型數(shù)據(jù)分析方法，同時(shí)還可以考慮關(guān)聯(lián)規(guī)則、序列規(guī)則和聚類模型等。如果分析目標(biāo)是量化未來一段時(shí)間內(nèi)某個(gè)事件發(fā)生概率的，那么可以使用兩大預(yù)測分析模型，即分類預(yù)測模型和回歸預(yù)測模型。在常見的分類預(yù)測模型中，目標(biāo)特征通常為二元數(shù)據(jù)，如欺詐與否、流失與否、信用好壞等。在回歸預(yù)測模型中，目標(biāo)特征通常為連續(xù)型數(shù)據(jù)，常見的有股票價(jià)格預(yù)測等。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】4.模型評(píng)價(jià)與優(yōu)化模型評(píng)價(jià)是指對(duì)于已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類別，使用不同的指標(biāo)評(píng)價(jià)模型性能優(yōu)劣的過程。常用的聚類模型評(píng)價(jià)指標(biāo)有ARI評(píng)價(jià)法（蘭德系數(shù)）、AMI評(píng)價(jià)法（互信息）、V-measure評(píng)分、FMI評(píng)價(jià)法和輪廓系數(shù)等。常用的分類模型評(píng)價(jià)指標(biāo)有準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1值（F1

Value）、ROC和AUC等。常用的回歸模型評(píng)價(jià)指標(biāo)有平均絕對(duì)誤差、均方誤差、中值絕對(duì)誤差和可解釋方差值等。模型優(yōu)化則是指模型性能在經(jīng)過模型評(píng)價(jià)后已經(jīng)達(dá)到了要求，但在實(shí)際生產(chǎn)環(huán)境應(yīng)用過程中，發(fā)現(xiàn)模型的性能并不理想，繼而對(duì)模型進(jìn)行重構(gòu)與優(yōu)化的過程。多數(shù)情況下，模型優(yōu)化和分析與建模的過程基本一致。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】3.熟悉python數(shù)據(jù)分析工具1.了解數(shù)據(jù)分析常用工具目前主流的數(shù)據(jù)分析語言主要有Python、R、MATLAB這3種。其中，Python具有豐富和強(qiáng)大的庫，同時(shí)Python常被稱為膠水語言，能夠?qū)⑹褂闷渌Z言制作的各種模塊（尤其是C/C++）輕松地連接在一起，是一門更易學(xué)、更嚴(yán)謹(jǐn)?shù)某绦蛟O(shè)計(jì)語言。R語言通常用于統(tǒng)計(jì)分析、繪圖。R是屬于GNU系統(tǒng)的一個(gè)自由、免費(fèi)、源代碼開放的軟件。MATLAB的作用是進(jìn)行矩陣運(yùn)算、繪制函數(shù)與數(shù)據(jù)、實(shí)現(xiàn)算法、創(chuàng)建用戶界面和連接其他編程語言的程序等，其主要應(yīng)用于工程計(jì)算、控制設(shè)計(jì)、信號(hào)處理與通信、圖像處理、信號(hào)檢測、金融建模設(shè)計(jì)與分析等領(lǐng)域。Python數(shù)據(jù)分析的主要包括以下5個(gè)方面的優(yōu)勢。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】（1）語法簡單精練。對(duì)于初學(xué)者來說，比起其他編程語言，Python更容易上手。（2）含有大量功能強(qiáng)大的庫。結(jié)合在編程方面的強(qiáng)大實(shí)力，可以只使用Python這一種語言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。（3）功能強(qiáng)大。從特性觀點(diǎn)來看，Python是一個(gè)混合體。豐富的工具集使Python介于傳統(tǒng)的腳本語言和系統(tǒng)語言之間。Python不僅具備所有腳本語言簡單和易用的特點(diǎn)，而且提供了編譯語言所具有的高級(jí)軟件工程工具。（4）Python是一門膠水語言。Python程序能夠以多種方式輕易地與其他語言的組件“粘接”在一起。例如，Python的C語言

API可以幫助Python程序靈活地調(diào)用C程序，這意味著用戶可以根據(jù)需要給Python程序添加功能或在其他環(huán)境系統(tǒng)中使用Python。2.了解python數(shù)據(jù)分析常用庫使用Python進(jìn)行數(shù)據(jù)分析時(shí)所用到的類庫主要有Numpy、pandas、Matplotlib、seaborn、pyecharts、scikit-learn 等。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】1）

NumpyNumpy是Numerical

Python的簡稱，是一個(gè)Python科學(xué)計(jì)算的基礎(chǔ)包。Numpy主要提供了以下內(nèi)容。（1）快速高效的多維數(shù)組對(duì)象ndarray。（2）對(duì)數(shù)組執(zhí)行元素級(jí)計(jì)算和直接對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)。（3）讀/寫硬盤上基于數(shù)組的數(shù)據(jù)集的工具。（4）線性代數(shù)運(yùn)算、傅里葉變換和隨機(jī)數(shù)生成的功能。（5）將C、C++、Fortran代碼集成到Python的工具。除了為Python提供快速的數(shù)組處理能力外，Numpy在數(shù)據(jù)分析方面還有另外一個(gè)主要作用，即作為算法之間傳遞數(shù)據(jù)的容器。對(duì)于數(shù)值型數(shù)據(jù)，使用Numpy數(shù)組存儲(chǔ)和處理數(shù)據(jù)要比使用內(nèi)置的Python數(shù)據(jù)結(jié)構(gòu)高效得多。此外，由低級(jí)語言（如C和Fortran）編寫的庫可以直接操作Numpy數(shù)組中數(shù)據(jù)，無須進(jìn)行任何數(shù)據(jù)復(fù)制工作。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】2）

pandaspandas是Python的數(shù)據(jù)分析核心庫，最初被作為金融數(shù)據(jù)分析工具而開發(fā)出來。pandas為時(shí)間序列分析提供了很好的支持，它提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。Python之所以成為強(qiáng)大而高效的數(shù)據(jù)分析環(huán)境與它息息相關(guān)。pandas兼具Numpy高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫（如SQL）靈活的數(shù)據(jù)處理功能。它提供了復(fù)雜精細(xì)的索引功能，以便完成重塑、切片與切塊、聚合和選取數(shù)據(jù)子集等操作。pandas將是本書中使用的主要工具。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】3）

MatplotlibMatplotlib是較為流行的用于繪制數(shù)據(jù)圖表的Python庫，是Python的2D繪圖庫。Matplotlib的操作比較容易，用戶只需用幾行代碼即可生成直方圖、功率譜圖、條形圖、錯(cuò)誤圖和散點(diǎn)圖等圖形。Matplotlib提供了pylab的模塊，其中包括了Numpy和pyplot中許多常用的函數(shù)，方便用戶快速進(jìn)行計(jì)算和繪圖。Matplotlib與IPython的結(jié)合，提供了一種非常好用的交互式數(shù)據(jù)繪圖環(huán)境。Matplotlib繪制的圖表

也是交互式的，讀者可以利用繪圖窗口中工具欄中的相應(yīng)工具放大圖表中的某個(gè)區(qū)域，或?qū)φ麄€(gè)圖表進(jìn)行平移瀏覽。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】4）seabornseaborn是基于Matplotlib的圖形可視化Python庫，它提供了一種高度交互式界面，便于用戶能夠做出各種有吸引力的統(tǒng)計(jì)圖表。seaborn是在Matplotlib的基礎(chǔ)上進(jìn)行了更高級(jí)的API封裝，使得作圖更加容易。seaborn不需要了解大量的底層代碼，即可使圖形變得精致。在大多數(shù)情況下，使用seaborn能做出很具有吸引力的圖，而使用Matplotlib能制作具有更多特色的圖。因此，可將seaborn視為Matplotlib的補(bǔ)充，而不是替代物。同時(shí)，seaborn能高度兼容Numpy與pandas數(shù)據(jù)結(jié)構(gòu)以及scipy與statsmodels等統(tǒng)計(jì)模式，可以在很大程度上幫助用戶實(shí)現(xiàn)數(shù)據(jù)可視化。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】5）pyechartsEcharts是一個(gè)由百度

開源的數(shù)據(jù)可視化工具，憑借著良好的交互性，精巧的圖表設(shè)計(jì)，得到了眾多開發(fā)者的認(rèn)可。而Python是一門富有表達(dá)力的語言，很適合用于數(shù)據(jù)處理。pyecharts是Python與Echarts的結(jié)合。pyecharts可以展示動(dòng)態(tài)交互圖，對(duì)于展示數(shù)據(jù)更方便，當(dāng)鼠標(biāo)懸停在圖上時(shí)，即可顯示數(shù)值、標(biāo)簽等。pyecharts支持主流Notebook環(huán)境，如Jupyter

Notebook、JupyterLab等；可輕松集成至Flask、Django等主流Web框架；高度靈活的配置項(xiàng)，可輕松搭配出精美的圖表。pyecharts囊括了30多種常見圖表，如Bar（柱形圖/條形圖）、Boxplot（箱形圖）、Funnel（漏斗圖）、Gauge（儀表盤）、Graph（關(guān)系圖）、HeatMap（熱力圖）、Radar（雷達(dá)圖）、Sankey（?；鶊D）、Scatter（散點(diǎn)圖）、WordCloud（詞云圖）等。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】6）scikit-learnscikit-learn是一個(gè)簡單有效的數(shù)據(jù)挖掘和數(shù)據(jù)分析工具，可以供用戶在各種環(huán)境下重復(fù)使用。scikit-learn建立在Numpy、SciPy和Matplotlib基礎(chǔ)之上，對(duì)一些常用的算法方法進(jìn)行了封裝。目前，scikit-learn的基本模塊主要有數(shù)據(jù)預(yù)處理、模型選擇、分類、聚類、數(shù)據(jù)降維和回歸6個(gè)。在數(shù)據(jù)量不大的情況下，scikit-learn可以解決大部分問題。對(duì)算法不精通的用戶在執(zhí)行建模任務(wù)時(shí)，并不需要自行編寫所有的算法，只需要簡單地調(diào)用scikit-learn庫里的模塊即可。任務(wù)1.2

Anaconda環(huán)境搭建1知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施31.2

Anaconda環(huán)境搭建【任務(wù)描述】Python擁有Numpy、SciPy、pandas、Matplotlib、seaborn、pyecharts和scikit-learn等功能齊全、接口統(tǒng)一的庫，能為數(shù)據(jù)分析工作提供極大的便利。不過庫的管理和版本問題，使得數(shù)據(jù)分析人員并不能夠?qū)Ｗ⒂跀?shù)據(jù)分析，而是將大量的時(shí)間花費(fèi)在與環(huán)境配置相關(guān)的問題上?；谏鲜鲈颍珹naconda發(fā)行版應(yīng)運(yùn)而生。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】Anaconda發(fā)行版Python預(yù)裝了150個(gè)以上的常用Packages

，囊括了數(shù)據(jù)分析常用的Numpy、SciPy、Matplotlib、seaborn、pyecharts、pandas、scikit-learn庫，使得數(shù)據(jù)分析人員能夠更加順暢、專注地使用Python解決數(shù)據(jù)分析相關(guān)問題。推薦數(shù)據(jù)分析初學(xué)者（尤其是Windows系統(tǒng)用戶）安裝此Python發(fā)行版。只需要到Anaconda官方網(wǎng)站下載適合自身的安裝包即可。Python的Anaconda發(fā)行版主要有以下幾個(gè)特點(diǎn)。（1）包含了眾多流行的科學(xué)、數(shù)學(xué)、工程和數(shù)據(jù)分析的Python庫。（2）完全開源和免費(fèi)。（3）額外的加速和優(yōu)化是收費(fèi)的，但對(duì)于學(xué)術(shù)用途，可以申請(qǐng)免費(fèi)的License。（4）全平臺(tái)支持Linux、Windows、Mac；支持Python

2.6、2.7、3.4、3.5、3.6和3.8等，可自由切換。Python數(shù)據(jù)分析概述Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】1在Wondows系統(tǒng)中安裝Ancaonda發(fā)行版i進(jìn)入Anaconda官方網(wǎng)站，下載Windows系統(tǒng)中的Anaconda安裝包，選擇Python

3.8版本

。安裝Anaconda的具體步驟如下。圖1-1Anaconda的歡迎界面（1）雙擊已下載好的Anaconda安裝包，并單擊“Next”按鈕進(jìn)入下一步操作，如圖1-1所示。Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】（2）單擊“I

Agree”按鈕，同意上述協(xié)議并進(jìn)入下一步操作，如圖1-2所示。圖1-3Anaconda的選擇安裝用戶界面圖1-2Anaconda用戶許可界面（3）選擇圖中“All

Users(requiresadminprivileges)”單選按鈕，單擊“Next”進(jìn)入下一步操作，如圖1-3所示。（4）單擊“Browse”按鈕，選擇在指定的路徑安裝Anaconda，選擇完成后單擊“Next”按鈕，進(jìn)入下一步操作，如圖1-4所示。Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】圖1-5修改配置路徑和python版本圖1-4選擇安裝位置（5）兩個(gè)復(fù)選框分別代表了允許將Anaconda添加到系統(tǒng)路徑環(huán)境變量中、Anaconda使用的Python版本為3.8。全部勾選后，單擊“Install”按鈕，等待安裝結(jié)束，如圖1-5所示。Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】（6）單擊“Finish”按鈕，完成Anaconda安裝,

如圖1-6所示。圖1-6Anaconda安裝界面Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】圖1-7進(jìn)入Anaconda所在文件路徑。（2）輸入命令“bash

Anaconda3-2020.11-Linux-x86_64.sh”，進(jìn)行安裝

，如圖1-8所示。圖1-8Linux系統(tǒng)下安裝Anaconda的界面2在Linux系統(tǒng)中安裝Anaconda（1）打開一個(gè)用戶終端Terminal。使用cd命令將當(dāng)前路徑切換至系統(tǒng)

下Anaconda安裝包所在的文件路徑，如圖1-7所示。Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】（3）按下鍵盤中的“Enter”鍵后，出現(xiàn)軟件協(xié)議相關(guān)內(nèi)容，在閱讀時(shí)連續(xù)按“Enter”鍵讀取全文，在協(xié)議末尾會(huì)讓讀者確認(rèn)是否同意以上協(xié)議，輸入“yes”，并按下鍵盤中的“Enter”鍵確認(rèn)同意，如圖1-9所示。圖1-9Anaconda安裝選擇界面Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】（4）同意協(xié)議后，默認(rèn)安裝路徑在用戶home目錄下（/home/python/anaconda3），安裝路徑設(shè)置完成后，軟件即可開始安裝,如圖1-10所示。圖1-10設(shè)置安裝Anaconda的路徑Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】（5）在安裝過程快結(jié)束時(shí)，將提示讀者是否將Anaconda的安裝路徑加入到系統(tǒng)當(dāng)前用戶的環(huán)境變量中，輸入“yes”，并按下鍵盤中的“Enter”鍵確認(rèn)同意,如圖1-11所示。圖1-11配置

Anaconda環(huán)境變量。Python數(shù)據(jù)分析概述【任務(wù)實(shí)施】（6）軟件安裝完成后使用Linux系統(tǒng)的文本編輯器VIM或gedit查看當(dāng)前用戶的環(huán)境變量。輸入命令“vi/home/python/.bashrc”來查看文檔，出現(xiàn)界面，表示環(huán)境變量配置完成，說明Anaconda已經(jīng)完成安裝。如果未配置完成，那么需要在.bashrc文檔末尾添加Anaconda安裝目錄的環(huán)境變量,

如圖1-12所示。圖1-12修改

Anaconda配置文件基于Jupyter

Notebook創(chuàng)建餐飲訂單數(shù)據(jù)分析項(xiàng)目任務(wù)1.31知識(shí)準(zhǔn)備2任務(wù)描述任務(wù)實(shí)施3項(xiàng)目小結(jié)4技能訓(xùn)練51.3

基于Jupyter

Notebook創(chuàng)建餐飲訂單數(shù)據(jù)分析項(xiàng)目【任務(wù)描述】jupyter

Notebook（此前被稱為IPython

Notebook）是一個(gè)交互式筆記本，支持運(yùn)行40多種編程語言，其本質(zhì)上是一個(gè)支持實(shí)時(shí)代碼、數(shù)學(xué)方程、可視化和Markdown的Web應(yīng)用程序。對(duì)于數(shù)據(jù)分析，Jupyter

Notebook最大的優(yōu)點(diǎn)是可以重現(xiàn)整個(gè)分析過程，并將說明文字、代碼、圖表、公式和結(jié)論都整合在一個(gè)文檔中。Python數(shù)據(jù)分析概述【知識(shí)準(zhǔn)備】在安裝完成Python、配置好環(huán)境變量并安裝了Jupyter

Notebook后，在Windows系統(tǒng)下的命令行或在Lin