財(cái)務(wù)大數(shù)據(jù)分析 課件 項(xiàng)目一 Python 數(shù)據(jù)分析概述

項(xiàng)目一

Python數(shù)據(jù)分析概述《財(cái)務(wù)大數(shù)據(jù)分析》課程JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院財(cái)務(wù)大數(shù)據(jù)分析課程團(tuán)隊(duì)

目錄任務(wù)一認(rèn)識(shí)數(shù)據(jù)分析任務(wù)二Python數(shù)據(jù)分析的工具?JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院1．掌握廣義的數(shù)據(jù)分析和狹義的數(shù)據(jù)分析的概念；

2．掌握典型的數(shù)據(jù)分析流；

3.了解七大類(lèi)常見(jiàn)的數(shù)據(jù)分析應(yīng)用場(chǎng)景；

4.了解數(shù)據(jù)分析常用的Python、R和MATLAB工具；

5.了解使用Python工具進(jìn)行數(shù)據(jù)分析的優(yōu)勢(shì)；

6.了解7個(gè)Python數(shù)據(jù)分析常用類(lèi)庫(kù)。學(xué)習(xí)任務(wù)JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院任務(wù)一

認(rèn)識(shí)數(shù)據(jù)分析?JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院數(shù)據(jù)分析的概念一大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類(lèi)型和價(jià)值密度低四大特征。大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合具有海量的數(shù)據(jù)規(guī)?？焖俚臄?shù)據(jù)流轉(zhuǎn)多樣的數(shù)據(jù)類(lèi)型價(jià)值密度低四大特征數(shù)據(jù)分析的概念一數(shù)據(jù)分析是指用適當(dāng)?shù)姆治龇椒▽?duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論，對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。隨著計(jì)算機(jī)技術(shù)的全面發(fā)展，企業(yè)生產(chǎn)、收集、存儲(chǔ)和處理數(shù)據(jù)的能力大大提高，數(shù)據(jù)量與日俱增。而在現(xiàn)實(shí)生活中，需要把這些業(yè)務(wù)部門(mén)繁多、復(fù)雜的數(shù)據(jù)通過(guò)統(tǒng)計(jì)分析進(jìn)行提煉，以此研究出數(shù)據(jù)的發(fā)展規(guī)律，進(jìn)而幫助企業(yè)管理層做出決策。一數(shù)據(jù)分析的概念廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，生產(chǎn)部門(mén)采用對(duì)比分析、分組分析、交叉分析和回歸分析等分析方法，對(duì)收集的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個(gè)特征統(tǒng)計(jì)量結(jié)果的過(guò)程。數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，通過(guò)應(yīng)用聚類(lèi)模型、分類(lèi)模型、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價(jià)值的過(guò)程。一數(shù)據(jù)分析的概念數(shù)據(jù)分析已經(jīng)逐漸演化為一種解決問(wèn)題的過(guò)程，甚至是一種方法論。雖然每個(gè)公司都會(huì)根據(jù)自身需求和目標(biāo)創(chuàng)建最適合的數(shù)據(jù)分析流程，但數(shù)據(jù)分析的核心步驟是一致的。數(shù)據(jù)分析的流程二需求分析一詞來(lái)源于產(chǎn)品設(shè)計(jì)，主要是指從用戶(hù)提出的需求出發(fā)，挖掘用戶(hù)內(nèi)心的真實(shí)意圖，并轉(zhuǎn)化為產(chǎn)品需求的過(guò)程。產(chǎn)品設(shè)計(jì)的第一步就是需求分析，也是最關(guān)鍵的一步，因?yàn)樾枨蠓治鰶Q定了產(chǎn)品方向。錯(cuò)誤的需求分析可能導(dǎo)致在產(chǎn)品實(shí)現(xiàn)過(guò)程中走入錯(cuò)誤方向，甚至對(duì)企業(yè)造成損失。數(shù)據(jù)分析中的需求分析是數(shù)據(jù)分析環(huán)節(jié)的第一步，也是非常重要的一步，決定了后續(xù)的分析方向和方法。數(shù)據(jù)分析中的需求分析的主要內(nèi)容是，根據(jù)業(yè)務(wù)、生產(chǎn)和財(cái)務(wù)等部門(mén)的需要，結(jié)合現(xiàn)有的數(shù)據(jù)情況，提出數(shù)據(jù)分析需求的整體分析方向、分析內(nèi)容，最終和需求方達(dá)成一致意見(jiàn)。（1）需求分析（2）數(shù)據(jù)獲取網(wǎng)絡(luò)數(shù)據(jù)本地?cái)?shù)據(jù)二數(shù)據(jù)分析的流程數(shù)據(jù)獲取是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取、收集數(shù)據(jù)。數(shù)據(jù)獲取主要有兩種方式：網(wǎng)絡(luò)數(shù)據(jù)是指存儲(chǔ)在互聯(lián)網(wǎng)中的各類(lèi)視頻、圖片、語(yǔ)音和文字等信息；本地?cái)?shù)據(jù)則是指存儲(chǔ)在本地?cái)?shù)據(jù)庫(kù)中的生產(chǎn)、營(yíng)銷(xiāo)和財(cái)務(wù)等系統(tǒng)的數(shù)據(jù)。本地?cái)?shù)據(jù)按照數(shù)據(jù)時(shí)間又可以劃分為兩部分：歷史數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)。歷史數(shù)據(jù)是指系統(tǒng)在運(yùn)行過(guò)程中遺存下來(lái)的數(shù)據(jù)，其數(shù)據(jù)量隨系統(tǒng)運(yùn)行時(shí)間的增加而增長(zhǎng)；實(shí)時(shí)數(shù)據(jù)是指最近一個(gè)單位時(shí)間周期(月、周、日、小時(shí)等)內(nèi)產(chǎn)生的數(shù)據(jù)。（3）數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理是指對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)合并、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)變換，并直接用于分析建模的這一過(guò)程的總稱(chēng)。其中，數(shù)據(jù)合并可以將多張互相關(guān)聯(lián)的表格合并為一張；數(shù)據(jù)清洗可以去掉重復(fù)、缺失、異常、不一致的數(shù)據(jù)；數(shù)據(jù)標(biāo)準(zhǔn)化可以去除特征間的量綱差異；數(shù)據(jù)變換則可以通過(guò)離散化、啞變量處理等技術(shù)滿(mǎn)足后期分析與建模的數(shù)據(jù)要求。在數(shù)據(jù)分析的過(guò)程中，數(shù)據(jù)預(yù)處理的各個(gè)過(guò)程互相交叉，并沒(méi)有明確的先后順序。二數(shù)據(jù)分析的流程（4）分析與建模分析與建模是指通過(guò)對(duì)比分析、分組分析、交叉分析、回歸分析等分析方法，以及聚類(lèi)模型、分類(lèi)模型、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法，發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息，并得出結(jié)論的過(guò)程。二數(shù)據(jù)分析的流程二數(shù)據(jù)分析的流程分析與建模的方法按照目標(biāo)不同可以分為幾大類(lèi)。如果分析目標(biāo)是描述客戶(hù)行為模式的，可采用描述型數(shù)據(jù)分析方法，同時(shí)還可以考慮關(guān)聯(lián)規(guī)則、序列規(guī)則和聚類(lèi)模型等。如果分析目標(biāo)是量化未來(lái)一段時(shí)間內(nèi)某個(gè)事件發(fā)生概率的，則可以使用兩大預(yù)測(cè)分析模型，即分類(lèi)預(yù)測(cè)模型和回歸預(yù)測(cè)模型。在常見(jiàn)的分類(lèi)預(yù)測(cè)模型中，目標(biāo)特征通常都是二元數(shù)據(jù)，例如欺詐與否、流失與否、信用好壞等。在回歸預(yù)測(cè)模型中，目標(biāo)特征通常都是連續(xù)想要據(jù)，常見(jiàn)的有股票價(jià)格預(yù)測(cè)和違約損失率預(yù)測(cè)等。（5）模型評(píng)價(jià)與優(yōu)化模型評(píng)價(jià)是指對(duì)于已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類(lèi)別，使用不同的指標(biāo)評(píng)價(jià)其性能優(yōu)劣的過(guò)程。常用的聚類(lèi)模型評(píng)價(jià)指標(biāo)有ARI評(píng)價(jià)法(蘭德系數(shù))、AMI評(píng)價(jià)法(互信息)、V-measure評(píng)分、FMI評(píng)價(jià)法和輪廓系數(shù)等。常用的分類(lèi)模型評(píng)價(jià)指標(biāo)有準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1值(FlValue)、ROC和AUC等。常用的回歸模型評(píng)價(jià)指標(biāo)有平均絕對(duì)誤差、均方誤差、中值絕對(duì)誤差和可解釋方差值等。二數(shù)據(jù)分析的流程模型優(yōu)化則是指模型性能在經(jīng)過(guò)模型評(píng)價(jià)后已經(jīng)達(dá)到了要求，但在實(shí)際生產(chǎn)環(huán)境應(yīng)用過(guò)程中，發(fā)現(xiàn)模型的性能并不理想，繼而對(duì)模型進(jìn)行重構(gòu)與優(yōu)化的過(guò)程。在多數(shù)情況下。模型優(yōu)化和分析與建模的過(guò)程基本一致。二數(shù)據(jù)分析的流程（6）部署部署是指將數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實(shí)際生產(chǎn)系統(tǒng)的過(guò)程。根據(jù)需求的不同，部署階段可以是一份包含了現(xiàn)狀具體整改措施的數(shù)據(jù)分析報(bào)告，也可以是將模型部署在整個(gè)生產(chǎn)系統(tǒng)的解決方案。在多數(shù)項(xiàng)目中，數(shù)據(jù)分析師提供的是一份數(shù)據(jù)分析報(bào)告或者一套解決方案，實(shí)際執(zhí)行與部署的是需求方。二數(shù)據(jù)分析的流程THANKSFORWATCHING感謝欣賞

JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院項(xiàng)目一

Python數(shù)據(jù)分析概述《財(cái)務(wù)大數(shù)據(jù)分析》課程JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院財(cái)務(wù)大數(shù)據(jù)分析課程團(tuán)隊(duì)

目錄任務(wù)一認(rèn)識(shí)數(shù)據(jù)分析任務(wù)二Python數(shù)據(jù)分析的工具?JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院1．掌握廣義的數(shù)據(jù)分析和狹義的數(shù)據(jù)分析的概念；

2．掌握典型的數(shù)據(jù)分析流；

3.了解七大類(lèi)常見(jiàn)的數(shù)據(jù)分析應(yīng)用場(chǎng)景；

4.了解數(shù)據(jù)分析常用的Python、R和MATLAB工具；

5.了解使用Python工具進(jìn)行數(shù)據(jù)分析的優(yōu)勢(shì)；

6.了解7個(gè)Python數(shù)據(jù)分析常用類(lèi)庫(kù)。學(xué)習(xí)任務(wù)JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院任務(wù)二

Python數(shù)據(jù)分析的工具?JIANGSUVOCATIONALCOLLEGEOFINFORMATIONTECHNOLOGY江蘇信息職業(yè)技術(shù)學(xué)院了解數(shù)據(jù)分析常用工具目前主流的數(shù)據(jù)分析語(yǔ)言有Python、R、MATLAB這3種。其中，Python具有豐富和強(qiáng)大的庫(kù)。它常被稱(chēng)為膠水語(yǔ)言，能夠把用其他語(yǔ)言制作的各種模塊(尤其是C/C++)很輕松地連接在一起，是一門(mén)更易學(xué)、更嚴(yán)謹(jǐn)?shù)某绦蛟O(shè)計(jì)語(yǔ)言。R語(yǔ)言則是用于統(tǒng)計(jì)分析、繪圖的語(yǔ)言和操作環(huán)境。它屬于GNU系統(tǒng)的一個(gè)自由、免費(fèi)、源代碼開(kāi)放的軟件。MATLAB的作用是進(jìn)行矩陣運(yùn)算、繪制函數(shù)與數(shù)據(jù)、實(shí)現(xiàn)算法、創(chuàng)建用戶(hù)界面和連接其他編程語(yǔ)言的程序等，主要應(yīng)用于工程計(jì)算、控制設(shè)計(jì)、信號(hào)處理與通信、圖像處理、信號(hào)檢測(cè)、金融建模設(shè)計(jì)等領(lǐng)域。一（1）語(yǔ)法簡(jiǎn)單精練。對(duì)于初學(xué)者來(lái)說(shuō)，比起其他編程語(yǔ)言，Python更容易上手。（2）有很多功能強(qiáng)大的庫(kù)。結(jié)合在編程方面的強(qiáng)大實(shí)力，可以只使用Python這一種語(yǔ)言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。（3）功能強(qiáng)大。從特性觀點(diǎn)來(lái)看，Python是一個(gè)混合體。豐富的工具集使它介于傳統(tǒng)的腳本語(yǔ)言和系統(tǒng)語(yǔ)言之間。Python不僅具備所有腳本語(yǔ)言簡(jiǎn)單和易用的特點(diǎn)，還提供了編譯語(yǔ)言所具有的高級(jí)軟件工程工具。Python數(shù)據(jù)分析的優(yōu)勢(shì)二Python是一門(mén)應(yīng)用十分廣泛的計(jì)算機(jī)語(yǔ)言，在數(shù)據(jù)科學(xué)領(lǐng)域具有無(wú)可比擬的優(yōu)勢(shì)。Python正在逐漸成為數(shù)據(jù)科學(xué)領(lǐng)域的主流語(yǔ)言。Python數(shù)據(jù)分析主要包含以下5個(gè)方面優(yōu)勢(shì)。（4）不僅適用于研究和原型構(gòu)建，同時(shí)也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具，會(huì)給企業(yè)帶來(lái)非常顯著的組織效益，并降低企業(yè)的運(yùn)營(yíng)成本。資產(chǎn)負(fù)債數(shù)據(jù)結(jié)構(gòu)分析二（5）Python是一門(mén)膠水語(yǔ)言。Python程序能夠以多種方式輕易地與其他語(yǔ)言的組件“粘接”在一起。例如，Python的C語(yǔ)言API可以幫助Python程序靈活地調(diào)用C程序。這意味著用戶(hù)可以根據(jù)需要給Python程序添加功能。IPython是Python科學(xué)計(jì)算標(biāo)準(zhǔn)工具集的組成部分，它將其他所有相關(guān)的工具聯(lián)系在一起，為交互式和探索式計(jì)算提供了一個(gè)強(qiáng)健而高效的環(huán)境。同時(shí)，它是一個(gè)增強(qiáng)的PythonShell，目的是提高編寫(xiě)、測(cè)試、調(diào)試Python代碼的速度。IPython主要用于交互式數(shù)據(jù)并行處理，是分布式計(jì)算的基礎(chǔ)架構(gòu)。另外，IPython還提供了一個(gè)類(lèi)似于Mathematica的HTML筆記本、一個(gè)基于Qt框架的GUI控制臺(tái)，具有繪圖、多行編輯以及語(yǔ)法高亮顯示等功能。Python數(shù)據(jù)分析常用類(lèi)庫(kù)三1、IPYthon（1）快速高效的多維數(shù)組對(duì)象ndarray。三Python數(shù)據(jù)分析常用類(lèi)庫(kù)2、NumPyNumPy是NumericalPython的簡(jiǎn)稱(chēng)，是一個(gè)Python科學(xué)計(jì)算的基礎(chǔ)包。NumPy主要提供了以下內(nèi)容。(2)對(duì)數(shù)組執(zhí)行元素級(jí)計(jì)算以及直接對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)。(3)讀/寫(xiě)硬盤(pán)上基于數(shù)組的數(shù)據(jù)集的工具。(4)線(xiàn)性代數(shù)運(yùn)算、傅里葉變換及隨機(jī)數(shù)生成的功能。(5)將C、C++、Fortran代碼集成到Python的工具。除了為Python提供快速的數(shù)組處理能力外，NumPy在數(shù)據(jù)分析方面還有另外一個(gè)主要作用，即作為算法之間傳遞數(shù)據(jù)的容器。對(duì)于數(shù)值型數(shù)據(jù)，使用NumPy數(shù)組存儲(chǔ)和處理數(shù)據(jù)要比使用內(nèi)置的Python數(shù)據(jù)結(jié)構(gòu)高效得多。此外，由低級(jí)語(yǔ)言(比如C和Fortran)編寫(xiě)的可以直接操作NumPy數(shù)組中數(shù)據(jù)，無(wú)須進(jìn)行任何數(shù)據(jù)復(fù)制工作。三Python數(shù)據(jù)分析常用類(lèi)庫(kù)3、SciPySciPy基于Python的開(kāi)源代碼，是一組專(zhuān)門(mén)解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問(wèn)題域的模塊的集合，特別是與NumPy、Matplotlib、IPYthon、和pandas這些核心包一起使用時(shí)。Scipy主要包含了8個(gè)模塊，不同的模塊有不同的應(yīng)用，如用于插值，積分，優(yōu)化，處理圖像和特殊函數(shù)等。三Python數(shù)據(jù)分析常用類(lèi)庫(kù)4、pandaspandas是Python的數(shù)據(jù)分析核心庫(kù)，最初被作為金融數(shù)據(jù)分析工具而開(kāi)發(fā)出來(lái)。它提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。Python之所以成為強(qiáng)大而高效的數(shù)據(jù)分析環(huán)境與它息息相關(guān)。pandas兼具NumPy高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫(kù)(如SQL)靈活的數(shù)據(jù)處理功能。它提供了復(fù)雜精細(xì)的索引功能，以便便捷地完成重塑、切片和切塊聚合及選取數(shù)據(jù)子集等操作。pandas將是本書(shū)中使用的主要工具。三Python數(shù)據(jù)分析常用類(lèi)庫(kù)Matplotlib是最流行的用于繪制數(shù)據(jù)圖表的Python庫(kù)，是Python的2D繪圖庫(kù)。Matplotlib的操作比較容易，用戶(hù)只需用幾行代碼即可生成直方圖、功率譜圖、條形圖、錯(cuò)誤圖和散點(diǎn)圖等圖形。Matplotlib提供了pylab的模塊，其中包括了NumPy和pyplot許多常用的數(shù)，方便用戶(hù)快速進(jìn)行計(jì)算和繪圖。Matplotlib與IPython結(jié)合得很好，提供了一種非常好用的交互式數(shù)據(jù)繪圖環(huán)境。5、Matplotlib6、scikit-learnscikit-learn是一個(gè)簡(jiǎn)單有效的數(shù)據(jù)挖掘和數(shù)據(jù)分析工具，可以供用戶(hù)在各種環(huán)境下重復(fù)使用。而且scikit-learn建立在NumPy、SciPy和Matplotlib基礎(chǔ)之上，對(duì)一些常用的算法方法進(jìn)行了封裝。目前，scikit-learn的基本模塊主要有數(shù)據(jù)預(yù)處理、模型選擇、分類(lèi)、聚類(lèi)、數(shù)據(jù)降維和回歸6個(gè)。在數(shù)據(jù)量不大的情況下，scikit-learn可以解決大部分問(wèn)題。三Python數(shù)據(jù)分析常用類(lèi)庫(kù)Spyder(前身是Pydee)是一個(gè)強(qiáng)大的交互式Python語(yǔ)言開(kāi)發(fā)環(huán)境，提供高級(jí)的代碼編輯、交互測(cè)試和調(diào)試等特性，支持Windows、Linux和OSX系統(tǒng)。Spyder可用于將調(diào)試控制臺(tái)直接集成到圖形用戶(hù)界面的布局中。Spyder的最大優(yōu)點(diǎn)就是模仿MATLAB的“工作空間”，可以很方便地觀察和修改數(shù)組的值。當(dāng)多個(gè)窗格出現(xiàn)在一個(gè)區(qū)域時(shí)，將使用標(biāo)簽頁(yè)的形式顯示。界面包含了“Editor”“Objectinspector”“Variableexplorer”“Fileexplorer”“PythonConsole“Historylog”和“IPythonConsole”等區(qū)域，方便用戶(hù)靈活運(yùn)用Python。7、Spyder(一)第一步首先在windows系統(tǒng)中安裝Python以下為在Windows平臺(tái)上安裝Python的步驟:(1)第一步雙擊“python-3.9.7-amd64”四安裝Python相關(guān)運(yùn)用軟件(2)第二步單擊“InstallNow”，復(fù)選框中的內(nèi)容都勾選（3）第三步點(diǎn)擊“關(guān)閉”(二）第二步在windows系統(tǒng)中安裝Anconda進(jìn)入Anaconda官方網(wǎng)站，下載Windows系統(tǒng)中的Anaconda安裝包，選擇PYthon3.0以上版本。安裝Anaconda的具體步驟如下。（1）單擊“Next”按鈕進(jìn)入下一步四安裝Python相關(guān)運(yùn)用軟件（2）單擊“IAgree”按鈕，同意上述協(xié)議并進(jìn)入下一步（3）選擇“AllUsers(requiresadminprivileges)”