Python數(shù)據(jù)分析與可視化-課件

數(shù)據(jù)分析理論與Python實(shí)戰(zhàn)第一章數(shù)據(jù)分析是什么目錄海量數(shù)據(jù)背后蘊(yùn)藏的知識(shí)數(shù)據(jù)分析與數(shù)據(jù)挖掘的關(guān)系機(jī)器學(xué)習(xí)與數(shù)據(jù)分析的關(guān)系數(shù)據(jù)分析的基本步驟Python和數(shù)據(jù)分析海量數(shù)據(jù)背后蘊(yùn)藏的知識(shí)數(shù)據(jù)蘊(yùn)含了大量知識(shí)規(guī)律可用于解釋當(dāng)前發(fā)生的事情預(yù)測未來的情況對(duì)象數(shù)據(jù)觀察現(xiàn)象歸納總結(jié)規(guī)律海量數(shù)據(jù)背后蘊(yùn)藏的知識(shí)數(shù)據(jù)分析的意義各行各業(yè)每天都在產(chǎn)生和收集大量數(shù)據(jù)2012年的微博日發(fā)量：4億條Twitter的信息量每年翻番增長需要從海量數(shù)據(jù)中獲得有價(jià)值的信息輔助決策了解客戶偏好，設(shè)計(jì)受歡迎的產(chǎn)品制定合適價(jià)格，確保利潤同時(shí)保證市場了解市場需求，調(diào)整生產(chǎn)計(jì)劃數(shù)據(jù)分析與數(shù)據(jù)挖掘的關(guān)系統(tǒng)計(jì)分析的含義在已定假設(shè)、先驗(yàn)約束上，對(duì)數(shù)據(jù)進(jìn)行整理、篩選和加工，并得到信息的過程數(shù)據(jù)挖掘的含義在數(shù)據(jù)分析得到信息的基礎(chǔ)上進(jìn)一步獲得認(rèn)知，轉(zhuǎn)為有效的預(yù)測和決策數(shù)據(jù)分析=統(tǒng)計(jì)分析+數(shù)據(jù)挖掘統(tǒng)計(jì)分析：數(shù)據(jù)預(yù)處理階段數(shù)據(jù)挖掘：知識(shí)發(fā)現(xiàn)階段數(shù)據(jù)信息統(tǒng)計(jì)分析數(shù)據(jù)挖掘知識(shí)機(jī)器學(xué)習(xí)與數(shù)據(jù)分析的關(guān)系機(jī)器學(xué)習(xí)的含義利用經(jīng)驗(yàn)來改善計(jì)算機(jī)系統(tǒng)自身的性能數(shù)據(jù)分析的含義識(shí)別出巨量數(shù)據(jù)中有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，即從海量數(shù)據(jù)中找到有用的知識(shí)兩者之間的關(guān)系“經(jīng)驗(yàn)”在計(jì)算機(jī)系統(tǒng)中主要以數(shù)據(jù)形式存在，因此機(jī)器學(xué)習(xí)需要對(duì)數(shù)據(jù)進(jìn)行分析數(shù)據(jù)分析過程主要利用機(jī)器學(xué)習(xí)界提供的技術(shù)來分析海量數(shù)據(jù)數(shù)據(jù)分析的基本步驟數(shù)據(jù)收集數(shù)據(jù)預(yù)處理數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)數(shù)據(jù)后處理數(shù)據(jù)分析的基本步驟數(shù)據(jù)收集大數(shù)據(jù)時(shí)代的數(shù)據(jù)收集過程，得到的數(shù)據(jù)特點(diǎn)是大量、冗余、體量大但是信息量少如何從這樣的數(shù)據(jù)中提取出信息的過程是目前數(shù)據(jù)分析的重點(diǎn)和難點(diǎn)數(shù)據(jù)分析的基本步驟數(shù)據(jù)預(yù)處理將數(shù)據(jù)轉(zhuǎn)化為信息主要步驟包括對(duì)數(shù)據(jù)進(jìn)行初步的統(tǒng)計(jì)方面的分析，得到數(shù)據(jù)的基本檔案從數(shù)據(jù)的一致性、完整性、準(zhǔn)確性以及及時(shí)性四個(gè)方面進(jìn)行數(shù)據(jù)質(zhì)量分析根據(jù)發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量的問題對(duì)數(shù)據(jù)進(jìn)行清洗，包括缺失值處理、噪聲處理等對(duì)其進(jìn)行特征抽取為后續(xù)的數(shù)據(jù)分析工作做準(zhǔn)備數(shù)據(jù)分析的基本步驟數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)將預(yù)處理后的數(shù)據(jù)進(jìn)行進(jìn)一步的分析，完成信息到認(rèn)知的過程方法分類有監(jiān)督學(xué)習(xí)：分類分析、關(guān)聯(lián)分析、回歸分析無監(jiān)督學(xué)習(xí)：聚類分析、異常檢測數(shù)據(jù)后處理主要包括提供數(shù)據(jù)給決策支撐系統(tǒng)、進(jìn)行數(shù)據(jù)可視化等方面Python和數(shù)據(jù)分析專用于實(shí)驗(yàn)性數(shù)據(jù)分析或者領(lǐng)域特定語言包括R語言MatlabSasSpssPython和數(shù)據(jù)分析Python語言相比上述語言的優(yōu)勢在于Python是面向生產(chǎn)的大部分?jǐn)?shù)據(jù)分析過程需要首先進(jìn)行實(shí)驗(yàn)性研究和原型構(gòu)建，再移植到生產(chǎn)系統(tǒng)中Python適用于原型構(gòu)建，且能夠直接將分析程序運(yùn)用到生產(chǎn)系統(tǒng)中上述語言無法直接用于生產(chǎn)，需要使用C/C++等語言對(duì)算法再次進(jìn)行實(shí)現(xiàn)Python和數(shù)據(jù)分析Python語言相比上述語言的優(yōu)勢在于擁有強(qiáng)大的第三方庫支持Python的強(qiáng)大功能依賴于第三方庫實(shí)現(xiàn)常用數(shù)據(jù)分析庫包括Numpy、Scipy、Pandas、Scikit-learn、Matplotlib等Python的膠