Python數(shù)據(jù)分析與可視化-課件

數(shù)據(jù)分析理論與Python實戰(zhàn)第一章數(shù)據(jù)分析是什么目錄海量數(shù)據(jù)背后蘊藏的知識數(shù)據(jù)分析與數(shù)據(jù)挖掘的關(guān)系機器學習與數(shù)據(jù)分析的關(guān)系數(shù)據(jù)分析的基本步驟Python和數(shù)據(jù)分析海量數(shù)據(jù)背后蘊藏的知識數(shù)據(jù)蘊含了大量知識規(guī)律可用于解釋當前發(fā)生的事情預測未來的情況對象數(shù)據(jù)觀察現(xiàn)象歸納總結(jié)規(guī)律海量數(shù)據(jù)背后蘊藏的知識數(shù)據(jù)分析的意義各行各業(yè)每天都在產(chǎn)生和收集大量數(shù)據(jù)2012年的微博日發(fā)量：4億條Twitter的信息量每年翻番增長需要從海量數(shù)據(jù)中獲得有價值的信息輔助決策了解客戶偏好，設(shè)計受歡迎的產(chǎn)品制定合適價格，確保利潤同時保證市場了解市場需求，調(diào)整生產(chǎn)計劃數(shù)據(jù)分析與數(shù)據(jù)挖掘的關(guān)系統(tǒng)計分析的含義在已定假設(shè)、先驗約束上，對數(shù)據(jù)進行整理、篩選和加工，并得到信息的過程數(shù)據(jù)挖掘的含義在數(shù)據(jù)分析得到信息的基礎(chǔ)上進一步獲得認知，轉(zhuǎn)為有效的預測和決策數(shù)據(jù)分析=統(tǒng)計分析+數(shù)據(jù)挖掘統(tǒng)計分析：數(shù)據(jù)預處理階段數(shù)據(jù)挖掘：知識發(fā)現(xiàn)階段數(shù)據(jù)信息統(tǒng)計分析數(shù)據(jù)挖掘知識機器學習與數(shù)據(jù)分析的關(guān)系機器學習的含義利用經(jīng)驗來改善計算機系統(tǒng)自身的性能數(shù)據(jù)分析的含義識別出巨量數(shù)據(jù)中有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，即從海量數(shù)據(jù)中找到有用的知識兩者之間的關(guān)系“經(jīng)驗”在計算機系統(tǒng)中主要以數(shù)據(jù)形式存在，因此機器學習需要對數(shù)據(jù)進行分析數(shù)據(jù)分析過程主要利用機器學習界提供的技術(shù)來分析海量數(shù)據(jù)數(shù)據(jù)分析的基本步驟數(shù)據(jù)收集數(shù)據(jù)預處理數(shù)據(jù)分析與知識發(fā)現(xiàn)數(shù)據(jù)后處理數(shù)據(jù)分析的基本步驟數(shù)據(jù)收集大數(shù)據(jù)時代的數(shù)據(jù)收集過程，得到的數(shù)據(jù)特點是大量、冗余、體量大但是信息量少如何從這樣的數(shù)據(jù)中提取出信息的過程是目前數(shù)據(jù)分析的重點和難點數(shù)據(jù)分析的基本步驟數(shù)據(jù)預處理將數(shù)據(jù)轉(zhuǎn)化為信息主要步驟包括對數(shù)據(jù)進行初步的統(tǒng)計方面的分析，得到數(shù)據(jù)的基本檔案從數(shù)據(jù)的一致性、完整性、準確性以及及時性四個方面進行數(shù)據(jù)質(zhì)量分析根據(jù)發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量的問題對數(shù)據(jù)進行清洗，包括缺失值處理、噪聲處理等對其進行特征抽取為后續(xù)的數(shù)據(jù)分析工作做準備數(shù)據(jù)分析的基本步驟數(shù)據(jù)分析與知識發(fā)現(xiàn)將預處理后的數(shù)據(jù)進行進一步的分析，完成信息到認知的過程方法分類有監(jiān)督學習：分類分析、關(guān)聯(lián)分析、回歸分析無監(jiān)督學習：聚類分析、異常檢測數(shù)據(jù)后處理主要包括提供數(shù)據(jù)給決策支撐系統(tǒng)、進行數(shù)據(jù)可視化等方面Python和數(shù)據(jù)分析專用于實驗性數(shù)據(jù)分析或者領(lǐng)域特定語言包括R語言MatlabSasSpssPython和數(shù)據(jù)分析Python語言相比上述語言的優(yōu)勢在于Python是面向生產(chǎn)的大部分數(shù)據(jù)分析過程需要首先進行實驗性研究和原型構(gòu)建，再移植到生產(chǎn)系統(tǒng)中Python適用于原型構(gòu)建，且能夠直接將分析程序運用到生產(chǎn)系統(tǒng)中上述語言無法直接用于生產(chǎn)，需要使用C/C++等語言對算法再次進行實現(xiàn)Python和數(shù)據(jù)分析Python語言相比上述語言的優(yōu)勢在于擁有強大的第三方庫支持Python的強大功能依賴于第三方庫實現(xiàn)常用數(shù)據(jù)分析庫包括Numpy、Scipy、Pandas、Scikit-learn、Matplotlib等Python的膠