第4章 信息分析工具

信息分析概論

（第二版）第4章信息分析工具信息分析概論（第二版）第4章信息分析工具信息分析工具的作用4.1信息分析工具的發(fā)展4.2信息分析工具的類型4.3信息分析工具的應(yīng)用4.4信息分析工具的作用第一部分信息分析概論（第二版）信息分析概論（第二版）信息分析工具的重要地位提高效率增強(qiáng)效度提升信度加大深度多維可視化擴(kuò)大廣度信息分析工具的發(fā)展第二部分信息分析概論（第二版）信息分析概論（第二版）信息分析工具的發(fā)展階段著名管理學(xué)家托馬斯·達(dá)文波特于2013年在《哈佛商業(yè)評(píng)論》上發(fā)表了一篇題為《第三代分析工具》（Analytics3.0）的論文。該論文將信息分析的方法、技術(shù)和工具—分析工具的應(yīng)用時(shí)代分為三個(gè)，即商務(wù)智能時(shí)代、大數(shù)據(jù)時(shí)代和數(shù)據(jù)富足供給時(shí)代。信息分析工具的發(fā)展階段信息分析概論（第二版）信息分析工具的發(fā)展階段——Analytics1.0Analytics1.0是商務(wù)智能時(shí)代（1950～2000）的主要信息分析技術(shù)、方法和工具。Analytics1.0中常用的工具軟件為數(shù)據(jù)倉(cāng)庫(kù)及商務(wù)智能類軟件，一般由信息分析師或商務(wù)智能分析師使用。其主要特點(diǎn)是：（1）分析活動(dòng)滯后于數(shù)據(jù)的生成（2）重視結(jié)構(gòu)化數(shù)據(jù)的分析（3）以對(duì)歷史數(shù)據(jù)的理解為主要目的（4）注重描述性分析信息分析概論（第二版）信息分析工具的發(fā)展階段——Analytics2.0Analytics2.0是大數(shù)據(jù)時(shí)代（2000～2020）的主要信息分析技術(shù)、方法和工具，一般由數(shù)據(jù)科學(xué)家使用。與Analytics1.0不同的是，Analytics2.0中采用了一些新興信息分析技術(shù)，如Hadoop、Spark、NoSQL等大信息分析技術(shù)。其主要特點(diǎn)是：（1）分析活動(dòng)與數(shù)據(jù)的生成幾乎同步，強(qiáng)調(diào)信息分析的實(shí)時(shí)性（2）重視非結(jié)構(gòu)化數(shù)據(jù)的分析（3）以決策支持為主要目的（4）注重解釋性分析和預(yù)測(cè)性分析信息分析概論（第二版）信息分析工具的發(fā)展階段——Analytics3.0Analytics3.0是數(shù)據(jù)富足供給時(shí)代（2020開始）的主要信息分析技術(shù)、方法和工具。與Analytics2.0不同的是，Analytics3.0中信息分析更為專業(yè)化。從技術(shù)實(shí)現(xiàn)和常用工具角度看，Analytics3.0將采用更為專業(yè)的分析工具，而不再直接采用Hadoop、Spark、NoSQL等大信息分析技術(shù)。其主要特點(diǎn)是：（1）引入嵌入式分析（2）重視行業(yè)數(shù)據(jù)，而不只是企業(yè)內(nèi)部數(shù)據(jù)（3）以產(chǎn)品與服務(wù)的優(yōu)化為主要目的（4）注重規(guī)范性分析信息分析工具的類型第三部分信息分析概論（第二版）代碼簡(jiǎn)潔易懂豐富的第三方庫(kù)交互式分析支持跨平臺(tái)性和可移植性可擴(kuò)展性龐大的社區(qū)支持信息分析概論（第二版）開源工具Python和R是最常用的信息分析開源工具。其中，Python語(yǔ)言是一種解釋性、交互式、動(dòng)態(tài)類型語(yǔ)言，具有“優(yōu)雅”“明確”“簡(jiǎn)單”的特點(diǎn)。對(duì)于信息分析而言，Python語(yǔ)言的優(yōu)缺點(diǎn)是：優(yōu)點(diǎn)運(yùn)行速度慢安全性較低并行計(jì)算能力差內(nèi)存消耗較高缺點(diǎn)信息分析概論（第二版）R語(yǔ)言與Python語(yǔ)言對(duì)照表

Python語(yǔ)言R語(yǔ)言設(shè)計(jì)者計(jì)算機(jī)科學(xué)家吉多·范·羅瑟(Guido

Van

Rossum)統(tǒng)計(jì)學(xué)家羅斯·艾卡(RossIhaka)和羅伯特·簡(jiǎn)特曼(RobertGentleman),設(shè)計(jì)目的提升軟件開發(fā)的效率與源代碼的可讀性方便統(tǒng)計(jì)處理、信息分析及圖形化顯示設(shè)計(jì)哲學(xué)（源代碼層次上）優(yōu)雅、明確、簡(jiǎn)單（功能層次上）簡(jiǎn)單、有效、完善發(fā)行年19911995前身ABC語(yǔ)言、C語(yǔ)言和Modula-3語(yǔ)言S語(yǔ)言主要維護(hù)者PythonSoftwareFoundation（Python軟件基金會(huì)）TheR-CoreTeam（R-核心團(tuán)隊(duì)）TheRFoundation（R基金會(huì)）主要用戶群軟件工程師/程序員學(xué)術(shù)/科學(xué)研究/統(tǒng)計(jì)學(xué)家信息分析概論（第二版）R語(yǔ)言與Python語(yǔ)言對(duì)照表

Python語(yǔ)言R語(yǔ)言可用性源代碼的語(yǔ)法更規(guī)范，便于編碼與調(diào)試可以用簡(jiǎn)單幾行代碼即可實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化功能學(xué)習(xí)成本曲線入門相對(duì)容易，入門后學(xué)習(xí)難度隨著學(xué)習(xí)內(nèi)容逐步提升入門難，入門后相對(duì)容易第三方提供的功能以“包”的形式存在可從PyPi下載以“庫(kù)”的形式存在可從CRAN下載常用包/庫(kù)數(shù)據(jù)處理：pandas科學(xué)計(jì)算：SciPy，NumPy可視化：matplotlib統(tǒng)計(jì)建模：statsmodels機(jī)器學(xué)習(xí)：sckikit-learn，TensorFlow，Theano信息分析工具集：tidyverse數(shù)據(jù)處理：dplyr，plyr，data.table，stringr可視化：ggplot2，ggvis，lattice機(jī)器學(xué)習(xí)：RWeka，caret常用IDE(集成開發(fā)環(huán)境)JupyterNotebook(iPythonNotebook)/Spyder/Rodeo/Eclipse/PyCharmRStudio、RGuiR與Python之間的相互調(diào)用在Python中，可以通過(guò)庫(kù)RPy2調(diào)用R代碼在R中，可以通過(guò)包rPython調(diào)用Python代碼信息分析概論（第二版）商業(yè)工具常用于信息分析的商業(yè)工具有很多，如SPSSStatistics、IBMSPSSModeler、IBMSPSSAnalyticServer、IBMSPSSCatalyst、SASEnterpriseMiner、IBMDB2IntelligentMiner、DBMiner、OracleDataMining、MicrosoftSQLServerDataMining、AngossKnowledgeStudio和Weka等。信息分析工具的應(yīng)用第四部分信息分析概論（第二版）數(shù)據(jù)讀入數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備算法選擇及其超級(jí)參數(shù)的設(shè)置具體模型的訓(xùn)練用模型進(jìn)行預(yù)測(cè)模型評(píng)價(jià)模型的應(yīng)用與優(yōu)化信息分析概論（第二版）基于Python的信息分析案例問(wèn)題和數(shù)據(jù)