第1章 R語(yǔ)言數(shù)據(jù)分析概述

R語(yǔ)言數(shù)據(jù)分析概述1熟悉R語(yǔ)言分析工具目錄認(rèn)識(shí)數(shù)據(jù)分析2小結(jié)3廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對(duì)比分析、分組分析、交叉分析和回歸分析等分析方法，對(duì)收集來(lái)的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個(gè)特征統(tǒng)計(jì)量結(jié)果的過(guò)程。數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，通過(guò)應(yīng)用聚類(lèi)、分類(lèi)、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價(jià)值的過(guò)程。數(shù)據(jù)分析的概念數(shù)據(jù)分析的流程數(shù)據(jù)分析已經(jīng)逐漸演化為一種解決問(wèn)題的過(guò)程，甚至是一種方法論。雖然每個(gè)公司都會(huì)根據(jù)自身需求和目標(biāo)創(chuàng)建最適合的數(shù)據(jù)分析流程，但數(shù)據(jù)分析的核心步驟是一致的。下圖是一個(gè)典型的數(shù)據(jù)分析的流程。需求分析：數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。數(shù)據(jù)獲取：數(shù)據(jù)是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取，收集數(shù)據(jù)。數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理是指對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，數(shù)據(jù)清洗，數(shù)據(jù)變換和數(shù)據(jù)標(biāo)準(zhǔn)化，數(shù)據(jù)變換后使得整體數(shù)據(jù)變?yōu)楦蓛粽R，可以直接用于分析建模這一過(guò)程的總稱。分析與建模：分析與建模是指通過(guò)對(duì)比分析、分組分析、交叉分析、回歸分析等分析方法和聚類(lèi)、分類(lèi)、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息，并得出結(jié)論的過(guò)程。模型評(píng)價(jià)與優(yōu)化：模型評(píng)價(jià)是指對(duì)已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類(lèi)別，使用不同的指標(biāo)評(píng)價(jià)其性能優(yōu)劣的過(guò)程。部署：部署是指將通過(guò)了正式應(yīng)用數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實(shí)際生產(chǎn)系統(tǒng)的過(guò)程。數(shù)據(jù)分析的流程主要是客戶的基本數(shù)據(jù)信息進(jìn)行商業(yè)行為分析。首先，界定目標(biāo)客戶，根據(jù)客戶的需求，目標(biāo)客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟(jì)狀況等基本信息使用統(tǒng)計(jì)分析方法和預(yù)測(cè)驗(yàn)證法，分析目標(biāo)客戶，提高銷(xiāo)售效率。其次，了解客戶的采購(gòu)過(guò)程，根據(jù)客戶采購(gòu)類(lèi)型、采購(gòu)性質(zhì)進(jìn)行分類(lèi)分析制定不同的營(yíng)銷(xiāo)策略。最后，根據(jù)已有的客戶特征，進(jìn)行客戶特征分析、客戶忠誠(chéng)分析、客戶注意力分析、客戶營(yíng)銷(xiāo)分析和客戶收益分析。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景1.客戶分析產(chǎn)品分析主要是競(jìng)爭(zhēng)產(chǎn)品分析，通過(guò)對(duì)競(jìng)爭(zhēng)產(chǎn)品的分析制定自身產(chǎn)品策略。價(jià)格分析又可以分為成本分析和售價(jià)分析，成本分析的目的是降低不必要成本，售價(jià)分析的目的是制定符合市場(chǎng)的價(jià)格。渠道分析目的是指對(duì)產(chǎn)品的銷(xiāo)售渠道進(jìn)行分析，確定最優(yōu)的渠道配比。廣告與促銷(xiāo)分析能夠結(jié)合客戶分析，實(shí)現(xiàn)銷(xiāo)量的提升，利潤(rùn)的增加。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景2.營(yíng)銷(xiāo)分析囊括了產(chǎn)品分析，價(jià)格分析，渠道分析，廣告與促銷(xiāo)分析這四類(lèi)分析。以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實(shí)現(xiàn)不同社交媒體的用戶分析，訪問(wèn)分析，互動(dòng)分析等。同時(shí)，還能為情感和輿情監(jiān)督提供豐富的資料。用戶分析主要根據(jù)用戶注冊(cè)信息，登錄平臺(tái)的時(shí)間點(diǎn)和平時(shí)發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個(gè)人畫(huà)像和行為特征。訪問(wèn)分析是通過(guò)用戶平時(shí)訪問(wèn)的內(nèi)容，分析用戶的興趣愛(ài)好，進(jìn)而分析潛在的商業(yè)價(jià)值?；?dòng)分析根據(jù)互相關(guān)注對(duì)象的行為預(yù)測(cè)該對(duì)象未來(lái)的某些行為特征。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景3.社交媒體分析新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識(shí)別分析模型，監(jiān)測(cè)大量網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)和相應(yīng)的訪問(wèn)行為，識(shí)別可能進(jìn)行入侵的可疑模式，做到未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景4.網(wǎng)絡(luò)安全通過(guò)物聯(lián)網(wǎng)技術(shù)能夠收集和分析設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無(wú)數(shù)潛在特征，建立設(shè)備管理模型，從而預(yù)測(cè)設(shè)備故障，合理安排預(yù)防性的維護(hù)，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來(lái)的安全風(fēng)險(xiǎn)。5.設(shè)備管理物流是物品從供應(yīng)地向接收地的實(shí)體流動(dòng)。通過(guò)業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對(duì)于客戶使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測(cè)分析模型，有效預(yù)測(cè)實(shí)時(shí)路況、物流狀況、車(chē)流量、客流量和貨物吞吐量，進(jìn)而提前補(bǔ)貨，制定庫(kù)存管理策略。了解數(shù)據(jù)分析應(yīng)用場(chǎng)景6.交通物流分析身份信息泄露盜用事件逐年增長(zhǎng)，隨之而來(lái)的是欺詐行為和交易的增多。公安機(jī)關(guān)，各大金融機(jī)構(gòu)，電信部門(mén)可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識(shí)別可能發(fā)生的潛在欺詐交易，做到提前預(yù)防未雨綢繆。7.欺詐行為檢測(cè)1熟悉R語(yǔ)言分析工具目錄認(rèn)識(shí)數(shù)據(jù)分析2小結(jié)3

RPythonMATLAB語(yǔ)言學(xué)習(xí)難易程度入門(mén)難度低入門(mén)難度一般入門(mén)難度一般使用場(chǎng)景數(shù)據(jù)分析，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，數(shù)據(jù)可視化等。數(shù)據(jù)分析，機(jī)器學(xué)習(xí)，矩陣運(yùn)算，科學(xué)數(shù)據(jù)可視化，數(shù)字圖像處理，web應(yīng)用，網(wǎng)絡(luò)爬蟲(chóng)，系統(tǒng)運(yùn)維等。矩陣計(jì)算，數(shù)值分析，科學(xué)數(shù)據(jù)可視化，機(jī)器學(xué)習(xí)，符號(hào)計(jì)算，數(shù)字圖像處理，數(shù)字信號(hào)處理，仿真模擬等。第三方支持擁有大量的Packages，能夠調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語(yǔ)言。擁有大量的第三方庫(kù)，能夠簡(jiǎn)便地調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語(yǔ)言。擁有大量專業(yè)的工具箱，在新版本中加入了對(duì)C，C++，Java的支持。流行領(lǐng)域工業(yè)界≈學(xué)術(shù)界工業(yè)界＞學(xué)術(shù)界工業(yè)界≤學(xué)術(shù)界軟件成本開(kāi)源免費(fèi)開(kāi)源免費(fèi)商業(yè)收費(fèi)數(shù)據(jù)分析常用工具目前主流的數(shù)據(jù)分析語(yǔ)言有R，Python，MATLAB三種程序語(yǔ)言。R語(yǔ)言在保證語(yǔ)法簡(jiǎn)單的同時(shí)，兼顧了程序設(shè)計(jì)語(yǔ)言的邏輯與自然的語(yǔ)言風(fēng)格。R語(yǔ)言擁有數(shù)目眾多的Packages，能夠輕松滿足數(shù)據(jù)分析，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)等領(lǐng)域的需求。R語(yǔ)言的源代碼是開(kāi)放的（自由且免費(fèi)），可以部署在任何操作系統(tǒng)上，例如Windows、Linux、MacOSX、BSD、Unix。R語(yǔ)言可以通過(guò)Packages調(diào)用如Python，Java，C，C++等語(yǔ)言，同時(shí)還提供了Google，Twitter，微博等的API接口。R語(yǔ)言數(shù)據(jù)分析的優(yōu)勢(shì)R語(yǔ)言數(shù)據(jù)分析主要包含以下4方面優(yōu)勢(shì)。R語(yǔ)言提供了data.frame數(shù)據(jù)類(lèi)型和基礎(chǔ)的數(shù)據(jù)操作函數(shù)和功能。在此基礎(chǔ)之上如表所示的Packages提供了更加簡(jiǎn)單便捷且功能強(qiáng)大的數(shù)據(jù)操作功能與函數(shù)。R語(yǔ)言數(shù)據(jù)分析常用的Packages1.數(shù)據(jù)操作Package名稱說(shuō)

明dplyr快速數(shù)據(jù)操作和數(shù)據(jù)庫(kù)查詢。data.table使用短小靈活的語(yǔ)法操作數(shù)據(jù)。reshape2靈活的數(shù)據(jù)排列與聚合處理。tidyr方便對(duì)數(shù)據(jù)進(jìn)行整理，傳播和收集。lubridate時(shí)間數(shù)據(jù)的處理。stringi/stringr基于ICU的字符串處理方案。R語(yǔ)言作為一門(mén)統(tǒng)計(jì)語(yǔ)言，本身提供了基礎(chǔ)的繪圖功能，但是出于圖形的美觀，圖形的功能考慮，眾多開(kāi)發(fā)者提供了如表所示的Packages。R語(yǔ)言數(shù)據(jù)分析常用的Packages2.圖形繪制Package名稱說(shuō)

明ggplot2強(qiáng)大的繪圖統(tǒng)計(jì)和計(jì)算圖形系統(tǒng)的實(shí)現(xiàn)。lattice一個(gè)強(qiáng)大優(yōu)雅的高級(jí)數(shù)據(jù)可視化系統(tǒng)。rChats交互式JS繪圖。plotly使用plot.ly進(jìn)行交互式ggplot2和Shiny繪圖。除了能夠?qū)崿F(xiàn)統(tǒng)計(jì)計(jì)算，數(shù)據(jù)分析外，R語(yǔ)言還提供了眾多和Web技術(shù)服務(wù)相關(guān)的Packages，如表所示。R語(yǔ)言數(shù)據(jù)分析常用的Packages3.Web技術(shù)和服務(wù)Package名稱說(shuō)

明Shiny使用R創(chuàng)建簡(jiǎn)單的Web交互應(yīng)用。RCurl常規(guī)的網(wǎng)絡(luò)客戶端接口（HTTP/FTP/...）。httr使用更加友好的Rcurl封裝。XMLR中生成和解析XML的工具。rvest使用CSSSelect和XPath語(yǔ)法進(jìn)行簡(jiǎn)單的Web信息抓取。R語(yǔ)言在設(shè)計(jì)之初并不提供并行計(jì)算，并且由于腳本語(yǔ)言本身的限制，本身語(yǔ)言的性能也不高?；谶@一原因，開(kāi)發(fā)者們提供了為數(shù)不少的高性能與并行計(jì)算相關(guān)的Packages，如表所示。R語(yǔ)言數(shù)據(jù)分析常用的Packages4.高性能與并行計(jì)算Package名稱說(shuō)

明parallelR語(yǔ)言高性能的并行計(jì)算平臺(tái)。SparkR可以連接Spark的R包。RcppRcpp在R中提供了一個(gè)高效的API,使得函數(shù)更快執(zhí)行。compiler使用JIT提高R代碼的速度。foreach使用并行來(lái)執(zhí)行循環(huán)。完善的數(shù)據(jù)庫(kù)連接接口是R語(yǔ)言的優(yōu)勢(shì)之一，可以提供MySQL，Oracle，PostgreSQL等數(shù)據(jù)庫(kù)的接口，從而實(shí)現(xiàn)對(duì)應(yīng)數(shù)據(jù)庫(kù)的讀寫(xiě)操作。R語(yǔ)言常用的數(shù)據(jù)庫(kù)管理Packages如表所示。R語(yǔ)言數(shù)據(jù)分析常用的Packages5.數(shù)據(jù)庫(kù)管理Package名稱說(shuō)

明RODBC在R語(yǔ)言中使用ODBC連接數(shù)據(jù)庫(kù)。RJDBC在R語(yǔ)言中使用JDBC連接數(shù)據(jù)庫(kù)。DBI在R和數(shù)據(jù)庫(kù)管理系統(tǒng)之間定義一個(gè)公共的接口。RMySQLR語(yǔ)言的MySQL數(shù)據(jù)庫(kù)接口。ROracleR語(yǔ)言的Oracle數(shù)據(jù)庫(kù)接口。RPostgreSQLR語(yǔ)言的PostgreSQL數(shù)據(jù)庫(kù)接口。RHiveR語(yǔ)言的ApacheHive接口。R語(yǔ)言中占比最高的Packages是與統(tǒng)計(jì)，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)相關(guān)的。下表列出了常用的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)相關(guān)的Packages。R語(yǔ)言數(shù)據(jù)分析常用的Packages6.數(shù)據(jù)挖掘／機(jī)器學(xué)習(xí)Package名稱說(shuō)

明arules挖掘關(guān)聯(lián)規(guī)則和頻繁項(xiàng)集。C50C5.0決策樹(shù)和基于規(guī)則的模型。caret分類(lèi)和回歸訓(xùn)練。forecast基于ARIMA，ETS，STLM，TBATS和神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)。glmnetLasso和elastic-net正規(guī)化廣義線性模型。nnet神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。rattle圖形界面式的數(shù)據(jù)挖掘工具箱。tree分類(lèi)和回歸樹(shù)。自然語(yǔ)言處理（NaturalLanguageProcessing）是計(jì)算機(jī)科學(xué)，數(shù)據(jù)科學(xué)，人工智能領(lǐng)域的一個(gè)重要的方向?，F(xiàn)代NLP算法是基于機(jī)器學(xué)習(xí)，特別是統(tǒng)計(jì)機(jī)器學(xué)習(xí)。R語(yǔ)言中常用的自然語(yǔ)言處理Packages如表所示。R語(yǔ)言數(shù)據(jù)分析常用的Packages7.自然語(yǔ)言處理Package名稱說(shuō)

明jiebaR結(jié)巴中文分詞。tm一個(gè)全面的文本挖掘框架。zipfR詞頻分布統(tǒng)計(jì)模型。NLP基本自然語(yǔ)言處理功能。topicmodelsLDA主題模型。word2vec將詞字符轉(zhuǎn)換為詞向量。金融本身是和數(shù)據(jù)相關(guān)度非常高的行業(yè)，可以根據(jù)交易數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、上市公司的各種事件數(shù)據(jù)、基本面數(shù)據(jù)、宏觀數(shù)據(jù)、輿情數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)等，來(lái)構(gòu)建不同的交易策略。R語(yǔ)言提供了如表所示的Packages，進(jìn)行基礎(chǔ)的金融分析。R語(yǔ)言數(shù)據(jù)分析常用的Packages8.金融Package名稱說(shuō)

明quantmod定量金融模型和交易框架。TTR技術(shù)交易規(guī)則相關(guān)的數(shù)據(jù)和功能函數(shù)。xts可擴(kuò)展的時(shí)間序列。tseries金融時(shí)間序列分析和計(jì)算。fAssets金融資產(chǎn)分析和建模。R語(yǔ)言專注的方向是統(tǒng)計(jì)分析，所以在某些領(lǐng)域不如JAVA，Python這樣的編程語(yǔ)言。為解決這一弊端，R語(yǔ)言提供了各類(lèi)語(yǔ)言的API，其中常用的語(yǔ)言接口Packages如表所示。R語(yǔ)言數(shù)據(jù)分析常用的Packages9.語(yǔ)言接口Package名稱說(shuō)

明rJAVAR語(yǔ)言的JAVA接口。jvmr集成了R，JAVA和Scala。rJythonR語(yǔ)言的Jython接口。r