大數(shù)據(jù)財(cái)務(wù)分析入門(mén)（第2版）大數(shù)據(jù)平臺(tái)及操作工具

大數(shù)據(jù)財(cái)務(wù)分析入門(mén)

大數(shù)據(jù)平臺(tái)及操作工具大數(shù)據(jù)的功能哪些平臺(tái)可以用于大數(shù)據(jù)一流商用數(shù)據(jù)分析工具Hadoop究竟是什么學(xué)習(xí)目標(biāo)●認(rèn)識(shí)可用的大數(shù)據(jù)軟件工具。●認(rèn)識(shí)名為Hadoop的開(kāi)源軟件。●了解MapReduce和R這兩個(gè)軟件的作用。導(dǎo)語(yǔ)本章將介紹各種大數(shù)據(jù)平臺(tái)以及可在這些平臺(tái)上使用的操作工具。這些工具中最重要的是名為Hadoop的操作系統(tǒng)。Hadoop是一個(gè)開(kāi)源框架，許多組織機(jī)構(gòu)選擇用它來(lái)支持大數(shù)據(jù)工作。本章將集中討論IT術(shù)語(yǔ)，會(huì)計(jì)師要想對(duì)大數(shù)據(jù)應(yīng)用有個(gè)基本了解，必須學(xué)習(xí)這些術(shù)語(yǔ)。大數(shù)據(jù)的功能數(shù)據(jù)分析(dataanalytics，DA)是對(duì)原始信息進(jìn)行分析的一項(xiàng)研究，目的是對(duì)數(shù)據(jù)進(jìn)行推斷。大數(shù)據(jù)的功能可以在機(jī)構(gòu)的特定部門(mén)內(nèi)部使用的業(yè)務(wù)分析有哪些？營(yíng)銷(xiāo)分析：●競(jìng)爭(zhēng)對(duì)手。●定價(jià)。●品牌?！袷袌?chǎng)趨勢(shì)?！袷袌?chǎng)規(guī)模?？蛻舴治觯骸窠K身價(jià)值?！皲N(xiāo)售渠道?！窦?xì)分類(lèi)別?！駶M意度。●忠誠(chéng)度。●客戶流失/情緒。財(cái)務(wù)分析：●現(xiàn)金流量。●銷(xiāo)售預(yù)測(cè)?！窆蓶|價(jià)值?！癞a(chǎn)品盈利能力。●客戶盈利能力。員工分析：●潛力?！衲芰Α！耦I(lǐng)導(dǎo)力?！裾衅盖馈！駟T工績(jī)效?！駟T工流失/情緒。運(yùn)營(yíng)分析：●供應(yīng)鏈?！衿墼p檢測(cè)。●項(xiàng)目績(jī)效?！駥?duì)環(huán)境的影響?！衿髽I(yè)責(zé)任。核心分析：●數(shù)據(jù)挖掘?！耦A(yù)測(cè)。●可視化分析?！裣嚓P(guān)分析?！窕貧w分析。大數(shù)據(jù)的功能數(shù)據(jù)分析包括檢查、清理、修改和建模，目的是發(fā)現(xiàn)有價(jià)值的數(shù)據(jù)、提出結(jié)論、為做出明智的選擇提供支持。數(shù)據(jù)挖掘的關(guān)注點(diǎn)在于建模和發(fā)現(xiàn)，目的是進(jìn)行預(yù)測(cè)。商業(yè)智能側(cè)重于聚集企業(yè)數(shù)據(jù)。在統(tǒng)計(jì)應(yīng)用中，有描述性統(tǒng)計(jì)和以下幾個(gè)類(lèi)型的數(shù)據(jù)分析：●探索性分析：在數(shù)據(jù)中發(fā)現(xiàn)新特征?！翊_認(rèn)性分析：確認(rèn)或否認(rèn)現(xiàn)有的認(rèn)知?！耦A(yù)測(cè)性分析：專注于統(tǒng)計(jì)模型，進(jìn)行預(yù)測(cè)?！裎谋拘苑治觯菏褂媒y(tǒng)計(jì)、結(jié)構(gòu)和語(yǔ)言技術(shù)從非結(jié)構(gòu)化數(shù)據(jù)(如電子郵件)中提取信息并分類(lèi)。大數(shù)據(jù)的功能預(yù)測(cè)性分析側(cè)重于根據(jù)從現(xiàn)有數(shù)據(jù)集中提取的數(shù)據(jù)，對(duì)未來(lái)的結(jié)果或模式進(jìn)行預(yù)測(cè)。它不能保證結(jié)果，只能就可能發(fā)生的情況做出具有一定可靠性的預(yù)測(cè)，并與假設(shè)情景和風(fēng)險(xiǎn)分析或敏感性分析相結(jié)合。預(yù)測(cè)性分析包括數(shù)據(jù)挖掘、統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí)等操作。大數(shù)據(jù)的功能上述概念與商業(yè)智能有何關(guān)系？小測(cè)驗(yàn)1.什么是探索性分析？a.使用統(tǒng)計(jì)模型進(jìn)行預(yù)測(cè)。b.確認(rèn)現(xiàn)有認(rèn)知。c.在數(shù)據(jù)中發(fā)現(xiàn)新特征。d.規(guī)定要采取的行動(dòng)。哪些平臺(tái)可以用于大數(shù)據(jù)？哪些平臺(tái)可以用于大數(shù)據(jù)？硬件和操作系統(tǒng)(OS)的選擇硬件的選擇是大數(shù)據(jù)系統(tǒng)的核心。大多數(shù)機(jī)構(gòu)會(huì)建立IT結(jié)構(gòu)。軟件的選擇系統(tǒng)程序直接控制計(jì)算機(jī)并執(zhí)行I/O(輸入/輸出)存儲(chǔ)器操作。DeviceDrivers(設(shè)備驅(qū)動(dòng))、BIOS(基本輸入輸出系統(tǒng))軟件、硬盤(pán)引導(dǎo)扇區(qū)(HDSectorBoot)軟件、匯編程序和編譯程序都是系統(tǒng)程序。小測(cè)驗(yàn)2.以下哪項(xiàng)不屬于大數(shù)據(jù)的基礎(chǔ)資源？a.SAPb.Oraclec.IBMd.惠普哪些平臺(tái)可以用于大數(shù)據(jù)？供應(yīng)商的選擇1.ActianVector擁有從Hadoop中實(shí)現(xiàn)商業(yè)價(jià)值的能力。2.AWS(AmazonWebServices，亞馬遜網(wǎng)絡(luò)服務(wù))于2006年開(kāi)始通過(guò)云計(jì)算向企業(yè)提供IT基礎(chǔ)設(shè)施服務(wù)。3.Cloudera提供了一個(gè)統(tǒng)一的大數(shù)據(jù)平臺(tái)——企業(yè)數(shù)據(jù)中心。4.惠普大數(shù)據(jù)服務(wù)可以幫助IT基礎(chǔ)設(shè)施處理電子郵件、社交媒體和網(wǎng)站下載中不斷增加的字節(jié)，并將它們轉(zhuǎn)換為有益的信息。5.HortonworksHadoop數(shù)據(jù)平臺(tái)(HDP)是唯一一個(gè)完全開(kāi)放的HDP。6.IBM包括以下類(lèi)型的信息管理數(shù)據(jù)和分析功能。7.Infobright是一個(gè)分析數(shù)據(jù)庫(kù)平臺(tái)，用于存儲(chǔ)和分析機(jī)器生成的數(shù)據(jù)。8.Kognitio軟件可與現(xiàn)有的商業(yè)集成、分析報(bào)告工具、“數(shù)據(jù)湖”(大型對(duì)象存儲(chǔ)庫(kù)，可一直以本機(jī)格式保存數(shù)據(jù))及Hadoop存儲(chǔ)無(wú)縫交互。9.MapR是唯一一個(gè)為重大商業(yè)生產(chǎn)應(yīng)用構(gòu)建的分布系統(tǒng)。哪些平臺(tái)可以用于大數(shù)據(jù)？供應(yīng)商的選擇（續(xù)）10.微軟的愿景是讓所有用戶都能從數(shù)據(jù)(不管什么數(shù)據(jù))中獲得可操作的洞見(jiàn)，包括隱藏在非結(jié)構(gòu)化數(shù)據(jù)中的洞見(jiàn)。11.Oracle是一套完整的基礎(chǔ)設(shè)施和軟件工具，可以滿足組織機(jī)構(gòu)的大數(shù)據(jù)需求。12.Pivotal大數(shù)據(jù)套件為敏捷數(shù)據(jù)提供了廣泛的基礎(chǔ)。13.SAPHANA等軟件可以簡(jiǎn)化IT結(jié)構(gòu)。14.TeradataAster有一個(gè)分析引擎，這是一個(gè)本地圖表處理引擎，用于跨大數(shù)據(jù)集進(jìn)行圖表分析。15.新一代的數(shù)據(jù)分析師使R成為當(dāng)今市場(chǎng)上最受歡迎的分析軟件。小測(cè)驗(yàn)3.什么是MapR？a.一種減少大數(shù)據(jù)分析量的程序。b.ApacheHadoop的不完全發(fā)行版本。c.ApacheHadoop的完全發(fā)行版本，囊括十幾個(gè)項(xiàng)目。d.大數(shù)據(jù)的關(guān)系數(shù)據(jù)庫(kù)。4.什么是Teradata？a.大數(shù)據(jù)農(nóng)業(yè)應(yīng)用。b.數(shù)據(jù)分析軟件。c.用于圖表分析的本地圖表處理引擎。d.關(guān)系數(shù)據(jù)庫(kù)。一流商用數(shù)據(jù)分析工具基于來(lái)自KDNuggets(一個(gè)商業(yè)分析網(wǎng)站)的亞歷克斯·瓊斯(AlexJones)所設(shè)置的指導(dǎo)原則，作者列出以下一流商用數(shù)據(jù)分析工具。他的推薦基于工具的免費(fèi)可用性(供個(gè)人使用)、易用性(無(wú)須編碼、設(shè)計(jì)直觀)、強(qiáng)大功能(超出基本的Excel)和資源存檔完好(如支持商業(yè)需求的簡(jiǎn)單的谷歌搜索)。16.Tableau是數(shù)據(jù)可視化軟件，旨在將大量原始數(shù)據(jù)轉(zhuǎn)換為更易于解釋的格式，可用于決策。17.KNIME可以使用可視化編程來(lái)操作、分析數(shù)據(jù)并建模。18.RapidMiner是一個(gè)數(shù)據(jù)科學(xué)平臺(tái)，它將數(shù)據(jù)準(zhǔn)備、機(jī)器學(xué)習(xí)和預(yù)測(cè)模型部署結(jié)合在一起。19.Google的FusionTables已停產(chǎn)，但用戶仍可以通過(guò)更高版本的Excel使用GoogleMaps進(jìn)行相同的分析。20.NodeXL是一個(gè)用于網(wǎng)絡(luò)和關(guān)系的可視化和分析軟件。21.Import.io可快速訪問(wèn)網(wǎng)絡(luò)數(shù)據(jù)。22.谷歌搜索引擎并未得到充分利用。23.Solver是Excel中一個(gè)優(yōu)化和線性規(guī)劃工具，允許用戶設(shè)置限制條件。24.WolframAlpha的搜索引擎是網(wǎng)絡(luò)中隱藏的寶貝，它幫助推動(dòng)了蘋(píng)果Siri(語(yǔ)音助手)的發(fā)展。 小測(cè)驗(yàn)5.WolframAlpha是什么？a.數(shù)據(jù)分析軟件b.書(shū)呆子版谷歌c.預(yù)測(cè)分析軟件d.MapR框架中的子程序6.文中用（

）對(duì)谷歌地圖進(jìn)行說(shuō)明。a.咨詢服務(wù)b.犯罪統(tǒng)計(jì)c.供應(yīng)商離差d.美國(guó)各地的郵局Hadoop究竟是什么？Hadoop是一個(gè)能夠存儲(chǔ)大型數(shù)據(jù)集的框架。這些數(shù)據(jù)集使用簡(jiǎn)單的編程模型分布在多個(gè)計(jì)算機(jī)集群中，并用Java編寫(xiě)，從而可在單個(gè)計(jì)算機(jī)或大型商用硬件計(jì)算機(jī)集群上運(yùn)行。Hadoop術(shù)語(yǔ)：●開(kāi)源軟件：在創(chuàng)建和管理程序的開(kāi)發(fā)人員的開(kāi)放網(wǎng)絡(luò)上運(yùn)行。●框架：能讓用戶開(kāi)發(fā)和運(yùn)行軟件應(yīng)用程序的一切，通過(guò)程序、工具箱、連接等完成?！穹植际綌?shù)據(jù)：分布并存儲(chǔ)在多臺(tái)計(jì)算機(jī)上，并且可以在多臺(tái)相連的計(jì)算機(jī)上同時(shí)進(jìn)行計(jì)算?！翊笠?guī)模存儲(chǔ)：Hadoop框架可以將大量數(shù)據(jù)以塊的形式存儲(chǔ)在低成本的商品硬件集群上?！窀斓奶幚恚涸诰o密連接的低成本計(jì)算機(jī)集群中并行處理大量數(shù)據(jù)，以快速得出結(jié)果。小測(cè)驗(yàn)7.下面哪項(xiàng)是對(duì)Hadoop的描述？a.專有的。b.開(kāi)源的。c.私有的，但可用以降低非營(yíng)利組織的成本。d.專有的，必須在Unix環(huán)境中運(yùn)行。Hadoop究竟是什么？Hadoop的歷史更大的數(shù)據(jù)需求使得用戶需要更快的搜索和處理功能。為了應(yīng)對(duì)這一需求，道格·卡廷(DougCutting)和邁克·卡菲瑞拉(MikeCaferella)著手進(jìn)行了Nutch項(xiàng)目——一個(gè)開(kāi)源網(wǎng)絡(luò)搜索引擎項(xiàng)目。他們?cè)诘统杀镜挠?jì)算機(jī)上使用分布式數(shù)據(jù)和計(jì)算來(lái)同時(shí)完成多個(gè)任務(wù)。同一時(shí)期，谷歌也在進(jìn)行類(lèi)似的項(xiàng)目，以分布式方式實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和處理，更快得出更相關(guān)的搜索結(jié)果。2006年，卡廷跳槽到雅虎，繼續(xù)進(jìn)行Nutch項(xiàng)目，該項(xiàng)目分為兩部分：網(wǎng)絡(luò)爬蟲(chóng)和分布式處理(也就是后來(lái)的Hadoop)。2008年Hadoop作為開(kāi)源項(xiàng)目發(fā)布，由非營(yíng)利機(jī)構(gòu)ASF進(jìn)行管理和維護(hù)。由軟件開(kāi)發(fā)人員和貢獻(xiàn)者組成的全