氣象大數(shù)據(jù)資料

1、1 引言在氣象行業(yè)內(nèi)部，氣象數(shù)據(jù)的價值已經(jīng)和正在被深入挖掘著。但是，不能將氣象預(yù)報產(chǎn)品的社會化推廣簡單地認(rèn)為就是“氣象大數(shù)據(jù)的廣泛應(yīng)用”。大數(shù)據(jù)實(shí)際上是是一種混雜數(shù)數(shù)據(jù)，氣象大大數(shù)據(jù)應(yīng)該是是指氣象行業(yè)業(yè)所擁有的以以及鎖接觸到到的全體數(shù)據(jù)據(jù)，包括傳統(tǒng)統(tǒng)的氣象數(shù)據(jù)據(jù)和對外服務(wù)務(wù)提供的影視視音頻資料、網(wǎng)網(wǎng)頁資料、預(yù)預(yù)報文本以及及地理位置相相關(guān)數(shù)據(jù)、社社會經(jīng)濟(jì)共享享數(shù)據(jù)等等。傳統(tǒng)的”氣象數(shù)數(shù)據(jù)“，地面面觀測、氣象象衛(wèi)星遙感、天天氣雷達(dá)和數(shù)數(shù)值預(yù)報產(chǎn)品品四類數(shù)據(jù)占占數(shù)據(jù)總量的的90%以上上，基本的氣氣象數(shù)據(jù)直接接用途是氣象象業(yè)務(wù)、天氣氣預(yù)報、氣候候預(yù)測以及氣氣象服務(wù)?！按蟠髷?shù)據(jù)應(yīng)用”與與目前的氣象象服務(wù)

2、有所不不同，前者是是氣象數(shù)據(jù)的的“深度應(yīng)用用”和“增值值應(yīng)用”，后后者是既定業(yè)業(yè)務(wù)數(shù)據(jù)加工工產(chǎn)品的社會會推廣應(yīng)用?！按髷?shù)據(jù)的核心心就是預(yù)測”，這這是大數(shù)據(jù)據(jù)時代的作作者舍恩伯格格的名言。天天氣和氣候系系統(tǒng)是典型的的非線性系統(tǒng)統(tǒng)，無法通過過運(yùn)用簡單的的統(tǒng)計(jì)分析方方法來對其進(jìn)進(jìn)行準(zhǔn)確的預(yù)預(yù)報和預(yù)測。人人們常說的南南美叢林里一一只蝴蝶扇動動幾下翅膀，會會在幾周后引引發(fā)北美的一一場暴風(fēng)雪這這一現(xiàn)象，形形象地描繪了了氣象科學(xué)的的復(fù)雜性。運(yùn)運(yùn)用統(tǒng)計(jì)分析析方法進(jìn)行天天氣預(yù)報在數(shù)數(shù)十年前便已已被氣象科學(xué)學(xué)界否決了也就是說說，目前經(jīng)典典的大數(shù)據(jù)應(yīng)應(yīng)用方法并不不適用于天氣氣預(yù)報業(yè)務(wù)?，F(xiàn)在，氣象行業(yè)業(yè)的公共服務(wù)務(wù)職

3、能越來越越強(qiáng)，面向政政府提供決策策服務(wù)，面向向公眾提供氣氣象預(yù)報預(yù)警警服務(wù)，面向向社會發(fā)展，應(yīng)應(yīng)對氣候發(fā)展展節(jié)能減排。這這些決策信息息怎么來依賴賴于我們對氣氣象數(shù)據(jù)的處處理。氣象大數(shù)據(jù)應(yīng)該該在跨行業(yè)綜綜合應(yīng)用這一一“增值應(yīng)用用”價值挖掘掘過程中煥發(fā)發(fā)出的新的光光芒。2 大數(shù)據(jù)平臺臺的基本構(gòu)成成2.1 概述“大數(shù)據(jù)”是需需要新處理模模式才能具有有更強(qiáng)的決策策力、洞察發(fā)發(fā)現(xiàn)力和流程程優(yōu)化能力的的海量、高增增長率和多樣樣化的信息資資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)戰(zhàn)略意義不在在于掌握龐大大的數(shù)據(jù)信息息，而在于對對這些含有意意義的數(shù)據(jù)進(jìn)進(jìn)行專業(yè)化處處理。換言之之，如果把大大數(shù)據(jù)比作一一種產(chǎn)業(yè)，那那么這種產(chǎn)業(yè)業(yè)實(shí)現(xiàn)盈

4、利的的關(guān)鍵，在于于提高對數(shù)據(jù)據(jù)的“加工能能力”，通過過“加工”實(shí)實(shí)現(xiàn)數(shù)據(jù)的“增增值”。從技術(shù)上看，大大數(shù)據(jù)與云計(jì)計(jì)算的關(guān)系就就像一枚硬幣幣的正反面一一樣密不可分分。大數(shù)據(jù)必必然無法用單單臺的計(jì)算機(jī)機(jī)進(jìn)行處理，必必須采用分布布式架構(gòu)。它它的特色在于于對海量數(shù)據(jù)據(jù)進(jìn)行分布式式數(shù)據(jù)挖掘（SSaaS），但但它必須依托托云計(jì)算的分分布式處理、分分布式數(shù)據(jù)庫庫（PaaSS）和云存儲儲、虛擬化技技術(shù)（IaaaS）。大數(shù)據(jù)可通過許許多方式來存存儲、獲取、處處理和分析。每每個大數(shù)據(jù)來來源都有不同同的特征，包包括數(shù)據(jù)的頻頻率、量、速速度、類型和和真實(shí)性。處處理并存儲大大數(shù)據(jù)時，會會涉及到更多多維度，比如如治理、安

5、全全性和策略。選選擇一種架構(gòu)構(gòu)并構(gòu)建合適適的大數(shù)據(jù)解解決方案極具具挑戰(zhàn)，因?yàn)闉樾枰紤]非非常多的因素素。氣象行業(yè)的數(shù)據(jù)據(jù)情況則更為為復(fù)雜，除了了“機(jī)器生成成”（可以理理解為遙測、傳傳感設(shè)備產(chǎn)生生的觀測數(shù)據(jù)據(jù)，大量參與與氣象服務(wù)和和共享的信息息都以文本、圖圖片、視頻等等多種形式存存儲，符合“大大數(shù)據(jù)”的44V特點(diǎn)：VVolumee(大量)、VVelociity(高速速)、Varriety(多樣)、vveraciity(真實(shí)實(shí)性) 。這這些信息長期期存儲于氣象象各部門的平平臺上未能加加以合理利用用。另一方面面，這些數(shù)據(jù)據(jù)本身就是分分散存儲于多多個服務(wù)器平平臺上，急需需應(yīng)用分布式式平臺統(tǒng)一管管理。因

6、此，我們亟需需一種結(jié)構(gòu)化化和基于模式式的方法來簡簡化定義完整整的大數(shù)據(jù)架架構(gòu)的任務(wù)。因因?yàn)樵u估一個個業(yè)務(wù)場景是是否存在大數(shù)數(shù)據(jù)問題很重重要，所以我我們包含了一一些線索來幫幫助確定哪些些業(yè)務(wù)問題適適合采用大數(shù)數(shù)據(jù)解決方案案。2.2 數(shù)據(jù)基基礎(chǔ)決定平臺臺框架2.2.1 從從分類大數(shù)據(jù)據(jù)到選擇大數(shù)數(shù)據(jù)解決方案案RDBMS：關(guān)關(guān)系型數(shù)據(jù)庫庫；ETL：數(shù)據(jù)清清晰、轉(zhuǎn)換、裝裝載的過程； ELT：數(shù)據(jù)清晰、裝裝載、轉(zhuǎn)換的的過程；CDC：增量數(shù)數(shù)據(jù)復(fù)制。有有同步和異步步兩種模式。結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)“非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)2.2.2 依依據(jù)大數(shù)據(jù)類類型對業(yè)務(wù)問問題進(jìn)行分類類根據(jù)氣象服務(wù)需需要，業(yè)務(wù)問問題可

7、分類為為不同的大數(shù)數(shù)據(jù)問題類型型。以后，我我們將使用此類型確定定合適的分類類模式（原子子或復(fù)合）和和合適的大數(shù)數(shù)據(jù)解決方案案。但第一步步是將業(yè)務(wù)問問題映射到它它的大數(shù)據(jù)類類型。下表列列出了常見的的業(yè)務(wù)問題并并為每個問題題分配了一種種大數(shù)據(jù)類型型。2.2.3 使使用大數(shù)據(jù)類類型對大數(shù)據(jù)據(jù)特征進(jìn)行分分類按特定方向分析析大數(shù)據(jù)的特特征會有所幫幫助，例如以以下特征：數(shù)數(shù)據(jù)如何收集集、分析和處處理。對數(shù)據(jù)進(jìn)行分類類后，就可以以將它與合適適的大數(shù)據(jù)模模式匹配：? 分析類型 對數(shù)據(jù)據(jù)執(zhí)行實(shí)時分分析還是批量量分析。請仔仔細(xì)考慮分析析類型的選擇，因?yàn)檫@這會影響一些些有關(guān)產(chǎn)品、工工具、硬件、數(shù)數(shù)據(jù)源和預(yù)期期的數(shù)據(jù)

8、頻率率的其他決策策。一些用例例可能需要混混合使用兩種種類型： ? 臨近分析析；分析必須須實(shí)時或近實(shí)實(shí)時地完成。? 歷史分析針針對戰(zhàn)略性業(yè)業(yè)務(wù)決策的趨趨勢分析；分分析可采用批批量模式。 ? 處理方方法 要要應(yīng)用來處理理數(shù)據(jù)的技術(shù)術(shù)類型（比如如預(yù)測、分析析、臨時查詢和報告）。業(yè)業(yè)務(wù)需求確定定了合適的處處理方法。可可結(jié)合使用各各種技術(shù)。處處理方法的選選擇，有助于于識別要在您您的大數(shù)據(jù)解解決方案中使使用的合適的的工具和技術(shù)術(shù)。? 數(shù)據(jù)頻率和和大小 預(yù)計(jì)有多少少數(shù)據(jù)和數(shù)據(jù)據(jù)到達(dá)的頻率率多高。知道道頻率和大小，有助于于確定存儲機(jī)機(jī)制、存儲格格式和所需的的預(yù)處理工具具。數(shù)據(jù)頻率率和大小依賴賴于數(shù)據(jù)源：? 按

9、需分析，與與社交媒體數(shù)數(shù)據(jù)一樣 ? 實(shí)時、持持續(xù)提供（天天氣數(shù)據(jù)、交交易數(shù)據(jù)） ? 時序（基基于時間的數(shù)數(shù)據(jù)）? 數(shù)據(jù)類型 要處理理數(shù)據(jù)類型 交易、歷歷史、主數(shù)據(jù)據(jù)等。知道數(shù)數(shù)據(jù)類型，有助于將數(shù)數(shù)據(jù)隔離在存存儲中。? 內(nèi)容格式（傳傳入數(shù)據(jù)的格格式）結(jié)構(gòu)化化（例如 RRDMBS）、非非結(jié)構(gòu)化（例例如音頻、視頻和圖圖像）或半結(jié)結(jié)構(gòu)化。格式式確定了需要要如何處理傳傳入的數(shù)據(jù)，這這是選擇工具具、技術(shù)以及及從業(yè)務(wù)角度度定義解決方方案的關(guān)鍵。? 數(shù)據(jù)源 數(shù)據(jù)的來來源（生成數(shù)數(shù)據(jù)的地方），比比如 Webb 和社交媒媒體、機(jī)器生成、人類類生成等。識識別所有數(shù)據(jù)據(jù)源有助于從從業(yè)務(wù)角度識識別數(shù)據(jù)范圍圍。該圖顯示示

10、了使用最廣廣泛的數(shù)據(jù)源源。? 數(shù)據(jù)使用者者 處理理的數(shù)據(jù)的所所有可能使用用者的列表：? 業(yè)務(wù)流程? 業(yè)務(wù)用戶? 企業(yè)應(yīng)用程程序? 各種業(yè)務(wù)角角色中的各個個人員? 部分處理流流程? 其他數(shù)據(jù)存存儲庫或企業(yè)業(yè)應(yīng)用程序? 硬件 將在其上實(shí)實(shí)現(xiàn)大數(shù)據(jù)解解決方案的硬硬件類型，包包括商用硬件件或最先進(jìn)的硬件。理理解硬件的限限制，有助于于指導(dǎo)大數(shù)據(jù)據(jù)解決方案的的選擇。2.3 數(shù)據(jù)分分類決定應(yīng)用用方案將不同的數(shù)據(jù)類類型集成后，統(tǒng)統(tǒng)一按照大數(shù)數(shù)據(jù)進(jìn)行處理理，如下圖：2.4 大數(shù)據(jù)據(jù)平臺的邏輯輯層次邏輯構(gòu)成從框架架上展示了各各個組件的組組織方式。這這些層提供了了一種方法來來組織執(zhí)行特特定功能的組組件。這些層層只是

11、邏輯結(jié)結(jié)構(gòu)；這并不不意味著支持持每層的功能能在獨(dú)立的機(jī)機(jī)器或獨(dú)立的的進(jìn)程上運(yùn)行行。大數(shù)據(jù)平臺通常常由以下邏輯輯層組成：1. 數(shù)據(jù)集成成層2. 數(shù)據(jù)存儲儲層3. 數(shù)據(jù)分析析層4. 數(shù)據(jù)使用用層2.4.1 大大數(shù)據(jù)集成層層要全面考慮來自自所有渠道的的，所有可用用于分析的數(shù)數(shù)據(jù)。要求團(tuán)團(tuán)隊(duì)中的數(shù)據(jù)據(jù)專家闡明執(zhí)執(zhí)行需求所需需的數(shù)據(jù)。這這些信息包括括：? 格式 結(jié)結(jié)構(gòu)化、半結(jié)結(jié)構(gòu)化或非結(jié)結(jié)構(gòu)化。? 速度和數(shù)據(jù)據(jù)量 數(shù)據(jù)據(jù)到達(dá)的速度度和傳送它的的速率因數(shù)據(jù)據(jù)源不同而不不同。 ? 收集點(diǎn) 收集數(shù)據(jù)的的位置，直接接或通過數(shù)據(jù)據(jù)提供程序，實(shí)實(shí)時或以批量量模式收集數(shù)據(jù)。數(shù)數(shù)據(jù)可能來自自某個主要來來源，比如天天氣條

12、件，也也有可能來自自一個輔助來來源，比如媒媒體贊助的天天氣頻道。? 數(shù)據(jù)源的位位置 數(shù)據(jù)據(jù)源可能位于于企業(yè)內(nèi)或外外部。識別您您具有有限訪訪問權(quán)的數(shù)據(jù)，因?yàn)闉閷?shù)據(jù)的訪訪問會影響可可用于分析的的數(shù)據(jù)范圍。2.4.2 大大數(shù)據(jù)存儲層層此層負(fù)責(zé)從數(shù)據(jù)據(jù)源獲取數(shù)據(jù)據(jù)，并在必要要時，將它轉(zhuǎn)轉(zhuǎn)換為適合符符合分析方式式的格式。例例如，可能需需要轉(zhuǎn)換一幅幅圖，才能將將它存儲在 Hadooop Disstribuuted FFile SSystemm (HDFFS) 存儲儲或關(guān)系數(shù)據(jù)據(jù)庫管理系統(tǒng)統(tǒng) (RDBBMS) 倉倉庫中，以供供進(jìn)一步處理理。規(guī)范 11和治理策略略要求為不同同的數(shù)據(jù)類型型提供合適的的存儲。2

13、.4.3 大大數(shù)據(jù)分析層層分析層讀取數(shù)據(jù)據(jù)改動和存儲儲層整理 (digesst) 的數(shù)數(shù)據(jù)。在某些些情況下，分分析層直接從從數(shù)據(jù)源訪問問數(shù)據(jù)。設(shè)計(jì)計(jì)分析層需要要認(rèn)真地進(jìn)行行事先籌劃和和規(guī)劃。必須須制定如何管管理以下任務(wù)務(wù)的決策：? 生成想要的的分析? 從數(shù)據(jù)中獲獲取洞察? 找到所需的的實(shí)體? 定位可提供供這些實(shí)體的的數(shù)據(jù)的數(shù)據(jù)據(jù)源? 理解執(zhí)行分分析需要哪些些算法和工具具。2.4.4 大大數(shù)據(jù)應(yīng)用層層此層使用了分析析層所提供的的輸出。使用用者可以是可可視化應(yīng)用程程序、人類、業(yè)業(yè)務(wù)流程或服服務(wù)。可視化化分析層的結(jié)結(jié)果可能具有有挑戰(zhàn)。3 大數(shù)據(jù)平臺臺的功能架構(gòu)構(gòu)3.1 組件構(gòu)構(gòu)成3.1.1 橫橫向?qū)?/p>

14、3.1.1.11 大數(shù)據(jù)集集成層大數(shù)據(jù)來源：? 企業(yè)遺留系系統(tǒng) 這些些系統(tǒng)是企業(yè)業(yè)應(yīng)用程序，執(zhí)執(zhí)行業(yè)務(wù)需要要的分析并獲獲取需要的洞察：? 氣象網(wǎng)絡(luò)設(shè)設(shè)備監(jiān)測系統(tǒng)統(tǒng)? 氣象信息共共享系統(tǒng)? MICAPPS? 網(wǎng)絡(luò)通信系系統(tǒng)CMA-Cast? 突發(fā)應(yīng)急系系統(tǒng)? 氣象預(yù)報系系統(tǒng)? 氣象服務(wù)系系統(tǒng)? 辦公自動化化? ? ? Web 應(yīng)應(yīng)用程序開發(fā)發(fā)-Webb 應(yīng)用程序序和其他數(shù)據(jù)據(jù)來源擴(kuò)充了了企業(yè)擁有的數(shù)據(jù)。這這些應(yīng)用程序序可使用自定定義的協(xié)議和和機(jī)制來公開開數(shù)據(jù)。? 數(shù)據(jù)管理系系統(tǒng) (DMMS) 數(shù)數(shù)據(jù)管理系統(tǒng)統(tǒng)存儲邏輯數(shù)數(shù)據(jù)、流程、策策略和各種其他類型的文文檔：? Microosoft? Exce

15、el? 電子子表格? Microosoft Word 文檔? 這些文檔可可以轉(zhuǎn)換為可可用于分析的的結(jié)構(gòu)化數(shù)據(jù)據(jù)。文檔數(shù)據(jù)據(jù)可公開為領(lǐng)域?qū)崒?shí)體，或者數(shù)數(shù)據(jù)改動和存存儲層可將它它轉(zhuǎn)換為領(lǐng)域?qū)嶓w。 ? 數(shù)據(jù)存儲儲 數(shù)據(jù)存存儲包含企業(yè)業(yè)數(shù)據(jù)倉庫、操操作數(shù)據(jù)庫和和事務(wù)數(shù)據(jù)庫庫。此數(shù)據(jù)通常是結(jié)結(jié)構(gòu)化數(shù)據(jù)，可可直接使用或或輕松地轉(zhuǎn)換換來滿足需求求。這些數(shù)據(jù)據(jù)不一定存儲儲在分布式文文件系統(tǒng)中，具具體依賴于所所處的上下文文。? 智慧設(shè)備 智慧設(shè)備備能夠捕獲、處處理和傳輸使使用最廣泛的的協(xié)議和格式式的信息。這方面面的示例包括括智能電話、儀儀表和醫(yī)療設(shè)設(shè)備。這些設(shè)設(shè)備可用于執(zhí)執(zhí)行各種類型型的分析。絕絕大多數(shù)智慧慧設(shè)

16、備都會執(zhí)執(zhí)行實(shí)時分析析，但從智慧慧設(shè)備傳來的的信息也可批批量分析。? 聚合的數(shù)據(jù)據(jù)提供程序 這些提供供程序擁有或或獲取數(shù)據(jù)，并并以復(fù)雜的格格式和所需的頻率率通過特定的的過濾器公開開它。每天都都會產(chǎn)生海量量的數(shù)據(jù)，它它們具有不同同的格式，以以不同的速度度生成，而且且通過各種數(shù)數(shù)據(jù)提供程序序、傳感器和和現(xiàn)有企業(yè)提提供。? 其他數(shù)據(jù)源源 有許多多數(shù)據(jù)來自自自動化的來源源：? 地理信息：? 地圖? 地區(qū)詳細(xì)信信息? 位置詳細(xì)信信息? 經(jīng)濟(jì)熱點(diǎn)詳詳細(xì)信息（工工農(nóng)業(yè)旅游交交通教育醫(yī)療療金融等等）? 人類生成的的內(nèi)容：? 社交媒體? 電子郵件? 博客? 在線信息? 傳感器數(shù)據(jù)據(jù)：? 環(huán)境：天氣氣、降雨量、濕

17、濕度、光線? 電氣：電流流、能源潛力力等? 導(dǎo)航裝置? 電離輻射、亞亞原子粒子等等? 靠近、存在在等? 位置、角度度、位移、距距離、速度、加加速度? 聲音、聲震震動等? 汽車、運(yùn)輸輸?shù)? 熱量、熱度度、溫度? 光學(xué)、光、成成像、見光度度? 化學(xué)? 壓力? 流動、流體體、速度? 力、密度級級別等? 來自傳感器器供應(yīng)商的其其他數(shù)據(jù)3.1.1.22 大數(shù)據(jù)存存儲層因?yàn)閭魅氲臄?shù)據(jù)據(jù)可能具有不不同的特征，所所以數(shù)據(jù)改動動和存儲層中中的組件必須須能夠以各種種頻率、格式式、大小和在在各種通信渠渠道上讀取數(shù)數(shù)據(jù)：? 數(shù)據(jù)獲取 從各種數(shù)數(shù)據(jù)源獲取數(shù)數(shù)據(jù)，并將其其發(fā)送到數(shù)據(jù)據(jù)整理組件或或存儲在指定的位置置中。此組

18、件件必須足夠智智能，能夠選選擇是否和在在何處存儲傳傳入的數(shù)據(jù)。它它必須能夠確確定數(shù)據(jù)在存存儲前是否應(yīng)應(yīng)改動，或者者數(shù)據(jù)是否可可直接發(fā)送到到業(yè)務(wù)分析層層。? 數(shù)據(jù)整理 負(fù)責(zé)將數(shù)數(shù)據(jù)修改為需需要的格式，以以實(shí)現(xiàn)分析用用途。此組件件可擁有簡單的轉(zhuǎn)轉(zhuǎn)換邏輯或復(fù)復(fù)雜的統(tǒng)計(jì)算算法來轉(zhuǎn)換源源數(shù)據(jù)。分析析引擎將會確確定所需的特特定的數(shù)據(jù)格格式。主要的的挑戰(zhàn)是容納納非結(jié)構(gòu)化數(shù)數(shù)據(jù)格式，比比如圖像、音音頻、視頻和和其他二進(jìn)制制格式。? 分布式數(shù)據(jù)據(jù)存儲 負(fù)負(fù)責(zé)存儲來自自數(shù)據(jù)源的數(shù)數(shù)據(jù)。通常，這這一層中提供供了多個數(shù)據(jù)存儲儲選項(xiàng)，比如如分布式文件件存儲 (DDFS)、云云、結(jié)構(gòu)化數(shù)數(shù)據(jù)源、NoSQL 等等。3.1.

19、1.33 分析層這是從數(shù)據(jù)中提提取業(yè)務(wù)洞察察的層：? 分析層實(shí)體體識別 負(fù)負(fù)責(zé)識別和填填充上下文實(shí)實(shí)體。這是一一個復(fù)雜的任任務(wù)，需要高效的高性性能流程。數(shù)數(shù)據(jù)整理組件件應(yīng)為這個實(shí)實(shí)體識別組件件提供補(bǔ)充，將將數(shù)據(jù)修改為為需要的格式式。分析引擎擎將需要上下下文實(shí)體來執(zhí)執(zhí)行分析。? 分析引擎 使用其他他組件（具體體來講，包括括實(shí)體鑒別、模模型管理和分分析算法）來處理理和執(zhí)行分析析。分析引擎擎可具有支持持并行處理的的各種不同的的工作流、算算法和工具。? 模型管理 負(fù)責(zé)維護(hù)護(hù)各種統(tǒng)計(jì)模模型，驗(yàn)證和和檢驗(yàn)這些模模型，通過持持續(xù)培訓(xùn)模型來提高高準(zhǔn)確性。然然后，模型管管理組件會推推廣這些模型型，它們可供供實(shí)體

20、識別或或分析引擎組組件使用。3.1.1.44 使用層這一層使用了從從分析應(yīng)用程程序獲取的業(yè)業(yè)務(wù)洞察。分分析的結(jié)果由由組織內(nèi)的各各個用戶和組組織外部的實(shí)實(shí)體（比如客客戶、供應(yīng)商商、合作伙伴伴和提供商）使使用。此洞察察可用于針對對客戶提供產(chǎn)產(chǎn)品營銷信息息。例如，借借助從分析中中獲取的洞察察，公司可以以使用客戶偏偏好數(shù)據(jù)和位位置感知，在在客戶經(jīng)過通通道或店鋪時時向他們提供供個性化的營營銷信息。該洞察可用于檢檢測欺詐，實(shí)實(shí)時攔截交易易，并將它們們與使用已存存儲在企業(yè)中中的數(shù)據(jù)構(gòu)建建的視圖進(jìn)行行關(guān)聯(lián)。在欺欺詐性交易發(fā)發(fā)生時，可以以告知客戶可可能存在欺詐詐，以便及時時采取更正操操作。此外，可以根據(jù)據(jù)在數(shù)據(jù)

21、改動動層完成的分分析來觸發(fā)業(yè)業(yè)務(wù)流程。可可以啟動自動動化的步驟 例如，如如果客戶接受受了一條可自自動觸發(fā)的營營銷信息，則則需要創(chuàng)建一一個新訂單，如如果客戶報告告了欺詐，那那么可以觸發(fā)發(fā)對信用卡使使用的阻止。分析的輸出也可可由推薦引擎擎使用，該引引擎可將客戶戶與他們喜歡歡的產(chǎn)品相匹匹配。推薦引擎分析可可用的信息，并并提供個性化化且實(shí)時的推推薦。使用層還為內(nèi)部部用戶提供了了理解、找到到和導(dǎo)航企業(yè)業(yè)內(nèi)外的鏈鎖鎖信息的能力力。對于內(nèi)部部使用者，為為業(yè)務(wù)用戶構(gòu)構(gòu)建報告和儀儀表板的能力力使得利益相相關(guān)者能夠制制定精明的決決策并設(shè)計(jì)恰恰當(dāng)?shù)膽?zhàn)略。為為了提高操作作有效性，可可以從數(shù)據(jù)中中生成實(shí)時業(yè)業(yè)務(wù)警告，而

22、而且可以監(jiān)視視操作性的關(guān)關(guān)鍵績效指標(biāo)標(biāo)：? 交易攔截器器 此組件件可實(shí)時攔截截高容量交易易，將它們轉(zhuǎn)轉(zhuǎn)換為一種容容易被分析層理解的的實(shí)時格式，以以便在傳入數(shù)數(shù)據(jù)上執(zhí)行實(shí)實(shí)時分析。事事務(wù)攔截器應(yīng)應(yīng)能夠集成并并處理來自各各種來源的數(shù)數(shù)據(jù)，比如傳傳感器、智能能儀表、麥克克風(fēng)、攝像頭頭、GPS 設(shè)備、ATTM 和圖像像掃描儀?？煽梢允褂酶鞣N種類型的適配配器和 APPI 來連接接到數(shù)據(jù)源。也也可以使用各各種加速器來來簡化開發(fā)，比比如實(shí)時優(yōu)化化和流分析，視視頻分析，銀銀行、保險、零零售、電信和和公共運(yùn)輸領(lǐng)領(lǐng)域的加速器器，社交媒體體分析，以及及情緒分析。? 業(yè)務(wù)流程管管理流程 來自分析層層的洞察可供供業(yè)務(wù)流

23、程執(zhí)執(zhí)行語言 (BPEL)流程、API 或其他業(yè)務(wù)務(wù)流程使用，通通過自動化上上游和下游 IT 應(yīng)用用程序、人員員和流程的功功能，進(jìn)一步步獲取業(yè)務(wù)價價值。? 實(shí)時監(jiān)視 可以使用用從分析中得得出的數(shù)據(jù)來來生成實(shí)時警警告?？梢詫⒕姘l(fā)送給感興趣趣的使用者和和設(shè)備，比如如智能電話和和平板電腦?？煽梢允褂脧姆址治鼋M件生成成的數(shù)據(jù)洞察察，定義并監(jiān)監(jiān)視關(guān)鍵績效效指標(biāo)，以便便確定操作有有效性。實(shí)時時數(shù)據(jù)可從各各種來源以儀儀表板的形式式向業(yè)務(wù)用戶戶公開，以便便監(jiān)視系統(tǒng)的的健康或度量量營銷活動的的有效性。? 報告引擎 生成與傳傳統(tǒng)商業(yè)智能能報告類似的的報告的能力力至關(guān)重要。用用戶可基于從分析析層中得到的的洞察，

24、創(chuàng)建建臨時報告、計(jì)計(jì)劃的報告或或自助查詢和和分析。? 推薦引擎 基于來自自分析層的分分析結(jié)果，推推薦引擎可向向購物者提供供實(shí)時的、相關(guān)的和和個性化的推推薦，提高電電子商務(wù)交易易中的轉(zhuǎn)換率率和每個訂單單的平均價值值。該引擎實(shí)實(shí)時處理可用用信息并動態(tài)態(tài)地響應(yīng)每個個用戶，響應(yīng)應(yīng)基于用戶的的實(shí)時活動、存存儲在 CRRM 系統(tǒng)中中的注冊客戶戶信息，以及及非注冊客戶戶的社交概況況。? 可視化和發(fā)發(fā)現(xiàn) 數(shù)據(jù)據(jù)可跨企業(yè)內(nèi)內(nèi)外的各種聯(lián)聯(lián)邦的數(shù)據(jù)源源進(jìn)行導(dǎo)航。數(shù)數(shù)據(jù)可能具有不同同的內(nèi)容和格格式，所有數(shù)數(shù)據(jù)（結(jié)構(gòu)化化、半結(jié)構(gòu)化化和非結(jié)構(gòu)化化）可組合來來進(jìn)行可視化化并提供給用用戶。此能力力使得組織能能夠?qū)⑵鋫鹘y(tǒng)統(tǒng)的企

25、業(yè)內(nèi)容容（包含在企企業(yè)內(nèi)容管理理系統(tǒng)和數(shù)據(jù)據(jù)倉庫中）與與新的社交內(nèi)內(nèi)容（例如 tweett 和博客文文章）組合到到單個用戶界界面中。3.1.2 垂垂直層影響邏輯層（大大數(shù)據(jù)來源、數(shù)數(shù)據(jù)改動和存存儲、分析和和使用層）的的所有組件的的各方面都包包含在垂直層層中：? 信息集成? 大數(shù)據(jù)治理理? 系統(tǒng)管理? 服務(wù)質(zhì)量3.1.2.11 信息集成成大數(shù)據(jù)應(yīng)用程序序從各種數(shù)據(jù)據(jù)起源、提供供程序和數(shù)據(jù)據(jù)源獲取數(shù)據(jù)據(jù)，并存儲在在 HDFSS、NoSQQL 和 MMongoDDB 等數(shù)據(jù)據(jù)存儲系統(tǒng)中中。這個垂直直層可供各種種組件使用（例例如數(shù)據(jù)獲取取、數(shù)據(jù)整理理、模型管理理和交易攔截截器），負(fù)責(zé)責(zé)連接到各種種數(shù)據(jù)

26、源。集集成將具有不不同特征（例例如協(xié)議和連連接性）的數(shù)數(shù)據(jù)源的信息息，需要高質(zhì)質(zhì)量的連接器器和適配器。可可以使用加速速器連接到大大多數(shù)已知和和廣泛使用的的來源。這些些加速器包括括社交媒體適適配器和天氣氣數(shù)據(jù)適配器器。各種組件件還可以使用用這一層在大大數(shù)據(jù)存儲中中存儲信息，從從大數(shù)據(jù)存儲儲中檢索信息息，以便處理理這些信息。大大多數(shù)大數(shù)據(jù)據(jù)存儲都提供供了服務(wù)和 API 來來存儲和檢索索該信息。3.1.2.22 大數(shù)據(jù)治治理數(shù)據(jù)治理涉及到到定義指南來來幫助企業(yè)制制定有關(guān)數(shù)據(jù)據(jù)的正確決策策。大數(shù)據(jù)治治理有助于處處理企業(yè)內(nèi)或或從外部來源源傳入的數(shù)據(jù)據(jù)的復(fù)雜性、量量和種類。在在將數(shù)據(jù)傳入入企業(yè)進(jìn)行處處理、

27、存儲、分分析和清除或或歸檔時，需需要強(qiáng)有力的的指南和流程程來監(jiān)視、構(gòu)建、存儲和保保護(hù)數(shù)據(jù)。除了正常的數(shù)據(jù)據(jù)治理考慮因因素之外，大大數(shù)據(jù)治理還還包含其他因因素：? 管理各種格格式的大量數(shù)數(shù)據(jù)。? 持續(xù)培訓(xùn)和和管理必要的的統(tǒng)計(jì)模型，以以便對非結(jié)構(gòu)構(gòu)化數(shù)據(jù)和分分析進(jìn)行預(yù)處處理。請記住，設(shè)設(shè)置處理非結(jié)結(jié)構(gòu)化數(shù)據(jù)時時的重要一步步。? 為外部數(shù)據(jù)據(jù)設(shè)置有關(guān)其其保留和使用用的策略和合合規(guī)性制度。? 定義數(shù)據(jù)歸歸檔和清除策策略。? 創(chuàng)建如何跨跨各種系統(tǒng)復(fù)復(fù)制數(shù)據(jù)的策策略。? 設(shè)置數(shù)據(jù)加加密策略。3.1.2.33 服務(wù)質(zhì)量量層此層復(fù)雜定義數(shù)數(shù)據(jù)質(zhì)量、圍圍繞隱私和安安全性的策略略、數(shù)據(jù)頻率率、每次抓取取的數(shù)據(jù)大小

28、小和數(shù)據(jù)過濾濾器：? 數(shù)據(jù)質(zhì)量? 完整地識別別所有必要的的數(shù)據(jù)元素? 以可接受的的新鮮度提供供數(shù)據(jù)的時間間軸? 依照數(shù)據(jù)準(zhǔn)準(zhǔn)確性規(guī)則來來驗(yàn)證數(shù)據(jù)的的準(zhǔn)確性? 采用一種通通用語言（數(shù)數(shù)據(jù)元組滿足足使用簡單業(yè)業(yè)務(wù)語言所表表達(dá)的需求） ? 依據(jù)數(shù)數(shù)據(jù)一致性規(guī)規(guī)則驗(yàn)證來自自多個系統(tǒng)的的數(shù)據(jù)一致性性? 在滿足數(shù)據(jù)據(jù)規(guī)范和信息息架構(gòu)指南基基礎(chǔ)上的技術(shù)術(shù)符合性? 圍繞隱私和和安全的策略略需要策略來保護(hù)護(hù)敏感數(shù)據(jù)。從從外部機(jī)構(gòu)和和提供程序獲獲取的數(shù)據(jù)可可能包含敏感感數(shù)據(jù)（比如如 Faceebook 用戶的聯(lián)系系信息或產(chǎn)品品定價信息）。數(shù)數(shù)據(jù)可以來源源于不同的地地區(qū)和國家，但但必須進(jìn)行相相應(yīng)的處理。必必須制定有

29、關(guān)關(guān)數(shù)據(jù)屏蔽和和這類數(shù)據(jù)的的存儲的決策策?？紤]以下下數(shù)據(jù)訪問策策略：? 數(shù)據(jù)可用性性? 數(shù)據(jù)關(guān)鍵性性? 數(shù)據(jù)真實(shí)性性? 數(shù)據(jù)共享和和發(fā)布? 數(shù)據(jù)存儲和和保留，包括括能否存儲外外部數(shù)據(jù)等問問題。如果能能夠存儲數(shù)據(jù)，數(shù)據(jù)可存儲儲多長時間？可存儲何種種類型的數(shù)據(jù)據(jù)？? 數(shù)據(jù)提供程程序約束（政政策、技術(shù)和和地區(qū)）? 社交媒體使使用條款（參參見 參考資資料）? 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的的頻率是多少少？它是按需需、連續(xù)還是是離線的？? 抓取的數(shù)據(jù)據(jù)大小此屬性有助于定定義可抓取的的數(shù)據(jù)以及每每次抓取后可可使用的數(shù)據(jù)據(jù)大小。? 過濾器標(biāo)準(zhǔn)過濾器會刪刪除不想要的的數(shù)據(jù)和數(shù)據(jù)據(jù)中的干擾數(shù)數(shù)據(jù)，僅留下下分析所需的的數(shù)

30、據(jù)。3.1.2.44 系統(tǒng)管理理系統(tǒng)管理對大數(shù)數(shù)據(jù)至關(guān)重要要，因?yàn)樗嫔婕暗娇缙髽I(yè)業(yè)集群和邊界界的許多系統(tǒng)統(tǒng)。對整個大大數(shù)據(jù)生態(tài)系系統(tǒng)的健康的的監(jiān)視包括：? 管理系統(tǒng)日日志、虛擬機(jī)機(jī)、應(yīng)用程序序和其他設(shè)備備? 關(guān)聯(lián)各種日日志，幫助調(diào)調(diào)查和監(jiān)視具具體情形? 監(jiān)視實(shí)時警警告和通知? 使用顯示各各種參數(shù)的實(shí)實(shí)時儀表板? 引用有關(guān)系系統(tǒng)的報告和和詳細(xì)分析? 設(shè)定和遵守守服務(wù)水平協(xié)協(xié)議? 管理存儲和和容量? 歸檔和管理理歸檔檢索? 執(zhí)行系統(tǒng)恢恢復(fù)、集群管管理和網(wǎng)絡(luò)管管理? 策略管理3.2 功能應(yīng)應(yīng)用前面提到的技術(shù)術(shù)架構(gòu)的這些些層定義了各各種組件，并并對它們進(jìn)行行分類，這些些組件必須處處理某個給定定業(yè)務(wù)用

31、例的的功能性和非非功能性需求求。本文基于于層和組件的的概念，介紹紹了解決方案案中所用的典典型原子模式式和復(fù)合模式式。通過將所所提出的解決決方案映射到到此處提供的的模式，讓用用戶了解需要要如何設(shè)計(jì)組組件，以及從從功能角度考考慮，應(yīng)該將將它們放置在在何處。模式式有助于定義義大數(shù)據(jù)解決決方案的架構(gòu)構(gòu)。利用原子子模式和復(fù)合合模式可以幫幫助進(jìn)一步完完善大數(shù)據(jù)解解決方案的每每個組件的角角色和責(zé)任。3.3 原子模模式對于大數(shù)據(jù)上下下文中經(jīng)常出出現(xiàn)的問題，原原子模式 有有助于識別數(shù)數(shù)據(jù)如何是被被使用、處理理、存儲和訪訪問的。它們們還有助于識識別所需的組組件。訪問、存存儲和處理來來自不同數(shù)據(jù)據(jù)源的多種數(shù)數(shù)據(jù)需要

32、不同同的方法。每每種模式都用用于滿足特定定的需求：例例如，可視化化、歷史數(shù)據(jù)據(jù)分析、社交交媒體數(shù)據(jù)和和非結(jié)構(gòu)化數(shù)數(shù)據(jù)的存儲?？煽梢詫⒍喾N原原子模式結(jié)合合使用，組成成一個復(fù)合模模式。這些原原子模式?jīng)]有有進(jìn)行分層或或排序。例如如，可視化模模式可以與社社交媒體的數(shù)數(shù)據(jù)訪問模式式直接交互，可可視化模式還還可以與高級級分析處理模模式進(jìn)行交互互。3.3.1 數(shù)數(shù)據(jù)使用組件件這種類型的模式式處理使用數(shù)數(shù)據(jù)分析結(jié)果果的各種方式式。數(shù)據(jù)使用用模式可以滿滿足幾個需求求。3.3.1.11 可視化組組件可視化數(shù)據(jù)的傳傳統(tǒng)方式以圖圖表、儀表板板和摘要報告告為基礎(chǔ)。這這些傳統(tǒng)的方方法并不總是是用來可視化化數(shù)據(jù)的最佳佳方式

33、。大數(shù)據(jù)可視化的的典型需求（包包括新出現(xiàn)的的需求）如下下所示：? 執(zhí)行流數(shù)據(jù)據(jù)的實(shí)時分析析和顯示? 基于上下文文，以交互方方式挖掘數(shù)據(jù)據(jù)? 執(zhí)行高級搜搜索，并獲得得建議? 并行可視化化信息? 獲得先進(jìn)的的硬件，支持持未來的可視視化需求? 正在進(jìn)行研研究，以確定定人類和機(jī)器器如何使用大大數(shù)據(jù)洞察。這這些挑戰(zhàn)包括括所涉及的數(shù)據(jù)量量，并且需要要將數(shù)據(jù)與上上下文相關(guān)聯(lián)聯(lián)。必須在適適當(dāng)?shù)纳舷挛奈闹酗@示洞察察。? 可視化數(shù)據(jù)據(jù)的目的是為為了更容易、更更直觀地使用用數(shù)據(jù)，因此此報告和儀表表板可能提供全高高清的觀看效效果和 3-D 互動視視頻，并且可可以為用戶提提供使用應(yīng)用用程序控制業(yè)業(yè)務(wù)活動和結(jié)結(jié)果的能力。

34、3.3.1.22 即席發(fā)現(xiàn)現(xiàn)組件創(chuàng)建滿足所有業(yè)業(yè)務(wù)需求的標(biāo)標(biāo)準(zhǔn)報告往往往是不可行的的，因?yàn)槠髽I(yè)業(yè)的業(yè)務(wù)數(shù)據(jù)據(jù)查詢會有不不同的需求。用用戶在查找特特定信息時，可可能需要獲得得根據(jù)問題的的上下文執(zhí)行行即席查詢的的能力。即席分析可以幫幫助數(shù)據(jù)專家家和關(guān)鍵業(yè)務(wù)務(wù)用戶了解業(yè)業(yè)務(wù)數(shù)據(jù)的行行為。即席處處理中涉及的的復(fù)雜性來自自多種因素：多個數(shù)據(jù)源可用用于相同的域域。? 單一的查詢詢可以有多個個結(jié)果。? 輸出可以是是靜態(tài)的，并并具有多種格格式（視頻、音音頻、圖形和和文本）。 ? 輸出可可以是動態(tài)和和交互式的。3.3.1.33 數(shù)據(jù)轉(zhuǎn)儲儲組件在大數(shù)據(jù)的初步步探索中，許許多企業(yè)選擇擇使用現(xiàn)有的的分析平臺來來降低成

35、本，并并依賴于現(xiàn)有有的技能。加加強(qiáng)現(xiàn)有的數(shù)數(shù)據(jù)存儲有助助于拓寬可用用于現(xiàn)有分析析的數(shù)據(jù)的范范圍，包括駐駐留在組織邊邊界內(nèi)外的數(shù)數(shù)據(jù)，比如社社交媒體數(shù)據(jù)據(jù)，它可以豐豐富主數(shù)據(jù)。通通過拓寬數(shù)據(jù)據(jù)范圍，使之之包含現(xiàn)有存存儲中的新事事實(shí)表、維度度和主數(shù)據(jù)，并并從社交媒體體獲取客戶數(shù)數(shù)據(jù)，組織可可以獲得更深深入的客戶洞洞察。但要牢記的是，新新的數(shù)據(jù)集通通常比較大，而而現(xiàn)有的提取取、轉(zhuǎn)換和加加載工具可能能不足以處理理它。您可能能需要使用具具有大規(guī)模并并行處理能力力的高級工具具來解決數(shù)據(jù)據(jù)的數(shù)量、多多樣性、真實(shí)實(shí)性和速度特特征。3.3.1.44 信息推送送/通知組件件大數(shù)據(jù)洞察使人人類、企業(yè)和和機(jī)器可以通通

36、過使用事件件通知而立即即采取行動。通通知平臺必須須能夠處理及及時發(fā)送出去去的預(yù)計(jì)數(shù)量量的通知。這這些通知與大大量郵件或群群發(fā)短信不同同，因?yàn)閮?nèi)容容一般是特定定于使用者的的。例如，推推薦引擎可以以提供有關(guān)世世界各地的龐龐大客戶群的的洞察，而且且可以將通知知發(fā)送給這樣樣的客戶。3.3.1.55 自動響應(yīng)應(yīng)組件從大數(shù)據(jù)獲得的的業(yè)務(wù)洞察，可可用于觸發(fā)或或啟動其他業(yè)業(yè)務(wù)流程或事事務(wù)3.3.2 數(shù)數(shù)據(jù)處理組件件無論數(shù)據(jù)是處于于靜止?fàn)顟B(tài)還還是在運(yùn)動中中，都可以處處理大數(shù)據(jù)。具具體情況取決決于分析的復(fù)復(fù)雜性，有可可能不需要對對數(shù)據(jù)進(jìn)行實(shí)實(shí)時處理。這這種模式解決決了對大數(shù)據(jù)據(jù)進(jìn)行實(shí)時、近近實(shí)時或批量量處理的方式

37、式。以下高級的大數(shù)數(shù)據(jù)處理類別別適用于大多多數(shù)分析。這這些類別通常常也適用于基基于 RDBBMS 的傳傳統(tǒng)系統(tǒng)。惟惟一的區(qū)別是是龐大規(guī)模的的數(shù)據(jù)、多樣樣性和速度。在在處理大數(shù)據(jù)據(jù)時，要使用用機(jī)器學(xué)習(xí)、復(fù)復(fù)雜事件處理理、事件流處處理、決策管管理和統(tǒng)計(jì)模模型管理等技技術(shù)。3.3.2.11 歷史數(shù)據(jù)據(jù)分析組件傳統(tǒng)的歷史數(shù)據(jù)據(jù)分析僅限于于預(yù)定義的數(shù)數(shù)據(jù)時間段，這這通常取決于于數(shù)據(jù)保留策策略。由于處處理和存儲的的限制，超出出此時間段的的數(shù)據(jù)通常會會被歸檔或清清除?；?Hadooop 的系統(tǒng)統(tǒng)和其他等效效的系統(tǒng)可以以克服這些限限制，因?yàn)樗鼈兙哂胸S富富的存儲以及及分布式大規(guī)規(guī)模并行處理理能力。運(yùn)營營、業(yè)

38、務(wù)和數(shù)數(shù)據(jù)倉庫的數(shù)數(shù)據(jù)被移動到到大數(shù)據(jù)存儲儲，您通過使使用大數(shù)據(jù)平平臺功能對它它們進(jìn)行處理理。歷史分析包括分分析給定時間間段、季節(jié)組組合和產(chǎn)品的的歷史趨勢，并并與最新的可可用數(shù)據(jù)進(jìn)行行比較。為了了能夠存儲和和處理如此龐龐大的數(shù)據(jù)，您您可以使用 HDFS、NoSQL、SSPSS? 和 InffoSpheere? BBigInssightss?。3.3.2.22 高級分析析組件大數(shù)據(jù)提供了很很多實(shí)現(xiàn)創(chuàng)意意洞察的機(jī)會會。不同的數(shù)數(shù)據(jù)集可以在在多種上下文文中存在關(guān)聯(lián)聯(lián)。發(fā)現(xiàn)這些些關(guān)系需要創(chuàng)創(chuàng)新的復(fù)雜算算法和技術(shù)。高級分析包括預(yù)預(yù)測、決策、推推理過程、模模擬、上下文文信息標(biāo)識和和實(shí)體解析。高高級分析的應(yīng)

39、應(yīng)用包括生物物統(tǒng)計(jì)數(shù)據(jù)分分析（例如，DDNA 分析析）、空間分分析、基于位位置的分析、科科學(xué)分析、研研究，等等。高高級分析要求求大量的計(jì)算算來管理大量量的數(shù)據(jù)。數(shù)據(jù)專家可以指指導(dǎo)您識別合合適的技術(shù)、算算法和數(shù)據(jù)集集，以及在給給定上下文中中解決問題所所需的數(shù)據(jù)源源。比如 SSPSS、IInfoSpphere Streaams 和 InfoSSpheree BigIInsighhts 等工工具提供了這這類功能。這這些工具訪問問存儲在大數(shù)數(shù)據(jù)存儲系統(tǒng)統(tǒng)（比如 BBigTabble、HBBase，等等等）中的非非結(jié)構(gòu)化數(shù)據(jù)據(jù)和結(jié)構(gòu)化數(shù)數(shù)據(jù)（例如，JJSON 數(shù)數(shù)據(jù)）。3.3.2.33 預(yù)處理原原始數(shù)據(jù)

40、組件件大數(shù)據(jù)解決方案案主要由基于于 MapRReducee 的 Haadoop 系統(tǒng)和技術(shù)術(shù)組成，MaapReduuce 是開開箱即用的分分布式存儲和和處理解決方方案。然而，從從非結(jié)構(gòu)化數(shù)數(shù)據(jù)提取數(shù)據(jù)據(jù)（例如，圖圖像、音頻、視視頻、二進(jìn)制制提要，甚至至是文本）是是一項(xiàng)復(fù)雜的的任務(wù)，需要要具有機(jī)器學(xué)學(xué)習(xí)能力并掌掌握自然語言言處理等技術(shù)術(shù)。另一個主主要挑戰(zhàn)是如如何驗(yàn)證這些些技術(shù)和算法法的輸出的準(zhǔn)準(zhǔn)確度和正確確性。要對任何數(shù)據(jù)執(zhí)執(zhí)行分析，數(shù)數(shù)據(jù)都必須是是某種結(jié)構(gòu)化化格式。從多多個數(shù)據(jù)源訪訪問的非結(jié)構(gòu)構(gòu)化數(shù)據(jù)可以以按原樣存儲儲，然后被轉(zhuǎn)轉(zhuǎn)化成結(jié)構(gòu)化化數(shù)據(jù)（例如如 JSONN），并被再再次存儲到大大數(shù)據(jù)

41、存儲系系統(tǒng)中。非結(jié)結(jié)構(gòu)化文本可可以轉(zhuǎn)換成半半結(jié)構(gòu)化或結(jié)結(jié)構(gòu)化數(shù)據(jù)。同同樣，圖像、音音頻和視頻數(shù)數(shù)據(jù)需要轉(zhuǎn)換換成可用于分分析的格式。此此外，使用預(yù)預(yù)測和統(tǒng)計(jì)算算法的高級分分析的準(zhǔn)確性性和正確性取取決于用來訓(xùn)訓(xùn)練其模型的的數(shù)據(jù)和算法法的數(shù)量。下面的列表顯示示了將非結(jié)構(gòu)構(gòu)化數(shù)據(jù)轉(zhuǎn)換換成結(jié)構(gòu)化數(shù)數(shù)據(jù)所需的算算法和活動： ? 文檔檔和文本分類類? 特征提取? 圖像和文本本分割? 關(guān)聯(lián)特征、變變量和時間，然然后提取包含含時間的值? 輸出的準(zhǔn)確確度檢查使用用了混淆矩陣陣（conffusionn matrrix）等技技術(shù)和其他手手動活動? 數(shù)據(jù)專家可可以幫助用戶戶選擇合適的的技術(shù)和算法法。3.3.2.44 即

42、席分析析組件處理大數(shù)據(jù)的即即席查詢所帶帶來的挑戰(zhàn)不不同于對結(jié)構(gòu)構(gòu)化數(shù)據(jù)執(zhí)行行即席查詢時時所面臨的挑挑戰(zhàn)，由于數(shù)數(shù)據(jù)源和數(shù)據(jù)據(jù)格式不是固固定的，所以以需要使用不不同的機(jī)制來來檢索和處理理數(shù)據(jù)。雖然大數(shù)據(jù)供應(yīng)應(yīng)商可以處理理簡單的即席席查詢，但在在大多數(shù)情況況下，查詢是是復(fù)雜的，因因?yàn)楸仨氃谶\(yùn)運(yùn)行時動態(tài)地地發(fā)現(xiàn)數(shù)據(jù)、算算法、格式和和實(shí)體解析。所所以需要利用用數(shù)據(jù)專家和和業(yè)務(wù)用戶的的專業(yè)知識來來定義下列任任務(wù)所需的分分析：? 識別并發(fā)現(xiàn)現(xiàn)計(jì)算和算法法? 識別并發(fā)現(xiàn)現(xiàn)數(shù)據(jù)源? 定義所需的的可以由計(jì)算算使用的格式式? 對數(shù)據(jù)執(zhí)行行并行計(jì)算3.3.3 數(shù)數(shù)據(jù)訪問組件件在大數(shù)據(jù)解決方方案中，有許許多數(shù)據(jù)源，還

43、還有很多訪問問數(shù)據(jù)的方式式，本節(jié)將介介紹最常見的的幾種。3.3.3.11 web和和社交媒體訪訪問組件Interneet 是提供供許多目前可可以獲得的洞洞察的數(shù)據(jù)源源。在幾乎所所有分析中，都都會用到 WWeb 和社社交媒體，但但獲得這種數(shù)數(shù)據(jù)需要不同同的訪問機(jī)制制。在所有數(shù)據(jù)源中中，因?yàn)?WWeb 和社社交媒體的多多樣性、速度度和數(shù)量，所所以 Webb和社交媒體是最最為復(fù)雜的。網(wǎng)網(wǎng)站大約有 40-500 個類別，每每一個類別都都需要使用不不同的方式來來訪問數(shù)據(jù)。本本節(jié)將列出這這些類別，并并介紹一些訪訪問機(jī)制。從從大數(shù)據(jù)的角角度講，高級級的類別是商商業(yè)站點(diǎn)、社社交媒體站點(diǎn)點(diǎn)，以及具有有特定和通用

44、用組件的站點(diǎn)點(diǎn)。有關(guān)的訪訪問機(jī)制見圖圖 3。如果果需要的話，在在完成預(yù)處理理后，可將所所訪問的數(shù)據(jù)據(jù)存儲在數(shù)據(jù)據(jù)存儲中。Web 和社交交媒體訪問需要執(zhí)行以下步步驟來訪問 Web 媒媒體信息。圖 大數(shù)據(jù)訪問問步驟非結(jié)構(gòu)化數(shù)據(jù)存存儲中的 WWeb 媒體體訪問步驟 A-1. 爬網(wǎng)程序序讀取原始數(shù)數(shù)據(jù)。步驟 A-2. 數(shù)據(jù)被存存儲在非結(jié)構(gòu)構(gòu)化存儲中。Web 媒體訪訪問為結(jié)構(gòu)化化存儲預(yù)處理理數(shù)據(jù)步驟 B-1. 爬網(wǎng)程序序讀取原始數(shù)數(shù)據(jù)。步驟 B-2. 對數(shù)據(jù)進(jìn)進(jìn)行預(yù)處理。步驟 B-3. 數(shù)據(jù)被存存儲在結(jié)構(gòu)化化存儲中。Web 媒體訪訪問預(yù)處理非非結(jié)構(gòu)化數(shù)據(jù)據(jù)步驟 C-1. 在極少數(shù)數(shù)情況下，來來自供應(yīng)商的

45、的數(shù)據(jù)可以是是非結(jié)構(gòu)化數(shù)數(shù)據(jù)。 步驟驟 C-2. 對數(shù)據(jù)進(jìn)進(jìn)行預(yù)處理。步驟 C-3. 數(shù)據(jù)被存存儲在結(jié)構(gòu)化化存儲中。非結(jié)構(gòu)化或結(jié)構(gòu)構(gòu)化數(shù)據(jù)的 Web 媒媒體訪問步驟 D-1. 數(shù)據(jù)供應(yīng)應(yīng)商提供結(jié)構(gòu)構(gòu)化或非結(jié)構(gòu)構(gòu)化數(shù)據(jù)。步驟 D-2. 數(shù)據(jù)被存存儲在結(jié)構(gòu)化化或非結(jié)構(gòu)化化存儲中。Web 媒體訪訪問預(yù)處理非非結(jié)構(gòu)化數(shù)據(jù)據(jù)步驟 E-1. 不能使用用在存儲時未未經(jīng)過預(yù)處理理的非結(jié)構(gòu)化化數(shù)據(jù)，除非非它是結(jié)構(gòu)化化格式的數(shù)據(jù)據(jù)。步驟 E-2. 對數(shù)據(jù)進(jìn)進(jìn)行預(yù)處理。步驟 E-3. 經(jīng)過預(yù)處處理的結(jié)構(gòu)化化數(shù)據(jù)被存儲儲在結(jié)構(gòu)化存存儲中。如圖所示，數(shù)據(jù)據(jù)可以直接存存儲在存儲器器中，或者可可以對它們進(jìn)進(jìn)行預(yù)處理，并并將

46、它們轉(zhuǎn)換換成一個中間間格式或標(biāo)準(zhǔn)準(zhǔn)格式，然后后再存儲它們們。在可以分析數(shù)據(jù)據(jù)之前，數(shù)據(jù)據(jù)格式必須可可用于實(shí)體解解析或用于查查詢所需數(shù)據(jù)據(jù)。這種經(jīng)過過預(yù)處理的數(shù)數(shù)據(jù)可以存儲儲在一個存儲儲系統(tǒng)中。雖然預(yù)處理通常常被認(rèn)為是微微不足道的，但但這項(xiàng)處理可可能非常復(fù)雜雜和耗時。3.3.3.22 物聯(lián)網(wǎng)設(shè)設(shè)備數(shù)據(jù)的訪訪問組件設(shè)備生成的內(nèi)容容包括來自傳傳感器的數(shù)據(jù)據(jù)數(shù)據(jù)是從天天氣信息、電電氣儀表和污污染數(shù)據(jù)等數(shù)數(shù)據(jù)來源檢測測到的，并且且由傳感器捕捕獲。這些數(shù)數(shù)據(jù)可以是照照片、視頻、文文本和其他二二進(jìn)制格式。下圖說明了處理理機(jī)器生成的的數(shù)據(jù)的典型型過程。圖 5. 設(shè)備備生成的數(shù)據(jù)據(jù)訪問圖 5 說明了了訪問來自傳

47、傳感器的數(shù)據(jù)據(jù)的過程。由由傳感器捕獲獲的數(shù)據(jù)可以以發(fā)送到設(shè)備備網(wǎng)關(guān)，設(shè)備備網(wǎng)關(guān)會對數(shù)數(shù)據(jù)執(zhí)行一些些初始預(yù)處理理，并緩沖高高速數(shù)據(jù)。機(jī)機(jī)器生成的數(shù)數(shù)據(jù)大多為二二進(jìn)制格式（音音頻、視頻和和傳感器讀數(shù)數(shù)）或文本格格式。這樣的的數(shù)據(jù)最初可可以存儲在存存儲系統(tǒng)中，也也可以對它們們進(jìn)行預(yù)處理理，然后再存存儲它們。對對于分析來說說，要求執(zhí)行行預(yù)處理。3.3.3.33 基礎(chǔ)數(shù)據(jù)據(jù)(觀測數(shù)據(jù)據(jù)和生產(chǎn)數(shù)據(jù)據(jù))的訪問模模式可以存儲現(xiàn)有的的事務(wù)、運(yùn)營營和倉庫數(shù)據(jù)據(jù)，避免清除除或歸檔數(shù)據(jù)據(jù)（因?yàn)榇鎯吞幚淼南尴拗疲?，或減減少在數(shù)據(jù)被被其他使用者者訪問時對傳傳統(tǒng)存儲的負(fù)負(fù)載。對于大多數(shù)企業(yè)業(yè)而言，事務(wù)務(wù)、運(yùn)營、主主數(shù)據(jù)

48、和倉庫庫信息都是所所有分析的核核心。如果用用在 Intternett 上，或者者通過傳感器器和智能設(shè)備備提供的非結(jié)結(jié)構(gòu)化數(shù)據(jù)以以及外部數(shù)據(jù)據(jù)來增強(qiáng)此數(shù)數(shù)據(jù)，那么可可以幫助組織織獲得準(zhǔn)確的的洞察，并執(zhí)執(zhí)行高級分析析。使用由多個數(shù)據(jù)據(jù)庫廠商提供供的標(biāo)準(zhǔn)連接接器，事務(wù)和和倉庫數(shù)據(jù)可可以被推入存存儲。預(yù)處理理事務(wù)性數(shù)據(jù)據(jù)要容易得多多，因?yàn)閿?shù)據(jù)據(jù)大多是結(jié)構(gòu)構(gòu)化的。可以以使用簡單的的提取、轉(zhuǎn)換換和加載流程程將事務(wù)數(shù)據(jù)據(jù)移動到存儲儲中。事務(wù)數(shù)數(shù)據(jù)可以很容容易地轉(zhuǎn)換成成 JSONN 和 CSSV 等格式式。使用 SSqoop 等工具可以以更容易將事事務(wù)數(shù)據(jù)推入入存儲系統(tǒng)，如如 HBasse 和 HHDFS。3

49、.3.4 數(shù)數(shù)據(jù)存儲組件件存儲模式有助于于確定適當(dāng)?shù)牡拇鎯Ω鞣N數(shù)數(shù)據(jù)的類型和和格式。數(shù)據(jù)據(jù)可以按原樣樣存儲，根據(jù)據(jù)鍵值對存儲儲，或者以預(yù)預(yù)定義的格式式存儲。分布式文件系統(tǒng)統(tǒng)（如 GFFS 和 HHDFS）都都能夠存儲任任何類型的數(shù)數(shù)據(jù)。但是，高高效地檢索或或查詢數(shù)據(jù)的的能力會影響響性能。技術(shù)術(shù)的選擇很重重要。3.3.4.11 分布式非非結(jié)構(gòu)化數(shù)據(jù)據(jù)存儲組件大部分大數(shù)據(jù)是是非結(jié)構(gòu)化數(shù)數(shù)據(jù)，而且可可以通過不同同的方式針對對不同的上下下文提取它所所擁有的信息息。大多數(shù)時時候，非結(jié)構(gòu)構(gòu)化數(shù)據(jù)必須須按原樣并以以其原始格式式進(jìn)行存儲。這樣的數(shù)據(jù)可以以存儲在分布布式文件系統(tǒng)統(tǒng)（如 HDDFS）和 NoSQL

50、L 文檔存儲儲（如 MoongoDBB）中。這些些系統(tǒng)提供了了檢索非結(jié)構(gòu)構(gòu)化數(shù)據(jù)的有有效方法。3.3.4.22 分布式結(jié)結(jié)構(gòu)化數(shù)據(jù)存存儲組件結(jié)構(gòu)化數(shù)據(jù)包括括從數(shù)據(jù)源到到達(dá)的已經(jīng)是是結(jié)構(gòu)化格式式的數(shù)據(jù)，以以及經(jīng)過預(yù)處處理，被轉(zhuǎn)換換為 JSOON 數(shù)據(jù)等等格式的非結(jié)結(jié)構(gòu)化數(shù)據(jù)。必必須存儲已經(jīng)經(jīng)過轉(zhuǎn)換的數(shù)數(shù)據(jù)，避免從從原始數(shù)據(jù)到到結(jié)構(gòu)化數(shù)據(jù)據(jù)的頻繁數(shù)據(jù)據(jù)轉(zhuǎn)換?？梢允褂?Gooogle 的 BiggTablee 等技術(shù)來來存儲結(jié)構(gòu)化化數(shù)據(jù)。BiigTablle 是一個個大規(guī)模容錯錯式自我管理理系統(tǒng)，包括括 TB 級級的內(nèi)存和 PB 級的的存儲。Hadoop 中的 HBBase 可可媲美 BiigTab

51、lle。它使用用了 HDFFS 作為底底層存儲。3.3.4.33 傳統(tǒng)數(shù)據(jù)據(jù)存儲組件對于存儲大數(shù)據(jù)據(jù)而言，傳統(tǒng)統(tǒng)的數(shù)據(jù)存儲儲并不是最佳佳選擇，但在在企業(yè)執(zhí)行初初步數(shù)據(jù)探索索的情況下，企企業(yè)可能會選選擇使用現(xiàn)有有的數(shù)據(jù)倉庫庫、RDBMMS 系統(tǒng)和和其他內(nèi)容存存儲。這些現(xiàn)現(xiàn)有的存儲系系統(tǒng)可用來存存儲使用大數(shù)數(shù)據(jù)平臺消化化和過濾的數(shù)數(shù)據(jù)。不要認(rèn)認(rèn)為傳統(tǒng)的數(shù)數(shù)據(jù)存儲系統(tǒng)統(tǒng)適用于大數(shù)數(shù)據(jù)。3.3.4.44 云存儲組組件許多云計(jì)算基礎(chǔ)礎(chǔ)架構(gòu)供應(yīng)商商都有分布式式結(jié)構(gòu)化、非非結(jié)構(gòu)化的存存儲能力。從從傳統(tǒng)的配置置、維護(hù)、系系統(tǒng)管理、編編程和建模角角度講，大數(shù)數(shù)據(jù)技術(shù)有點(diǎn)點(diǎn)不同。此外外，實(shí)現(xiàn)大數(shù)數(shù)據(jù)解決方案案所需

52、的技能能既罕見又昂昂貴。探索大大數(shù)據(jù)技術(shù)的的企業(yè)可以使使用云解決方方案來提供大大數(shù)據(jù)的存儲儲、維護(hù)和系系統(tǒng)管理。要存儲的數(shù)據(jù)往往往是敏感數(shù)數(shù)據(jù)，這些數(shù)數(shù)據(jù)包括醫(yī)療療記錄和生物物特征數(shù)據(jù)。您您需要考慮數(shù)數(shù)據(jù)安全性、數(shù)數(shù)據(jù)共享、數(shù)數(shù)據(jù)治理，以以及有關(guān)數(shù)據(jù)據(jù)的其他政策策，在考慮將將云作為大數(shù)數(shù)據(jù)存儲庫的的時候尤其如如此。傳輸大大量數(shù)據(jù)的能能力也是云存存儲的另一個個重要考慮因因素。3.4 復(fù)合模模式原子模式 側(cè)重重于提供執(zhí)行行各項(xiàng)功能所所需的能力。但但是，復(fù)合模模式 是基于于端到端的解決方方案進(jìn)行分類類的。每個復(fù)復(fù)合模式都要要考慮一個或或多個維度。在在將復(fù)合模式式應(yīng)用到每個個模式時，會會有許多變化化。

53、可以將復(fù)復(fù)合模式映射射到一個或多多個原子模式式，以解決某某個給定的業(yè)業(yè)務(wù)問題。本本文所述的復(fù)復(fù)合模式列表表是基于經(jīng)常常發(fā)生的典型型業(yè)務(wù)問題，但但這不是復(fù)合合模式的完整整列表。3.4.1 存存儲和探索復(fù)復(fù)合組件如果業(yè)務(wù)問題需需要存儲大量量新數(shù)據(jù)和現(xiàn)現(xiàn)有數(shù)據(jù)，而而且先前由于于缺乏足夠的的存儲和分析析能力而一直直未使用這些些數(shù)據(jù)，那么么這種模式就就非常有用。該該模式旨在緩緩解對現(xiàn)有數(shù)數(shù)據(jù)存儲的負(fù)負(fù)載。所存儲儲的數(shù)據(jù)可用用于初始勘探探和即席發(fā)現(xiàn)現(xiàn)。用戶可以以推演報告，通通過進(jìn)一步的的處理來分析析數(shù)據(jù)的質(zhì)量量和價值。您您可以使用 ETL 工工具來預(yù)處理理和凈化原始始數(shù)據(jù)，然后后再進(jìn)行任何何類型的分析析。

54、圖 6. 存儲儲和探索復(fù)合合模式圖 6 說明了了這種模式的的多個維度。數(shù)數(shù)據(jù)的使用目目的可能只是是存儲它，或或處理和使用用它。僅存儲的示例是是，數(shù)據(jù)的獲獲取和存儲只只是為了將來來能夠滿足合合規(guī)性或法律律的要求。在在處理和使用用的情況下，分分析的結(jié)果可可以被處理和和使用?？梢砸詮淖罱l(fā)現(xiàn)現(xiàn)的來源或從從現(xiàn)有的數(shù)據(jù)據(jù)存儲訪問數(shù)數(shù)據(jù)。3.4.2 專專業(yè)分析和預(yù)預(yù)測分析組件件使用此模式的情情況是，使用用多種處理技技術(shù)執(zhí)行分析析，因此，可以用新洞察豐豐富現(xiàn)有數(shù)據(jù)，或或創(chuàng)建可由各各種用戶使用用的輸出。該該分析可以在在事件發(fā)生的的同時實(shí)時發(fā)發(fā)生，或使用用批量模式，根根據(jù)收集到的的數(shù)據(jù)獲得洞洞察。作為可可以分析的靜靜態(tài)數(shù)據(jù)的示示例，某電信信公司可能構(gòu)構(gòu)建客戶流失失