關(guān)于大數(shù)據(jù)系統(tǒng)架構(gòu)分析及技術(shù)發(fā)展探討

1、    關(guān)于大數(shù)據(jù)系統(tǒng)架構(gòu)分析及技術(shù)發(fā)展探討    蔡宏摘要：隨著網(wǎng)絡(luò)中海量的半結(jié)構(gòu)化、非結(jié)構(gòu)性數(shù)據(jù)的出現(xiàn)，如何有效地對這些海量數(shù)據(jù)進(jìn)行處理，成為人們面臨的一個重要問題，采用大數(shù)據(jù)技術(shù)能夠有效地解決這一問題，針對當(dāng)前大數(shù)據(jù)系統(tǒng)架構(gòu)的主要特征進(jìn)行分析，探究了大數(shù)據(jù)系統(tǒng)的生態(tài)結(jié)構(gòu)，詳細(xì)地分析了大數(shù)據(jù)應(yīng)用的關(guān)鍵技術(shù)，通過對大數(shù)據(jù)的具體應(yīng)用進(jìn)行分析，對提高大數(shù)據(jù)的應(yīng)用具有十分重要的意義。關(guān)鍵詞：大數(shù)據(jù);系統(tǒng)架構(gòu);技術(shù)：tp399 ：a：1009-3044（2020）10-0001-03當(dāng)前，隨著web3.0的發(fā)展，移動網(wǎng)絡(luò)、智能設(shè)備、傳感器、掃描設(shè)備等各種智能設(shè)

2、備的應(yīng)用，源源不斷的產(chǎn)生大量的、結(jié)構(gòu)性、非結(jié)構(gòu)性的數(shù)據(jù)，人們的生活與各個層面的數(shù)據(jù)息息相關(guān)，在網(wǎng)絡(luò)中不僅存在大量的靜態(tài)數(shù)據(jù)，還存在大量的動態(tài)數(shù)據(jù)。大數(shù)據(jù)已經(jīng)滲透應(yīng)用到了眾多行業(yè)，為企業(yè)提供決策支持具有十分重要的作用，而且龐大的數(shù)據(jù)資源對國家的安全具有十分重要的作用，大數(shù)據(jù)已經(jīng)成為國家和企業(yè)的戰(zhàn)略資源，在未來的發(fā)展中地位十分突出。1大數(shù)據(jù)的內(nèi)涵及特征對于大數(shù)據(jù)的概念，目前還沒有一個統(tǒng)一的定義，現(xiàn)有的分許都是從數(shù)據(jù)規(guī)模與軟件支持處理數(shù)據(jù)的角度進(jìn)行定義與描述的，在一般情況下認(rèn)為大數(shù)據(jù)是指數(shù)據(jù)的大小超出了常規(guī)的數(shù)據(jù)加工工具獲取、存儲、管理與分析能力的數(shù)據(jù)集合體，在具體的處理過程中，需要對這些結(jié)構(gòu)化、半

3、結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行清洗、抽取加工，形成對人們有用的信息。大數(shù)據(jù)具有如下的幾個特征：1）數(shù)據(jù)規(guī)模大（volume）。一般情況下，大數(shù)據(jù)都是以半結(jié)構(gòu)化、非結(jié)構(gòu)化的形式存在，數(shù)據(jù)量比較搭，一般都在數(shù)百tr以上。2）數(shù)據(jù)多樣性（variety）。大數(shù)據(jù)中的數(shù)據(jù)主要以圖形、圖像、視頻、音頻、流媒體等數(shù)據(jù)形態(tài)存在，數(shù)據(jù)樣式比較多。3）數(shù)據(jù)處理時效性（velocity）。大數(shù)據(jù)只有經(jīng)過處理之后，才能獲取有用的信息，在處理要求數(shù)據(jù)滿足一定的響應(yīng)性。4）結(jié)果準(zhǔn)確性（veracity）。對數(shù)據(jù)的處理要求保證準(zhǔn)確性，否則就會失去意義。5）深度價值（value）。大數(shù)據(jù)中蘊含有很多有深度價值的信息，通過數(shù)據(jù)挖

4、掘分析，探究其中巨大的價值。2大數(shù)據(jù)的系統(tǒng)架構(gòu)分析大數(shù)據(jù)系統(tǒng)是一個復(fù)雜的結(jié)構(gòu)，能夠為不同的數(shù)據(jù)提供其生命周期不同階段的數(shù)據(jù)處理功能，在不同的應(yīng)用過程中，大數(shù)據(jù)系統(tǒng)可以縱向的分為多個不同的數(shù)據(jù)處理階段，在橫向上可以分為多個不同的層次。在建構(gòu)大數(shù)據(jù)系統(tǒng)模型時，需要結(jié)合大數(shù)據(jù)的具體用途進(jìn)行分類建模，才能滿足不同行業(yè)的需要，統(tǒng)一數(shù)據(jù)模型設(shè)計主要是根據(jù)企業(yè)的需求，搭建數(shù)據(jù)平臺模型，由企業(yè)的應(yīng)用需求驅(qū)動，大數(shù)據(jù)平臺的建構(gòu)模型應(yīng)該自頂而下的過程，主要的建模過程主要包括業(yè)務(wù)的應(yīng)用、需求的分析、邏輯模型的建立、生成具有的物理模型等幾個過程。首先要確定業(yè)務(wù)應(yīng)用與需求，主要是對統(tǒng)一的數(shù)據(jù)模型提出需求分析，包括數(shù)據(jù)的

5、功能性與性能等兩個方面的應(yīng)用，即滿足數(shù)據(jù)的內(nèi)容與范圍的需求以及數(shù)據(jù)查詢的需求兩個功能，功能性需求主要是保證大數(shù)據(jù)平臺邏輯模型設(shè)計中，能夠在具體的物理模型中進(jìn)行落實，在一般情況下可以采用完全集成cim類、擴充cim類的屬性以及新建類幾種方法對數(shù)據(jù)進(jìn)行描述。性能需要主要是從傳統(tǒng)的sql數(shù)據(jù)庫或者olap的關(guān)鍵績效指標(biāo)來分析大數(shù)據(jù)平臺架構(gòu)的需求，然后采用機器學(xué)習(xí)的算法，提高分析挖掘效率。對于功能性需求，可以大數(shù)據(jù)平臺建立的過程中對數(shù)據(jù)結(jié)構(gòu)進(jìn)行調(diào)整與優(yōu)化，并采用新型的數(shù)據(jù)庫技術(shù)，實現(xiàn)大數(shù)據(jù)平臺信息快速獲取的需要，而對于性能性需求，可以在采用一定的樣本訓(xùn)練數(shù)據(jù)的基礎(chǔ)上，生成相應(yīng)的分析圖表與目標(biāo)視圖，然后

6、通過etl重新抽取統(tǒng)一層數(shù)據(jù)到分析層，生成相應(yīng)的邏輯模型與物理模型。因此，大數(shù)據(jù)平臺需要包括文件系統(tǒng)、數(shù)據(jù)存儲、引擎功能、計算框架、數(shù)據(jù)分析、數(shù)據(jù)集成、操作框架等部分構(gòu)成，如圖1所示。大數(shù)據(jù)平臺主要包括以下幾個部分：基礎(chǔ)設(shè)施層書大數(shù)據(jù)系統(tǒng)的硬件基礎(chǔ)，一般情況下是由云計算技術(shù)提供的;計算層主要是多種計算工具與大數(shù)據(jù)計算框架構(gòu)成的，包括數(shù)據(jù)的抽取、etl、檢測管理等技術(shù)，將各種非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行處理，將無序化的數(shù)據(jù)轉(zhuǎn)換成有序的數(shù)據(jù)序列，便于用戶使用;而應(yīng)用層主要采用多種協(xié)議方式實現(xiàn)大數(shù)據(jù)平臺與外部數(shù)據(jù)的連接接口。圖1展示大數(shù)據(jù)處理平臺的關(guān)鍵架構(gòu)層，在每一個層級中都會涉及相應(yīng)的技術(shù)與關(guān)鍵的工具，它們

7、是大數(shù)據(jù)平臺的開源工具，在大數(shù)據(jù)技術(shù)不斷發(fā)展的基礎(chǔ)上，在這些開源工具的支持下，不斷地促進(jìn)技術(shù)革新，另外，通過開源代碼，不同地區(qū)的工作人員，能夠不斷地完善大數(shù)據(jù)處理的生態(tài)系統(tǒng)，促進(jìn)大數(shù)據(jù)技術(shù)的不斷發(fā)展。2.1hadoop生態(tài)圖hadoop是大數(shù)據(jù)平臺基礎(chǔ)性的應(yīng)用平臺，它是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，方便用戶在不了解系統(tǒng)底層細(xì)節(jié)分布的情況下，開發(fā)多種分布式程序，從而能夠提高集群的高速運算與具體的存儲。它主要包括：mapreduce，主要功能是實現(xiàn)分布式數(shù)據(jù)處理的編程模型，便于用戶對各種數(shù)據(jù)進(jìn)行模型化處;zookeeper，它的主要功能是分布式、可用性高的協(xié)調(diào)服務(wù)系統(tǒng)，為用戶提供分布式鎖類的應(yīng)用;hba

8、se的功能是分布式存在，滿足數(shù)據(jù)按列存儲的方式存儲數(shù)據(jù)庫;pig的功能是保證各種數(shù)據(jù)流的編程語言與工作運行環(huán)境，可以檢索各種類型的數(shù)據(jù)集合。2.2伯克利數(shù)據(jù)分析棧spark的整個生態(tài)系統(tǒng)的核心，稱為伯克利數(shù)據(jù)分析棧（bdas），目前技術(shù)的眾多子項目在大數(shù)據(jù)平臺中得到了廣泛的應(yīng)用，它支持結(jié)構(gòu)化的sql數(shù)據(jù)查詢、分析與數(shù)據(jù)處理，還提供機器學(xué)習(xí)的功能系統(tǒng)，mlbase及底層的分布式機器學(xué)習(xí)庫ml-lib，同時，結(jié)合大數(shù)據(jù)生態(tài)系統(tǒng)的要求，還提供并行圖計算框架graphx與流計算框架spark streaming等功能，整個大數(shù)據(jù)系統(tǒng)架構(gòu)中，采樣近似計算查詢引擎blinkdb、內(nèi)存分布式文件系統(tǒng)tach

9、yon與資源管理框架mesos等子項目等都分布在不同的層級，這些子項目協(xié)同工作，為大數(shù)據(jù)平臺提供了不同的計算范式，對非結(jié)構(gòu)化數(shù)據(jù)的處理具有十分重要的作用。3大數(shù)據(jù)系統(tǒng)架構(gòu)的關(guān)鍵技術(shù)3.1數(shù)據(jù)的采集技術(shù)大數(shù)據(jù)的數(shù)據(jù)源是多種多樣的，而且數(shù)據(jù)量十分巨大，變化快，如何有效的保證采集數(shù)據(jù)的安全性與可靠性以及數(shù)據(jù)的重復(fù)問題與質(zhì)量問題是數(shù)據(jù)采集的關(guān)鍵。3.1.1數(shù)據(jù)的生成1）埋點。主要原理在應(yīng)用中，在能夠生成數(shù)據(jù)的上下文中，植入能夠生成數(shù)據(jù)的代碼，從而能夠獲取相應(yīng)的數(shù)據(jù)。例如，在前端預(yù)先埋好需要的腳本代碼，在用戶訪問相應(yīng)的網(wǎng)頁時，就會將用戶的行為記錄下來，從而能夠獲取相應(yīng)的用戶偏好信息。2）日志收集數(shù)據(jù)。這

10、種方法比較傳統(tǒng)，但是也十分有效，獲取的數(shù)據(jù)也比較真實。例如，將網(wǎng)站部署在linux服務(wù)器上，在用戶通過搜索引擎查詢到該網(wǎng)頁進(jìn)行訪問后，linux服務(wù)器里的日志文件就會有用戶登錄的日志，如圖2所示。作為大數(shù)據(jù)搜索系統(tǒng)，網(wǎng)站日志占的份額最大，用戶的登錄行為可以通過日常保證，采用這種方式不需要在網(wǎng)站上預(yù)算埋點，就能夠查詢到和用戶的各種行為。3.2數(shù)據(jù)的傳輸技術(shù)大數(shù)據(jù)平臺主要采用的分布式存儲系統(tǒng)，在分布式系統(tǒng)的構(gòu)件之間可，需要進(jìn)行相互之間的信息傳遞，才能實現(xiàn)功能的耦合，系統(tǒng)中的消息隊列是數(shù)據(jù)信息在不同系統(tǒng)之間進(jìn)行傳遞的容器與中間件，其功能是保證數(shù)據(jù)傳輸?shù)目煽啃?，常見的消息隊列有如下?）flume系統(tǒng)

11、flume系統(tǒng)具有安全性、可靠性，是一種能夠?qū)Ψ植际降暮Ａ咳罩緮?shù)據(jù)進(jìn)行采集、聚合與傳輸?shù)南到y(tǒng)，一般情況下，在每臺網(wǎng)絡(luò)的服務(wù)器上部署flume agent系統(tǒng)，就能夠?qū)崟r的收集網(wǎng)站日志數(shù)據(jù)，并將其轉(zhuǎn)存到hdfs上。以便于能夠及時地獲取相關(guān)數(shù)據(jù)。2）kafka系統(tǒng)kafka系統(tǒng)是linkedln開源的信息系統(tǒng)，是一種基于發(fā)布、訂閱消息系統(tǒng)的分布式管理系統(tǒng)，它具有實時的數(shù)據(jù)處理能力、高高吞吐率、能夠支持消息的分區(qū)發(fā)布、保證消息能夠按照順序進(jìn)行傳輸。在數(shù)據(jù)收集的過程中，數(shù)據(jù)在各個應(yīng)用者處產(chǎn)生，通過kafka匯集處理，將應(yīng)用者需求的消息推送出去，在kafka管理中，消費者讀取到的隊列的位置的相關(guān)信息，由

12、kaf-ka交各個消費者各自保存，降低了系統(tǒng)的數(shù)據(jù)存儲壓力，而其他管理信息存放在zookeeper中，從而提高了kafka系統(tǒng)數(shù)據(jù)存儲效率。另外，在大數(shù)據(jù)業(yè)務(wù)處理的過程中，還有mysql，oracle，sqlserver等多種類型的數(shù)據(jù)庫，也可以采用sqoop工具將數(shù)據(jù)同步到hdfs上，在使用sqoop工具時，需要采用mapreduce來執(zhí)行數(shù)據(jù)的處理，并且還需hadoop集群的每臺機器都能訪問業(yè)務(wù)數(shù)據(jù)庫，才能有的完成各種數(shù)據(jù)的處理，需要在不同的、異構(gòu)的數(shù)據(jù)庫之間采用高速的數(shù)據(jù)交換工具。3.3大數(shù)據(jù)存儲技術(shù)3.3.1大數(shù)據(jù)存儲的文件系統(tǒng)1）分布式文件管理系統(tǒng)在數(shù)據(jù)進(jìn)入到大數(shù)據(jù)系統(tǒng)進(jìn)行清洗、轉(zhuǎn)化

13、時，都需要將數(shù)據(jù)存儲到一個合適的持久化層中，hdfs的開源實現(xiàn)功能，能夠?qū)⒋髷?shù)據(jù)環(huán)境下的數(shù)據(jù)倉庫、數(shù)據(jù)平臺等融合在一起，提高分布式文件存儲的效率。hdfs架構(gòu)主要由namenode負(fù)責(zé)管理、處理、存儲分布式數(shù)據(jù)系統(tǒng)中的元數(shù)據(jù)，運用datanode負(fù)責(zé)分布式數(shù)據(jù)庫中的數(shù)據(jù)塊的實際存儲和讀寫操作，在大數(shù)據(jù)平臺的客戶端，利用nameno-de聯(lián)系獲取用戶的元數(shù)據(jù)文件，而實際上的datanode直接負(fù)責(zé)整個系統(tǒng)通信完成工作。2）分布式內(nèi)存文件系統(tǒng)tachyon是分布式內(nèi)存文件系統(tǒng)之一，在大數(shù)據(jù)平臺的處理中，應(yīng)用十分廣泛，它可以實現(xiàn)網(wǎng)絡(luò)中的數(shù)據(jù)在多節(jié)點的內(nèi)存中的分布式存儲與管理，它的具體架構(gòu)如圖3所示。

14、tachyon系部在底層部署了分布式文件管理系統(tǒng)與分布式存儲系統(tǒng)，采用的是基于磁盤管理的方式與分布式計算框架。這樣，在大數(shù)據(jù)處理系統(tǒng)中，可以直接從系統(tǒng)的內(nèi)存中訪問數(shù)據(jù)，而不是在磁盤中訪問數(shù)據(jù)，大大提高系統(tǒng)的工作效率。3）大數(shù)據(jù)的數(shù)據(jù)庫技術(shù)大數(shù)據(jù)在互聯(lián)網(wǎng)應(yīng)用，需要對網(wǎng)絡(luò)的數(shù)據(jù)進(jìn)行實時處理，以期望得到挖掘有效的系統(tǒng)數(shù)據(jù)，在基礎(chǔ)的數(shù)據(jù)庫管理中主要采用的是sql數(shù)據(jù)庫系統(tǒng)、nosql數(shù)據(jù)庫系統(tǒng)兩種類型。在關(guān)系數(shù)據(jù)庫中，不同的數(shù)據(jù)模式需要采用不同的設(shè)計方法，他們是有嚴(yán)格的基于數(shù)據(jù)模型的設(shè)計方法，在nosql數(shù)據(jù)庫的設(shè)計中，需要綜合考慮各個鍵值的存儲方法、文檔存儲的方法、列式存儲、圖形、視頻、半結(jié)構(gòu)話、非

15、結(jié)構(gòu)化數(shù)據(jù)等存儲模型，這樣就產(chǎn)生不同的物流存儲結(jié)構(gòu)，也就有種不同的建模方式，可以說，采用nosql數(shù)據(jù)庫，可以快速地對大數(shù)據(jù)的數(shù)據(jù)模型進(jìn)行設(shè)計。3.4大數(shù)據(jù)分析技術(shù)3.4.1互聯(lián)網(wǎng)用戶畫像模型用戶畫像畫像模型就是通過網(wǎng)絡(luò)收集與分析消費者的個性化特征與社會屬性的主要數(shù)據(jù)，如生活習(xí)慣、消費習(xí)慣、群體特征等，提取特征數(shù)據(jù)，形成對用戶的特征的一個個維度，并詳細(xì)的數(shù)據(jù)進(jìn)行表征，如位置、職業(yè)、性別、愛好、學(xué)歷等，通過畫像的方式對用戶的特征進(jìn)行信息化標(biāo)簽，采用這種用戶畫像技術(shù)可以篩選用戶，進(jìn)而能夠提高信息推送的精確度，另外一方面還可以作為數(shù)據(jù)挖掘中的用戶維度特征下一步挖掘，從而能夠提高網(wǎng)絡(luò)數(shù)據(jù)挖掘的效率，用

16、戶畫像可以完美地對一個用戶的個性化特征進(jìn)行表征，是當(dāng)前企業(yè)大數(shù)據(jù)應(yīng)用的最基本的方式。3.4.2機器學(xué)習(xí)的分析方法1）機器學(xué)習(xí)的技術(shù)工具在大數(shù)據(jù)機器學(xué)習(xí)語言中，常用的語言有r語言與python工具包，在傳統(tǒng)的小數(shù)據(jù)量的數(shù)據(jù)分析、挖掘的工具有mat-lab、sas、spass等數(shù)據(jù)分析工具，而r、python屬于開源性的數(shù)據(jù)挖掘工具，python是一門多功能性的操作語言，在數(shù)據(jù)統(tǒng)計的過程中，主要采用的第三方工具包來實現(xiàn)的，numpy封裝了基礎(chǔ)的矩陣和向量的操作，使得pvthon語言在操作方面具有很強的優(yōu)勢，而scipy則在numpy的基礎(chǔ)上，可以使用多種開發(fā)的功能，統(tǒng)計多種分布與算法，并能夠提供可

17、視化的處理功能，使得機器學(xué)習(xí)的功能變得比較簡單。ma-hout與sparkml是python語言中常用的數(shù)據(jù)功能，在其中都包括了分布式環(huán)境下數(shù)據(jù)運行的機器學(xué)習(xí)的算法，在具體的處理過程中，采用spark的優(yōu)勢，將內(nèi)存計算和適合迭代型計算結(jié)合在一起，能夠提高機器學(xué)習(xí)的性能。2）大數(shù)據(jù)下的聯(lián)機分析處理目前，常用的大數(shù)據(jù)聯(lián)機處理的技術(shù)有高性能的olap、rolap與holap技術(shù)，它們都是基于多維數(shù)據(jù)結(jié)構(gòu)的立體建模方式，然后通過大量的預(yù)聚合計算，從而能夠?qū)崿F(xiàn)多維數(shù)據(jù)支持，并支持以下鉆、上卷、切片、切塊、旋轉(zhuǎn)等操作，從而能夠有效地降低各種數(shù)據(jù)的處理與優(yōu)化。但是所在技術(shù)的發(fā)展，rolap能夠與多種數(shù)據(jù)庫聯(lián)系在一起，處理數(shù)據(jù)比較方便、快捷，成為當(dāng)前大數(shù)據(jù)下的聯(lián)機分析處理的關(guān)鍵技術(shù)。3）基于大數(shù)據(jù)技術(shù)olap常見的基于大數(shù)據(jù)技術(shù)olap技術(shù)主要包括hive系統(tǒng)、im-pala系統(tǒng)、spark sql技術(shù)等，hive能夠把hiveql查詢進(jìn)行處理，并將其轉(zhuǎn)換成mapreduce作業(yè)，然后在hadoop集群上執(zhí)行，數(shù)據(jù)運行的安全可靠，impala系統(tǒng)使用llvm技術(shù)，可以將系統(tǒng)中的查詢編譯成匯編指令，這樣能夠方便數(shù)據(jù)快速的執(zhí)行，