永洪大數(shù)據(jù)技術(shù)白皮書

1、永洪大數(shù)據(jù)技術(shù)白皮書Yonghong在大數(shù)據(jù)、分布式計(jì)算、數(shù)據(jù)分析等領(lǐng)域具備核心競(jìng)爭(zhēng)力、自主創(chuàng)新并擁有 多項(xiàng)發(fā)明專利。Yonghong研發(fā)團(tuán)隊(duì)推出的商業(yè)智能平臺(tái)Yonghong Z-Suite，是由一系列基于 MPP架構(gòu)的商業(yè)智能產(chǎn)品組成。Yonghong Z-Suite是發(fā)現(xiàn)型的商業(yè)智能產(chǎn)品，她具備豐富的數(shù)據(jù)分析能力。當(dāng)用戶訪問(wèn) 數(shù)據(jù)應(yīng)用的時(shí)候，如果看到商業(yè)活動(dòng)的異?；蛘咦兓瘯r(shí)，除了數(shù)據(jù)展現(xiàn)，我們更需要的是能 夠通過(guò)即席的、深入的分析以獲取現(xiàn)象背后的深層次原因?；赯-Suite，用戶可以不斷地 與數(shù)據(jù)對(duì)話(Talk)，深入分析信息(Analyze)，直到得到滿意的答案。Yonghong Z

2、-Suite具有高性能的大數(shù)據(jù)分析能力，她完全摒棄了向上升級(jí)(Scale-Up)， 全面支持橫向擴(kuò)展(Scale-Out)。Yonghong Z-Suite主要通過(guò)以下核心技術(shù)來(lái)支撐TB/PB級(jí) 的大數(shù)據(jù)。1 Yonghong Z-Suite 技術(shù)架構(gòu)永洪町/其他可視化皿工具ETLHJDBC 簽口備份管理監(jiān)控工具蓮接池多路、復(fù)用.尊數(shù)據(jù)加載/卸栽庫(kù)內(nèi)計(jì)算分布式計(jì)算Linux 4 Li 列 r n t e n ir nUni 系列W1 nd_OWW 系列圖一技術(shù)架構(gòu)圖1.1關(guān)鍵技術(shù)In Memory Computing 內(nèi)存計(jì)算熱點(diǎn)數(shù)據(jù)Swap機(jī)制IIIn Database ComputitiE

3、庫(kù)內(nèi)計(jì)算mu到高數(shù)據(jù)蜀的地力計(jì)登IICheap Storage廉價(jià)的內(nèi)存MPP Computing分布式計(jì)尊M：ap RfiduceStreami CicimputlinfIIDistributed 10分布式通信g異步，復(fù)用橫向擴(kuò)展(Sulo-Out)搞插撥式主內(nèi)存花便蟲c叫緞存或?yàn)橹鲀?nèi)存Cheap Computing廉價(jià)的計(jì)算并行HW(MPP Computing)Yonghong Z-Suite是基于MPP架構(gòu)的商業(yè)智能平臺(tái)，她能夠把計(jì)算分布到多個(gè)計(jì)算節(jié) 點(diǎn)，再在指定節(jié)點(diǎn)將計(jì)算結(jié)果匯總輸出。Yonghong Z-Suite能夠充分利用各種計(jì)算和存儲(chǔ)資 源，不管是服務(wù)器還是普通的PC，她對(duì)網(wǎng)

4、絡(luò)條件也沒(méi)有嚴(yán)苛的要求。作為橫向擴(kuò)展的大數(shù) 據(jù)平臺(tái)，Yonghong Z-Suite能夠充分發(fā)揮各個(gè)節(jié)點(diǎn)的計(jì)算能力，輕松實(shí)現(xiàn)針對(duì)TB/PB級(jí)數(shù) 據(jù)分析的秒級(jí)響應(yīng)。庫(kù)內(nèi)HW(In-Database Computing)Yonghong Z-Suite支持各種常見的匯總，還支持幾乎全部的專業(yè)統(tǒng)計(jì)函數(shù)。得益于庫(kù)內(nèi) 計(jì)算技術(shù)，Y onghong Z-Suite數(shù)據(jù)分析引擎將找尋出最優(yōu)化的計(jì)算方案，繼而把所有開銷較 大的、昂貴的計(jì)算都移動(dòng)到數(shù)據(jù)存儲(chǔ)的地方直接計(jì)算，稱之為庫(kù)內(nèi)計(jì)算(In-Database)。這 一技術(shù)大大減少了數(shù)據(jù)移動(dòng)，降低了通訊負(fù)擔(dān)，保證了高性能數(shù)據(jù)分析。列存儲(chǔ)(Column-Based

5、)Yonghong Z-Suite是列存儲(chǔ)的?；诹写鎯?chǔ)的數(shù)據(jù)集市，不讀取無(wú)關(guān)數(shù)據(jù)，能降低讀 寫開銷，同時(shí)提高I/O的效率，從而大大提高查詢性能。另外，列存儲(chǔ)能夠更好地壓縮數(shù) 據(jù)，一般壓縮比在5 -10倍之間這樣一來(lái)數(shù)據(jù)占有空間降低到傳統(tǒng)存儲(chǔ)的1/5到1/10。 良好的數(shù)據(jù)壓縮技術(shù)，節(jié)省了存儲(chǔ)設(shè)備和內(nèi)存的開銷，卻大大了提升計(jì)算性能。內(nèi)存HW(In-Memory Computing)得益于列存儲(chǔ)技術(shù)和并行計(jì)算技術(shù)，Y onghong Z-Suite能夠大大壓縮數(shù)據(jù)，并同時(shí)利用 多個(gè)節(jié)點(diǎn)的計(jì)算能力和內(nèi)存容量。一般地，內(nèi)存訪問(wèn)速度比磁盤訪問(wèn)速度要快幾百倍甚至上 千倍。通過(guò)內(nèi)存計(jì)算，CPU直接從內(nèi)存而

6、非磁盤上讀取數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行計(jì)算。內(nèi)存計(jì)算 是對(duì)傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實(shí)現(xiàn)大數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)。分布式通訊(Distribute IO)分布式通訊比較底層，是介紹得比較少的領(lǐng)域。不過(guò)，中間計(jì)算結(jié)果能否在集群中穩(wěn)定 且高效地傳輸，是整個(gè)集群能否達(dá)到實(shí)時(shí)計(jì)算的關(guān)鍵?？蓮?fù)用的TCP/IP連接：系統(tǒng)的TCP/IP連接是可復(fù)用的，不像傳統(tǒng)方式一樣，一個(gè)信 息傳遞需要建立一個(gè)連接，而信息交換的接收與發(fā)出邏輯對(duì)應(yīng)的軟件進(jìn)程/線程是可復(fù)用的。 這一方法降低了整個(gè)系統(tǒng)的TCP/IP負(fù)載，以及線程/進(jìn)程開銷。多路的信息傳輸：系統(tǒng)的信息傳輸是多路的。這類似于高速公路的多車道。如果一個(gè) TCP/IP連接不

7、夠，可以增加TCP/IP連接。而如果閑置，可以收回多余的連接以釋放網(wǎng)絡(luò)、CPU、內(nèi)存資源。異步的信息傳輸：系統(tǒng)的信息傳輸是異步的。發(fā)出信息的請(qǐng)求方不會(huì)占據(jù)著TCP/IP連 接，而是在發(fā)出信息之后立即釋放資源。以異步的消息通知機(jī)制等待返回處理結(jié)果，這一異 步機(jī)制讓系統(tǒng)在等待返回處理結(jié)果時(shí)不會(huì)白白耗費(fèi)資源，在接收方處理信息時(shí)也不會(huì)占據(jù) TCP/IP連接和相應(yīng)的線程/進(jìn)程資源。系統(tǒng)以異步信息交換的方式，成功地消除了信息處理 與信息傳輸之間的耦合。提升了信息交換能力但有效地降低了信息交換所需要的網(wǎng)絡(luò)資源、 CPU、或者內(nèi)存資源。穩(wěn)定的內(nèi)存使用：由于整個(gè)通訊過(guò)程中Socket通道是復(fù)用的，而Socket

8、通道對(duì)應(yīng)的 讀內(nèi)存塊和寫存塊也是復(fù)用的，很少有內(nèi)存的申請(qǐng)和釋放操作。這提升了整個(gè)系統(tǒng)的性能和 穩(wěn)定性。健壯的信息傳輸：系統(tǒng)的TCP/IP連接是可自修復(fù)的。網(wǎng)絡(luò)可能會(huì)有各種問(wèn)題導(dǎo)致連接 出錯(cuò)，為了避免數(shù)據(jù)流里可能丟失了數(shù)據(jù)，給每個(gè)數(shù)據(jù)流的頭部加了標(biāo)識(shí)位，在任何找不到 標(biāo)識(shí)位的情況下，連接都會(huì)自動(dòng)關(guān)閉。系統(tǒng)會(huì)自動(dòng)重新建立連接。1.1.6執(zhí)行計(jì)劃的優(yōu)化算法可以做到三個(gè)層面的執(zhí)行計(jì)劃的優(yōu)化:基于Block Meta的高層優(yōu)化：粗粒度索引，基 于每個(gè)Block的每個(gè)Column的中層優(yōu)化：讀取文件頭；基于計(jì)算強(qiáng)度進(jìn)行SQL改寫的底 層優(yōu)化：根據(jù)計(jì)算強(qiáng)度，來(lái)改寫優(yōu)化。1.1.7 商智能(BI)數(shù)據(jù)倉(cāng)庫(kù)+

9、OLAP時(shí)代的商業(yè)智能系統(tǒng)，要求用戶預(yù)先提出的分析及統(tǒng)計(jì)的需求。以 此為基礎(chǔ)，展開數(shù)據(jù)建模工作，進(jìn)而導(dǎo)入數(shù)據(jù)，然后再創(chuàng)建Cube。這些工作完成以后，才 能開發(fā)商業(yè)智能應(yīng)用，這是典型的數(shù)據(jù)驅(qū)動(dòng)模式。Yonghong Z-Suite支持業(yè)務(wù)驅(qū)動(dòng)的商業(yè)智能系統(tǒng)，直接導(dǎo)入細(xì)節(jié)數(shù)據(jù)，不再要求用戶 預(yù)先提出具體的分析及統(tǒng)計(jì)需求也不再有創(chuàng)建Cube的過(guò)程這大大簡(jiǎn)化了數(shù)據(jù)層的工作， 縮短了數(shù)據(jù)層的響應(yīng)周期，整個(gè)商業(yè)智能系統(tǒng)由數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)化為業(yè)務(wù)驅(qū)動(dòng)。在數(shù)據(jù)倉(cāng)庫(kù)+ OLAP時(shí)代，一個(gè)新的分析需求也許要用一個(gè)月的時(shí)間去實(shí)現(xiàn)，現(xiàn)在Yonghong Z-Suite支 持只需幾天或幾個(gè)小時(shí)。2與Hadoop架構(gòu)比對(duì)Had

10、oop目前幾乎是大數(shù)據(jù)的代名詞，很多企業(yè)都基于Hadoop搭建自己的大數(shù)據(jù)業(yè) 務(wù)。以下是Hadoop的主要優(yōu)點(diǎn)：Hadoop集群的擴(kuò)展性是其一大特點(diǎn)，Hadoop可以擴(kuò)展至數(shù)千個(gè)節(jié)點(diǎn)，對(duì)數(shù)據(jù) 持續(xù)增長(zhǎng)，數(shù)據(jù)量特別巨大的需求很合適。2. Hadoop的成本是其另一大優(yōu)勢(shì)，由于Hadoop是開源項(xiàng)目，而且不僅從軟件 上節(jié)約成本，硬件上的要求也不高。目前去IOE潮流風(fēng)行，低成本的Hadoop也 是一大推手。3. Hadoop生態(tài)群活躍，其周邊開源項(xiàng)目豐富，HBase, Hive , Impala等等基礎(chǔ) 開源項(xiàng)目眾多。部么Hadoop的不足有哪些呢？Hadoop不適合做實(shí)時(shí)分析系統(tǒng)。從通訊層的技術(shù)上

11、來(lái)說(shuō)有如下原因：任務(wù)分配Server不會(huì)將信息Push到計(jì)算Node，而是讓計(jì)算Node通過(guò)心跳去 Pul l任務(wù)。基于框架的通用性，MapReduce代碼也會(huì)在HDFS中傳送，在各計(jì)算Node展 開，再通過(guò)啟動(dòng)新JVM進(jìn)程裝載并運(yùn)行。類似的JVM進(jìn)程啟停有5、6次之多。Reduce Task只能在全部Map Task完成之后才能啟動(dòng)。缺乏專業(yè)的支持服務(wù)因?yàn)槭情_源項(xiàng)目，缺少專業(yè)的商業(yè)支持服務(wù)，公司需要儲(chǔ)備專業(yè)Hadoop知識(shí)的專家 來(lái)保證系統(tǒng)的正常運(yùn)轉(zhuǎn)。Hadoop可以支持百億的數(shù)據(jù)，但很難應(yīng)對(duì)秒級(jí)響應(yīng)的在線分析需求，一般作為 離線分析系統(tǒng)即使是數(shù)億的數(shù)據(jù)量，Hadoop也只適合做分鐘級(jí)別的離

12、線分析系統(tǒng)。而百億級(jí)別數(shù)據(jù)量，又需要秒級(jí)響應(yīng)的案例，需要什么系統(tǒng)支持呢？下面介紹下大數(shù)據(jù) 實(shí)時(shí)分析工具Yonghong Z-Suite。通過(guò)結(jié)合多種Yonghong自有的專利技術(shù)，在幾個(gè)節(jié)點(diǎn)下，Yonghong Z-Suite就能 擔(dān)負(fù)起幾十億，乃至上百億數(shù)據(jù)量的實(shí)時(shí)分析和展現(xiàn)。Yonghong Z-Suite相對(duì)Hadoop有哪些不足呢？ Hadoop能支撐PB級(jí)大數(shù)據(jù)，數(shù) 千節(jié)點(diǎn)的大規(guī)模集群。對(duì)于Yonghong Z-Suite這種實(shí)時(shí)大數(shù)據(jù)分析系統(tǒng)一般支撐TBPB 級(jí)的大數(shù)據(jù)，節(jié)點(diǎn)數(shù)一般不超過(guò)100。除了提供優(yōu)秀的前端BI工具之外，Yonghong Z-Suite讓用戶可以選購(gòu)分布式數(shù)據(jù)

13、集市來(lái)支持實(shí)時(shí)大數(shù)據(jù)分析。3典型場(chǎng)景使用3.1場(chǎng)景一Hadoop倉(cāng)儲(chǔ)中心已經(jīng)搭建，存儲(chǔ)了幾百TB數(shù)據(jù)到上PB級(jí)數(shù)據(jù)。需要實(shí)時(shí)統(tǒng)計(jì)分析一段 范圍的數(shù)據(jù)。利用HBase或Hive無(wú)法滿足實(shí)時(shí)需求。也許還需要跟關(guān)系型數(shù)據(jù)庫(kù)中的維度表做關(guān)聯(lián)再分析。Ha do叩存儲(chǔ)平臺(tái)條誰(shuí)度的數(shù)據(jù)可視化展現(xiàn), 豐富的交互分析ETL客戶端采用任務(wù)調(diào)度器將近一天， 七天，一個(gè)月的結(jié)果導(dǎo)出， 推送給指定郵箱中BI客戶端吊叩集群小臺(tái)）Yonghortg大數(shù)據(jù)平臺(tái)架構(gòu)部署圖3.1.1據(jù)存儲(chǔ)層幾百TB甚至上PB級(jí)細(xì)節(jié)數(shù)據(jù)存儲(chǔ)在Hadoop集群中。通過(guò)Hive或者HBase訪問(wèn)數(shù)據(jù)。3.1.2據(jù)抽取入集市將數(shù)據(jù)按照主題建立成多個(gè)集市

14、導(dǎo)入到MPP集群中。如果采用Hive方式訪問(wèn)數(shù)據(jù)，可以采取ODBC/JDBC的方式直接建立連接讀取數(shù)據(jù)。如果 采用HBase方式訪問(wèn)數(shù)據(jù)，可以定制一個(gè)Customized Query來(lái)讀取數(shù)據(jù)。如果是直接訪問(wèn) HDFS文件來(lái)導(dǎo)出數(shù)據(jù)，可以定制一個(gè)Customized Query來(lái)讀取數(shù)據(jù)。ETL過(guò)程中可以做數(shù)據(jù)清洗，格式轉(zhuǎn)換，還可以跟其他庫(kù)的維度表進(jìn)行關(guān)聯(lián)，形成寬表入 庫(kù)。入庫(kù)時(shí)還能根據(jù)時(shí)間或者區(qū)域來(lái)給數(shù)據(jù)打上粗粒度標(biāo)簽便于以后做數(shù)據(jù)優(yōu)化調(diào)整使用。 歷史數(shù)據(jù)集中導(dǎo)入，增量數(shù)據(jù)自動(dòng)導(dǎo)入，增量更新的時(shí)間粒度根據(jù)系統(tǒng)對(duì)實(shí)效性的要求，可 以是每分鐘，每小時(shí)，每天。ETL的客戶端可以是多節(jié)點(diǎn)同時(shí)導(dǎo)入集市

15、，以此來(lái)提高導(dǎo)入效率。3.1.3 MPP據(jù)集市根據(jù)需要計(jì)算的數(shù)據(jù)量和計(jì)算的強(qiáng)度來(lái)估算一個(gè)需要搭建的機(jī)器數(shù)量。假設(shè)需要10臺(tái)機(jī)器。每臺(tái)機(jī)器承擔(dān)不同的角色，如果一臺(tái)機(jī)器的任務(wù)量不大，可以承擔(dān)多個(gè)角色。-Naming Node:負(fù)責(zé)命名工作。它知道當(dāng)前有多少臺(tái)Map Node和Reduce Node，及這 些Server的配置狀況。Map Node和Reduce Node會(huì)定期發(fā)送各自配置情況，workload （工作量），CPU，內(nèi)存等信息。Naming Node通常是一臺(tái)機(jī)器，但可以做冷備份。-Map Node:負(fù)責(zé)處理Map Task。原始數(shù)據(jù)和Map Task的代碼文件集被預(yù)先部署到MapN

16、ode上。當(dāng)它接收到Client Node發(fā)送的Map Task，可以直接執(zhí)行該任務(wù)。Map Node 可以有多臺(tái)機(jī)器。-Reduce Node:負(fù)責(zé)處理Reduce Task。它被預(yù)先部署了 Reduce Task的代碼文件集，可以直接執(zhí)行該任務(wù)。Reduce Node可以有多臺(tái)機(jī)器,而且可以指定某臺(tái)干固定的任務(wù)。 大量的細(xì)節(jié)數(shù)據(jù)在壓縮后，以文件的形式被分布式存儲(chǔ)在集群的硬盤中。當(dāng)計(jì)算時(shí)，會(huì)把被 打中的數(shù)據(jù)拉入到內(nèi)存中，也就是熱點(diǎn)數(shù)據(jù)會(huì)常駐內(nèi)存。當(dāng)發(fā)生數(shù)據(jù)失效時(shí)，會(huì)將新數(shù)據(jù)交 換到內(nèi)存中參與計(jì)算。3.1.4數(shù)據(jù)應(yīng)用層應(yīng)用層的客戶端可以是多臺(tái)機(jī)器，也就是說(shuō)一套數(shù)據(jù)集市可以支撐多個(gè)應(yīng)用系統(tǒng)，每個(gè)

17、應(yīng)用 系統(tǒng)用不同的客戶端來(lái)做數(shù)據(jù)展現(xiàn)。例如一個(gè)系統(tǒng)是專門來(lái)做固定報(bào)表定時(shí)推送的，另外 一個(gè)系統(tǒng)是專門來(lái)做BI展現(xiàn)前端，用戶通過(guò)賬號(hào)登陸進(jìn)去，訪問(wèn)可視化的界面，并做實(shí)時(shí) 的數(shù)據(jù)分析和交互。3.2場(chǎng)景二沒(méi)有建立Hadoop倉(cāng)儲(chǔ)中心幾十上百TB的數(shù)據(jù)或許以日志文件形式存儲(chǔ)在文件系統(tǒng)中， 或許存儲(chǔ)在傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中。需要實(shí)時(shí)統(tǒng)計(jì)分析一段范圍的數(shù)據(jù)。利用傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法滿 足實(shí)時(shí)統(tǒng)計(jì)分析的需求。也許還需要跟關(guān)系型數(shù)據(jù)庫(kù)中的維度表做關(guān)聯(lián)再分析。3.2.1數(shù)據(jù)存儲(chǔ)層1 ）幾十上百TB的數(shù)據(jù)通過(guò)前置機(jī)采集到日志文件，并按照一定規(guī)則存儲(chǔ)在文件系統(tǒng)中。2）幾十上百TB的數(shù)據(jù)通過(guò)生產(chǎn)系統(tǒng)收集到傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中，例如My

18、 SQL集群或Oracle集群中。3.2.2 數(shù)據(jù)抽取入集市將數(shù)據(jù)按照主題建立成多個(gè)集市導(dǎo)入到MPP集群中。如果訪問(wèn)的是日志文件系統(tǒng)，需要一個(gè)日志文本的解析器Parser，將二進(jìn)制流或CSV等格 式的文本解析出來(lái)，抑或跟維度信息關(guān)聯(lián)后入庫(kù)。如果訪問(wèn)的是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)，可以采取ODBC/JDBC的方式直接建立連接讀取數(shù)據(jù)。ETL過(guò)程中可以做數(shù)據(jù)清洗，格式轉(zhuǎn)換，還可以跟其他庫(kù)的維度表進(jìn)行關(guān)聯(lián)，形成寬表入 庫(kù)。入庫(kù)時(shí)還能根據(jù)時(shí)間或者區(qū)域來(lái)給數(shù)據(jù)打上粗粒度標(biāo)簽便于以后做數(shù)據(jù)優(yōu)化調(diào)整使用。 歷史數(shù)據(jù)集中導(dǎo)入，增量數(shù)據(jù)自動(dòng)導(dǎo)入，增量更新的時(shí)間粒度根據(jù)系統(tǒng)對(duì)實(shí)效性的要求，可 以是每分鐘，每小時(shí)，每天。ETL的客戶端可以是多節(jié)點(diǎn)同時(shí)導(dǎo)入集市，以此來(lái)提高導(dǎo)入效率。3.2.3 MPP:數(shù)據(jù)集市根據(jù)需要計(jì)算的數(shù)據(jù)量和計(jì)算的強(qiáng)度來(lái)估算一個(gè)需要搭建的機(jī)器數(shù)量。假設(shè)需要10臺(tái)機(jī)器。每臺(tái)機(jī)器承擔(dān)不同的角色，如果一臺(tái)機(jī)器的任務(wù)量不大，可以承擔(dān)多個(gè)角色。-Naming Node:負(fù)責(zé)命名工作。它知道當(dāng)前有多少臺(tái)Map Node和Reduce Node，及這 些Server的配置狀況。M