hadoop教程培訓(xùn)課件

1、Hadoop數(shù)據(jù)分析第11周法律【】和幻燈片為煉數(shù)成金網(wǎng)絡(luò)課程的教學(xué)資料，所有資料只能在課程內(nèi)使用，不得在課程以外范圍散播，違者將可能被責(zé)任。法律和經(jīng)濟(jì)課程詳情煉數(shù)成金培訓(xùn)NZZV KJ JGZGMX IT*:-;8;專業(yè)數(shù)據(jù)分析社區(qū).GJUUV6OMUUQKKVKX.HGYK.OK9WUUVXU)NQG)GYYGTJXG*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)36OM.GJUUV客戶端使用類似于972的面向數(shù)據(jù)流的語言6OM 2GZOT6OM 2GZOT可以完成排序，過濾，求和，聚組，關(guān)聯(lián)等操作，可以支持自定義函數(shù)6OM自動把6OM 2GZOT為3GV 8KJIK作業(yè)上傳到集群運(yùn)行，減少用戶編寫0GG程

2、序的苦惱三種運(yùn)行方式：-XTZ YNKRR，方式，*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)4參考書*:-;8;專業(yè)數(shù)據(jù)分析社區(qū).OK數(shù)據(jù)倉庫工具?？梢园?GJUUV下的原始結(jié)構(gòu)化數(shù)據(jù)變成.OK中的表支持一種與972幾乎完全相同的語言.OK72。除了不支持更新、索引和事務(wù)，幾乎972的其它特征都能支持可以看成是從972到3GV 8KJIK的器提供YNKRR、0*() 5*()、:NXOLZ、=KH等接口*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)6參考書*:-;8;專業(yè)數(shù)據(jù)分析社區(qū).HGYK-UUMRK (OMZGHRK的開源實(shí)現(xiàn)列式數(shù)據(jù)庫可集群化可以使用YNKRR、KH、GVO等多種方式適合高讀寫（OTYKXZ）的場景.

3、72查詢語言4U972的典型代表產(chǎn)品*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)8UUQKKVKX-UUMRK )NHH_的開源實(shí)現(xiàn)用于協(xié)調(diào)分布式系統(tǒng)上的各種服務(wù)。例如確認(rèn)消息是否準(zhǔn)確到達(dá)，防止單點(diǎn)失效，處理負(fù)載均衡等應(yīng)用場景：.HGYK，實(shí)現(xiàn)4GSKTUJK自動切換工作原理：程者，跟隨者以及過*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)9參考書*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)9WUUV用于在.GJUUV和關(guān)系型數(shù)據(jù)庫之間交換數(shù)據(jù)通過0*()接口連入關(guān)系型數(shù)據(jù)庫*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)11XU數(shù)據(jù)序列化工具，由.GJUUV的創(chuàng)始人*UM )ZZOTM主持開發(fā)用于支持大批量量數(shù)據(jù)的應(yīng)用。支持二進(jìn)制序列化方式，可以便捷，快速地處

4、理大動態(tài)語言友好，XU提供的機(jī)制使動態(tài)語言可以方便地處理 XU數(shù)據(jù)。:NXOLZ接口*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)12)NQG架構(gòu)在.GJUUV之上的與分析框架主要進(jìn)行日志和分析通過安裝在收集節(jié)點(diǎn)的“”最原始的日志數(shù)據(jù)將數(shù)據(jù)發(fā)給收集器收集器定時將數(shù)據(jù)寫入.GJUUV集群指定定時啟動的3GV 8KJIK作業(yè)隊(duì)數(shù)據(jù)進(jìn)行加工處理和分析.GJUUV基礎(chǔ)管理中心（./)）最終展示數(shù)據(jù)*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)13)GYYGTJXG4U972，分布式的1K_ GRK型數(shù)據(jù)庫，由,GIKHUUQ貢獻(xiàn)與.HGYK類似，也是借鑒-UUMRK (OMZGHRK的體系只有順序?qū)懀瑳]有隨機(jī)寫的設(shè)計(jì)，滿足高負(fù)荷情形的性

5、能需求*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)14.HGYK簡介.(GYK是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于)NGTM KZ GR所撰寫的-UUMRK“(OMZGHRK：一個結(jié)構(gòu)化數(shù)據(jù)的分布式系統(tǒng)”。就像(OMZGHRK利用了-UUMRK文件系統(tǒng)（,ORK 9_YZKS）所提供的分布式數(shù)據(jù).(GYK在.GJUUV之上提供了類似于(OMZGHRK的能力。.(GYK是VGINK的.GJUUV 項(xiàng)目的子項(xiàng)目。一樣，.(GYK不同于一般的關(guān)系數(shù)據(jù)庫 它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)同的是.(GYK基于列的而不是基于行的模式的數(shù)據(jù)庫 另一個不*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)15(OM :GHRK的想法學(xué)生表的例

6、子9 Y YT YJ YG 存放為關(guān)系的學(xué)生表以HOMZGHRK方式存放學(xué)生表(OMZGHRK 無所不包的大表*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)16.HGYK邏輯模型以表的形式存放數(shù)據(jù)表由行與列組成，每個列屬于某個列族，由行和列確定的單元稱為元素每個元素保存了同一份數(shù)據(jù)的多個版本，由時間戳來標(biāo)識區(qū)分*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)17行鍵行鍵是數(shù)據(jù)行在表里的唯一標(biāo)識，并作為檢索的主鍵表里的行只有三種方式 通過單個行鍵 給定行鍵的范圍 全表掃描行鍵可以是最大長度不超過 1(的任意字符串，并按照字典序?qū)τ诮?jīng)常要一起的行，要對行鍵值精心設(shè)計(jì)，以便它們能放在一起*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)18列族與列列表示為列

7、族$ 限定符$.HGYK在磁盤上按照列族形數(shù)據(jù)，這種列式數(shù)據(jù)庫的設(shè)計(jì)非常適合于數(shù)據(jù)分析的情列族里的元素最好具有相同的讀寫方式（例如等長的字符串），以提高性能*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)19時間戳對應(yīng)每次數(shù)據(jù)操作的時間，可由系統(tǒng)自動生成，也可以由用戶顯式的賦值.HGYK支持兩種數(shù)據(jù)版本回收方式： 每個數(shù)據(jù)單元，只保存指定時間長度的版本（例如 天）指定個數(shù)的版本 常見的客戶端時間查詢：“某個時刻起的元素由 行鍵，列族 限定符，時間戳唯一決定元素以字節(jié)碼形式存放，沒有類型之分?jǐn)?shù)據(jù)”或“給我全部版本的數(shù)據(jù)”*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)20.HGYK物理模型*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)218KMOUT和

8、8KMOUT服務(wù)器表在行方向上，按照行鍵范圍劃分成若干的8KMOUT每個表最初只有一個XKMOUT，當(dāng)XKMOUT數(shù)增加到超過某個閾值時，開始成兩個物理上所有數(shù)據(jù)存放在.*,9，由8KMOUT服務(wù)器提供XKMOUT的管理一臺物理節(jié)點(diǎn)只能跑一個.8KMOUT9KXKX一個.XKMOUTYKXKX可以管理多個8KMOUT實(shí)例一個8KMOUT實(shí)例包括.RUM日志和存放數(shù)據(jù)的9ZUXK.SGYZKX作為總控節(jié)點(diǎn)UUQKKVKX負(fù)責(zé)調(diào)度*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)22.2UM用于恢復(fù)預(yù)寫式日志，所有更新操作，操作先進(jìn)日志，數(shù)據(jù)才會寫入*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)23 855: 和 3+: 表.(GYK中

9、有兩張?zhí)厥獾?GHRK， 855: 和 3+: 3+: ： 855: ：UUQKKVKX中了用戶表的8KMOUT信息， 3+: 可以有多個XKMUOT了 3+: 表的8KMOUT信息， 855: 只有一個XKMOUT了 855: 表的RUIGZOUT*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)243KSYZUXK與YZUXKLORK一個XKMOUT由多個YZUXK組成，每個YZUXK包含一個列族的所有數(shù)據(jù)9ZUXK包括位于把內(nèi)存的SKSYZUXK和位于硬盤的YZUXKLORK寫操作先寫入SKSYZUXK，當(dāng)SKSYZUXK中的數(shù)據(jù)量達(dá)到某個閾值，.XKMOUTYKXKX會啟動LRGYNIGINK進(jìn)程寫入YZU

10、XKLORK，每次寫入形成單獨(dú)一個YZUXKLORK當(dāng)YZUXKLORK文件的數(shù)量增長到一定閾值后，系統(tǒng)會進(jìn)行合并，在合并過程中會進(jìn)行版本合并和刪除工作，形成更大的YZUXKLORK當(dāng)YZUXKLORK大小超過一定閾值后，會把當(dāng)前的XKMOUT分割為兩個，并由.SGYZKX分配到相應(yīng)的XKMOUT服務(wù)器，實(shí)現(xiàn)負(fù)載均衡客戶端檢索數(shù)據(jù)時，先在SKSYZUXK找，找不到再找YZUXKLORK*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)25圖解*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)26.HGYK Y 5XGIRK索引不同造成行為的差異.HGYK適合大量同時又有讀的情況.HGYK的瓶頸是硬盤傳輸速度，5XGIRK的瓶頸是硬盤尋道

11、時間.HGYK很適合尋找按照時間排序ZUV T的場景*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)27傳統(tǒng)數(shù)據(jù)庫的行式數(shù)據(jù)存放在數(shù)據(jù)文件內(nèi)數(shù)據(jù)文件的基本組成：塊 頁塊內(nèi)結(jié)構(gòu)：塊頭、數(shù)據(jù)區(qū)*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)行式讀某個列必須讀入整行行不等長，修改數(shù)據(jù)可能導(dǎo)致行遷移行數(shù)據(jù)較多時可能導(dǎo)致行鏈*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)5XGIRK行式的路徑全表掃描行標(biāo)識*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)行標(biāo)識：(樹索引*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)(樹索引原理：結(jié)點(diǎn)*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)(樹索引原理：樹形利用(樹進(jìn)行查詢GIIKYY VGZN(樹結(jié)點(diǎn)(樹刪除合并結(jié)點(diǎn)*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)(樹索引的弱點(diǎn)空間代價，創(chuàng)建時間代

12、價，重復(fù)值多時影響效率代價*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)(OM:GHRK的293索引*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)35網(wǎng)絡(luò)參考資源NZZV OHS IUS JKKRUVKXUXQY IT UVKTYUXIK UY IT UUQKKVKX NZZV GMGVVRK OZK_K IUS HRUM NZZV UUQKKVKX GVGINK UXM JUI X UUQKKVKX5KX NZSR*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)UUQKKVKX的用途用來解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問題，如：命名空間 4GSK 9KXOIK 配置推送 =GZIN 集群管理 -XUV SKSHKXYNOV 使用UUQKKV

13、KX提供分布式鎖機(jī)制，從而實(shí)現(xiàn)分布式的一致性處理。典型的幾個場景： (GXXOKX 7KK2UIQ 6)*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)命名空間*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)數(shù)據(jù)結(jié)構(gòu)特點(diǎn)每個子目錄4GSK9KXOIK 都被稱作為 TUJK，這個 TUJK 是被它所在的路徑唯一標(biāo)識，如9KXKX 這個 TUJK 的標(biāo)識為 4GSK9KXOIK 9KXKX TUJK 可以有子節(jié)點(diǎn)目錄，并且每個 TUJK 可以能有子節(jié)點(diǎn)目錄數(shù)據(jù)，注意 +6.+3+82 類型的目錄節(jié)點(diǎn)不TUJK 是有版本的，每個 TUJK 中多份數(shù)據(jù)的數(shù)據(jù)可以有多個版本，也就是一個路徑中可以TUJK 可以是臨時節(jié)點(diǎn)，一旦創(chuàng)建這個 TUJK

14、 的客戶端與服務(wù)器失去聯(lián)系，這個 TUJK 也將自動刪除，UUQKKVKX 的客戶端和服務(wù)器通信采用長連接方式，每個客戶端和服務(wù)器通過心跳來保持連接，這個連接狀態(tài)稱為 YKYYOUT，如果 TUJK 是臨時節(jié)點(diǎn)，這個 YKYYOUT 失效，TUJK 也就刪除了TUJK 的目錄名可以自動，如 VV 已經(jīng)存在，再創(chuàng)建的話，將會自動命名為 VV TUJK 可以被，包括這個目錄節(jié)點(diǎn)中的數(shù)據(jù)的修改，子節(jié)點(diǎn)目錄的變化等，一旦變化可以通知設(shè)置性實(shí)現(xiàn)的的客戶端，這個是 UUQKKVKX 的特性，UUQKKVKX 的很多功能都是基于這個特*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)UU1KKVKX 基本的操作示例 創(chuàng)建一個與服

15、務(wù)器的連接UU1KKVKX Q # TK UU1KKVKX RUIGRNUYZ )2/+4:E658: )ROKTZ(GYK )544+):/54E:/3+5;: TK =GZINKX a 所有被觸發(fā)的事件VHROI UOJ VXUIKYY =GZINKJ+KTZ KKTZ a9_YZKS UZ VXOTZRT 已經(jīng)觸發(fā)了 KKTZ MKZ:_VK 事件！ !cc ! 創(chuàng)建一個目錄節(jié)點(diǎn)Q IXKGZK ZKYZ8UUZ6GZN ZKYZ8UUZ*GZG MKZ(_ZKY /JY 56+4E)2E;49,+ )XKGZK3UJK 6+89/9:+4: !*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)UU1KKVK

16、X 基本的操作示例 創(chuàng)建一個子目錄節(jié)點(diǎn)Q IXKGZK ZKYZ8UUZ6GZN ZKYZ)NORJ6GZN5TK ZKYZ)NORJ*GZG5TK MKZ(_ZKY /JY 56+4E)2E;49,+ )XKGZK3UJK 6+89/9:+4: !9_YZKS UZ VXOTZRT TK 9ZXOTM Q MKZ*GZG ZKYZ8UUZ6GZN LGRYK TRR ! 取出子目錄節(jié)點(diǎn)列表9_YZKS UZ VXOTZRT Q MKZ)NORJXKT ZKYZ8UUZ6GZN ZXK ! 修改子目錄節(jié)點(diǎn)數(shù)據(jù)Q YKZ*GZG ZKYZ8UUZ6GZN ZKYZ)NORJ6GZN5TK SUJ

17、OL_)NORJ*GZG5TK MKZ(_ZKY !9_YZKS UZ VXOTZRT 目錄節(jié)點(diǎn)狀態(tài)：A Q KOYZY ZKYZ8UUZ6GZN ZXK C !*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)UU1KKVKX 基本的操作示例 創(chuàng)建另外一個子目錄節(jié)點(diǎn)Q IXKGZK ZKYZ8UUZ6GZN ZKYZ)NORJ6GZN:U ZKYZ)NORJ*GZG:U MKZ(_ZKY /JY 56+4E)2E;49,+ )XKGZK3UJK 6+89/9:+4: ! 9_YZKS UZ VXOTZRT TK9ZXOTM Q MKZ*GZG ZKYZ8UUZ6GZN ZKYZ)NORJ6GZN:U ZXK TR

18、R ! 刪除子目錄節(jié)點(diǎn)Q JKRKZK ZKYZ8UUZ6GZN ZKYZ)NORJ6GZN:U !Q JKRKZK ZKYZ8UUZ6GZN ZKYZ)NORJ6GZN5TK ! 刪除父目錄節(jié)點(diǎn)Q JKRKZK ZKYZ8UUZ6GZN ! 關(guān)閉連接Q IRUYK !*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)配置管理*:-;8;專業(yè)數(shù)據(jù)分析社區(qū)集群管理UUQKKVKX 能夠很容易的實(shí)現(xiàn)集群管理的功能，多臺 9KXKX 組成一個服務(wù)集群，那么必須要一個“總管”知道當(dāng)前集群中每臺機(jī)器的服務(wù)狀態(tài)，一旦有機(jī)器不能提供服務(wù)，集群中其它集群必須知道，從而做出調(diào)整重新分配服務(wù)策略。同樣當(dāng)增加集群的服務(wù)能力時，就會增加一

19、臺或多臺 9KXKX，同樣也必須讓“總管”知道。UUQKKVKX 不僅能夠幫你當(dāng)前的集群中機(jī)器的服務(wù)狀態(tài)，而且能夠幫你選出一個“總管”，讓這個總管來管理集群，這就是 UUQKKVKX 的另一個功能 2KGJKX +RKIZOUT。它們的實(shí)現(xiàn)方式都是在 UUQKKVKX 上創(chuàng)建一個 +6.+3+82 類型的目錄節(jié)點(diǎn)，然后每個 9KXKX 在它們創(chuàng)建目錄節(jié)點(diǎn) 的父目錄節(jié)點(diǎn)上調(diào)用 MKZ)NORJXKT 9ZXOTM VGZN HUURKGT GZIN 方法并設(shè)置 GZIN 為 ZXK，由于是 +6.+3+82目錄節(jié)點(diǎn)，當(dāng)創(chuàng)建它的 9KXKX 死去，這個目錄節(jié)點(diǎn)也隨之被刪除，所以 )NORJXKT 將會變化，這時 MKZ)NORJXKT上的 =GZIN 將會被調(diào)用，所以其它 9KXKX 就知道已經(jīng)有某臺 9KXKX 死去了。新增 9KXKX 也是同樣的原理。UUQKKVKX 如何實(shí)現(xiàn) 2KGJKX +RKIZOUT，也就是選出一個 3GYZKX 9KXKX。和前面的一樣每臺 9KXKX 創(chuàng)建一個+6.+3+82 目錄節(jié)點(diǎn)，不同的是它還是一個 9+7;+4:/2 目錄節(jié)點(diǎn)，所以它是個