尚硅谷大數(shù)據(jù)技術(shù)之kylin

1Kylin定ApacheKylinHadoop/SparkSQL查詢接口及分析（OLAP）能力以支持超大規(guī)模數(shù)據(jù)，最初由eBayInc開發(fā)并貢獻(xiàn)至開源社區(qū)。Hive表。Kylin特KylinSQL接口、支持超大規(guī)模數(shù)據(jù)集、亞秒級響應(yīng)、可伸縮性、高吞吐率、BI工具集成等。SQL接口：KylinSQL支持超大數(shù)據(jù)集：Kylin對于大數(shù)據(jù)的支撐能力可能是目前所有技術(shù)中最為領(lǐng)先的。2015eBay的生產(chǎn)環(huán)境中就能支持百億記錄的秒級查詢，之后在移動的應(yīng)用場景中亞秒級響應(yīng)：KylinBIKylinBI工具集成，具體包括如下內(nèi)容。ODBCTableau、Excel、PowerBI等工具集成JDBCSaiku、BIRTJava工具集成Kylin開發(fā)團(tuán)隊還貢獻(xiàn)了Zepplin的插件，也可以使用Zepplin來Kylin服務(wù)Kylin架KylinKylin架 BI 數(shù)StartSchemaKylin架CubeBuildEngine(Cube構(gòu)建引擎Metadata(元數(shù)據(jù)Routing(路由層QueryEngine(查詢引擎層RESTServer(REST服務(wù)層RESTRESTServer是一套面向應(yīng)用程序開發(fā)的點，旨在實現(xiàn)針對Kylin平臺的應(yīng)用開發(fā)RestfulSQL查詢。查詢引擎（Querycube準(zhǔn)備就緒后，查詢引擎就能夠獲取并解析用戶查詢。它隨后會與系統(tǒng)中的其它hbase中，這部分查詢可以在秒級設(shè)置毫秒級完成，而且還有一些操作使用過的查詢原始數(shù)據(jù)（在Hadoop的hdfs中通過hive查詢。這部分查詢延遲較高。Kylin是一款元數(shù)據(jù)驅(qū)動型應(yīng)用程序。元數(shù)據(jù)管理工具是一大關(guān)鍵性組件，用于對保存Kylincube元數(shù)據(jù)。其它全部組件的正常都需以元數(shù)據(jù)管理工具為基礎(chǔ)。Kylin的元數(shù)據(jù)在hbase中。任務(wù)引擎（CubeBuild這套引擎的設(shè)計目的在于處理所有離線任務(wù)，其中包括s 、JavaAPI以及MapKylin工作原ApacheKylin的工作原理本質(zhì)上是MOLA（MultidimensionOn-Line ysisProcessing）Cube，也就是立方體分析。是數(shù)據(jù)分析中非常經(jīng)典的理論，下面對其做簡要介紹。維度：即觀察據(jù)的角度比如員工據(jù)，可以從角度來分析也可以更細(xì)化，從入職時或者地的維度觀察維度一組離的值比如說中的和女或者時Cube度，要么是度量（可以被聚合Cube理論。給定一個數(shù)據(jù)模型，可以對其上的所有維度進(jìn)行聚合，對于N個維度來說，組合2n種。對于每一種維度的組合，將度量值做聚合計算，然后將結(jié)果保存CuboidCuboidCube。下面舉一個簡單的例子說明假設(shè)有一個的銷售數(shù)據(jù)集其中維度包括時間[time]、商品[item]、地區(qū)[location]和供應(yīng)商[r]，度量為銷售額。那么所有維度的組合就有2416[item,r]、[location,r]3種；最后還有零維度（0D）和度（4D）各有一種，總共16種算預(yù)計算過程是Kylin從Hive中原始數(shù)據(jù)，按照選定的維度進(jìn)行計算，并將結(jié)build的結(jié)果，稱為一個Segment。構(gòu)建過程中會涉及多個Cuboid的創(chuàng)建，具體創(chuàng)建過kylin.cube.algorithm參數(shù)決定，參數(shù)值可選auto，layerinmemauto，即Kylin會通過數(shù)據(jù)動態(tài)地選擇一個算法(layerorinmem)，如果用戶很了解Kylin和自逐層構(gòu)建算知道，一個N維的Cube，是由1個N維子立方體、N個(N-1)維子立方體、N*(N-1)/2個(N-2)維子立方體 、N個1維子立方體和1個0維子立方體構(gòu)成，總共有2^N它是從原始數(shù)據(jù)聚合而來[GroupbyA,B]的結(jié)[GroupbyA,BC]C當(dāng)0CuboidCube的計算也就完成了。MapReduceNCube，至少需要N+1MapReduceJob。此算法充分利用了MapReduce的能力，處理了中間復(fù)雜的排序和洗牌工作，故而算法代碼清晰簡單，易于；當(dāng)Cube有比較度的時候，所需要的MapReduce任務(wù)也相應(yīng)增加；由于 此算對HadoopMapReduce輸出較多數(shù)據(jù);雖然已經(jīng)使用了Combiner來減少從Key-ValueHDFS上；當(dāng)所有計算都完成后，Kylin還需要額外的一輪任務(wù)將這些文件轉(zhuǎn)成HBaseHFile格式，以導(dǎo)入到HBase中去；快速構(gòu)建算法也被稱作“逐段”(BySegment或“逐塊”(BySplit)1.5.x開始引入該算法，利用MapperCube段（CuboidMapperCubeReducer做合并，生成大Cube，也就是最終結(jié)果；解釋了此流程。這樣會減少輸出到HadoopMapReduce的數(shù)據(jù)量；MapReduce便會完成所有層次的計算，減少Hadoop2Kylin安裝地1）/2）文/docs/2.2安裝部

[atguigu@hadoop102sorfware]$tar-zxvfapache-kylin-2.5.1-bin-hbase1x.tar.gz-C/opt/module/1）apache-kylin-2.5.1-bin-hbase1x.tar.gz[atguigu@hadoop102sorfware]$tar-zxvfapache-kylin-2.5.1-bin-hbase1x.tar.gz-C/opt/module/注意：需要在/etc/profileHADOOP_HOME，HIVE_HOME，HBASE_HOME并sbin（如果有這個的話）binPathsource使其生[atguigu@hadoop102[atguigu@hadoop102kylin]$bin/kylin.sh3360JobHistoryServer(MR的歷史服務(wù)，必須啟動31425328230265328328864400727283156650402864972926574946297927274688290098489848263627002815注意：啟動Kylin之前要保證HDFS，YARN，ZK，HBASE相關(guān)進(jìn)程是正常運(yùn)行的。在查看Web頁面[atguigu@hadoop102[atguigu@hadoop102kylin]$bin/kylin.sh3數(shù)據(jù)準(zhǔn) createexternalcreateexternaltableifnotexistsdefaudeptnoint,dnamestring,locint)rowformatdelimitedfieldsterminatedbycreatecreateexternaltableifnotexistsdefault.emp(empnoint,enamestring,jobstring,mgrint,hiredatehiredatestring,saldouble,commdouble,deptnoint)rowformatdelimitedfieldsterminatedbyhivehive(default)>showtables;hivehive(default)>loaddatalocalinpath'/opt/module/datas/dept.txt'intotabledefau hive(default)>loaddatalocalinpath'/opt/module/datas/emp.txt'intotabledefault.emp;hive(default)>select*fromemp;hivehive(default)>select*fromemp;hive(default)>select*fromdept;創(chuàng)建項登錄系創(chuàng)建工選擇創(chuàng)建ModelsNewNewModel名稱及描述后Model創(chuàng)建NewNewModelCubeCubeCubeBuildCubeHiveKylin性能對Hive查hive>selectdname,sum(sal)fromempejoindeptdone.deptno=d.deptnogroupbydname;hive>selectdname,sum(sal)fromempejoindeptdone.deptno=d.deptnogroupbydname; Totaljobs=SLF4J:ClasspathcontainsmultipleSLF4J………Stage-Stage-2:Map:1Reduce:1 CumulativeCPU:3.95sec Read:13195HDFSWrite:48SUCCESSTotalMapReduceCPUTimeSpent:3seconds950msec SALESTimetaken:23.893seconds,Fetched:3row(s)Kylin查InsightNewQuery4Kylin結(jié)合使用的可視化工具很多，例如：ODBCTableau、Excel、PowerBI等工具集成JDBCSaiku、BIRTJava工具集成RestAPIJavaScript、Web網(wǎng)頁集成Kylin開發(fā)團(tuán)隊還貢獻(xiàn)了Zepplin的插件，也可以使用Zepplin來Kylin服務(wù) packagecom.atguigu;importjava.sql.*;publicpackagecom.atguigu;importjava.sql.*;publicclassTestKylin{publicstaticvoidmain(String[]args)throwsExceptionStringKYLIN_DRIVER= //Kylin//KylinURLKYLIN=StringKYLIN_USER=StringKYLINPASSWD==DriverManager.getConnection(KYLIN_URL,KYLIN_USER,PreparedStatementps=connection.prepareStatement("SELECTsum(sal)FROMempgroupbydeptno");ResultSetresultSet=while(resultSet.next()){}}}Zeppelin[atguigu@hadoop102sorfware]$tar-zxvfzeppelin-0.8.0-bin--C[atguigu@hadoop102sorfware]$tar-zxvfzeppelin-0.8.0-bin--C[atguigu@hadoop102module]$mvzeppelin-0.8.0-bin-all/ [atguigu@hadoop102zeppelin]$bin/zeppelin-daemon.sh 可登錄網(wǎng)頁查看，web默認(rèn)端為Zepplin4.3.3案例NoteName5Cube從之前章節(jié)的介紹可以知道，在沒有采取任何優(yōu)化措施的情況下，Kylin會對每一種維Cuboid4個維度，我24=16Cuboid需要計算。有經(jīng)過任何優(yōu)化的Cube就會存在210=1024Cuboid；而如果用20那么Cube想到Cuboid的數(shù)量就足以讓人想象到這樣的Cube對構(gòu)建引擎、引擎來說壓力有多么找到問題Cuboid數(shù)ApacheKylinCubeCuboid最終被預(yù)計算Cuboid的大SegmentCuboid被物化哪些沒有被物化都是一樣的。因此只要Cube中至少有一個Segment，那么就能使用如下令行工具去檢查這個Cube中Cuboid……StatisticsCube[FULLCubestatisticshllprecision:14Totalcuboids:7Totalestimatedrows:Totalestimatedsize(MB):3.027915954589844E-4Samplingpercentage:100Mapperoverlapratio:1.0Mappernumber:1LengthofdimensionDEFAULT.EMP.JOBis1LengthofdimensionDEFAULT.EMP.MGRis1LengthofdimensionDEFAULT.EMP.DEPTNOis1|----Cuboid111,estrow:10,estMB:|----Cuboid011,estrow:9,estMB:0,shrink:|----Cuboid001,estrow:3,estMB:0,shrink:|----Cuboid010,estrow:7,estMB:0,shrink:|----Cuboid101,estrow:9,estMB:0,shrink:|----Cuboid100,estrow:5,estMB:0,shrink:|----Cuboid110,estrow:8,estMB:0,shrink:Cuboid及它的分析結(jié)果都以樹狀的形式打印了出來。在這棵樹中，每個節(jié)點代表一個Cuboid，每個Cuboid都由一連串10的數(shù)字組0Cuboid1，則代表這個Cuboid少了一個“1”Cuboid就是由它的父親節(jié)點減少一個維度聚合而來的（上卷CuboidBaseCuboid，它直接由源數(shù)據(jù)計算而來。Cuboid01Cuboid的的行數(shù)與父親節(jié)點的對比（Shrink值CuboidSegment的行數(shù)估計值，每個Cuboid都是在它的父親節(jié)點的基礎(chǔ)上進(jìn)一步聚合而成的，因此從理論上說每個Cuboid無論是行數(shù)還是大小都應(yīng)該小于它的父親。在這棵樹中，可以觀察每個節(jié)點的Cube大還有一種更為簡單的方法可以幫助判斷Cube是否已經(jīng)足夠優(yōu)化。在WebGUI的Model頁面選擇一個READY狀態(tài)的Cube，當(dāng)把光標(biāo)移到該Cube的CubeSize列時，WebGUICubeCube的大小除以源數(shù)據(jù)大小的比例，稱為膨脹率（ExpansionRate，。CubeCube管理員應(yīng)當(dāng)開始挖掘其中的原因。通常，膨脹率高有以下幾個方面的原因。多CubeCuboid占用的空間都很CuboidCube體積變大;Cube進(jìn)行優(yōu)化。優(yōu)化構(gòu)聚合組（AggregationGroup）Cube的所有維能同時被同一個查詢用到，因此會更加緊密的內(nèi)在關(guān)聯(lián)。每個分組的維度集合均是CuboidCuboid無論在多少個分組中出現(xiàn)，它都只會被物化一次。對于每個分組的維度，用戶可以使用如下三種可選的方式定義，它們之間的關(guān)系，強(qiáng)制維假設(shè)有A、B和C三個維不使用強(qiáng)制維使用A作為強(qiáng)制維假設(shè)有A、B和C三個維不使用強(qiáng)制維使用A作為強(qiáng)制維ABCA層級維（Hierarchy每個層級包含兩個或個維度。假設(shè)一個層級中包含D1，D2…DnnCuboidn個維度只會以假設(shè)有A、