數(shù)據(jù)湖技術(shù)解析

阿里云開發(fā)者“藏經(jīng)閣” 4 數(shù)據(jù)湖架構(gòu)及概念簡(jiǎn)介4數(shù)據(jù)湖架構(gòu)及概念簡(jiǎn)介52.數(shù)據(jù)湖架構(gòu)演進(jìn)數(shù)據(jù)湖架構(gòu)及概念簡(jiǎn)介61.阿里云數(shù)據(jù)湖發(fā)展歷程數(shù)據(jù)湖架構(gòu)及概念簡(jiǎn)介72.數(shù)據(jù)湖建設(shè)思路及挑戰(zhàn)數(shù)據(jù)湖架構(gòu)及概念簡(jiǎn)介8或Sink到更專業(yè)的數(shù)據(jù)系統(tǒng)中，比如到ES里進(jìn)行進(jìn)一步數(shù)據(jù)檢索，比如到3.阿里云云原生數(shù)據(jù)湖解決方案數(shù)據(jù)湖架構(gòu)及概念簡(jiǎn)介9數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限101.開源元數(shù)據(jù)體系由來、演進(jìn)及問題第一，編程門檻較高。傳統(tǒng)的數(shù)倉(cāng)工程師接觸的編程接口一般是SQL，但數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限11?可以對(duì)接外部系統(tǒng)的catalog。Hi數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限12數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限132.權(quán)限控制體系介紹數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限14數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限15數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限161.阿里云上數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)服務(wù)架構(gòu)數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限17數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限182.阿里云上數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)基本功能及優(yōu)化數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限193.阿里云上數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)之穩(wěn)定性機(jī)制數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限20數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)與權(quán)限211.數(shù)據(jù)湖元數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)2.數(shù)據(jù)湖元數(shù)據(jù)倉(cāng)庫(kù)建設(shè)1.元數(shù)據(jù)檢索2.數(shù)據(jù)資產(chǎn)分析3.庫(kù)表維度精細(xì)化分析-DataProfile4.生命周期管理檻。1.業(yè)界存儲(chǔ)架構(gòu)演進(jìn)2.從存算一體到云原生數(shù)據(jù)湖3.數(shù)據(jù)湖存儲(chǔ)演進(jìn)之路可以和NameNode進(jìn)行比對(duì)，解決了對(duì)象存儲(chǔ)在模擬文件系統(tǒng)時(shí)的操作比如1.JindoSDK：超級(jí)數(shù)據(jù)湖SDK2.JindoFS：構(gòu)建在OSS上的高性能存儲(chǔ)系統(tǒng)3.JindoFSx：高性能/性價(jià)比的存儲(chǔ)加速系統(tǒng)儲(chǔ)需求。NameSpaceService服務(wù)做文件元數(shù)據(jù)層面的加速，通過文件系統(tǒng)接口暴露給4.生態(tài)工具和場(chǎng)景如上，我們可以發(fā)現(xiàn)湖倉(cāng)大部分的特性是由湖格式來承載和支持的，這就是當(dāng)前1.DeltaLake文件布局2.DeltaLake元數(shù)據(jù)——元素?AddFile合，我們以圖中的幾個(gè)例子來說明。首先我們可以看到表中的所有操作都會(huì)生成?Insert/Update/Delete/Merge4.元數(shù)據(jù)加載5.DeltaLake事務(wù)6.Z-Order來排序的話就只要掃描一個(gè)文件，按照傳統(tǒng)線性排序的方式需要掃描2個(gè)文件7.Z-Order+Dataskipping側(cè)手動(dòng)創(chuàng)建一個(gè)外表才能做查詢。其原因是Hive查詢Delta表需要通過接下來我們來介紹一下阿里云生態(tài)對(duì)DeltaLake的支持。我們目前已經(jīng)實(shí)現(xiàn)了json文件時(shí)我們得到只有RemoveFile的文件列表，那么我們就可以加載1.Spark的集群部署模式?Standalone2.SparkonK8s的部署架構(gòu)?使用Spark-on-K8s-op3.SparkonK8s的社區(qū)進(jìn)展4.SparkonK8s的重點(diǎn)特性1.SparkonACK簡(jiǎn)介2.云上彈性優(yōu)勢(shì)3.RSS優(yōu)化Shuffle和動(dòng)態(tài)資源浪費(fèi)。4.增強(qiáng)K8s作業(yè)級(jí)別調(diào)度K8s默認(rèn)的調(diào)度器調(diào)度粒度是Pod，但是傳統(tǒng)的Spark任務(wù)調(diào)度默認(rèn)粒度是5.云上數(shù)據(jù)湖存儲(chǔ)與加速6.使用DLF構(gòu)建云上數(shù)據(jù)湖7.易用性提升1.數(shù)據(jù)湖發(fā)展的歷史背景2.Hudi的四大核心特性1.Hudi寫入pipeline（多算子組成的微服務(wù)架構(gòu)）沖突。情況。2.小文件策略1.近實(shí)時(shí)D