Greenplum技術(shù)深入介紹及產(chǎn)品規(guī)劃

1、Greenplum技術(shù)深入介紹及產(chǎn)品規(guī)劃日程Greenplum簡介Greenplum 6.0Greenplum未來規(guī)劃Greenplum簡介O LT P 的開源答案和O L A PMPP無共享靜態(tài)拓撲數(shù)據(jù)分布：并行化處理的根基最重要的策略和目標是均勻分布數(shù)據(jù)到各個數(shù)據(jù)節(jié)點并行執(zhí)行計劃Greenplum可以跑在不同的環(huán)境數(shù)據(jù)類型可以是多樣的結(jié)構(gòu)實時 數(shù)據(jù)時間自然序列語言數(shù)據(jù)數(shù)據(jù)事件 數(shù)據(jù)化數(shù)非結(jié)據(jù)構(gòu)化 數(shù)據(jù)網(wǎng)絡(luò)地理數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)類型關(guān)聯(lián) 數(shù)據(jù)Greenplum集成化分析Greenplum數(shù)據(jù)轉(zhuǎn)換傳統(tǒng) BI機器學(xué)習(xí)深度學(xué)習(xí)圖地理信息文本Greenplum概況產(chǎn)品特性客戶端訪問和工具多級容錯機制無共享

2、大規(guī)模并行處理 先進的查詢優(yōu)化器多態(tài)存儲系統(tǒng)客戶端訪問ODBC, JDBC, OLEDB, etc.核心MPP 架構(gòu)并行數(shù)據(jù)流引擎 高速軟數(shù)據(jù)交換機制MPP Scatter/Gather 流處理在線系統(tǒng)擴展資源管理服務(wù)加載 & 數(shù)據(jù)聯(lián)邦 高速數(shù)據(jù)加載近實時數(shù)據(jù)加載 任意系統(tǒng)數(shù)據(jù)訪問 數(shù)據(jù)聯(lián)邦存儲 & 數(shù)據(jù)訪問混合存儲引擎（行存&列存） 多種壓縮，多級分區(qū)表 索引（B樹，位圖，GiST） 安全性語言支持標準SQL支持，SQL 2003 OLAP擴展 擴展編程語言GreenplumR Extension & Hook第三方工具BI 工具, ETL 工具 文本分析，機器學(xué)習(xí)等管理工具GP Comma

3、nd CenterGreenplum在最新的Gartner報告名列前茅傳統(tǒng)數(shù)倉領(lǐng)域全 球排名第三實時分析領(lǐng)域全 球并列第四前十中唯一的開 源產(chǎn)品Greenplum 6.0 簡介Postgres升級6個Postgres大版本升級v8.4-2314 commitsv9.0-1859 commitsv9.1-2035 commitsv9.2-1945 commitsv9.3-1603 commitsv9.4-1964 commitsGP6-4705 commits總共16425 commits，超過100萬行代碼更新OLTP性能大幅提升Greenplum 6中的OLTP優(yōu)化鎖的優(yōu)化（如tmLock）

4、兩階段事物優(yōu)化（如特殊情況退化為一階段）更精細化的資源組管理升級內(nèi)核帶來的優(yōu)化（如fast path lock, lwlock, cache有效性）結(jié)果：基準測試性能提升高達70+倍GP6中Update的TPS 24,448GP6中Insert的TPS 46,570GP6中Select的TPS 140,000精細化資源管理目標多租戶資源隔離更好地支持混合工作負載更好地支持高并發(fā)特征指定每個用戶組的最大CPU指定每個用戶組和每個查詢的最大內(nèi)存指定每個用戶組的最大并發(fā)數(shù)利用Linux Cgroup實現(xiàn)磁盤配額多租戶的場景下，磁盤配額是SLA的 一部分支持Schema和用戶級別的磁盤配額 創(chuàng)建和管理

5、當磁盤使用量達到限額時，阻止用 戶繼續(xù)占用磁盤空間基于Greenplum Extension框架構(gòu)建最小化IO性能的影響近似實時的響應(yīng)更快的集群擴容10倍以上性能提升新的一致性哈希算法不需要重新分布集群所有數(shù)據(jù)，僅移動少量數(shù)據(jù)不需要重新啟動集群預(yù)寫日志(Write-AheadLogging)降低網(wǎng)絡(luò)開銷適應(yīng)高負載CPU重新平衡更快兼容Postgres復(fù)制表explain select count(*) from table_fact f inner join table_replicated d on f.a = d.a;QUERY PLAN-Aggregate (cost=0.00.874.

6、73 rows=1 width=8)- Gather Motion 2:1 (slice1; segments: 2) (cost=0.00.874.73 rows=1 width=8)- Aggregate (cost=0.00.874.73 rows=1 width=8)- Hash Join (cost=0.00.874.73 rows=50000 width=1) Hash Cond: (table_fact.a = table_replicated.a)- Seq Scan on table_fact (cost=0.00.432.15 rows=50000 width=4)- Ha

7、sh (cost=431.23.431.23 rows=10000 width=4)- Seq Scan on table_replicated (cost=0.00.431.23 rows=10000 width=4) Optimizer: PQO version 3.29.0explain select count(*) from table_fact f inner join table_non_replicated d on f.a = d.a;QUERY PLAN-Aggregate (cost=0.00.874.31 rows=1 width=8)- Gather Motion 2

8、:1 (slice3; segments: 2) (cost=0.00.874.31 rows=1 width=8)- Aggregate (cost=0.00.874.31 rows=1 width=8)- Hash Join (cost=0.00.874.31 rows=50000 width=1) Hash Cond: (table_fact.a = table_non_replicated.a)- Redistribute Motion 2:2 (slice1; segments: 2) (cost=0.00.433.15 rows=50000 width=4) Hash Key: t

9、able_fact.a- Seq Scan on table_fact (cost=0.00.432.15 rows=50000 width=4)- Hash (cost=431.22.431.22 rows=5000 width=4)- Redistribute Motion 2:2 (slice2; segments: 2) (cost=0.00.431.22 rows=5000 width=4) Hash Key: table_non_replicated.a- Seq Scan on table_non_replicated (cost=0.00.431.12 rows=5000 wi

10、dth=4)Optimizer: PQO version 3.29.0非復(fù)制表1 slice vs 3 slices不需要數(shù)據(jù)重分布復(fù)制表zStandard壓縮源于Facebook，Greenplum 6.0發(fā)布更快的壓縮和解壓縮速度更高的壓縮率，節(jié)省存儲空間壓縮比增加的情況下壓縮速率損耗小解壓縮速率在不同壓縮比下表現(xiàn)穩(wěn)定CREATE TABLE加上WITH (compresstype = zstd)列級安全管理SELECT name, address FROM people;SELECT ssn FROM people; SELECT * from people;可更新CTE和遞歸CTE利用

11、可更新CTE在一個語句中實現(xiàn)數(shù) 據(jù)的查詢和更新利用遞歸CTE實現(xiàn)復(fù)雜處理邏輯Unlogged表寫入Unlog ged表的數(shù)據(jù)不會寫入預(yù)寫（WAL）日志，這使它們比普通 表要快得多。不像臨時表，Unlog ged在當前會話/事務(wù)結(jié)束時不會刪除保持數(shù)據(jù)原子性，一致性和完整性，但是如果發(fā)生崩潰，數(shù)據(jù)可能會 丟失create unlog ged tableGPKafkaM i n i b atc h 模式的流加載和計算引擎端到端不重不丟， 高速， 可靠， 低延遲C o nf l u e nt 認證豐富的數(shù)據(jù)格式支持（ Av ro, J s o n , Tex t , B i n a r y 及自定義類

12、型）支持并行Tra n sfo r m跟機器學(xué)習(xí)， 文本分析， 地理信息等分析工具無縫銜接， 并通過U D F 擴展GPCC6.0橫向擴展算法計算，包括深度學(xué)習(xí)兩全其美：CPU執(zhí)行和GPU執(zhí)行線性可伸縮性：添加更多節(jié)點以處理更多數(shù)據(jù)支持各種數(shù)據(jù)科學(xué)工作負載：數(shù)據(jù)準備，特征生成，機器學(xué)習(xí)， 地理空間，圖計算，深度學(xué)習(xí)等/簡單易用的算法接口訓(xùn)練模型模型預(yù)測深度學(xué)習(xí)，人工智能，神經(jīng)網(wǎng)絡(luò)GPU集群集成支持非對稱GPU部署-提高經(jīng)濟效益智能打包和分發(fā)數(shù)據(jù)到各個節(jié)點模型跳變可在不移動大數(shù)據(jù)集的情 況下移動經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)狀態(tài)執(zhí)行并行訓(xùn)練，以縮短在最佳模型 和參數(shù)上收斂的時間方便地訪問GPDB中的數(shù)據(jù)庫數(shù)

13、據(jù)和 訓(xùn)練歷史記錄GreenplumRR開發(fā)者在本地編寫代碼R函數(shù)推送到GP服務(wù)器在Docker容器中并行執(zhí)行R函數(shù)R函數(shù)在GP處理數(shù)據(jù)結(jié)果存儲在數(shù)據(jù)庫中或者返回 給客戶端數(shù)據(jù)無需離開GP將代碼推送到GP# run fn.inc in Greenplum in parallel# fn.inc will be transferred to Greenplum and runin paralleldb.gpApply(data, =,FUN=fn.inc, )# a normal R functionfn.inc - function(x)x$iD - x$iD + 100return (x)更

14、易于安裝的開源Greenplum社區(qū)站點預(yù)編譯的二進制文件每個版本自動構(gòu)建RedHat , CentOS , Debian , and UbuntuGreenplum 未來路線Postgres9.5升級完成將會包含在Greenplum 7.0里Upsert (Insert on Conflict)行級安全管理Block Range Indices排序性能大幅提升Postgres9.6升級完成將會包含在Greenplum 7.0里并行執(zhí)行順序掃描，Join和聚合避免在Vacuum操作期間不必要地掃描存儲頁全文檢索具備搜索短語能力（多個相鄰單詞）postgres_fdw支持遠程Join，排序，更新和刪除大幅提升性能，尤其是在多CPU插槽服務(wù)器上的可擴展性方面多數(shù)據(jù)中心復(fù)制將會包含在Greenplum 7.0里利用GPDB 6中實現(xiàn)的預(yù)寫日志支持故障