Greenplum內核技術優(yōu)化解讀

1、Greenplum內核技術優(yōu)化解讀技術創(chuàng)新，變革未來Contents 目錄01 Greenplum 6.0 內核新技術02 Greenplum 6.0 新特性解讀03 Greenplum 7.0 展望6.0 內核新技術01PostgreSQL 8.3 Greenplum 5.x (2017/09 發(fā)布）PostgreSQL 8.4 master (2017/12) PostgreSQL 9.0 master (2018/03) PostgreSQL 9.1 master (2018/05) PostgreSQL 9.2 master (2018/09) PostgreSQL 9.3 maste

2、r (2018/09)PostgreSQL 9.4 master (2018/10) PostgreSQL 9.4.20 master (2018/12)Greenplum 6.0 2019/09/04 發(fā)布內核升級 站在前人肩膀上6.0 完成6個大的版本升級， 集成了來自于PostgreSQL社區(qū)的約14000次代碼提交融合了社區(qū)將近10年的工作結晶全局死鎖檢測收集每個Segment的依賴關系 Master 構建依賴圖周期性檢測是否存在環(huán) 不支持AO鎖優(yōu)化Procarray鎖事務優(yōu)化只讀事務不需要分布式快照 單節(jié)點查詢兩階段提交 只讀事務兩階段提交HTAP 性能優(yōu)化 (70X)內核升級整體性

3、能提升復制表索引有效 UDFGreenplum 5：Filerep基于文件IO 代碼侵入性大 涉及文件數(shù)目大不易于擴展Greenplum 6：流復制PostgreSQL 原生的流復制技術網(wǎng)絡開銷低 端口占用數(shù)量 快速replay擴展性好 代碼侵入低為 DR、CDC、3副本 打下基礎 集群管理復雜度降低全新高可用機制彈性在線擴容不停機 不停業(yè)務降低數(shù)據(jù)移動量數(shù)據(jù)分布策略一致性Hash 數(shù)據(jù)類型自適應可自定義彈性數(shù)據(jù)分布基礎設施就緒彈性計算基礎設施就緒6.0 新特性解讀02集成處理平臺TP 性能達70倍提升SELECT : 14萬/s INSERT: 4.6萬/s UPDATE: 2.4萬/s數(shù)據(jù)

4、類型結構化數(shù)據(jù) Key/Value XMLJSON（文檔類型） Text （文本數(shù)據(jù)）Geospatial（地理信息數(shù)據(jù)）Time Series （時序數(shù)據(jù)）Image （圖像） Graph （圖數(shù)據(jù)）流式數(shù)據(jù)實時流式數(shù)據(jù)加載 時序數(shù)據(jù)分析 流式數(shù)據(jù)處理混合負載（HTAP）TP 性能達70倍提升SELECT : 14萬/s INSERT: 4.6萬/s UPDATE: 2.4萬/s數(shù)據(jù)類型結構化數(shù)據(jù) XML JSON流式數(shù)據(jù)實時流式數(shù)據(jù)加載 時序數(shù)據(jù)分析 流式數(shù)據(jù)處理HTAP 超越大數(shù)據(jù)VelocityVolumeVariety多態(tài)存儲引擎HeapAppend Optimized 列存（AOC

5、O）外部表全新壓縮方式（zstd） Unlogged 表靈活資源管理并發(fā)度 CPU 配額 CPU 綁定 內存 配額 磁盤配額安全靈活的認證機制 基于角色的訪問控制列級別權限控制混合負載（HTAP）Foreign Data WrapperOracle MySQLPostgreSQL ElasticSearchRedis上百種PXF 框架HDFSHive HBase S3JSONParquet ORCSequenceFileText CSV數(shù)據(jù)融合，互聯(lián)互通Spark連接器高效并行連接器 謂詞下推、字段投影內存分析支持Spark編程語言Python Scala Java RKafka連接器支持Ex

6、actly Once 并行消息處理支持窗口對窗口支持自定義處理 JSONAvroBinary自定義類型 多字節(jié)分隔符大表關聯(lián)、分組聚集 (SQL 1992)Window函數(shù) (SQL 2003)Cube/Grouping Sets (SQL 1999)亮點SQL特性，大幅提升開發(fā)速度JSON (SQL 2016)CREATE TABLE student_score (student, class, scoreTEXT TEXT INT);INSERT INTO student_score VALUES (A, MATH, 98),(B, MATH, 60),(C, MATH, 100),(D,

7、 MATH, 95),(E, MATH, 70),(A, ENGLISH, 90),(B, ENGLISH, 99),(X, ENGLISH, 80),(Y, ENGLISH, 59);SELECT * FROM ( SELECT*,rank() OVER ( PARTITION BY classORDER BY score DESC) rn FROM student_score) dtWHERE rn = 3;student |class| score | rn-+-+-+-B|ENGLISH|99|1A|ENGLISH|90|2X|ENGLISH|80|3C|MATH|100|1A|MAT

8、H|98|2D|MATH|95|3例子：每個科目的前三名JSON 數(shù)據(jù)類型 (SQL 2016)機器學習MADlib監(jiān)督學習無監(jiān)督學習 模型交叉驗證人工智能（AI）GPUTensorflow Teras高級分析擴展計算和分析RPythonJava Perl SQLGreenplumRR native機器學習下沉入數(shù)據(jù)庫，50+算法Apache MADlib 支持 AIKubernetes 原生數(shù)據(jù)庫Greenplum 7.0 展望03新特性UPSERTUPDATE 多字段支持行級別安全控制，助力多租戶重構日志結構 CUBE GROUPING SETPostgreSQL 9.5完成合并(1867 commits)性能BRIN（Heap） 排序鎖優(yōu)化 哈希關聯(lián)位圖索引掃描內核升級（9.6接近完成）并行掃描、關聯(lián)、聚