Greenplum架構(gòu)介紹課件

1、Greenplum 產(chǎn)品介紹第1頁，共23頁。Greenplum數(shù)據(jù)庫 海量并行處理(Massively Parallel Processing) DBMS 基于 PostgreSQL 8.2相同的客戶端功能增加支持并行處理的技術(shù)增加支持數(shù)據(jù)倉庫和BI的特性外部表(external tables)/并行加載(parallel loading)資源管理查詢優(yōu)化器增強(query optimizer enhancements)第2頁，共23頁。Greenplum基本體系架構(gòu)第3頁，共23頁?？蛻舳私涌诤统绦?psql pgAdmin III ODBC JDBC Perl DBI Python li

2、bpq第4頁，共23頁。Master Host 訪問系統(tǒng)的入口 數(shù)據(jù)庫偵聽進程 (postgres) 處理所有用戶連接 建立查詢計劃 協(xié)調(diào)工作處理過程 管理工具 系統(tǒng)目錄表和元數(shù)據(jù)（數(shù)據(jù)字典） 不存放任何用戶數(shù)據(jù)第5頁，共23頁。Segments 每段（Segment）存放一部分用戶數(shù)據(jù) 一個系統(tǒng)可以有多段 用戶不能直接存取訪問 所有對段的訪問都經(jīng)過Master 數(shù)據(jù)庫監(jiān)聽進程(postgres)監(jiān)聽來自Master的連接第6頁，共23頁。Interconnect Greenplum數(shù)據(jù)庫之間的連接層 進程間協(xié)調(diào)和管理 基于千兆以太網(wǎng)架構(gòu) 屬于系統(tǒng)內(nèi)部私網(wǎng)配置 支持兩種協(xié)議：TCP or UD

3、P第7頁，共23頁。Greenplum高可用性體系架構(gòu)第8頁，共23頁。數(shù)據(jù)冗余段間鏡像第9頁，共23頁。Hash分布CREATE TABLE DISTRIBUTED BY (column ,)同樣數(shù)值的內(nèi)容被分配到同一個Segment上循環(huán)分布CREATE TABLE DISTRIBUTED RANDOMLY具有同樣數(shù)值的行內(nèi)容并不一定在同一個Segment上表分布的策略第10頁，共23頁。分布存儲第11頁，共23頁。均衡的數(shù)據(jù)分布數(shù)據(jù)源2區(qū)段 1區(qū)段 2區(qū)段 3區(qū)段 4區(qū)段 5區(qū)段 6區(qū)段 7區(qū)段 8數(shù)據(jù)源1數(shù)據(jù)源3并行加載并進行能夠Hash分布第12頁，共23頁。表分區(qū)的概念將一張大表邏

4、輯性地分成多個部分提高對于特定類型數(shù)據(jù)的查詢速度和性能也可以更方便數(shù)據(jù)庫的維護和更新兩種類型:Range分區(qū) (日期范圍或數(shù)字范圍)List 分區(qū)Greenplum中的表分區(qū)在使用中具有總表的繼承性，并通過Check參數(shù)指定相應(yīng)的子表分區(qū)的子表依然根據(jù)分布策略分布在各segment上第13頁，共23頁。表分區(qū)示意圖第14頁，共23頁。查詢命令的執(zhí)行第15頁，共23頁。SELECT customer, amount FROM sales JOIN customer USING (cust_id) WHERE date=04302019;并行查詢計劃第16頁，共23頁。外部表加載外部表的特征rea

5、d-only數(shù)據(jù)存放在數(shù)據(jù)庫外可執(zhí)行SELECT, JOIN, SORT等命令，類似正規(guī)表的操作外部表的優(yōu)點并行方式加載ETL的靈活性格式錯誤行的容錯處理支持多種數(shù)據(jù)源兩種方式:External Tables: 基于文件Web Tables: 基于URL或指令第17頁，共23頁。并行文件的分布方式 (gpfdist)第18頁，共23頁。外部表加載的特征并行數(shù)據(jù)加載提供最好的性能能夠處理遠程存儲的文件采用HTTP協(xié)議200 MB/s data distribution rate per gpfdistExample Start Commands:gpfdist -d /var/load_file

6、s/expenses -p 8080 -l /home/gpadmin/log &Example External Table Definition:CREATE EXTERNAL TABLE ext_expenses ( name text, date date, amount float4, description text )LOCATION (gpfdist/etlhost:8081/*,gpfdist/etlhost:8082/*)FORMAT TEXT (DELIMITER |)ENCODING UTF-8LOG ERRORS INTO ext_expenses_loaderror

7、s SEGMENT REJECT LIMIT 10000 ROWS ;第19頁，共23頁。限制查詢隊列的激活數(shù)防止系統(tǒng)過載(CPU, disk I/O, memory)資源負載管理（ Workload Management）第20頁，共23頁。資源隊列的兩種典型管理方式Resource Queue LimitsACTIVE THRESHOLDEXAMPLE: CREATE RESOURCE QUEUE adhoc ACTIVE THRESHOLD 10 IGNORE THRESHOLD 1000.0;COST THRESHOLDEXAMPLES: CREATE RESOURCE QUEUE batch1 COST THRESHOLD 1000000.0 NOOVERCOMMIT;CR