Greenplum On Powerflex技術(shù)架構(gòu)簡介

GreenplumOnPowerflex技術(shù)架構(gòu)簡介技術(shù)創(chuàng)新，變革未來VMware

Tanzu

Greenplum是什么？基于X86開放式架構(gòu)的高性能分析型數(shù)據(jù)倉庫高性能

&

易擴展支持TB~PB級的數(shù)據(jù)處理、存儲和訪問在數(shù)據(jù)加載、處理、訪問等各個環(huán)節(jié)最大化并行處理能力支持HTAP，優(yōu)秀混合負(fù)載性能支持增加節(jié)點可線性增加容量和計算性能在線擴容，擴容期間系統(tǒng)繼續(xù)對外提供服務(wù)開放性基于開源的Postgresql

研發(fā)業(yè)界基于X86工業(yè)標(biāo)準(zhǔn)的首個商用開源MPP支持物理機、虛擬機、公有云等多種部署方式不同方式遷移間100%兼容高級分析除了

SQL

分析能力外，內(nèi)置了全文檢索、機器學(xué)習(xí)、深度學(xué)習(xí)、地理信息管理等多種分析能力支持GIS地理空間數(shù)據(jù)分析能力內(nèi)置R、Python、Graph圖分析能力2管理節(jié)點：負(fù)責(zé)接收請求、優(yōu)化查詢計劃、Dispatch&協(xié)調(diào)數(shù)據(jù)節(jié)點并行計算Greenplum

MPP無共享并行架構(gòu)并行計算提供強大的數(shù)據(jù)處理性能…Segment

1Segment

2Segment

3Segment

N數(shù)據(jù)節(jié)點:擁有各自的

CPU,

DISK

和

內(nèi)存

(無共享，最大化并行)存儲用戶數(shù)據(jù)、并行計算提供HA鏡像保護線性擴展Interconnect組件負(fù)責(zé)節(jié)點間數(shù)據(jù)交互和連續(xù)化Pipelineing

數(shù)據(jù)處理SQLMasterHostStandbyMasterInterconnect3“In-database”庫內(nèi)分析功能VMware

Greenplum內(nèi)置豐富分析功能的融合型數(shù)據(jù)倉庫BI/AnalyticsStructured/Semi-StructuredTraditionalRow

OrientedColumnar100%PostgresPython/R/Java/Perl/C

functionsSuperFastDataQueryingand

LoadingScalable

MassiveCompute

Grid100

%SQLGeoSpatialGraphText

AnalyticsTime

SeriesMachine/Deep

LearningImageRecognition/OCRFederated

queryprocessingStreaming

DataEngineMulti-PlatformSoftwareSpark,

NIFI, Advanced

MonitoringKafka,

JDBC/ODBC &

WorkloadConnectors Management基礎(chǔ)數(shù)倉功能4企業(yè)級高階功能IT

ProfessionalsData

AnalystsBusiness

UsersData

ScientistsGeoSpatial,Time

SeriesVoice,Video,

ImageIoT

DataJSON,XML,

GraphVMwareTanzu

GreenplumGreenplum的企業(yè)數(shù)據(jù)分析平臺架構(gòu)功能End-UsersDataSourcesAndmany

more…Scale

OutHadoop

Data

Lakes

/

Other

Data

Platforms

/

PublicCloudDataLakes/

ExternalStoragesAllData

TypesStructured,Semi,Un-Structured

DataETL,

StreamingSQL,R,Python,

Java,C...BI/Analytic/ML

...Data

ScienceData

VisualizationData

Ingestion5Greenplum靈活支持各種部署方式同一個平臺、不同的基礎(chǔ)設(shè)施BaremetalVirtualenvPubliccloud6PowerFlex

軟件定義存儲架構(gòu)性能線性擴展快速數(shù)據(jù)重構(gòu)生命周期管理支持虛擬化或物理部署PowerFlexPowerFlex管理器計算和存儲獨自擴展99.9999%可用性可擴展架構(gòu)極速性能CCSSSS79極速

I/O

吞吐能力無局部熱點

自平衡架構(gòu)簡化

負(fù)載區(qū)隔管理PowerFlex-極速的運行平臺CPU

MEMORY

STORAGE百萬級tps、亞秒級延遲、無受限的擴展能力資源集成PowerFlex 性能測試和線性擴展測試隨節(jié)點數(shù)增加，性能和容量線性增長可預(yù)測的近線性提升4.47.915.131.61.73.46.312.105101520253035020406080100120140IOPSMillions#

ofnodesSeries1Series210219638976731601179008007006005004003002001000020406080100120140BW

(MB/s)Thousands#

ofnodesSeries1Series210910>6Tbps

!PowerFlex節(jié)點故障快速自恢復(fù)（自愈/自平衡）自修復(fù)、自平衡能力秒級或分鐘級的數(shù)據(jù)修復(fù)（傳統(tǒng)架構(gòu)是小時或天級別）保證服務(wù)連續(xù)性99.9999%可用性22.510.75.63.12.005101520020408010012014060#節(jié)點數(shù)節(jié)點失敗后的自愈耗時（分鐘）1632864#節(jié)點數(shù)101010來數(shù)增加越間隨節(jié)點修復(fù)時越快128PowerFlex-彈性可擴展高性能存儲-增強Greenplum架構(gòu)靈活性2-Layer架構(gòu)支持Greenplum計算資源和存儲資源獨立靈活擴展

；線性擴展存儲和IO性能、擴展過程中無延遲損耗PowerFlex提供資源負(fù)載區(qū)隔和分組容錯保護百萬級的IOPS、上百GB數(shù)據(jù)吞吐能力、亞秒級的低延遲性能靈活集成各類資源：Disk

、VNME、全閃存、GPU、高速網(wǎng)絡(luò)、公有云、物理機…PowerFlex存儲資源池CC C C C C CC C CGreenplum分布式數(shù)據(jù)庫計算節(jié)點計算資源擴展（物理機或VM

）存儲資源擴展S S S SVol

1 Vol

2 Vol

3 Vol

4S S S S SVol

5 Vol

6 Vol

7 Vol8Vol

9S…11PowerFlex

一致性卷組快照-增強Greenplum數(shù)據(jù)保護能力Storage快照12●快照恢復(fù)PowerFlex

一致性卷組Snapshot快照，可為Greenplum分布式存儲提供全局一致性時點數(shù)據(jù)快照；數(shù)據(jù)庫快照為系統(tǒng)升級、數(shù)據(jù)維護時的快速回退提高安全保障PowerFlex的Schedule定期快照為系統(tǒng)安備份、數(shù)據(jù)誤刪除等提供存儲級的解決方案快照未來還可用于從生產(chǎn)環(huán)境構(gòu)建測試測試等場景PowerFlexSnapshotGreenplum分布式數(shù)據(jù)庫PowerFlex

異步數(shù)據(jù)復(fù)制-增強Greenplum災(zāi)備能力StoragePowerFlex 異步數(shù)據(jù)復(fù)制為Greenplum災(zāi)備提供存儲級的解決方案；RPO

低至15秒Greenplum生產(chǎn)數(shù)據(jù)庫StorageGreenplum災(zāi)備數(shù)據(jù)庫PowerFlexasynchronous

replication1315PowerFlex+Vsphere-構(gòu)建Greenplum

無鏡像（

Mirrorless

）部署模式“Greenplum’s

無鏡像”架構(gòu)優(yōu)勢簡化HA管理失敗自動恢復(fù)/遷移(磁盤故障、Segment故障、虛機主機故障、物理主機故障)更高性能（無需wal日志復(fù)制和鏡像寫入）更好的存儲密度Greenplum

有鏡像架構(gòu)Greenplum

無鏡像架構(gòu)Compute

Virtualization:vSphereStorage

Virtualization:PowerFlex/vSAN/etc.VMware

Greenplumon

PowerFlex成功案例Dell

DigitalVMware

Greenplumon

PowerFlex部署架構(gòu)16VMware

Greenplum關(guān)鍵性能指標(biāo)11+1計算節(jié)點

/

9+1

存儲節(jié)點（

Single

rack

build-out

(22U)

）DellDigital產(chǎn)品測試182個并行復(fù)雜查詢同步運行（來自DellDigital）12分鐘內(nèi)完成讀帶寬

40

GB/s寫帶寬

10

GB/sTPC-DS

測試495個并發(fā)查詢同步運行Next:Moveto100GbeandNVMedrivestoachievethroughputneededGoal:

Achieve

250GB/s

thr