讀書報告-EMC的大數據解決方案24

EMC的大數據解決方案2023/1/3什么是大數據？EMCGreenplum簡介DB軟件架構介紹行業(yè)解決方案實際案例分享22023/1/3

什么是大數據?什么是大數據？數據大（Volume）時效性高（Velocity）種類和來源多樣化（Variety）EMC&Greenplum？2023/1/3

是一家數據庫軟件公司。

在全球數據處理和BI/DW領域，提供容量最大、速度最快、性價比最好的

數據倉庫引擎產品和咨詢服務

2010年EMC公司收購Greenplum

EMC

公司是全球信息基礎架構技術與解決方案的領先開發(fā)商與提供商，是全球最大的企業(yè)存儲設備和軟件提供商。2023/1/3EMCGreenplum大數據三部曲2023/1/3GreenplumProductLine2023/1/3典型的數據分析體系架構業(yè)務系統(tǒng)OracleDB2SQL

ServerMySQLPostgres數據移動、抽取、轉換、加載(ETL)InformaticaDataStageAbInitioPervasiveSegent

報表和分析

MicroStrategyArcplanBusinessObjectsCognosHyperionSASInsight運營系統(tǒng)ERPSCMCRMOA,HR…2023/1/3集成數據庫、存儲和硬件于一體全球各地的代表性客戶12DB軟件架構介紹2023/1/3Share-Nothing的完全并行架構共享磁盤例如：OracleRACDBSAN/共享磁盤DBDBDB網絡SAN/FC完全共享例如：SMP服務器DB磁盤完全不共享例如：GreenplumDBDBDBDB網絡磁盤磁盤磁盤磁盤Master注：所有的共享資源都用藍灰色表示Greenplum基礎架構MPP

應用程序通過Master主機訪問數據

在存儲節(jié)點和Master主機之間交換數據

每一個存儲節(jié)點都是獨立的數據庫（無共享）QueryPlan2023/1/3MPP=MassiveParallelProcessing海量并行處理結構MPP/無共享架構的優(yōu)勢?最易于擴展的架構–云數據庫和數據分析的最佳選擇?自動化的并行處理機制–內部處理自動化并行，無需人工分區(qū)或優(yōu)化–加載與訪問方式與一般數據庫相同?數據分布在所有的并行節(jié)點上–每個節(jié)點只處理其中一部分數據?最優(yōu)化的I/O處理–所有的節(jié)點同時進行并行處理–節(jié)點之間完全無共享，無I/O沖突?增加節(jié)點實現線性擴展–增加節(jié)點可線性增加存儲、查詢和加載性能行業(yè)解決方案2023/1/3行業(yè)商務智能解決方案政府電信金融服務信息傳播公民服務國家安全電子政務人力資本管理法規(guī)實施和監(jiān)管合規(guī)性報告欺詐檢測客戶報表電匯通知分部記分卡資產組合分析客戶關系管理、收購和盈利率欺詐分析客戶流失分析響應時間流量分析產品關聯/捆綁零售預防虧損優(yōu)化供應鏈存儲運營分析客戶忠誠度計劃協(xié)作規(guī)劃和預估實際案例分享2023/1/3EMC勁霸男裝B