大數(shù)據(jù)技術(shù)基礎(chǔ)培訓(xùn)-MPP數(shù)據(jù)庫技術(shù)培訓(xùn)

1、大數(shù)據(jù)技術(shù)基礎(chǔ)培訓(xùn)1MPP數(shù)據(jù)庫技術(shù)培訓(xùn)2并行關(guān)系數(shù)據(jù)庫MPP or Hadoop從Shared-Disk到Shared-Nothing結(jié)構(gòu)多個(gè)獨(dú)立的關(guān)系數(shù)據(jù)庫服務(wù)器，訪問共享的存儲(chǔ)資源池優(yōu)勢(shì)：采用多個(gè)關(guān)系數(shù)據(jù)庫服務(wù)器，多個(gè)存儲(chǔ)，與原有的架構(gòu)相比，擴(kuò)展了存儲(chǔ)容量和計(jì)算能力；劣勢(shì)： 計(jì)算與存儲(chǔ)分離，數(shù)據(jù)訪問存在競(jìng)爭(zhēng)和帶寬瓶頸；支持的關(guān)系數(shù)據(jù)庫服務(wù)器數(shù)量有限；只能向上擴(kuò)展(scale-up), 不能橫向擴(kuò)展(not scale out)適合復(fù)雜的需要事務(wù)處理的應(yīng)用由大量獨(dú)立的服務(wù)器通過網(wǎng)絡(luò)互連形成集群，每個(gè)服務(wù)器帶存儲(chǔ)。優(yōu)勢(shì)：計(jì)算與存儲(chǔ)融合，支持橫向擴(kuò)展，更好的擴(kuò)展性劣勢(shì)：解決數(shù)據(jù)沖突時(shí)需要節(jié)點(diǎn)間

2、協(xié)作適用范圍：數(shù)據(jù)倉庫和離線數(shù)據(jù)分析 (MPP, Hadoop/HBase)大規(guī)模在線實(shí)時(shí)應(yīng)用（單行事務(wù)處理能滿足的場(chǎng)景） (HBase)RDBMSStorage (e.g., SAN, NAS, Storage Cell, etc)Connection (e.g., FC, InfiniBand)E.g., MPP Databases (or MapReduce on RDBMS), Big Data framework (e.g., Hadoop, HBase)Network (e.g., GbE, 10GbE, Infiniband)3Oracle ExadataOracle Exada

3、ta6EMC Greenplum7EMC Greenplum過時(shí)的MPP vs. Transwarp軟件架構(gòu)(擴(kuò)展性)數(shù)據(jù)模型分析方式MPP 數(shù)據(jù)庫TranswarpSQL 查詢語言廣泛的數(shù)據(jù)分析，包括SQL, M/R, R language, 數(shù)據(jù)挖掘, 預(yù)測(cè)性分析8MPP 數(shù)據(jù)庫Transwarp Hyperbase二元關(guān)系模型非結(jié)構(gòu)化或者多維Map模型靜態(tài)數(shù)據(jù)模式(schema)動(dòng)態(tài)可變數(shù)據(jù)模式通常不超過20個(gè)并發(fā)可支持上億用戶并發(fā)查詢、檢索MPP數(shù)據(jù)庫Transwarp Hadoop集群規(guī)模幾十個(gè)節(jié)點(diǎn)幾千個(gè)節(jié)點(diǎn)擴(kuò)展能力靜態(tài)停機(jī)擴(kuò)展 (數(shù)據(jù)需要重新分布)動(dòng)態(tài)無縫擴(kuò)展，自動(dòng)擴(kuò)展容錯(cuò)能力不存放中間結(jié)果，出錯(cuò)時(shí)需要重新執(zhí)行查詢只需要重新運(yùn)行出錯(cuò)的子任務(wù)并發(fā)能力用于分析型應(yīng)