數(shù)據(jù)庫(kù)技術(shù)及應(yīng)用 課件 第10章 大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理

DatabaseTechnology&Applications數(shù)據(jù)庫(kù)技術(shù)及應(yīng)用大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理各行各業(yè)的大數(shù)據(jù)物流金融……醫(yī)療大數(shù)據(jù)管理技術(shù)概述數(shù)據(jù)構(gòu)成結(jié)構(gòu)化數(shù)據(jù)ID姓名班級(jí)1小明12小紅1學(xué)生信息表訂單號(hào)商品金額111飲料13222零食17交易信息表半結(jié)構(gòu)化數(shù)據(jù)日志XML文件XML文件非結(jié)構(gòu)化數(shù)據(jù)視頻音頻圖像大數(shù)據(jù)管理技術(shù)概述大數(shù)據(jù)管理技術(shù)概述研究范式的演變大數(shù)據(jù)管理技術(shù)概述大數(shù)據(jù)采集及預(yù)處理技術(shù)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)計(jì)算技術(shù)查詢(xún)、分析及可視化技術(shù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)集成反映歷史變化非易失面向主題數(shù)據(jù)倉(cāng)庫(kù)--面向主題性操作性數(shù)據(jù)庫(kù)衣服表褲子表鞋子表襪子表帽子表數(shù)據(jù)倉(cāng)庫(kù)銷(xiāo)售量成本存儲(chǔ)量利潤(rùn)面向主題組織數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)—集成性操作性數(shù)據(jù)庫(kù)表A：j，k表B：d，f表C：o，i表D：q，w數(shù)據(jù)倉(cāng)庫(kù)j，k統(tǒng)一命名、編碼、屬性數(shù)據(jù)倉(cāng)庫(kù)—非易失性保留不同數(shù)據(jù)的歷史快照操作性數(shù)據(jù)庫(kù)增加刪除修改訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)載入訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)—反映歷史變化提供數(shù)據(jù)的時(shí)間信息操作性數(shù)據(jù)庫(kù)·隨時(shí)更新·可能包括也可能不包括時(shí)間元素?cái)?shù)據(jù)倉(cāng)庫(kù)·保存歷史快照·必定包含時(shí)間元素?cái)?shù)據(jù)倉(cāng)庫(kù)vs操作性數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)集成反映歷史變化非易失面向主題數(shù)據(jù)倉(cāng)庫(kù)—多維數(shù)據(jù)模型超立方體組織數(shù)據(jù)車(chē)流量表(二維)車(chē)流量表(三維)數(shù)據(jù)倉(cāng)庫(kù)—體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)及其輔助工具僅存放導(dǎo)出數(shù)據(jù)面向用戶(hù)提供服務(wù)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)示例—HiveCLIJDBC/ODBCHWIThriftServerDriver（Compiler,Optimizer,Executor）HiveHadoopMetaStoreDataNode+TaskTrackerJobTrackerNameNodeNoSQL數(shù)據(jù)庫(kù)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)多樣化一致性可用性分區(qū)容錯(cuò)性特性理論NoSQL--概念NotOnlySQLNon-relationalSQLORCAP理論NoSQL--分類(lèi)鍵值數(shù)據(jù)庫(kù)列數(shù)據(jù)庫(kù)NoSQL--分類(lèi)文檔數(shù)據(jù)庫(kù)列數(shù)據(jù)庫(kù)NoSQL示例--HBase行鍵(RowKey)列族(ColumnFamily)單元格(Cell)時(shí)間戳(Timestamp)存儲(chǔ)邏輯模型NoSQL示例--HBase架構(gòu)設(shè)計(jì)NoSQL示例--HBase分布式負(fù)載均衡存儲(chǔ)方式云數(shù)據(jù)庫(kù)屏蔽底層細(xì)節(jié)易用管理靈活云數(shù)據(jù)庫(kù)整體架構(gòu)云數(shù)據(jù)庫(kù)--特性高可擴(kuò)展性按需分配彈性擴(kuò)展高可靠性多重備份使用成本低多租戶(hù)統(tǒng)一管理節(jié)省資源易用性靈活地點(diǎn)即插即用云數(shù)據(jù)庫(kù)—GaussDB(forMySQL)存儲(chǔ)層存儲(chǔ)抽象層SQL解析層云數(shù)據(jù)庫(kù)—GaussDB(forMySQL)集群架構(gòu)單主節(jié)點(diǎn)多只讀節(jié)點(diǎn)按區(qū)域劃分資源可用區(qū)劃分按物理區(qū)域劃分可用區(qū)之間內(nèi)網(wǎng)互通可用區(qū)間物理隔離兼容MySQL遷移方便高并發(fā)云數(shù)據(jù)庫(kù)—GaussDB(foropenGauss)集中式適用數(shù)據(jù)量較小數(shù)據(jù)增長(zhǎng)幅度有限分布式支持更大的數(shù)據(jù)量橫向擴(kuò)展能力強(qiáng)云數(shù)據(jù)庫(kù)—GaussDB(foropenGauss)分布式架構(gòu)DN將結(jié)果集返回上層匯總Coordinator生成執(zhí)行計(jì)劃Coordinator接收SQL本章小結(jié)