云計(jì)算-第7章 云數(shù)據(jù)管理技術(shù)

第7章云數(shù)據(jù)管理技術(shù)3 關(guān)系型數(shù)據(jù)庫就是由多張能互相聯(lián)接的二維行列表格組成的數(shù)據(jù)庫，Table1 數(shù)據(jù)… 數(shù)據(jù)…45指事務(wù)完成之后，它對(duì)于系統(tǒng)的影響是永久性的，該修改即使出現(xiàn)致命的系統(tǒng)故障定的表結(jié)構(gòu)(即數(shù)據(jù)再?zèng)]有固定的長(zhǎng)度，類型和固定的格式等),也沒有概念演變83擁有在磁盤和(或)內(nèi)存中的數(shù)據(jù)持久化能力；最終一BASE致性9A(Availability,可用性)任何一個(gè)讀操作總是能夠讀取之前完CAP理論告訴我們，一個(gè)分布式系統(tǒng)不可能同時(shí)滿足一致性、可用性和分區(qū)容忍性這三個(gè)需求，最多只能同時(shí)滿足其中兩個(gè)，正所謂“魚和熊掌不可兼得”。A基本可用Availble軟狀態(tài)SQL通常以數(shù)據(jù)儲(chǔ)方式可以是JSON文檔、哈SQL必須定義好表和字段結(jié)構(gòu)后NoSQL中數(shù)據(jù)可以在任何時(shí)候任何地方添加，不需要先定義表。還可在數(shù)據(jù)集中SQL增加外部關(guān)聯(lián)數(shù)據(jù)，需在原部數(shù)據(jù)直接放到個(gè)關(guān)系數(shù)據(jù)表中的數(shù)據(jù)用一條簡(jiǎn)單的查詢語句查用非規(guī)范化的數(shù)據(jù)存儲(chǔ)方式存儲(chǔ)NoSQL與SQL數(shù)據(jù)庫的區(qū)別(續(xù))SQL中如果多張?jiān)谙嗤降年P(guān)系型數(shù)據(jù)庫除已經(jīng)被使用系統(tǒng)設(shè)計(jì)的前適合存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，如用NoSQL中則沒有NoSQL中沒有事戶的帳號(hào)、地這種強(qiáng)耦合的概念，可以隨故理論上性能時(shí)刪除任何數(shù)非結(jié)構(gòu)化數(shù)據(jù)如文章、評(píng)論。主要內(nèi)容主要內(nèi)容鍵值數(shù)據(jù)庫(Key-valueDatabases)是NoSQL數(shù)據(jù)庫中最簡(jiǎn)單的，它的數(shù)據(jù)按照鍵值對(duì)的形式進(jìn)行組織、索引和存儲(chǔ)，能夠存儲(chǔ)大量數(shù)據(jù)。鍵值數(shù)據(jù)庫中存儲(chǔ)的值可以是簡(jiǎn)單的標(biāo)量值，如整數(shù)或布爾值，也可以是鍵值數(shù)據(jù)庫通常也具有簡(jiǎn)單的查詢功能描述應(yīng)用①從關(guān)系型數(shù)據(jù)庫緩存數(shù)據(jù)來用于提高性能；②對(duì)Web應(yīng)用暫時(shí)性數(shù)據(jù)的追蹤，例如購物車數(shù)據(jù)等③存儲(chǔ)配置和用戶數(shù)據(jù)信息的移動(dòng)應(yīng)用；④需要存儲(chǔ)圖片和音頻文件等較大對(duì)象的應(yīng)用。優(yōu)點(diǎn)擴(kuò)展性好，靈活性好，大量寫操作時(shí)性能高缺點(diǎn)無法存儲(chǔ)結(jié)構(gòu)化信息，條件查詢效率較低相關(guān)產(chǎn)品列存儲(chǔ)數(shù)據(jù)庫是將數(shù)據(jù)儲(chǔ)存在列族 常被一起查詢的相關(guān)數(shù)據(jù)。列存儲(chǔ)查找速度快，可擴(kuò)展性強(qiáng)，更容易進(jìn)行分布Key-1Column-Family-1Column-Family-2Column-Family-1ColumnNalue-4ColumnValue-5ColumnValue-6123描述應(yīng)用①那些對(duì)數(shù)據(jù)庫寫操作能力有著特殊要求的應(yīng)用程序；②數(shù)據(jù)在地理上分布于多個(gè)數(shù)據(jù)中心的應(yīng)用程序；③可以容忍副本中存在短期不一致情況的應(yīng)用程序；④擁有動(dòng)態(tài)字段的應(yīng)用程序；⑤擁有潛在大量數(shù)據(jù)的應(yīng)用程序，大到幾百TB的數(shù)據(jù)。優(yōu)點(diǎn)查找速度快，可擴(kuò)展性強(qiáng)，容易進(jìn)行分布式擴(kuò)展，復(fù)雜性低缺點(diǎn)功能較少，大都不支持強(qiáng)事務(wù)一致性相關(guān)產(chǎn)品BigTableHBaseCassandraHadoopDBGreenP文檔數(shù)據(jù)庫是按照日常文檔的存儲(chǔ)來設(shè)計(jì)的，并且允許對(duì)這些數(shù)據(jù)進(jìn)行復(fù)雜的它支持讀寫一些標(biāo)準(zhǔn)格式的文檔數(shù)據(jù)(典型如XML,YAML和JSON,甚至支持二進(jìn)制的BSON格式)。文檔數(shù)據(jù)庫可以看作是鍵值數(shù)據(jù)庫的___描述應(yīng)用①用于后臺(tái)具有大量讀寫操作的網(wǎng)站；②管理數(shù)據(jù)類型和變量屬性，比如產(chǎn)品；③跟蹤元數(shù)據(jù)的變量類型；④使用JSON數(shù)據(jù)結(jié)構(gòu)的應(yīng)用；⑤使用類似結(jié)構(gòu)套結(jié)構(gòu)等非規(guī)范化數(shù)據(jù)的應(yīng)用程序。優(yōu)點(diǎn)性能好，靈活性高，復(fù)雜性低，數(shù)據(jù)結(jié)構(gòu)靈活缺點(diǎn)查詢性能不高，而且缺乏統(tǒng)一的查詢語言相關(guān)產(chǎn)品RavenDBSisoDBRaptorDBCloudKitP圖形數(shù)據(jù)庫是使用靈活的圖形模型，以高效的方式存儲(chǔ)實(shí)體來之間的關(guān)系。圖形模型有兩個(gè)主要組成部分：■節(jié)點(diǎn)：實(shí)體本身，如果是在社交網(wǎng)絡(luò)中,那么代表的就是人。邊：兩個(gè)實(shí)體之間的關(guān)系，這種關(guān)系用線來表示，并具有自己的屬性。另外邊還可以有方向，如果箭頭指向誰，誰就是老板。Node1Node2Node3圖形數(shù)據(jù)庫描述應(yīng)用應(yīng)用于大量復(fù)雜、互連接、低結(jié)構(gòu)化的圖結(jié)構(gòu)場(chǎng)合，比如社交網(wǎng)絡(luò)、推薦系統(tǒng)等優(yōu)點(diǎn)靈活性高，支持復(fù)雜的圖形算法，可用于構(gòu)建復(fù)雜的關(guān)系圖譜缺點(diǎn)復(fù)雜性高，只能支持一定的數(shù)據(jù)規(guī)模相關(guān)產(chǎn)品 BigTable的本質(zhì)是一個(gè)稀疏的、分布式的、長(zhǎng)期存儲(chǔ)的、多維度的和排序的映射表。表中的數(shù)據(jù)通過一個(gè)行關(guān)鍵字(RowKey)、一個(gè)列BigTable管理的數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)為：“contents:”“contents:”“anchor:cnnsicomanchormylookca四“t6“CNN.com”“CNN”西力刀度的字符串(目前最多支在字典中的順序來維護(hù)數(shù)●●一組列關(guān)鍵字組成了"),這是訪問控制的基懂的字符串，而限定詞表項(xiàng)都可以包含同一數(shù)據(jù)的多個(gè)版本，由時(shí)間位整型，表示準(zhǔn)確到毫Dynamo是一個(gè)具有高可用性和高擴(kuò)展性的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，其問題優(yōu)勢(shì)數(shù)據(jù)分區(qū)一致性哈希增量可伸縮性向量時(shí)鐘(VectorClocks)版本與更新速度無關(guān)數(shù)據(jù)回傳機(jī)制當(dāng)一些副本不可用時(shí)，可以提供高可用性和持久性后臺(tái)副本恢復(fù)基于Gossip的成員資格和錯(cuò)誤檢測(cè)協(xié)議避免用中心節(jié)點(diǎn)管理節(jié)點(diǎn)成員關(guān)系A(chǔ)GBCDEF為了達(dá)到增量可伸縮性的目的，:給系統(tǒng)中的每個(gè)節(jié)點(diǎn)分配一個(gè)隨機(jī)節(jié)點(diǎn)被稱為這個(gè)數(shù)據(jù)的首選節(jié)點(diǎn)列表(GEABCDK.數(shù)據(jù)版本和沖突處理數(shù)據(jù)版本和沖突處理Clocks)來確定數(shù)據(jù)版本。向量時(shí)鐘實(shí)際上就是一個(gè)列表，列表的每個(gè)節(jié)點(diǎn)是一個(gè)(node,counter)對(duì)。其選節(jié)點(diǎn)列表的第一個(gè)節(jié)點(diǎn)；counter代表寫操作的時(shí)間，即clocks。數(shù)據(jù)版本之間的關(guān)系要么是因果關(guān)系，要么是平行關(guān)系，關(guān)系判斷依賴于writehandledbySxwritehandledbySxwritewritehandledbySyhandledbySz臨時(shí)故障時(shí)，處理采用HintedHandoff(數(shù)據(jù)回傳)策略，保證成員資格Amazon規(guī)定每個(gè)成員節(jié)點(diǎn)都要保存其他節(jié)點(diǎn)的路由,每個(gè)節(jié)點(diǎn)每間隔一秒隨機(jī)選擇另一個(gè)節(jié)點(diǎn)，兩個(gè)節(jié)點(diǎn)協(xié)調(diào)它們保存的成員錯(cuò)誤檢測(cè)一旦發(fā)現(xiàn)對(duì)方?jīng)]有回應(yīng)，就認(rèn)為該節(jié)點(diǎn)失效，立刻選擇去中心化的故障檢測(cè)協(xié)議使用一個(gè)簡(jiǎn)單的Gossip式協(xié)議,使系統(tǒng)中的每個(gè)節(jié)點(diǎn)可以MongoDB提出的是文檔、集合的概念。MongoDB中多個(gè)文檔組成集合，同樣多個(gè)集合可以組成數(shù)據(jù)庫。文檔是MongoDB的核心概念。文檔就是鍵值對(duì)