縱橫大數(shù)據(jù)云計(jì)算數(shù)據(jù)基礎(chǔ)設(shè)施

精選優(yōu)質(zhì)文檔-----傾情為你奉上精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)專心---專注---專業(yè)精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)簡(jiǎn)介大數(shù)據(jù)的概念很火，但人們對(duì)它的認(rèn)識(shí)卻是混亂的：有人說大數(shù)據(jù)就是指所有的數(shù)據(jù)，有人說大數(shù)據(jù)是指線上行為、日志等半結(jié)構(gòu)/非結(jié)構(gòu)化的數(shù)據(jù)形態(tài)，有人說大數(shù)據(jù)就是以Hadoop為代表的新技術(shù)……到底什么是大數(shù)據(jù)？同樣風(fēng)風(fēng)火火了很久的云計(jì)算與大數(shù)據(jù)有什么關(guān)系？令人眼花繚亂的眾多大數(shù)據(jù)技術(shù)的本質(zhì)是什么？各有什么優(yōu)缺點(diǎn)？爭(zhēng)論不休的“小變大”與“大變小”技術(shù)策略到底孰正孰邪？企業(yè)究竟應(yīng)該如何定位與使用大數(shù)據(jù)，難道是為了Hadoop而Hadoop？未來的技術(shù)方向究竟如何？《縱橫大數(shù)據(jù)(云計(jì)算數(shù)據(jù)基礎(chǔ)設(shè)施)/云計(jì)算實(shí)踐指南叢書》結(jié)合現(xiàn)代企業(yè)數(shù)據(jù)管理實(shí)踐，從策略、技術(shù)、應(yīng)用、企業(yè)數(shù)據(jù)架構(gòu)等多個(gè)維度，體系化地對(duì)大數(shù)據(jù)及相關(guān)技術(shù)進(jìn)行了全面深入的論述：首先對(duì)大數(shù)據(jù)相關(guān)概念予以澄清；接著深入剖析各種大數(shù)據(jù)技術(shù)的內(nèi)在本質(zhì)，指出其各自的優(yōu)缺點(diǎn)、適用場(chǎng)景與相互關(guān)系；同時(shí)對(duì)大數(shù)據(jù)技術(shù)“分”與“合”這兩種廣受爭(zhēng)議的技術(shù)策略的內(nèi)在聯(lián)系進(jìn)行了分析與討論，明確指出現(xiàn)代數(shù)據(jù)管理技術(shù)的發(fā)展趨勢(shì)；最后結(jié)合大數(shù)據(jù)時(shí)代企業(yè)新一代數(shù)據(jù)架構(gòu)規(guī)劃的實(shí)際，對(duì)大數(shù)據(jù)及相關(guān)技術(shù)在企業(yè)數(shù)據(jù)體系中的具體定位給出了切實(shí)可行的建議，并且面向云數(shù)據(jù)中心建設(shè)，提出了大數(shù)據(jù)云——云計(jì)算數(shù)據(jù)基礎(chǔ)設(shè)施的概念與方法。序言“云計(jì)算”與“大數(shù)據(jù)”應(yīng)該說是目前IT界最為熱門的兩個(gè)概念了。云計(jì)算以各種軟硬件資源新的消費(fèi)與交付模式為核心理念，被普遍認(rèn)為將會(huì)成為未來社會(huì)最為深遠(yuǎn)的革新。而現(xiàn)實(shí)卻是：在多“云”的天空，成功的實(shí)踐卻少得可憐，致使其很多情況下只是充當(dāng)了一個(gè)時(shí)髦的噱頭。

令人遺憾的是，如今風(fēng)頭已遠(yuǎn)遠(yuǎn)蓋過“云計(jì)算”的“大數(shù)據(jù)”，其現(xiàn)實(shí)情況與此類似。大數(shù)據(jù)概念最初是伴隨著Hadoop等開源技術(shù)的推廣而出現(xiàn)的，在國(guó)內(nèi)外眾多互聯(lián)網(wǎng)公司依靠它們?nèi)〉镁薮蟪晒Φ膹?qiáng)力推動(dòng)下，傳統(tǒng)數(shù)據(jù)管理技術(shù)的地位受到了嚴(yán)重的挑戰(zhàn)，似乎不知Hadoop、不用Hadoop就會(huì)落后！但如何才能在本企業(yè)或者某個(gè)具體需求中正確有效地使用這些新技術(shù)呢？這至今依然是眾多企業(yè)技術(shù)決策者的困惑。

大多數(shù)企業(yè)目前對(duì)大數(shù)據(jù)潮流的熱烈響應(yīng)其實(shí)是“雷聲大，雨點(diǎn)小”，其中相當(dāng)一部分是不分青紅皂白，純粹為了Hadoop而Hadoop，很少有產(chǎn)生實(shí)際成效的案例。本書認(rèn)為，要正確回答這些問題，給出合適的決策，必須對(duì)這些技術(shù)本身進(jìn)行較為深入的了解與分析，然后結(jié)合自己企業(yè)的實(shí)際，做出自己的判斷。任何其他企業(yè)的經(jīng)驗(yàn)都不可以照搬照抄；任何資料中關(guān)于各種技術(shù)的適用場(chǎng)景描述，即使是正確的，也都有其特殊的上下文環(huán)境，不可以當(dāng)成普遍真理去盲目遵從。這里所說的對(duì)技術(shù)的了解，并不是指具體如何去使用它，而是指其內(nèi)在本質(zhì)、特點(diǎn)與相互聯(lián)系，這些往往比使用方法更重要，也是本書區(qū)別于其他大數(shù)據(jù)資料的主要特點(diǎn)之一。

首先，讓我們看看云計(jì)算與大數(shù)據(jù)的關(guān)系，目前人們對(duì)此的理解更是混亂不堪，有人認(rèn)為兩者完全不同，有人則認(rèn)為大數(shù)據(jù)技術(shù)其實(shí)就是云計(jì)算。對(duì)“云”，最開始，人們普遍認(rèn)為那是一種采用一堆閑散資源完成一件重大任務(wù)的技術(shù)。后來，人們又意識(shí)到現(xiàn)代社會(huì)對(duì)“云”的詮釋，其實(shí)更多的是指一種以服務(wù)為主的商業(yè)模式，而不是一種技術(shù)?，F(xiàn)在，絕大多數(shù)人對(duì)“云”的理解停留于此，認(rèn)為“云計(jì)算”與技術(shù)無關(guān)的人大都是這種思路。但在對(duì)“云”業(yè)務(wù)模式的實(shí)踐中卻發(fā)現(xiàn)，要搞“云”服務(wù)，必須從技術(shù)手段與商業(yè)模式兩個(gè)維度同時(shí)入手才有意義，只擁有其中任何一個(gè)方面都是不行的，甚至可以說前者要比后者重要得多。大多數(shù)情況下，在“云”能適用的領(lǐng)域內(nèi)，如果沒有前者，后者所能提供的服務(wù)水平自然也就很有限，從而也就自然失去了“云”的含義。所以說，云計(jì)算的本質(zhì)是商業(yè)模式，但其核心卻仍然是技術(shù)問題。

而云在技術(shù)層面的核心問題又是什么呢？有人認(rèn)為是“小變大”的分布式計(jì)算，有人認(rèn)為是“大變小”的虛擬化，而本書認(rèn)為，云計(jì)算最核心的問題是數(shù)據(jù)，具體地講，是現(xiàn)代業(yè)務(wù)環(huán)境下的數(shù)據(jù)管理問題，也就是能實(shí)現(xiàn)海量、多類型、高負(fù)載、高性能、低成本需求的數(shù)據(jù)管理技術(shù)，這實(shí)際上就是傳統(tǒng)數(shù)據(jù)管理技術(shù)在現(xiàn)代的最大挑戰(zhàn)。這其中最耀眼的，就是各種新興的大數(shù)據(jù)家族成員的出現(xiàn)，包括開源體系的Hadoop、各種NoSQL數(shù)據(jù)庫(kù)、NewSQL數(shù)據(jù)庫(kù)（關(guān)系數(shù)據(jù)庫(kù)聯(lián)邦）、分布式文件系統(tǒng)等，甚至還包括非開源體系的新一代關(guān)系數(shù)據(jù)庫(kù)。這樣看來，“大數(shù)據(jù)”應(yīng)該是“云計(jì)算”業(yè)務(wù)模式得以實(shí)現(xiàn)在數(shù)據(jù)管理層面的核心技術(shù)支撐，兩者密不可分。

而從純技術(shù)的角度看，“云計(jì)算”概念最初出現(xiàn)時(shí)就是指采用網(wǎng)絡(luò)互聯(lián)起來的設(shè)備共同完成一項(xiàng)龐大任務(wù)的技術(shù)策略，而Hadoop等流行大數(shù)據(jù)技術(shù)的核心思路大多如此。因此，我們又可以說：“云計(jì)算”是大數(shù)據(jù)的技術(shù)實(shí)現(xiàn)方法。這便是云計(jì)算與大數(shù)據(jù)的聯(lián)系，兩者無論是在業(yè)務(wù)上，還是技術(shù)上，都是相互依存的。一句話，無論叫什么名稱，其實(shí)都是代表現(xiàn)代IT發(fā)展的最新進(jìn)展而已。

再來看看各種流行的大數(shù)據(jù)技術(shù)本身，包括Hadoop，NoSQL，NewSQL，甚至一些新一代的關(guān)系數(shù)據(jù)庫(kù)等。對(duì)它們，在現(xiàn)代數(shù)據(jù)管理領(lǐng)域內(nèi)，目前的狀態(tài)卻是：人們普遍困惑的并不是能不能掌握這些技術(shù)的具體用法，而是到底什么時(shí)候，在什么場(chǎng)景下，如何定位與使用這些技術(shù)？這主要表現(xiàn)在以下幾個(gè)方面。

一是如何定位新舊技術(shù)。即指新興的以Hadoop為代表的開源技術(shù)，與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)技術(shù)，到底是新技術(shù)徹底顛覆傳統(tǒng)技術(shù)，還是兩者共存？如果是共存，如何共存？這是目前各個(gè)企業(yè)普遍感到困惑的最重要的問題。

二是部分技術(shù)人員對(duì)新事物只是盲從。大家在應(yīng)用實(shí)踐中或多或少地會(huì)遇到一些困難，于是很多技術(shù)人員就會(huì)把希望寄托在新出現(xiàn)的技術(shù)上，認(rèn)為只要一用上如Hadoop或NoSQL這些新東西，目前的問題就會(huì)迎刃而解。接下來就立即緊張地投入到新技術(shù)的學(xué)習(xí)與使用上去，而不做是否適合自己需求的合理判斷。很顯然，這種對(duì)新技術(shù)的崇拜是盲目的。

三是各種技術(shù)之間出現(xiàn)了互相攻擊、互相否定的態(tài)勢(shì)。一度以來，傳統(tǒng)的主流關(guān)系數(shù)據(jù)庫(kù)（如Oracle，DB2等）在實(shí)踐中出現(xiàn)了一些問題，主要是對(duì)高負(fù)荷環(huán)境下的海量數(shù)據(jù)應(yīng)用出現(xiàn)了力不從心的現(xiàn)象，同時(shí)，其水平擴(kuò)展性的限制與高昂的成本問題使客戶越來越難以忍受。于是，一些非關(guān)系型的NoSQL數(shù)據(jù)庫(kù)，或者一些低端數(shù)據(jù)庫(kù)集群方案（如MySQL集群）就在一些場(chǎng)合替代了主流的商業(yè)數(shù)據(jù)庫(kù)，并且表現(xiàn)出很優(yōu)秀的性價(jià)比；另外，有些企業(yè)在分析領(lǐng)域也出現(xiàn)了以HadoopMapReduce等開源產(chǎn)品全面替代關(guān)系型數(shù)據(jù)倉(cāng)庫(kù)的現(xiàn)象。于是，便出現(xiàn)了一種思潮，認(rèn)為關(guān)系數(shù)據(jù)庫(kù)最終將退出歷史舞臺(tái)。而另有一部分人則認(rèn)為，所謂極其成功的新技術(shù)，只是曇花一現(xiàn)的暫時(shí)現(xiàn)象而已，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)經(jīng)過改良以后，依然會(huì)是數(shù)據(jù)管理領(lǐng)域的王者，其他的技術(shù)會(huì)像30多年前關(guān)系數(shù)據(jù)庫(kù)與其他數(shù)據(jù)管理技術(shù)之爭(zhēng)的結(jié)果一樣，逐漸消失。這些觀點(diǎn)中，大多都是憑直覺、憑感覺、憑個(gè)人經(jīng)驗(yàn)的判斷得出，雖然不能說是武斷，但如果沒有令人信服的技術(shù)分析做支撐，就很難說誰對(duì)誰錯(cuò)。

四是新技術(shù)本身在實(shí)踐中也出現(xiàn)了很多的問題。例如HadoopMapReduce，雖然已經(jīng)出現(xiàn)了Hadoop2.0中的各項(xiàng)重要改進(jìn)，但相信只要是真正用過它的人都知道，其在方便性、可靠性、可用性、效率等方面都還很不盡如人意。筆者記得一位很熟悉Hadoop的朋友說：“如果企業(yè)能用關(guān)系數(shù)據(jù)庫(kù)解決問題，就盡量不要用它！”再如Twitter放棄了用Cassandra替代MySQL的決策，Digg使用Cassandra后出現(xiàn)的一系列嚴(yán)重問題等，都使很多人開始重新審視這些新技術(shù)。

其實(shí)，究其根本，以上現(xiàn)象出現(xiàn)的主要原因是：人們只是去學(xué)習(xí)如何使用這些新技術(shù)，卻很少獨(dú)立思考，對(duì)它們進(jìn)行較為深入的學(xué)習(xí)與剖析；很少在設(shè)計(jì)思想、技術(shù)架構(gòu)、內(nèi)在本質(zhì)等方面將它們與其他技術(shù)進(jìn)行對(duì)比，以能在真正掌握后，做出屬于自己、適合自己的判斷。而這些又正是本書的主體內(nèi)容。

如果在數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域繼續(xù)探究，會(huì)發(fā)現(xiàn)NoSQL技術(shù)雖然適合海量數(shù)據(jù)的快速存取，卻無法滿足較復(fù)雜的關(guān)系模型數(shù)據(jù)管理及人們對(duì)習(xí)慣使用SQL語言的要求，而標(biāo)準(zhǔn)的關(guān)系數(shù)據(jù)庫(kù)在水平擴(kuò)展性上又嚴(yán)重受限。那么，是否存在一種技術(shù)，既可以使用關(guān)系模型存儲(chǔ)數(shù)據(jù)，使用SQL操作數(shù)據(jù)，又可以像NoSQL一樣方便擴(kuò)展？于是，本書還與讀者分享了筆者自主研發(fā)的一個(gè)關(guān)系型云數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)踐，它既不同于目前流行的Hadoop/NoSQL等開源技術(shù)，也不同于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，是一種介于兩者之間的技術(shù)模式，目前的狀態(tài)正好滿足Hadoop與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)都不太適用的企業(yè)級(jí)海量歷史數(shù)據(jù)管理的需求，并已經(jīng)在實(shí)踐中取得一定的成果。接著，由該自主產(chǎn)品的設(shè)計(jì)實(shí)踐活動(dòng)出發(fā)，我們產(chǎn)生了對(duì)Hadoop本身許多固有技術(shù)問題更大膽的、更進(jìn)一步的深入思考：PB級(jí)海量數(shù)據(jù)的批量分析能不能比Hadoop再提高一個(gè)數(shù)量級(jí)，例如，達(dá)到秒級(jí)？在保守的認(rèn)識(shí)中，這樣的要求似乎是不合理的，也是不可能實(shí)現(xiàn)的。然而大數(shù)據(jù)領(lǐng)域最新的技術(shù)進(jìn)展—Hadoop的締造者Google近年來一系列更前沿的、被稱為“Google新三駕馬車”的研究成果，通過模式（Schema）的回歸與精巧的設(shè)計(jì)，已經(jīng)向這樣似乎是“不可能的任務(wù)”的宏偉目標(biāo)邁出了一大步。這使我們意識(shí)到：技術(shù)的發(fā)展瞬息萬變，Hadoop本身已不見得有多么先進(jìn)了，想要在實(shí)踐中做出正確的決策，就必須不斷學(xué)習(xí)，勇于創(chuàng)新，不斷經(jīng)歷破與立的過程，而不能故步自封，原地不動(dòng)。

除了需要對(duì)各種大數(shù)據(jù)技術(shù)手段進(jìn)行深入剖析以外，當(dāng)今IT界還在云計(jì)算技術(shù)兩個(gè)不同的技術(shù)策略上有著廣泛的爭(zhēng)議，即“分”為云與“合”為云，前者是指數(shù)據(jù)切分后以小變大，后者是指以大變小，將分散的小資源集中整合起來管理后，再將資源進(jìn)行統(tǒng)一的按需調(diào)度與分配。兩者都稱自己是云計(jì)算技術(shù)（或者說是大數(shù)據(jù)技術(shù)）的正宗，相互攻擊與否定的現(xiàn)象極為激烈，并且各自都有堅(jiān)實(shí)的成功實(shí)踐為基礎(chǔ)。表現(xiàn)最明顯的就是以淘寶為代表的新興互聯(lián)網(wǎng)技術(shù)力量與IBM、Oracle等老牌的數(shù)據(jù)庫(kù)廠商之間關(guān)于以“分”為主的開源技術(shù)及以“合”為主的一體機(jī)技術(shù)之間的爭(zhēng)論與競(jìng)爭(zhēng)，可以說已經(jīng)到了白熱化的階段。他們各說各話，各有千秋，已經(jīng)成為企業(yè)技術(shù)決策者的主要困惑之一。而實(shí)際上，經(jīng)過研究與分析，很容易就可以發(fā)現(xiàn)，他們所爭(zhēng)論的“分”與“合”，看起來是完全相反的，實(shí)際上并不矛盾，其實(shí)是你中有我，我中有你，兩者是有機(jī)結(jié)合的統(tǒng)一體，在現(xiàn)代數(shù)據(jù)管理的需求中都有各自的定位。企業(yè)所要做的并不是對(duì)技術(shù)策略進(jìn)行非你即他的選擇，而是根據(jù)自己的實(shí)際情況與需求，對(duì)各種技術(shù)與產(chǎn)品進(jìn)行合理的定位；同時(shí)，更加重要的工作并不是某一項(xiàng)技術(shù)的正確定位與使用，而是能站在云數(shù)據(jù)中心建設(shè)的高度，將傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)資源與Hadoop集群資源集中起來形成PaaS平臺(tái)，再對(duì)外提供分散的、數(shù)據(jù)相關(guān)的云服務(wù)，包括數(shù)據(jù)庫(kù)云與Hadoop平臺(tái)云，可以將之統(tǒng)稱為大數(shù)據(jù)云。將大數(shù)據(jù)的話題提高到這樣的層面，雖然相關(guān)的資源池調(diào)度與分配技術(shù)也非常重要，但更重要的卻已經(jīng)是面向云計(jì)算的大數(shù)據(jù)服務(wù)模式了。

另一方面，雖然關(guān)系數(shù)據(jù)庫(kù)將與Hadoop等技術(shù)共存的思想被大多數(shù)人接受，也是本書所認(rèn)同的觀點(diǎn)，但廣大讀者可能還注意到一個(gè)現(xiàn)象：新興的Hadoop/NoSQL等非SQL技術(shù)在不斷發(fā)展的過程中，已經(jīng)在逐步引進(jìn)一些原本屬于SQL技術(shù)體系的功能，如索引與事務(wù)；而關(guān)系數(shù)據(jù)庫(kù)領(lǐng)域，也在逐步將這些新興的技術(shù)引入其技術(shù)體系，如AsterData與最新Oracle12C所具備的InDBMapReduce功能，都是除原有的SQL引擎以外，在其數(shù)據(jù)庫(kù)內(nèi)引入MapReduce處理引擎。那么，未來數(shù)據(jù)管理技術(shù)的發(fā)展趨勢(shì)究竟如何呢？我們說，在物理基礎(chǔ)設(shè)施上，分布式集群架構(gòu)應(yīng)該是未來發(fā)展的大趨勢(shì)，而在軟基礎(chǔ)設(shè)施層面，雖然SQL與非SQL技術(shù)體系在相當(dāng)長(zhǎng)的時(shí)間內(nèi)會(huì)共存，但未來的趨勢(shì)是相互融合的。現(xiàn)在看來，起碼對(duì)數(shù)據(jù)管理技術(shù)來講，開源是大趨勢(shì)，摒棄產(chǎn)品銷售為主導(dǎo)的商業(yè)模式，以技術(shù)服務(wù)為主體應(yīng)該是各大廠商應(yīng)該盡早考慮的策略。

在本書最后，筆者結(jié)合企業(yè)數(shù)據(jù)架構(gòu)規(guī)劃的實(shí)際，針對(duì)當(dāng)今各個(gè)企業(yè)在響應(yīng)大數(shù)據(jù)潮流時(shí)最為關(guān)心、最為困惑的問題：“到底如何在本企業(yè)實(shí)施與推廣大數(shù)據(jù)”給出了切實(shí)可行的建議。可以看到，企業(yè)引入大數(shù)據(jù)的本質(zhì)就是：以適合更多更廣的數(shù)據(jù)源，以及提供更強(qiáng)大的數(shù)據(jù)管理處理能力為目標(biāo)，面向新時(shí)代的業(yè)務(wù)規(guī)劃（如互聯(lián)網(wǎng)金融），對(duì)現(xiàn)有數(shù)據(jù)體系的各個(gè)層面（包括采集、傳輸、加工、集成、分析、展現(xiàn)等）進(jìn)行全面改造，推出大數(shù)據(jù)時(shí)代的新一代企業(yè)級(jí)數(shù)據(jù)架構(gòu)，并將其作為現(xiàn)代企業(yè)IT架構(gòu)的重要組成部分之一。筆者認(rèn)為，企業(yè)引入云計(jì)算與大數(shù)據(jù)的戰(zhàn)略思想應(yīng)該是：“業(yè)務(wù)上是改造，技術(shù)上是改進(jìn)；業(yè)務(wù)上是創(chuàng)新，技術(shù)上是補(bǔ)充”，僅供企業(yè)參考。

最后借此機(jī)會(huì)向王建波、李鵬、葛蓀葳等朋友表示感謝，與他們的討論使我受益匪淺，也一并感謝所有對(duì)我的寫作有過幫助的人。希望本書是一個(gè)成功的嘗試，同時(shí)也希望能為廣大讀者與企業(yè)的相關(guān)設(shè)計(jì)、規(guī)劃與實(shí)踐活動(dòng)提供有用的借鑒與幫助。目錄第1部分大數(shù)據(jù)概論

第1章大數(shù)據(jù)與云計(jì)算

1.1云計(jì)算概論

1.2大數(shù)據(jù)概論

1.2.1現(xiàn)代數(shù)據(jù)管理需求分析

1.2.2大數(shù)據(jù)的引入

1.2.3大數(shù)據(jù)的定義與特征

1.2.4大數(shù)據(jù)與互聯(lián)網(wǎng)

1.2.5大數(shù)據(jù)戰(zhàn)略、大數(shù)據(jù)與大數(shù)據(jù)技術(shù)

1.3大數(shù)據(jù)的技術(shù)實(shí)現(xiàn)——云計(jì)算

1.4本章小結(jié)

第2章關(guān)系數(shù)據(jù)庫(kù)的挑戰(zhàn)與應(yīng)對(duì)

2.1關(guān)系數(shù)據(jù)庫(kù)技術(shù)的核心特征

2.2主流關(guān)系數(shù)據(jù)庫(kù)的挑戰(zhàn)

2.2.1經(jīng)典DBMS的挑戰(zhàn)

2.2.2Share

2.2.3SharedN

2.3改進(jìn)型關(guān)系數(shù)據(jù)庫(kù)

2.3.1技術(shù)改進(jìn)

2.3.2主要產(chǎn)品代表

2.4本章小結(jié)

第3章非SQL技術(shù)簡(jiǎn)介

3.1大數(shù)據(jù)技術(shù)家族

3.1.1NoSQL

3.1.2關(guān)系數(shù)據(jù)庫(kù)聯(lián)邦N

3.1.3分布式海量文件管理

3.1.4Map

3.2分與合——云計(jì)算的兩種技術(shù)路線

3.3本章小結(jié)

第2部分“分”為云——數(shù)據(jù)切分

第4章NoSQL

4.1NoSQL的引入

4.1.1概念詮釋與特征分析

4.1.2NoSQL的本質(zhì)

4.2NoSQL家族

4.2.1NoSQL產(chǎn)品目錄與分類

4.2.2Hadoop?

4.2.3Facebook之Cas

4.2.4MongoDB與C

4.2.5OracleNo

4.2.6Memcached?

4.2.7圖數(shù)據(jù)庫(kù)

4.2.8其他NoSQL數(shù)據(jù)庫(kù)

4.2.9問題與疑惑

4.3NoSQL技術(shù)探研

4.3.1NoSQL理論基礎(chǔ)

4.3.2NoSQL技術(shù)手段

4.3.3NoSQL技術(shù)解析

4.4NoSQL與關(guān)系數(shù)據(jù)庫(kù)

4.5本章小結(jié)

第5章NewSQL——關(guān)系數(shù)據(jù)庫(kù)聯(lián)邦

5.1數(shù)據(jù)庫(kù)聯(lián)邦的引入

5.1.1企業(yè)業(yè)務(wù)數(shù)據(jù)管理面臨的問題

5.1.2垂直分庫(kù)

5.1.3水平分表

5.1.4讀寫分離

5.1.5聯(lián)邦的引入

5.2“聯(lián)邦”的設(shè)計(jì)與實(shí)踐

5.2.1企業(yè)級(jí)“聯(lián)邦”架構(gòu)設(shè)計(jì)

5.2.2公共基礎(chǔ)服務(wù)設(shè)計(jì)

5.2.3聯(lián)邦的元數(shù)據(jù)庫(kù)

5.2.4聯(lián)邦的應(yīng)用實(shí)踐

5.3“聯(lián)邦”技術(shù)分析

5.3.1關(guān)于“垂直分庫(kù)”

5.3.2如何“水平分表”

5.3.3關(guān)于“讀寫分離”

5.3.4基本方法——分布與聚合

5.3.5關(guān)于分布式事務(wù)

5.3.6關(guān)聯(lián)操作

5.2.7冗余策略

5.2.8異步解耦策略

5.2.9使用緩存

5.2.10其他問題

5.4數(shù)據(jù)庫(kù)聯(lián)邦、NoSQL與主流關(guān)系數(shù)據(jù)庫(kù)

5.4.1技術(shù)與應(yīng)用——八仙過海，各顯神通

5.4.2互聯(lián)網(wǎng)的神話

5.5本章小結(jié)

第6章文件系統(tǒng)聯(lián)邦

6.1問題的引入

6.1.1關(guān)于幾個(gè)數(shù)據(jù)概念的澄清

6.1.2文件數(shù)據(jù)管理的困難

6.1.3文件系統(tǒng)聯(lián)邦的引入

6.2典型開源技術(shù)介紹

6.2.1Mog

6.2.2Fa

6.2.3MogileFS與FastDFS的對(duì)比

6.3技術(shù)分析

6.4本章小結(jié)

第7章平民化的分布計(jì)算——MapR

7.1分布式計(jì)算概述

7.1.1幾個(gè)概念的澄清

7.1.2分布式計(jì)算技術(shù)綜述

7.1.3MapReduce的引入

7.2MapReduce技術(shù)介紹

7.2.1設(shè)計(jì)思想

7.2.2MapReduce框架介紹

7.3MapReduce技術(shù)分析

7.3.1關(guān)于效率

7.3.2關(guān)于擴(kuò)展性

7.3.3關(guān)于可靠性與可用性

7.3.4關(guān)于MapReduce與關(guān)系數(shù)據(jù)庫(kù)

7.3.5關(guān)于適用的數(shù)據(jù)類型

7.3.6關(guān)于數(shù)據(jù)存儲(chǔ)與管理

7.4MapReduce的應(yīng)用實(shí)踐

7.5本章小結(jié)

第8章后Hadoop時(shí)代

8.1Hadoop體系及其困惑

8.2Google的新三駕馬車

8.2.1新一代搜索引擎Caff

8.2.2大規(guī)模圖處理系統(tǒng)Pr

8.2.3Dremel——秒級(jí)實(shí)現(xiàn)PB級(jí)數(shù)據(jù)分析

8.3SymphonyMapR

8.4后Hadoop時(shí)代即將來臨

8.5本章小結(jié)

第9章InfiniData—一種關(guān)系型云數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)踐

9.1現(xiàn)代企業(yè)數(shù)據(jù)管理需求再分析

9.1.1新的企業(yè)數(shù)據(jù)需求——海量關(guān)系數(shù)據(jù)管理

9.1.2技術(shù)分析

9.2關(guān)系型云數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)

9.2.1關(guān)系型云數(shù)據(jù)庫(kù)的引入

9.2.2技術(shù)架構(gòu)設(shè)計(jì)

9.3云存儲(chǔ)層

9.3.1邏輯架構(gòu)

9.3.2物理架構(gòu)

9.3.3關(guān)系模型云存儲(chǔ)元

9.4云計(jì)算層

9.4.1MapReduce云計(jì)算引擎

9.4.2集群式云計(jì)算引擎

9.4.3兩種引擎的比較

9.5云存儲(chǔ)索引層

9.5.1存儲(chǔ)索引的管理

9.5.2索引云運(yùn)行時(shí)動(dòng)態(tài)創(chuàng)建

9.6技術(shù)分析

9.7本章小結(jié)

第3部分云計(jì)算的分與合

第10章合為“云”——數(shù)據(jù)整合

10.1數(shù)據(jù)整合的需求分析

10.2存儲(chǔ)整合云

10.3數(shù)據(jù)庫(kù)整合云

10.4本章小結(jié)

第11章關(guān)于分與合的討論

11.1困惑——分與合，孰是孰非？

11.2分為技，合為神

11.3分為雨，合為云——大數(shù)據(jù)云

11.4數(shù)據(jù)管理技術(shù)發(fā)展趨勢(shì)總結(jié)

11.4.1數(shù)據(jù)管理物理基礎(chǔ)設(shè)施發(fā)展趨勢(shì)

11.4.2數(shù)據(jù)管理軟基礎(chǔ)設(shè)施發(fā)展趨勢(shì)

11.5本章小結(jié)

第12章企業(yè)大數(shù)據(jù)技術(shù)體系與云計(jì)算數(shù)據(jù)基礎(chǔ)設(shè)施

12.1現(xiàn)代企業(yè)數(shù)據(jù)管理需求再分析

12.2新一代企業(yè)數(shù)據(jù)體系建設(shè)

12.2.1新一代企業(yè)數(shù)據(jù)體系建設(shè)的定義與內(nèi)容

12.2.2新一代企業(yè)數(shù)據(jù)分類體系

12.2.3新一代企業(yè)數(shù)據(jù)分布與流轉(zhuǎn)規(guī)劃

12.3大數(shù)據(jù)技術(shù)在企業(yè)數(shù)據(jù)架構(gòu)中的定位

12.3.1技術(shù)規(guī)劃戰(zhàn)略

12.3.2大數(shù)據(jù)技術(shù)架構(gòu)規(guī)劃

12.3.3典型場(chǎng)景——電子渠道線上行為分析

12.4云計(jì)算數(shù)