大數(shù)據(jù)及云計(jì)算培訓(xùn)資料

大數(shù)據(jù)及云計(jì)算培訓(xùn)資料何為大？信息度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes23Google每天要處理超過(guò)24PB的數(shù)據(jù)Facebook每天更新的照片量超過(guò)1000萬(wàn)張YouTube每月接待多達(dá)8億的訪客，平均每一秒鐘就會(huì)有一段長(zhǎng)度在一小時(shí)以上的視頻上傳twitter上的信息量幾乎每年翻一倍，截至2012年，每天都會(huì)發(fā)布超過(guò)4億條微博4數(shù)據(jù)都從哪里來(lái)？5表面張力vs萬(wàn)有引力量變導(dǎo)致質(zhì)變一個(gè)月吃一碗飯一天吃一碗飯一餐吃一碗飯一個(gè)小時(shí)吃一碗飯一分鐘吃一碗飯一秒吃一碗飯6這么多數(shù)據(jù)要放哪里？怎樣處理？7不要問(wèn)我從哪里來(lái)的

“不知所云”通過(guò)使計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將與互聯(lián)網(wǎng)更相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問(wèn)計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。8服務(wù)特征9把計(jì)算能力像水和電一樣提供給用戶10什么是云計(jì)算11權(quán)威定義Wiki定義：云計(jì)算是一種通過(guò)Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化的資源的計(jì)算模式。美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）定義：云計(jì)算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn)，進(jìn)入可配置的計(jì)算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。12Googleの野望“瀏覽器＝操作系統(tǒng)”13IaaS基礎(chǔ)設(shè)施云(代表：亞馬遜的S3)SaaS應(yīng)用云（代表：salesforce的CRM）PaaS平臺(tái)云（代表：GoogleAppEngine）私有云(數(shù)據(jù)中心–內(nèi)部網(wǎng))公共云(服務(wù)提供商–互連網(wǎng))混合云(公共和私有)XX就是服務(wù)14亞馬遜IaaS應(yīng)用案例：紐約時(shí)報(bào)15Google云計(jì)算SaaS16軟件終結(jié)者可提供隨需應(yīng)用的客戶關(guān)系管理(On-demandCRM)允許客戶與獨(dú)立軟件供應(yīng)商定制并整合其產(chǎn)品，同時(shí)建立他們各自所需的應(yīng)用軟件SalesforceCRM價(jià)格分別有5美元，17美元，65美元，125美元和250美元的不同版本17云計(jì)算的演化182006年8月9日Google

CEO埃里克·施密特（EricSchmidt）在搜索引擎大會(huì)（SESSanJose2006）首次提出“云計(jì)算”（CloudComputing）的概念。191996年，互聯(lián)網(wǎng)上只有一萬(wàn)多個(gè)網(wǎng)站，現(xiàn)在有一億六千萬(wàn)個(gè)96年能上網(wǎng)的人基本上使用28.8或者33.6Kbps的貓，高速的56Kbps貓直到97年才出來(lái)640×480才是主流，800×600是高端90年代20199720132122231998年24GoogolGoogle100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000025Google的BIDPROBLEM海量數(shù)據(jù)快速處理26搜索排名

Google的PageRank技術(shù)PageRank并不計(jì)算直接鏈接的數(shù)量，而是將從網(wǎng)頁(yè)A指向網(wǎng)頁(yè)B的鏈接解釋為由網(wǎng)頁(yè)A對(duì)網(wǎng)頁(yè)B所投的一票。評(píng)估每個(gè)投票網(wǎng)頁(yè)的重要性，因?yàn)槟承┚W(wǎng)頁(yè)的投票被認(rèn)為具有較高的價(jià)值，這樣，它所鏈接的網(wǎng)頁(yè)就能獲得較高的價(jià)值。杜絕人工干預(yù)或操縱27Google的海量數(shù)據(jù)怎樣存儲(chǔ)？28摩爾定律正在走向終結(jié)…單芯片容納晶體管的增加，對(duì)制造工藝提出要求CPU制造18nm技術(shù)，電子泄漏問(wèn)題CPU主頻已達(dá)3GHz時(shí)代，難以繼續(xù)提高散熱問(wèn)題（發(fā)熱太大，且難以驅(qū)散）功耗太高29Google云計(jì)算應(yīng)用MapReduce并行數(shù)據(jù)處理BigTable結(jié)構(gòu)化數(shù)據(jù)表GFS分布式文件系統(tǒng)Chubby分布式鎖30GFS設(shè)計(jì)原則：機(jī)器失效不能視為異?，F(xiàn)象能應(yīng)付對(duì)大型/超大型文件處理支持大量用戶同時(shí)訪問(wèn)GFS組成GFS集群:一個(gè)的Master和多個(gè)ChunkServer（塊服務(wù)器）組成，并可以多客戶端Client訪問(wèn)GFS設(shè)計(jì)要點(diǎn)每個(gè)文件拆成若干個(gè)64M文件塊Chunk組成每個(gè)Chunk都由Master根據(jù)其創(chuàng)建時(shí)間指定ChunkHandle(64)文件塊被保存在ChunkServer本地磁盤中缺省情況下3處熱備份Chunk塊文件31GFS32P2P傳輸協(xié)議

多源文件傳輸協(xié)議MFTP

theMultisourceFileTransferProtocolBitTorrent專門為大容量文件的共享而設(shè)計(jì)，它采用了一種像傳銷一樣的通訊方式。33P2P34MapReduceGoogleMapReduce架構(gòu)設(shè)計(jì)師JeffreyDean只要執(zhí)行的簡(jiǎn)單計(jì)算，而將并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個(gè)庫(kù)里，使并行編程時(shí)不必關(guān)心它們35只需要編寫兩個(gè)函數(shù)：//產(chǎn)生<key,value>映射關(guān)系Map:(in_key,in_value)//對(duì)相同的key進(jìn)行歸類處理Reduce:(key,[value1,value2…])36例子：?jiǎn)卧~統(tǒng)計(jì)37Map

(key,value){

for(each‘world’invalue)

collect(‘world’,1);……}Reduce(key,value[]){

intcount=0;

for(eachwinvalue) count++;

collect(key,count);……}第一步編碼38第二步分割39第三步Map（映射）40第四步Fold（合并）41第五步Reduce（歸納）4243大數(shù)據(jù)、云計(jì)算有什么用？4445馬云成功預(yù)測(cè)2008年經(jīng)濟(jì)危機(jī)“2008年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑,歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！?647其他云平臺(tái)…48云計(jì)算平臺(tái)49商業(yè)化云計(jì)算平臺(tái)公司技術(shù)特性核心技術(shù)企業(yè)服務(wù)開發(fā)語(yǔ)言微軟整合其所用軟件及數(shù)據(jù)服務(wù)大型應(yīng)用軟件開發(fā)技術(shù)Azure平臺(tái).NETGoogle儲(chǔ)存及運(yùn)算水平擴(kuò)充能力平行分散技術(shù)MapReduce，BigTable，GFSGoogleAppEngine，應(yīng)用代管服務(wù)Python，JavaIBM整合其所有軟件及硬件服務(wù)網(wǎng)格技術(shù)，分布式存儲(chǔ)，動(dòng)態(tài)負(fù)載虛擬資源池提供，企業(yè)云計(jì)算整合方案Oracle軟硬件彈性虛擬平臺(tái)Oracle的數(shù)據(jù)存儲(chǔ)技術(shù)，Sun開源技術(shù)EC2上的Oracle數(shù)據(jù)庫(kù)，OracleVM，SunxVMAmazon彈性虛擬平臺(tái)虛擬化技術(shù)XenEC2、S3，SimpleDB、SQSSaleforce彈性可定制商務(wù)軟件應(yīng)用平臺(tái)整合技術(shù)F服務(wù)Java，APEXEMC信息存儲(chǔ)系統(tǒng)及虛擬化技術(shù)Vmware的虛擬化技術(shù)，一流存儲(chǔ)技術(shù)Atoms云存儲(chǔ)系統(tǒng)，私有云解決方案阿里巴巴彈性可定制商務(wù)軟件應(yīng)用平臺(tái)整合技術(shù)軟件互聯(lián)平臺(tái)，云電子商務(wù)平臺(tái)中國(guó)移動(dòng)堅(jiān)實(shí)的網(wǎng)絡(luò)技術(shù)豐富的帶寬資源底層集群部署技術(shù)，資源池虛擬技術(shù)，網(wǎng)絡(luò)相關(guān)技術(shù)BigCloude-大云平臺(tái)50開源計(jì)算平臺(tái)平臺(tái)名稱描述AbiCloud（Abiquo公司）AbiCloud是一款用于公司的開源的云計(jì)算[1]平臺(tái)，使公司能夠以快速、簡(jiǎn)單和可擴(kuò)展的方式創(chuàng)建和管理大型、復(fù)雜的IT基礎(chǔ)設(shè)施（包括虛擬服務(wù)器、網(wǎng)絡(luò)、應(yīng)用、存儲(chǔ)設(shè)備等）Hadoop（Apache基金會(huì)）該計(jì)劃是完全模仿Google體系架構(gòu)做的一個(gè)開源項(xiàng)目，主要包括Map/Reduce和HDFS文件系統(tǒng)Eucalyptus項(xiàng)目（加利福尼亞大學(xué)）創(chuàng)建了一個(gè)使企業(yè)能夠使用它們內(nèi)部IT資源（包括服務(wù)器、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)設(shè)備）的開源界面，來(lái)建立能夠和AmazonEC2兼容的云MongoDB（10gen）MongoDB是一個(gè)高性能、開源、無(wú)模式的文檔型數(shù)據(jù)庫(kù)，它在許多場(chǎng)景下可用于替代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)或鍵/值存儲(chǔ)方式Enomalism彈性計(jì)算平臺(tái)它提供了一個(gè)功能類似于EC2的云計(jì)算框架。Enomalism基于Linux，同時(shí)支持Xen和KernelVirtualMachine(KVM)。與其他純IaaS解決方案不同的是，Enomalism提供了一個(gè)基于TurboGearsWeb