云計(jì)算商家對(duì)比

云計(jì)算應(yīng)用與展望主要內(nèi)容云計(jì)算商業(yè)模式云計(jì)算產(chǎn)品Google云計(jì)算應(yīng)用場(chǎng)景分析云計(jì)算的未來(lái)云計(jì)算商業(yè)模式商業(yè)模式介紹IT界商業(yè)模式案例探析社會(huì)計(jì)算商業(yè)模式案例探析云計(jì)算商業(yè)模式案例探析云計(jì)算商業(yè)模式什么是商業(yè)模式為實(shí)現(xiàn)客戶(hù)價(jià)值最大化，把能使企業(yè)運(yùn)行的內(nèi)外各要素整合起來(lái)，形成一個(gè)完整的高效率的具有獨(dú)特核心競(jìng)爭(zhēng)力的運(yùn)行系統(tǒng)，并通過(guò)最優(yōu)實(shí)現(xiàn)形式滿(mǎn)足客戶(hù)需求、實(shí)現(xiàn)客戶(hù)價(jià)值，同時(shí)使系統(tǒng)達(dá)成持續(xù)贏利目標(biāo)的整體解決方案商業(yè)模式通過(guò)什么方式或途徑來(lái)賺錢(qián)IT界商業(yè)模式案例探析直銷(xiāo)模式讓我成為PC市場(chǎng)中的“大佬”“軟硬兼施”讓顧客為我瘋狂戴爾：直銷(xiāo)模式直銷(xiāo)采用行業(yè)標(biāo)準(zhǔn)與客戶(hù)建立直接聯(lián)系供應(yīng)鏈管理多元化經(jīng)營(yíng)精細(xì)化管理按需定制直接銷(xiāo)售、提供資源注重客戶(hù)反饋提供專(zhuān)人客戶(hù)負(fù)責(zé)制蘋(píng)果：軟硬結(jié)合客戶(hù)價(jià)值注重客戶(hù)體驗(yàn)出眾的營(yíng)銷(xiāo)技巧盈利模式賣(mài)硬件獲得一次性高額利潤(rùn)賣(mài)音樂(lè)和軟件獲得持續(xù)利潤(rùn)資源流程代表獨(dú)立、完美的精神產(chǎn)品設(shè)計(jì)和開(kāi)發(fā)社會(huì)計(jì)算商業(yè)模式探析我們的服務(wù)都是免費(fèi)的，如何賺錢(qián)咱們擁有龐大的用戶(hù)群，何愁沒(méi)有錢(qián)賺Twitter：廣告業(yè)務(wù)+商家收費(fèi)微博營(yíng)銷(xiāo)網(wǎng)絡(luò)廣告向跟隨者或其他用戶(hù)發(fā)送廣告購(gòu)買(mǎi)搜索關(guān)鍵詞、顯示在主頁(yè)趨勢(shì)上通過(guò)微博實(shí)時(shí)市場(chǎng)營(yíng)銷(xiāo)（向商家收費(fèi)）名人效應(yīng)…Facebook：方式多樣精準(zhǔn)廣告開(kāi)放平臺(tái)第三方應(yīng)用虛擬用品F-connect社會(huì)化購(gòu)物移動(dòng)互聯(lián)網(wǎng)…云計(jì)算與商業(yè)模式IaaSIaaSPaaS處處是黃金寶藏...PC互聯(lián)網(wǎng)云計(jì)算云計(jì)算現(xiàn)有商業(yè)模式探析我們幫助別人建立云計(jì)算，賣(mài)出了更多的硬軟件和服務(wù)我們將閑置的資源出租出去，獲得豐厚的經(jīng)濟(jì)回報(bào)我們提供在線軟件服務(wù)，客戶(hù)不斷增加Amazon：提供云服務(wù)計(jì)算服務(wù)存儲(chǔ)服務(wù)數(shù)據(jù)庫(kù)服務(wù)消息傳送服務(wù)管理維護(hù)按使用付費(fèi)IBM：構(gòu)建云平臺(tái)寧波“物流云”杭州“金融云”北京“智慧城市云”無(wú)錫IBM云計(jì)算中心打造構(gòu)建云計(jì)算平臺(tái)…政府企業(yè)Salesforce:軟件即服務(wù)在線軟件租用服務(wù)提供商CRM在線軟件軟件租賃根據(jù)使用付費(fèi)云計(jì)算商業(yè)模式云計(jì)算商業(yè)模式還未成熟各大公司基于自身產(chǎn)品，在現(xiàn)有業(yè)務(wù)上進(jìn)行擴(kuò)展更新、更好的云計(jì)算商業(yè)模式還在探索中…是否有更好的想法，或許會(huì)誕生新的IT巨人你云計(jì)算產(chǎn)品（實(shí)際案例）案例一：AmazonWebService案例二：Yahoo!案例三：eBay案例四：Baidu案例五：IBM案例六：GoogleAmazonWebServiceAWS核心服務(wù)計(jì)算服務(wù)存儲(chǔ)服務(wù)數(shù)據(jù)庫(kù)服務(wù)消息傳送服務(wù)AWS-計(jì)算服務(wù)AmazonElasticComputingCloud(EC2)要通過(guò)虛擬化技術(shù)向用戶(hù)提供計(jì)算資源用戶(hù)可以根據(jù)自己的需求動(dòng)態(tài)地申請(qǐng)或停止資源的使用AmazonElasticMapReduce通過(guò)在AmazonEC2和AmazonS3上構(gòu)建Hadoop框架而實(shí)現(xiàn)AWS-存儲(chǔ)服務(wù)AmazonSimpleStorageService（S3）存儲(chǔ)容量是可以動(dòng)態(tài)擴(kuò)展在AWS云上的其他服務(wù)也可以直接訪問(wèn)S3上的數(shù)據(jù)AWS-數(shù)據(jù)庫(kù)服務(wù)AmazonSimpleDB是基于S3和EC2向用戶(hù)提供輕量級(jí)的數(shù)據(jù)存儲(chǔ)和查詢(xún)服務(wù)AmazonRelationalDatabaseService(RDS)用戶(hù)通過(guò)RDS可以使用MySQL所具有的功能還支持Oracle11g的功能AWS-消息傳送服務(wù)AmazonSimpleQueueService(SQS)提供計(jì)算機(jī)之間傳遞和存儲(chǔ)消息服務(wù)AmazonSimpleNotificationService(SNS)在云中建立、操作和發(fā)送通知的Web服務(wù)AmazonSimpleEmailService(SES)提供高擴(kuò)展的大量事務(wù)性郵件發(fā)送服務(wù)AmazonWebServiceAWS客戶(hù)廣泛，其中包括著名的互聯(lián)網(wǎng)公司和創(chuàng)業(yè)型公司2010年，AWS部門(mén)的收入已達(dá)5億美元，已經(jīng)成為Amazon收入的重要組成部分Yahoo！Yahoo!云計(jì)算平臺(tái)上主要有三大利器HadoopSherpaMObStorHadoopYahoo!將Hadoop應(yīng)用于自己的各項(xiàng)業(yè)務(wù)和產(chǎn)品中數(shù)據(jù)分析、內(nèi)容優(yōu)化、反垃圾郵件系統(tǒng)、廣告的優(yōu)化選擇、大數(shù)據(jù)處理、用戶(hù)興趣預(yù)測(cè)、搜索排名、廣告定位等如：實(shí)時(shí)服務(wù)系統(tǒng)從數(shù)據(jù)庫(kù)中讀取用戶(hù)到興趣的映射，Hadoop集群則基于最新數(shù)據(jù)重新排列內(nèi)容并更新頁(yè)面。SherpaSherpaYahoo!的分布式數(shù)據(jù)存儲(chǔ)和服務(wù)平臺(tái)主要針對(duì)的是結(jié)構(gòu)化的記錄型數(shù)據(jù)。Sherpa平臺(tái)上最關(guān)鍵的是PNUTSPNUTS大規(guī)模并行處理的分布式數(shù)據(jù)庫(kù)系統(tǒng)放棄了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)強(qiáng)一致性的要求由StorageUnits、Router、TabletController和MessageBroker四部分組成MObStoreMObStor主要用來(lái)存儲(chǔ)非結(jié)構(gòu)化的二進(jìn)制大文件對(duì)數(shù)據(jù)提供可靠、安全存儲(chǔ)的同時(shí)還能向用戶(hù)提供快速的響應(yīng)體系結(jié)構(gòu)分為三層，分別為對(duì)象存儲(chǔ)層（ObjectStoreLayer）本地對(duì)象管理層（LocalObjectManagementLayer）全局對(duì)象儲(chǔ)存層（GlobalObjectManagementLayer）Yahoo！Yahoo!一直推動(dòng)著Hadoop的發(fā)展Hadoop中國(guó)云計(jì)算大會(huì)也受到許多人的關(guān)注eBay基于開(kāi)源云計(jì)算框架Hadoop建立了自己的集群—Athena開(kāi)源云平臺(tái)項(xiàng)目—TurmericAthena核心層包括Hadoop運(yùn)行時(shí)環(huán)境、通用工具和HDFSMapReduce層為開(kāi)發(fā)和執(zhí)行任務(wù)提供API和控件數(shù)據(jù)獲取層數(shù)據(jù)獲取層的主要框架是HBase、Pig和Hive工具、加載庫(kù)層主要的加載庫(kù)有：統(tǒng)計(jì)庫(kù)（R）、機(jī)器學(xué)習(xí)庫(kù)（Mahout）、數(shù)學(xué)相關(guān)庫(kù)（Hama）和eBay自己開(kāi)發(fā)的解析網(wǎng)絡(luò)日志的庫(kù)（Mobius）監(jiān)視和警告層Ganglia是分布式集群的監(jiān)視系統(tǒng)，Nagios則用來(lái)警告關(guān)鍵事件如服務(wù)器不可達(dá)、硬盤(pán)已滿(mǎn)等。Turmeric面向服務(wù)構(gòu)架的綜合平臺(tái)，用戶(hù)可以在上面開(kāi)發(fā)、部署、管理和監(jiān)控服務(wù)核心運(yùn)行庫(kù)基于流水線架構(gòu)，主要用來(lái)運(yùn)行服務(wù)和客戶(hù)端開(kāi)發(fā)工具提供Eclipse插件來(lái)幫助創(chuàng)建服務(wù)和客戶(hù)端監(jiān)控器該監(jiān)控器包含多個(gè)組件：收集客戶(hù)端和服務(wù)端信息的運(yùn)行收集組件、數(shù)據(jù)配置組件、監(jiān)控節(jié)點(diǎn)信息的服務(wù)監(jiān)控組件以及方便用戶(hù)查看的控制臺(tái)組件Turmeric安全服務(wù)提供平臺(tái)上的安全服務(wù)（如驗(yàn)證、授權(quán)、組服務(wù)等）與策略服務(wù)交互，其中策略遵從XACML（可擴(kuò)展的訪問(wèn)控制標(biāo)記語(yǔ)言）結(jié)構(gòu)和語(yǔ)法。策略管理控制臺(tái)管理策略的定制倉(cāng)庫(kù)服務(wù)這是端到端平臺(tái)上服務(wù)注冊(cè)、附件管理功能的抽象，具體的功能依賴(lài)于下層的倉(cāng)庫(kù)產(chǎn)品WSDL聲明服務(wù)通過(guò)這項(xiàng)功能用戶(hù)可以定義服務(wù)的WSDL接口eBayeBay使用云計(jì)算通過(guò)構(gòu)建自己的集群系統(tǒng)來(lái)處理大規(guī)模的商品數(shù)據(jù)和用戶(hù)需求，面對(duì)數(shù)據(jù)的增長(zhǎng)，云計(jì)算成為互聯(lián)網(wǎng)公司的首選百度Hadoop的應(yīng)用框計(jì)算Hadoop在百度的應(yīng)用在百度，Hadoop主要應(yīng)用于以下幾個(gè)方面：日志的存儲(chǔ)和統(tǒng)計(jì)網(wǎng)頁(yè)數(shù)據(jù)的分析和挖掘商業(yè)分析，如用戶(hù)的行為、廣告關(guān)注度在線數(shù)據(jù)的反饋，及時(shí)得到在線廣告的點(diǎn)擊情況用戶(hù)網(wǎng)頁(yè)的聚類(lèi)，分析用戶(hù)的推薦度及用戶(hù)之間的關(guān)聯(lián)度框計(jì)算用戶(hù)在框中輸入服務(wù)需求系統(tǒng)識(shí)別用戶(hù)的需求基于服務(wù)提供商直接返回服務(wù)需求分析基于互聯(lián)網(wǎng)的一站式服務(wù)服務(wù)集成百度框計(jì)算確定用戶(hù)需求后會(huì)選擇哪個(gè)服務(wù)提供者為用戶(hù)提供服務(wù)百度的選擇甚至影響一些服務(wù)提供商的發(fā)展云計(jì)算帶來(lái)的影響不僅限于技術(shù)，任何互聯(lián)網(wǎng)公司都不能置身事外。IBM云計(jì)算解決方案云計(jì)算產(chǎn)品云計(jì)算解決方案“藍(lán)色洞察力”決策分析云系統(tǒng)處理全球小型交易等業(yè)務(wù)LotusLIve使得公司內(nèi)員工及合作伙伴協(xié)作高效化桌面的集中虛擬化提高了控制管理的安全性及維護(hù)的方便性云計(jì)算解決方案存儲(chǔ)云實(shí)現(xiàn)虛擬化儲(chǔ)存，將數(shù)據(jù)儲(chǔ)存在一起，有效地節(jié)約了空間數(shù)據(jù)中心整合里面的應(yīng)用程序也隨之部署在云計(jì)算上，實(shí)現(xiàn)資源整合生產(chǎn)研發(fā)如在芯片設(shè)計(jì)時(shí)需要昂貴的軟件和巨大的計(jì)算存儲(chǔ)資源，采用設(shè)計(jì)制造云后既減少了設(shè)計(jì)成本提高資源利用，同時(shí)也保證了知識(shí)產(chǎn)權(quán)的安全。云計(jì)算產(chǎn)品IBM在虛擬化和云計(jì)算方面擁有眾多產(chǎn)品，設(shè)計(jì)基礎(chǔ)設(shè)施層、平臺(tái)層和應(yīng)用層IBMEnsembles將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等物理資源虛擬成基礎(chǔ)設(shè)施資源池，隱藏了內(nèi)部實(shí)現(xiàn)細(xì)節(jié)向上層提供資源訪問(wèn)和管理的接口IBMTSAM提供應(yīng)用服務(wù)的管理平臺(tái)，包括服務(wù)的設(shè)計(jì)、部署和運(yùn)行管理整個(gè)階段，實(shí)現(xiàn)了硬件到操作系統(tǒng)、中間件的整體管理自動(dòng)化IBMSmartCloud用于數(shù)據(jù)中心的云服務(wù)軟件，在向公司用戶(hù)提供云存儲(chǔ)的同時(shí)也提供數(shù)據(jù)分析、銷(xiāo)售管理、測(cè)試工具等服務(wù)IBMIBM使用云計(jì)算整合自身的全球資源提供優(yōu)質(zhì)服務(wù)基于對(duì)云計(jì)算的認(rèn)識(shí)，IBM提供公有云、私有云和混合云多個(gè)選項(xiàng)，減少用戶(hù)對(duì)隱私、安全的顧慮來(lái)吸引用戶(hù)Google云計(jì)算技術(shù)云計(jì)算產(chǎn)品Google云計(jì)算技術(shù)Google在云計(jì)算擁有著名的GFS、Bigtable、MapReduce三大技術(shù)GFS針對(duì)數(shù)據(jù)密集型應(yīng)用的分布式文件系統(tǒng)運(yùn)行在廉價(jià)硬件環(huán)境上并擁有較高的容錯(cuò)性Bigtable管理海量結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)提供簡(jiǎn)單的數(shù)據(jù)模式動(dòng)態(tài)地控制數(shù)據(jù)部署通過(guò)維護(hù)稀疏的多維排序映射表來(lái)檢索數(shù)據(jù)MapReduce編程模型利用輸入鍵/值對(duì)集輸出新的鍵/值對(duì)集將并行計(jì)算細(xì)節(jié)隱藏用戶(hù)只需實(shí)現(xiàn)map函數(shù)和reduce函數(shù)即可Google云計(jì)算產(chǎn)品GoogleAppEngine一種架構(gòu)Web應(yīng)用程序的平臺(tái)用戶(hù)可以利用提供的SDK開(kāi)發(fā)Web應(yīng)用程序，并將其上傳到平臺(tái)上Google負(fù)責(zé)應(yīng)用的管理和維護(hù)平臺(tái)還提供網(wǎng)頁(yè)抓取、圖像操作、郵件等多種服務(wù)云端應(yīng)用程序GoogleDocs基于Web的文檔處理程序支持在線編輯和多人協(xié)作GoogleCloudConnect可以直接將本地Microsoftoffice和云端的GoogleDocs連結(jié)起來(lái)文檔在本地保存的同時(shí)也保存在云中并通過(guò)鏈接向別人分享自己的文檔GoogleGoogle以其先進(jìn)的技術(shù)在云計(jì)算發(fā)展中處于領(lǐng)先位置代表性云計(jì)算方案比較GoogleAppEngine亞馬遜AWS微軟Azure提供的服務(wù)類(lèi)型PaaSIaaS、PaaS、SaaSPaaS服務(wù)間的關(guān)聯(lián)度所有服務(wù)被捆綁在一起，耦合度高可以任意選擇服務(wù)組合，耦合度低可以任意選擇服務(wù)組合，耦合度低虛擬化技術(shù)未使用XenHyper-V運(yùn)行環(huán)境Google自身提供的環(huán)境，位于云端亞馬遜平臺(tái)，位于云端云端或本地支持的編程語(yǔ)言Python、Java多種多種使用的數(shù)據(jù)庫(kù)Datastore（構(gòu)建在Bigtable之上）用戶(hù)可以根據(jù)需要在EC2上運(yùn)行Oracle、SQLServer等，也可使用亞馬遜的SimpleDB改進(jìn)的SQLServer使用限制最多最少較少實(shí)現(xiàn)功能最少最多較多計(jì)費(fèi)方式有免費(fèi)部分和收費(fèi)項(xiàng)目按實(shí)際使用量付費(fèi)按實(shí)際使用量付費(fèi)可擴(kuò)展性自動(dòng)擴(kuò)充所需資源并進(jìn)行負(fù)載均衡需要手動(dòng)或通過(guò)編程自動(dòng)的增加所需的虛擬機(jī)數(shù)量需要手動(dòng)或通過(guò)編程自動(dòng)地增加所需的虛擬機(jī)數(shù)量不同應(yīng)用之間的隔離通過(guò)沙盒來(lái)實(shí)現(xiàn)不同的應(yīng)用運(yùn)行在不同的虛擬機(jī)，以此實(shí)現(xiàn)隔離不同的應(yīng)用運(yùn)行在不同的虛擬機(jī)，以此實(shí)現(xiàn)隔離計(jì)算服務(wù)比較MapReduceEC2Azure計(jì)算服務(wù)服務(wù)類(lèi)型PaaSIaaSPaaS虛擬機(jī)的使用未使用用戶(hù)可以根據(jù)需要設(shè)置運(yùn)行虛擬機(jī)的硬件配置系統(tǒng)自動(dòng)分配運(yùn)行環(huán)境Google自身提供的環(huán)境，用戶(hù)無(wú)法自行調(diào)配由用戶(hù)自行提供運(yùn)行程序所需的AMI（亞馬遜機(jī)器映像）程序運(yùn)行在系統(tǒng)自動(dòng)為用戶(hù)生成的裝有WindowsServer2008的虛擬機(jī)上易用性最好稍差較好靈活性稍差最好較好適用的應(yīng)用程序適合可以并行處理的應(yīng)用程序任意任意可在WindowsServer2008上運(yùn)行的程序，尤其適合有大量并行用戶(hù)的應(yīng)用程序存儲(chǔ)服務(wù)比較GFSS3Blob存儲(chǔ)系統(tǒng)結(jié)構(gòu)數(shù)據(jù)塊服務(wù)器上的文件分塊存儲(chǔ)桶、對(duì)象兩級(jí)模式容器、Blob兩級(jí)模式可擴(kuò)展性可通過(guò)增加數(shù)據(jù)塊服務(wù)器數(shù)量擴(kuò)展存儲(chǔ)容量可通過(guò)增加桶中對(duì)象數(shù)量擴(kuò)展存儲(chǔ)容量可通過(guò)增加容器中Blob數(shù)量擴(kuò)展存儲(chǔ)容量數(shù)據(jù)交互方式用戶(hù)和數(shù)據(jù)塊服務(wù)器進(jìn)行數(shù)據(jù)交互用戶(hù)可以從獲得授權(quán)的對(duì)象中取得數(shù)據(jù)用戶(hù)可以從獲得授權(quán)的Blob中取得數(shù)據(jù)存儲(chǔ)限制無(wú)特殊限制桶的數(shù)量和對(duì)象的大小有限制，但對(duì)象的數(shù)量無(wú)限制Blob大小有限制，但是容器和Blob數(shù)量未限制容量擴(kuò)展方式自動(dòng)手動(dòng)或編程實(shí)現(xiàn)自動(dòng)擴(kuò)容手動(dòng)或編程實(shí)現(xiàn)自動(dòng)擴(kuò)容容錯(cuò)技術(shù)針對(duì)主、從服務(wù)器有各自的容錯(cuò)技術(shù)數(shù)據(jù)監(jiān)聽(tīng)回傳、Merkle哈希樹(shù)、數(shù)據(jù)冗余存儲(chǔ)僅重傳出錯(cuò)的Block（塊）、數(shù)據(jù)冗余存儲(chǔ)數(shù)據(jù)庫(kù)服務(wù)比較GoogleAppEngineDatastore亞馬遜SimpleDB微軟SQL數(shù)據(jù)服務(wù)系統(tǒng)結(jié)構(gòu)Model、實(shí)體組、實(shí)體三級(jí)模式域、條目、屬性、值四級(jí)模式Authority、容器、實(shí)體三級(jí)模式主要存儲(chǔ)的數(shù)據(jù)類(lèi)型結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)所用的查詢(xún)語(yǔ)言GQL支持有限的SQL語(yǔ)句SQL查詢(xún)限制返回的結(jié)果不能超過(guò)1000條響應(yīng)時(shí)間不能超過(guò)5秒返回的結(jié)果不能超過(guò)500頁(yè)數(shù)據(jù)更新時(shí)間有延遲，但不是常態(tài)有延遲沒(méi)有延遲實(shí)現(xiàn)的功能較多最少最多Google云計(jì)算應(yīng)用場(chǎng)景分析Google云計(jì)算技術(shù)框架應(yīng)用場(chǎng)景分析1：Google網(wǎng)站流量分析應(yīng)用場(chǎng)景分析2：Google搜索Google云計(jì)算的技術(shù)架構(gòu)Google的云計(jì)算應(yīng)用均依賴(lài)于四個(gè)基礎(chǔ)組件分布式文件存儲(chǔ)，GFS并行數(shù)據(jù)處理模型MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle云計(jì)算應(yīng)用MapReduceBigTableGFSChubbyGoogle云計(jì)算的技術(shù)架構(gòu)Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubby組件調(diào)用關(guān)系分析Google云計(jì)算的技術(shù)架構(gòu)Chubby的作用為GFS提供鎖服務(wù)，選擇Master節(jié)點(diǎn)；記錄Master的相關(guān)描述信息通過(guò)獨(dú)占鎖記錄ChunkServer的活躍情況為BigTable提供鎖服務(wù)，記錄子表元信息（如子表文件信息、子表分配信息、子表服務(wù)器信息）（可能）記錄MapReduce的任務(wù)信息為第三方提供鎖服務(wù)與文件存儲(chǔ)Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubbyGoogle云計(jì)算的技術(shù)架構(gòu)GFS的作用存儲(chǔ)BigTable的子表文件為第三方應(yīng)用提供大尺寸文件存儲(chǔ)功能文件讀操作流程API與Master通信，獲取文件元信息根據(jù)指定的讀取位置和讀取長(zhǎng)度，API發(fā)起并發(fā)操作，分別從若干ChunkServer上讀取數(shù)據(jù)API組裝所得數(shù)據(jù)，返回結(jié)果Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubbyGoogle云計(jì)算的技術(shù)架構(gòu)BigTable的作用為Google云計(jì)算應(yīng)用（或第三方應(yīng)用）提供數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)功能類(lèi)似于數(shù)據(jù)庫(kù)為應(yīng)用提供簡(jiǎn)單數(shù)據(jù)查詢(xún)功能（不支持聯(lián)合查詢(xún)）為MapReduce提供數(shù)據(jù)源或數(shù)據(jù)結(jié)果存儲(chǔ)Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubbyGoogle云計(jì)算的技術(shù)架構(gòu)BigTable的存儲(chǔ)與服務(wù)請(qǐng)求的響應(yīng)劃分為子表存儲(chǔ)，每個(gè)子表對(duì)應(yīng)一個(gè)子表文件，子表文件存儲(chǔ)于GFS之上BigTable通過(guò)元數(shù)據(jù)組織子表每個(gè)子表都被分配給一個(gè)子表服務(wù)器一個(gè)子表服務(wù)器可同時(shí)分配多個(gè)子表子表服務(wù)器負(fù)責(zé)對(duì)外提供服務(wù)，響應(yīng)查詢(xún)請(qǐng)求Tablet1:<startRowKey1,endRowKey1>,root\bigtable\tablet1,……Tablet2:<startRowKey2,endRowKey2>,root\bigtable\tablet2,……Tablet3:<startRowKey3,endRowKey3>,root\bigtable\tablet3,……Tablet4:<startRowKey4,endRowKey4>,root\bigtable\tablet4,……Google云計(jì)算的技術(shù)架構(gòu)MapReduce的作用對(duì)BigTable中的數(shù)據(jù)進(jìn)行并行計(jì)算處理（如統(tǒng)計(jì)、歸類(lèi)等）使用BigTable或GFS存儲(chǔ)計(jì)算結(jié)果Google云計(jì)算應(yīng)用BigTableGFSMapReduceChubby應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析GoogleAnalytics免費(fèi)的企業(yè)級(jí)網(wǎng)絡(luò)分析解決方案幫助企業(yè)了解網(wǎng)站流量和營(yíng)銷(xiāo)效果能以靈活的方式（各類(lèi)報(bào)表）查看并分析流量數(shù)據(jù)應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析基本功能統(tǒng)計(jì)網(wǎng)站的基本數(shù)據(jù)，包括會(huì)話(huà)、綜合瀏覽量、點(diǎn)擊量和字節(jié)流量等等分析網(wǎng)站頁(yè)面關(guān)注度，幫助企業(yè)調(diào)整或增刪頁(yè)面分析用戶(hù)瀏覽路徑，優(yōu)化頁(yè)面布局分析用戶(hù)訪問(wèn)來(lái)源鏈接，提高廣告投資回報(bào)分析用戶(hù)訪問(wèn)環(huán)境（如OS和Explorer），幫助美化頁(yè)面應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析應(yīng)用的特征海量數(shù)據(jù)需要存儲(chǔ)海量的用戶(hù)行為數(shù)據(jù)（如點(diǎn)擊時(shí)間、位置等）海量用戶(hù)需要為任意多的網(wǎng)站提供流量分析技術(shù)路線使用BigTable存儲(chǔ)和檢索數(shù)據(jù)，使用MapReduce統(tǒng)計(jì)數(shù)據(jù)應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析BigTable中的表設(shè)計(jì)原始點(diǎn)擊數(shù)據(jù)表行鍵：點(diǎn)擊時(shí)間列鍵：網(wǎng)站URL、網(wǎng)站名稱(chēng)、用戶(hù)IP地址、來(lái)源URL、目標(biāo)URL……目前尺寸約200TB200910101210112009101012101220091010121013URL標(biāo)題IP地址來(lái)源URL目標(biāo)URL應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析BigTable中的表設(shè)計(jì)統(tǒng)計(jì)數(shù)據(jù)表行鍵：網(wǎng)站URL（倒排）列鍵：點(diǎn)擊次數(shù)（如記錄最近一個(gè)月每日的訪問(wèn)次數(shù)等）、頁(yè)面關(guān)注度（如記錄網(wǎng)站頁(yè)面的訪問(wèn)比率）、來(lái)源網(wǎng)站（如記錄TOP10）、目標(biāo)網(wǎng)站（如記錄TOP10）…每個(gè)列中記錄的內(nèi)容是字符串，Analytics在查詢(xún)后需要解析字符串獲得統(tǒng)計(jì)結(jié)果可根據(jù)統(tǒng)計(jì)內(nèi)容的增多增加新的列目前尺寸約20TB應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析業(yè)務(wù)流程分析數(shù)據(jù)采集原始點(diǎn)擊數(shù)據(jù)表數(shù)據(jù)處理統(tǒng)計(jì)數(shù)據(jù)表數(shù)據(jù)查詢(xún)MapReduce應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析基礎(chǔ)設(shè)施應(yīng)用服務(wù)器集群BigTable集群1BigTable集群2GFS集群Chubby集群MapReduce集群應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)采集數(shù)據(jù)來(lái)源頁(yè)面內(nèi)嵌腳本點(diǎn)擊行為腳本應(yīng)用服務(wù)器獲取到數(shù)據(jù)后，存入BigTable應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)流程向BigTable中寫(xiě)入點(diǎn)擊信息尋找子表服務(wù)器向內(nèi)存臨時(shí)子表寫(xiě)入信息（含排序）如超過(guò)閾值則存儲(chǔ)為子表文件GFS：存儲(chǔ)子表文件子表合并、壓縮應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)處理例如，統(tǒng)計(jì)網(wǎng)站(如)過(guò)去一周網(wǎng)頁(yè)訪問(wèn)比例數(shù)據(jù)處理流程數(shù)據(jù)查詢(xún)MapReduce操作數(shù)據(jù)存儲(chǔ)點(diǎn)擊數(shù)據(jù)表統(tǒng)計(jì)數(shù)據(jù)表GFS應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)處理：MapReduceMap操作假設(shè)過(guò)去一周查詢(xún)結(jié)果文件在GFS中包含M個(gè)Chunk，那么Master尋找M個(gè)空閑的Worker，分別處理這M個(gè)Chunk，得到每個(gè)網(wǎng)站中頁(yè)面的訪問(wèn)次數(shù)<com.xxx,aaa.asp><com.yyy,bbb.asp><com.zzz,aaa.asp><com.xxx,bbb.asp><com.xxx,aaa.asp><com.zzz,bbb.asp><com.xxx,<aaa.asp,2><bbb.asp,1>><com.yyy,<bbb.asp,1>><com.zzz,<aaa.asp,1><bbb.asp,1>>應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)處理：MapReduce自動(dòng)排序?qū)個(gè)中間結(jié)果進(jìn)行排序<com.xxx,<aaa.asp,2><bbb.asp,1>><com.yyy,<bbb.asp,1>><com.zzz,<aaa.asp,1><bbb.asp,1>><com.yyy,<ccc.asp,10><ddd.asp,12>><com.xxx,<aaa.asp,100><ccc.asp,10>><com.zzz,<ddd.asp,1><ccc.asp,10>><com.xxx,<aaa.asp,2><bbb.asp,1>><com.xxx,<aaa.asp,100><ccc.asp,10>><com.yyy,<bbb.asp,1>><com.yyy,<ccc.asp,10><ddd.asp,12>><com.zzz,<aaa.asp,1><bbb.asp,1>><com.zzz,<ddd.asp,1><ccc.asp,10>>應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)處理：MapReduceReduce操作假設(shè)得到該網(wǎng)站含N個(gè)網(wǎng)站，那么可以分配N(xiāo)臺(tái)Worker分別處理單個(gè)網(wǎng)站的數(shù)據(jù)<com.xxx,<aaa.asp,2><bbb.asp,1>><com.xxx,<aaa.asp,100><ccc.asp,10>><com.yyy,<bbb.asp,1>><com.yyy,<ccc.asp,10><ddd.asp,12>><com.zzz,<aaa.asp,1><bbb.asp,1>><com.zzz,<ddd.asp,1><ccc.asp,10>><com.xxx,<aaa.asp,0.9027><bbb.asp,0.0088><ccc.asp,0.0885>><com.yyy,<bbb.asp,0.0435><ccc.asp,0.4348><ddd.asp,0.5217>><com.zzz,<aaa.asp,0.0769><bbb.asp,0.0769><ddd.asp,0.0769><ccc.asp,0.7692>>應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)處理寫(xiě)入數(shù)據(jù)應(yīng)用程序?qū)⒎治鼋Y(jié)果寫(xiě)入統(tǒng)計(jì)數(shù)據(jù)表<com.xxx,<aaa.asp,0.9027><bbb.asp,0.0088><ccc.asp,0.0885>><com.yyy,<bbb.asp,0.0435><ccc.asp,0.4348><ddd.asp,0.5217>><com.zzz,<aaa.asp,0.0769><bbb.asp,0.0769><ddd.asp,0.0769><ccc.asp,0.7692>>應(yīng)用場(chǎng)景分析1

——Google網(wǎng)站流量分析數(shù)據(jù)查詢(xún)從數(shù)據(jù)統(tǒng)計(jì)表中查詢(xún)行獲取對(duì)應(yīng)列的數(shù)據(jù)，解析，得到并展示最終結(jié)果數(shù)據(jù)處理是定期的，非實(shí)時(shí)響應(yīng)查詢(xún)<aaa.asp,0.9027><bbb.asp,0.0088><ccc.asp,0.0885>應(yīng)用場(chǎng)景分析2

——Google搜索Google搜索的總體業(yè)務(wù)流程數(shù)據(jù)采集:Spider數(shù)據(jù)整理生成各類(lèi)子表，如音樂(lè)表、生活搜索表、學(xué)術(shù)搜索表等壓縮數(shù)據(jù)表，清洗失效數(shù)據(jù)數(shù)據(jù)檢索應(yīng)用場(chǎng)景分析2

——Google搜索數(shù)據(jù)采集通過(guò)若干Spider在網(wǎng)絡(luò)上搜集數(shù)據(jù)使用BigTable存儲(chǔ)數(shù)據(jù)行鍵：倒排的URL列鍵：網(wǎng)站名稱(chēng)、語(yǔ)言、HTML描述、圖片、鏈接……時(shí)間戳：記錄不同時(shí)刻的網(wǎng)頁(yè)快照應(yīng)用場(chǎng)景分析2

——Google搜索數(shù)據(jù)采集Spider可能的數(shù)據(jù)處理流程Spider獲取到網(wǎng)頁(yè)數(shù)據(jù)從Chubby的元數(shù)據(jù)中找到該URL所處的子表從子表服務(wù)器中尋找對(duì)應(yīng)的行如果該行不存在，則插入新的行讀取網(wǎng)頁(yè)內(nèi)容列，比較新舊數(shù)據(jù)增加時(shí)間戳，標(biāo)識(shí)新數(shù)據(jù)若當(dāng)前時(shí)間戳超過(guò)指定數(shù)目，刪除最舊內(nèi)容處理完畢存在對(duì)應(yīng)行對(duì)應(yīng)行鍵不存在數(shù)據(jù)未變化數(shù)據(jù)發(fā)生變化應(yīng)用場(chǎng)景分析2

——Google搜索數(shù)據(jù)整理Google搜索包括多個(gè)子類(lèi)生活搜索：租房、車(chē)票、酒店等資訊搜索：熱門(mén)新聞、分類(lèi)新聞等學(xué)術(shù)搜索：學(xué)術(shù)論文定期計(jì)算網(wǎng)站評(píng)價(jià)數(shù)據(jù)例如PageRank的計(jì)算具有統(tǒng)一的數(shù)據(jù)來(lái)源使用不同的表存儲(chǔ)數(shù)據(jù)可能使用MapReduce定期刷新數(shù)據(jù)應(yīng)用場(chǎng)景分析2

——Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）應(yīng)用場(chǎng)景分析2

——Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）數(shù)據(jù)抽取尋找包含學(xué)術(shù)（論文）信息的網(wǎng)頁(yè)數(shù)據(jù)，并結(jié)構(gòu)化存儲(chǔ)學(xué)術(shù)（論文）信息抽?。ǚ治鰠⒖嘉墨I(xiàn)、摘要等）可能的技術(shù)方案：MapReduce+BigTable數(shù)據(jù)統(tǒng)計(jì)基于抽取的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析（如分析被引用次數(shù)等）可能的技術(shù)方案MapReduce+BigTable學(xué)術(shù)信息BigTable行鍵：論文標(biāo)題列鍵：作者、主題詞、摘要、參考文獻(xiàn)、期刊信息、被引用次數(shù)、下載鏈接……應(yīng)用場(chǎng)景分析2

——Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）如何使用MapReduce抽取數(shù)據(jù)？生成抽取目標(biāo)（URL）文件將目標(biāo)文件分割為M塊尋找M個(gè)Worker分別做Map處理查詢(xún)網(wǎng)站的網(wǎng)頁(yè)數(shù)據(jù)是否包含論文描述信息抽取論文描述信息，輸出按論文標(biāo)題將輸出排序?qū)⒄撐拿枋鲂畔⒋嫒隑igTable尋找若干Worker做Reduce處理MapReduce自動(dòng)處理自動(dòng)處理應(yīng)用場(chǎng)景分析2

——Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）如何獲取論文統(tǒng)計(jì)數(shù)據(jù)（如論文引用次數(shù)）分析論文信息表，二次MapReduce論文A,參考文獻(xiàn):{論文B,論文C,論文D}論文B,參考文獻(xiàn):{論文Q,論文C,論文A}論文C,參考文獻(xiàn):{論文D,論文H,論文A}論文F,參考文獻(xiàn):{論文A,論文C}論文E,參考文獻(xiàn):{論文S,論文A,論文D}論文S,參考文獻(xiàn):{論文E,論文F}<論文B,1><論文C,1><論文D,1><論文Q,1><論文C,1><