云計(jì)算課堂討論題

1、 如何理解分布式系統(tǒng)中的CAP定理？（一致性、可用性、分區(qū)容錯(cuò)性）CAP原則又稱(chēng)CAP定理，指的是在一個(gè)分布式系統(tǒng)中，Consistency^一致性）、Availability（可用性）、Partitiontolerance（分區(qū)容錯(cuò)性），三者不可得兼。一致性（C）：在分布式系統(tǒng)中的所有數(shù)據(jù)備份，在同一時(shí)刻是否同樣的值。（等同于所有節(jié)點(diǎn)訪問(wèn)同一份最新的數(shù)據(jù)副本），換句話就是說(shuō)，任何時(shí)刻，所用的應(yīng)用程序都能訪問(wèn)得到相同的數(shù)據(jù)?？捎眯裕ˋ）：在集群中一部分節(jié)點(diǎn)故障后，集群整體是否還能響應(yīng)客戶端的讀寫(xiě)請(qǐng)求。（對(duì)數(shù)據(jù)更新具備高可用性），換句話就是說(shuō)，任何時(shí)候，任何應(yīng)用程序都可以讀寫(xiě)數(shù)據(jù)。分區(qū)容錯(cuò)性（P）：以實(shí)際效果而言，分區(qū)相當(dāng)于對(duì)通信的時(shí)限要求。系統(tǒng)如果不能在時(shí)限內(nèi)達(dá)成數(shù)據(jù)一致性，就意味著發(fā)生了分區(qū)的情況，必須就當(dāng)前操作在C和A之間做出選擇，換句話說(shuō)，系統(tǒng)可以跨網(wǎng)絡(luò)分區(qū)線性的伸縮和擴(kuò)展。2、 云計(jì)算平臺(tái)（系統(tǒng)）的核心技術(shù)是虛擬化技術(shù)、服務(wù)計(jì)算（功能服務(wù)化、按需服務(wù)、按需收費(fèi)）、分布式技術(shù)（分布式存儲(chǔ)、分布式計(jì)算一分而治之）。如何理解？虛擬化是云計(jì)算最重要的核心技術(shù)之一，它為云計(jì)算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐，是ICT服務(wù)快速走向云計(jì)算的最主要驅(qū)動(dòng)力。從技術(shù)上講，虛擬化是一種在軟件中仿真計(jì)算機(jī)硬件，以虛擬資源為用戶提供服務(wù)的計(jì)算形式。旨在合理調(diào)配計(jì)算機(jī)資源，使其更高效地提供服務(wù)。它把應(yīng)用系統(tǒng)各硬件間的物理劃分打破，從而實(shí)現(xiàn)架構(gòu)的動(dòng)態(tài)化，實(shí)現(xiàn)物理資源的集中管理和使用。虛擬化的最大好處是增強(qiáng)系統(tǒng)的彈性和靈活性，降低成本、改進(jìn)服務(wù)、提高資源利用效率。服務(wù)計(jì)算（ServiceComputing）泛指以服務(wù)及其組合為基礎(chǔ)構(gòu)造應(yīng)用這一新開(kāi)發(fā)范型相關(guān)的方法、技術(shù)、規(guī)范、理論和支撐環(huán)境分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。3、 Hadoop是開(kāi)源（opensource）的云計(jì)算實(shí)現(xiàn)系統(tǒng)。你如何認(rèn)識(shí)開(kāi)源產(chǎn)品和閉源產(chǎn)品？開(kāi)源是一種生產(chǎn)軟件和發(fā)布軟件的方法。它只是一個(gè)執(zhí)行的范例。開(kāi)源意味著沒(méi)有使用費(fèi)用；只要在幾個(gè)規(guī)則下，你就可以隨意使用，其中包括的發(fā)布規(guī)則在開(kāi)源使用說(shuō)明中已有描述。與閉源代碼產(chǎn)品（如Oracle公司或尤其是微軟公司）不同，其使用許可并不復(fù)雜。使用真正的開(kāi)源代碼，你可以得到使用許可證移動(dòng)性，這意味著云計(jì)算使用許可中的一切。4、 Hadoop系統(tǒng)主要有哪四大模塊?相互關(guān)系如何?作為計(jì)算機(jī)類(lèi)專(zhuān)業(yè)人士，如何利用好Hadoop提供的編程接口進(jìn)行Hadoop平臺(tái)上的二次開(kāi)發(fā)？Hadoop架包括以下四個(gè)模塊:（p182）HadoopCommon這些是其他Hadoop模塊所需的Java庫(kù)和實(shí)用程序。這些庫(kù)提供文件系統(tǒng)和操作系統(tǒng)級(jí)抽象。井包含啟動(dòng)Hadoop所需的Java文件和腳本。HadoopYARN這是一個(gè)用于作業(yè)調(diào)度和集群資源管理的框架。HadoopDistributedFileSystem（HDFS）分布式文件系統(tǒng)，提供時(shí)應(yīng)用程序數(shù)據(jù)的高吞吐量訪間。HadoopMapReduce這是基于YARN的用于并行處理大數(shù)據(jù)集的系統(tǒng)。編程接口：（p202）2018.5.241、Hadoop2.0主要有哪些主要組件?記住主要的六個(gè)組件的功能。HDFS:如果您希望有4000多臺(tái)電腦處理您的數(shù)據(jù)，那么最好將您的數(shù)據(jù)分發(fā)給4000多臺(tái)電腦。HDFS可以幫助您做到這一點(diǎn)。HDFS有幾個(gè)可以移動(dòng)的部件。Datanodes存儲(chǔ)數(shù)據(jù)，Namenode跟蹤存儲(chǔ)的位置。還有其他部件，但這些已經(jīng)足以使您開(kāi)始了。MapReduce:這是一個(gè)面向Hadoop的編程模型。有兩個(gè)階段，毫不意外，它們分別被稱(chēng)為Map和Reduce。如果希望給您的朋友留下深刻的印象，那么告訴他們，Map和Reduce階段之間有一個(gè)隨機(jī)排序。JobTracker管理您的MapReduce作業(yè)的4000多個(gè)組件。TaskTracker從JobTracker接受訂單。如果您喜歡Java，那么用Java編寫(xiě)代碼。如果您喜歡SQL或Java以外的其他語(yǔ)言，您的運(yùn)氣仍然不錯(cuò)，您可以使用一個(gè)名為HadoopStreaming的實(shí)用程序。Hive和Hue:如果您喜歡SQL，您會(huì)很高興聽(tīng)到您可以編寫(xiě)SQL，并使用Hive將其轉(zhuǎn)換為一個(gè)MapReduce作業(yè)。不，您不會(huì)得到一個(gè)完整的ANSI-SQL環(huán)境，但您的確得到了4000個(gè)注釋和多PB級(jí)的可擴(kuò)展性。Hue為您提供了一個(gè)基于瀏覽器的圖形界面，可以完成您的Hive工作。Pig:一個(gè)執(zhí)行MapReduce編碼的更高層次的編程環(huán)境。Pig語(yǔ)言被稱(chēng)為PigLatin。您可能會(huì)發(fā)現(xiàn)其命名約定有點(diǎn)不合常規(guī)，但是您會(huì)得到令人難以置信的性?xún)r(jià)比和高可用性。Oozie:管理Hadoop工作流。這并不能取代您的調(diào)度程序或BPM工具，但它在您的Hadoop作業(yè)中提供if-then-else分支和控制。HBase:一個(gè)超級(jí)可擴(kuò)展的鍵值存儲(chǔ)。它的工作原理非常像持久的散列映射（對(duì)于Python愛(ài)好者，可以認(rèn)為是詞典）。盡管其名稱(chēng)是HBase，但它并不是一個(gè)關(guān)系數(shù)據(jù)庫(kù)。Zookeeper:用于管理集群的同步性。2、 Hadoop部署版分為社區(qū)版和商用版（穩(wěn)定版），有何區(qū)別?主要是商用版有哪些?社區(qū)版Hadoop：Apache發(fā)布的一款支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用并以Apache2.0許可協(xié)議發(fā)布的開(kāi)源軟件框架。它支持在商品硬件構(gòu)建的大型集群上運(yùn)行的應(yīng)用程序;商用版Hadoop：第三方公司在社區(qū)版Hadoop基礎(chǔ)上進(jìn)行了一些修改、整合以及各個(gè)服務(wù)組件兼容性測(cè)試；當(dāng)前hadoop的發(fā)行版本除了Apache的開(kāi)元版本之外，華為發(fā)行版、Intel發(fā)行版以及Cloudera發(fā)行版等。免費(fèi)的發(fā)行版則主要是國(guó)外的，比如Apache的發(fā)行版、Cloudera發(fā)行版等。3、 Zookeeper組件功能如何?工作原理如何？（p223）4、 Zooleeper、Hbase、Hive組件都提供了常用的兩種實(shí)驗(yàn)方法：Shell接口和編程接口。請(qǐng)舉例說(shuō)明。（p225,p230,p237）在計(jì)算機(jī)中，虛擬化（Virtualization）是一種資源管理技術(shù)，是將計(jì)算機(jī)的各種實(shí)體資源，如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲(chǔ)等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來(lái)，打破實(shí)體結(jié)構(gòu)間的不可切割的障礙，使用戶可以比原本的組態(tài)更好的方式來(lái)應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。一般所指的虛擬化資源包括計(jì)算能力和資料存儲(chǔ)。在實(shí)際的生產(chǎn)環(huán)境中，虛擬化技術(shù)主要用來(lái)解決高性能的物理硬件產(chǎn)能過(guò)剩和老的舊的硬件產(chǎn)能過(guò)低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。1、 比較VMware、Xen等虛擬化產(chǎn)品的關(guān)鍵技術(shù)，以及對(duì)云計(jì)算技術(shù)提供的支持。Xen是一個(gè)開(kāi)放源代碼虛擬機(jī)監(jiān)視器，由劍橋大學(xué)開(kāi)發(fā)。Xen的缺點(diǎn)是操作系統(tǒng)必須進(jìn)行顯式地修改（“移植”）以在Xen上運(yùn)行（但是提供對(duì)用戶應(yīng)用的兼容性），所以比較麻煩。使得Xen無(wú)需特殊硬件支持，就能達(dá)到高性能的虛擬化。Linux的官方內(nèi)核在較早之前已經(jīng)去掉了對(duì)Xen的支持。VMWare（VirtualMachineware）是一個(gè)“虛擬PC”虛擬機(jī)管理管理軟件。它的產(chǎn)品可以使你在一臺(tái)機(jī)器上同時(shí)運(yùn)行二個(gè)或更多Windows>DOS、LINUX系統(tǒng)。與“多啟動(dòng)”系統(tǒng)相比，VMWare采用了完全不同的概念。多啟動(dòng)系統(tǒng)在一個(gè)時(shí)刻只能運(yùn)行一個(gè)系統(tǒng)，在系統(tǒng)切換時(shí)需要重新啟動(dòng)機(jī)器。VMWare是真正“同時(shí)”運(yùn)行，多個(gè)操作系統(tǒng)在主系統(tǒng)的平臺(tái)上，就象標(biāo)準(zhǔn)Windows應(yīng)用程序那樣切換。而且每個(gè)操作系統(tǒng)你都可以進(jìn)行虛擬的分區(qū)、配置而不影響真實(shí)硬盤(pán)的數(shù)據(jù)，你甚至可以通過(guò)網(wǎng)卡將幾臺(tái)虛擬機(jī)用網(wǎng)卡連接為一個(gè)局域網(wǎng)，極其方便。安裝在VMware操作系統(tǒng)性能上比直接安裝在硬盤(pán)上的系統(tǒng)低不少，因此，比較適合學(xué)習(xí)和測(cè)試。是否開(kāi)源是否免費(fèi)性能優(yōu)點(diǎn)缺點(diǎn)XEN是是高 1.性能較好。2.開(kāi)源、免費(fèi) 操作復(fù)雜，維護(hù)成本較高，目前已被RedHat拋棄VMWare否否一般相對(duì)比較成熟的商業(yè)軟件，市場(chǎng)占有率較大 不開(kāi)源，需要付費(fèi)2、 服務(wù)器虛擬化有哪些主要底層實(shí)現(xiàn)技術(shù)？（p252）3、虛擬機(jī)遷移的作用？ 簡(jiǎn)述虛擬機(jī)遷移的主要步驟。（p253）4、 主要的開(kāi)源虛擬化平臺(tái)有哪些？你準(zhǔn)備選擇哪一個(gè)作為重點(diǎn)學(xué)習(xí)和構(gòu)建云計(jì)算平臺(tái)？AbiCloud企業(yè)級(jí)開(kāi)源云計(jì)算平臺(tái)、Eucalyptus開(kāi)源云計(jì)算平臺(tái)、10genMongoDB開(kāi)源高性能存儲(chǔ)平臺(tái)、.Enomalism彈性計(jì)算平臺(tái)、云計(jì)算平臺(tái)Nimbus、OpenStack開(kāi)源虛擬化平臺(tái)（p269）1、 Openstack是什么？（p269）OpenStack是一個(gè)開(kāi)源的云計(jì)算管理平臺(tái)項(xiàng)目，由幾個(gè)主要的組件組合起來(lái)完成具體工作。OpenStack支持幾乎所有類(lèi)型的云環(huán)境，項(xiàng)目目標(biāo)是提供實(shí)施簡(jiǎn)單、可大規(guī)模擴(kuò)展、豐富、標(biāo)準(zhǔn)統(tǒng)一的云計(jì)算管理平臺(tái)。OpenStack通過(guò)各種互補(bǔ)的服務(wù)提供了基礎(chǔ)設(shè)施即服務(wù)（IaaS）的解決方案，每個(gè)服務(wù)提供API以進(jìn)行集成。2、Nova、Swift、Glance三者各是什么？有什么關(guān)系？（p272、p282、p291）關(guān)系：（P291）3、什么是分布式系統(tǒng)中的CAP定理？數(shù)據(jù)一致性模型有幾大類(lèi)？如何實(shí)現(xiàn)最終一致性？一致性（C）：在分布式系統(tǒng)中的所有數(shù)據(jù)備份，在同一時(shí)刻是否同樣的值。（等同于所有節(jié)點(diǎn)訪問(wèn)同一份最新的數(shù)據(jù)副本），換句話就是說(shuō)，任何時(shí)刻，所用的應(yīng)用程序都能訪問(wèn)得到相同的數(shù)據(jù)?？捎眯裕ˋ）:在集群中一部分節(jié)點(diǎn)故障后，集群整體是否還能響應(yīng)客戶端的讀寫(xiě)請(qǐng)求。（對(duì)數(shù)據(jù)更新具備高可用性），換句話就是說(shuō)，任何時(shí)候，任何應(yīng)用程序都可以讀寫(xiě)數(shù)據(jù)。分區(qū)容錯(cuò)性（P）：以實(shí)際效果而言，分區(qū)相當(dāng)于對(duì)通信的時(shí)限要求。系統(tǒng)如果不能在時(shí)限內(nèi)達(dá)成數(shù)據(jù)一致性，就意味著發(fā)生了分區(qū)的情況，必須就當(dāng)前操作在C和A之間做出選擇，換句話說(shuō)，系統(tǒng)可以跨網(wǎng)絡(luò)分區(qū)線性的伸縮和擴(kuò)展。常用的一致性模型有：a、嚴(yán)格一致性b、順序一致性c、因果一致性d、管道一致性e、弱一致性f、釋放一致性g、最終一致性h、deltaconsistency最終一致性的幾種具體實(shí)現(xiàn)：1、讀不舊于寫(xiě)一致性2、會(huì)話一致性（3、單讀一致性4、單寫(xiě)一致性5、寫(xiě)不舊于讀一致性4、 什么叫守護(hù)進(jìn)程（daemon）?什么叫Hypervisor?守護(hù)進(jìn)程（daemon）介紹守護(hù)進(jìn)程，也稱(chēng)為精靈進(jìn)程，是一種運(yùn)行在后臺(tái)的特殊進(jìn)程，它不存在控制終端，并周期性地執(zhí)行某項(xiàng)任務(wù)或等待處理某項(xiàng)任務(wù)。Hypervisor是一種運(yùn)行在物理服務(wù)器和操作系統(tǒng)之間的中間軟件層，可允許多個(gè)操作系統(tǒng)和應(yīng)用共享一套基礎(chǔ)物理硬件，因此也可以看作是虛擬環(huán)境中的“元”操作系統(tǒng)，它可以協(xié)調(diào)訪問(wèn)服務(wù)器上的所有物理設(shè)備和虛擬機(jī)，也叫虛擬機(jī)監(jiān)視器（VirtualMachineMonitor）。Hypervisor是所有虛擬化技術(shù)的核心。非中斷地支持多工作負(fù)載遷移的能力是Hypervisor的基本功能。當(dāng)服務(wù)器啟動(dòng)并執(zhí)行Hypervisor時(shí)，它會(huì)給每一臺(tái)虛擬機(jī)分配適量的內(nèi)存、CPU、網(wǎng)絡(luò)和磁盤(pán)，并加載所有虛擬機(jī)的客戶操作系統(tǒng)。相比于行存儲(chǔ)，列存儲(chǔ)有哪些特點(diǎn)優(yōu)點(diǎn)是針對(duì)某個(gè)列中的值進(jìn)行簡(jiǎn)單查詢(xún)的速度非?？?，需要的內(nèi)部存儲(chǔ)資源最少。這表示對(duì)某個(gè)列中特定值的搜索可以直接進(jìn)入該列的存儲(chǔ)區(qū)，而不需要掃描整行的數(shù)據(jù)。這樣也使得數(shù)據(jù)壓縮變得更容易，因?yàn)橐粋€(gè)列中的數(shù)據(jù)通常具有相同的數(shù)據(jù)類(lèi)型。這種體系結(jié)構(gòu)在處理數(shù)據(jù)倉(cāng)庫(kù)使用的海量數(shù)據(jù)時(shí)沒(méi)有問(wèn)題，但不適合需要進(jìn)行大量以行的方式進(jìn)行訪問(wèn)和更新操作的聯(lián)機(jī)事物處理。就是這種數(shù)據(jù)庫(kù)之一。在由一萬(wàn)億行組成的測(cè)試數(shù)據(jù)集中，輸入數(shù)據(jù)共很明顯，這是一種適合數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)。這種技術(shù)雖然在壓縮和快速訪問(wèn)方面有優(yōu)勢(shì)，但也存在插入操作復(fù)雜的缺點(diǎn)。公有地址：由InterNIC（InternetNetworkInformationCenter因特網(wǎng)信息中心）負(fù)責(zé)。這些IP地址分配給注冊(cè)并向InterNIC提出申請(qǐng)的組織機(jī)構(gòu)。通過(guò)它直接訪問(wèn)因特網(wǎng)。私有地址：屬于非注冊(cè)地址，專(zhuān)門(mén)為組織機(jī)構(gòu)內(nèi)部使用。彈《生ip：在EC2啟動(dòng)實(shí)例時(shí)，自動(dòng)地為每個(gè)實(shí)例分配一個(gè)私有IP地址和一個(gè)公共IP地址。地理區(qū)域：按照實(shí)際的地理位置劃分的可用區(qū)域：根據(jù)是否有獨(dú)立的供電系統(tǒng)和冷卻系統(tǒng)等從架構(gòu)上分析hadoop優(yōu)缺點(diǎn)HDFS缺點(diǎn)：1、 不能做到低延遲：由于hadoop針對(duì)高數(shù)據(jù)吞吐量做了優(yōu)化，犧牲了獲取數(shù)據(jù)的延遲，所以對(duì)于低延遲數(shù)據(jù)訪問(wèn)，不適合hadoop，對(duì)于低延遲的訪問(wèn)需求，HBase是更好的選擇，2、 不適合大量的小文件存儲(chǔ)：由于namenode將文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存中，因此該文件系統(tǒng)所能存儲(chǔ)的文件總數(shù)受限于namenode的內(nèi)存容量，根據(jù)經(jīng)驗(yàn)，每個(gè)文件、目錄和數(shù)據(jù)塊的存儲(chǔ)信息大約占150字節(jié)。3、 不適合多用戶寫(xiě)入文件，修改文件：Hadoop2.0雖然支持文件的追加功能，但是還是不建議對(duì)HDFS上的文件進(jìn)行修改，因?yàn)樾实汀?、 對(duì)于上傳到HDFS上的文件，不支持修改文件，HDFS適合一次寫(xiě)入，多次讀取的場(chǎng)景。5、 HDFS不支持多用戶同時(shí)執(zhí)行寫(xiě)操作，即同一時(shí)間，只能有一個(gè)用戶執(zhí)行寫(xiě)操作。二、HDFS優(yōu)點(diǎn)：1、 高可靠生。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴(lài)。2、 高擴(kuò)展性。Hadoop是在可用