云計算技術綜述

-.z云計算技術綜述摘要：云計算是“以互聯網為載體，利用虛擬化等手段整合大規(guī)模分布式可配置的計算資源。使其以效勞的方式提供應用戶，滿足用戶按需使用的計算模式〞，然后從計算模式、科學研究、社會開展等多個維度說明了云計算作為現代計算技術開展的必然產物所具備的開展意義，總結了國外產業(yè)界、學術界、政府機構等在云計算方面的最新研究進展，深入分析了云計算研究過程中的重點和難點，最后指出了云計算未來的開展趨勢。關鍵詞：云計算；虛擬化；海量數據處理引言所謂云計算，簡單地說就是以虛擬化技術為根底，以網絡為載體，以用戶為主體為其提供根底架構"平臺"軟件等效勞為形式，整合大規(guī)?？蓴U展的計算"存儲"數據"應用等分布式計算資源進展協(xié)同工作的超級計算效勞模式虛擬化為云計算實現提供了很好技術支撐，而云計算可以看作是虛擬化技術應用的成果。在過去的幾年里，已經出現了眾多云計算研究開發(fā)小組，如谷歌、微軟、亞馬遜、華為、百度、阿里巴巴、中國電信等知名IT企業(yè)紛紛推出云計算解決方案，同時，國外學術界也紛紛就云計算及其關鍵技術相關理論進展了深層次的研究。本文力圖在對各種云計算定義綜合分析的根底上，提出1個相對系統(tǒng)和綜合的參考性定義，挖掘云計算的技術本質和開展意義，總結國外最新研究進展，剖析研究過程中的重點和難點，指出未來的開展趨勢。1、云計算的涵和本質目前關于云計算的定義已有上百種而維基百科對云計算的定義也在不斷更新，前后版本的差異非常大。據2021年給出的最新定義：云計算是一種能夠將動態(tài)易擴展的虛擬化資源軟件和數據通過互聯網提供應用戶的計算方式，如同電網用電一樣，用戶不需要知道云部的細節(jié)，也不必具有管理那些支持云計算的根底設施。伯克利云計算白皮書的定義：云計算包括互聯網上各種效勞形式的應用以及數據中心中提供這些效勞的軟硬件設施。應用效勞即Saas,而數據中心的軟硬件設施即所謂的云。通過量入為出的方式提供應公眾的云稱為公共云，而不對公眾開放的組織部數據中心的云稱為私有云。美國標準化技術機構NIST定義云計算是一種資源利用模式，它能以方便、友好、按需訪問的方式通過網絡訪問可配置的計算機資源池(例如網絡、效勞器"存儲、應用程序和效勞)，在這種模式中，可以快速供應并以最小的管理代價提供效勞。Sun公司認為，云的類型有很多，而且有很多不同的應用程序可以使用云來構建，由于云計算有助于提高應用程序部署速度，有助于加快創(chuàng)新步伐，因而云計算可能還會初心在我們現在無法想象到的形式。筆者認為：云計算是一種大規(guī)模資源共享模型，它是以虛擬技術為核心技術，以規(guī)模經濟為驅動，以Internet為載體，以用戶為主體，按照用戶需求動態(tài)地提供虛擬化的、可伸縮性的商業(yè)計算模型。云計算是一種效勞模式而不單純是一種技術。在云計算模式下，不同種類的IT效勞按照用戶的需求規(guī)模和要求動態(tài)的構建、運營和維護，用戶一般以即用即付的方式支付其利用資源的費用。網絡中的應用效勞通常被稱作SaaS,二數據中心軟硬件設施即資源池也就是所謂的云?！霸屁暿且恍┛梢宰晕揖S護和管理的虛擬計算資源，通常是一些大型效勞器集群，包括計算效勞器、存儲效勞和寬帶資源等?？傊?，云計算是一種方便的使用方式和效勞模式，通過互聯網按需訪問資源池模型〔例如網絡、效勞器、存儲、應用程序和效勞〕，可以快速和最少的管理工作為用戶提供效勞.云計算是并行計算〔parallelcomputing)、分布式計算〔distributedcomputing)和網格計算〔gridcomputing)等技術的開展.云計算又是虛擬化〔virtualization)、效用計算〔utilitycomputing)的商業(yè)計算模型，它由根底設施即效勞、平臺即效勞和軟件即效勞3種效勞模式,公共云、私有云、社區(qū)云、混合云4種部署模式。云計算的5個根本特點為：按需自助式效勞、廣泛的網絡訪問、資源池、快速彈性使用、可度量的效勞。2、云計算的關鍵技術云計算作為一種新的超級計算方式和效勞模式，以數據為中心，是一種數據密集型的超級計算.它運用了多種計算機技術，其中以編程模型、數據管理、數據存儲、虛擬化和云計算平臺管理等技術最為關鍵.下面分別介紹云計算的一些關鍵技術。2.1編程模型MapReduce作為Google開發(fā)的Java、Python、C++編程模型，是一種簡化的分布式編程和高效的任務調度模型，應用程序編寫人員只需將精力放在應用程序本身，使云計算環(huán)境下的編程十分簡單.而關于集群的處理問題，包括可靠性和可擴展性，則交由平臺來處理MMapReduce模式的思想是通過“Map(映射〕〞和“Reduce(化簡〕〞這樣2個簡單的概念來構成運算根本單元，先通過Map程序將數據切割成不相關的區(qū)塊，分配〔調度〕給大量計算機處理，到達分布式運算的效果，再通過Reduce程序將結果匯整輸出，即可并行處理海量數據。簡單地說，云計算是一種更加靈活、高效、低本錢、節(jié)能的信息運作的全新方式，通過其編程模型可以發(fā)現云計算技術是通過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再由多部效勞器所組成的龐大系統(tǒng)搜索、計算分析之后將處理結果回傳給用戶.通過這項技術,遠程的效勞供應商可以在數秒之，達成處理數以千萬計甚至億計的信息，到達和“超級電腦〞同樣強大性能的網絡效勞。2.2海量數據分布存儲技術云計算系統(tǒng)采用分布式存儲的方式存儲數據，用冗余存儲的方式保證數據的可靠性.云計算系統(tǒng)中廣泛使用的數據存儲系統(tǒng)是Google的GFS和Hadoop團隊開發(fā)的GFS的開源實現HDFSGFS即Google文件系統(tǒng)〔GoogleFileSystem),是個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數據進展訪問的應用GFS的設計思想不同于傳統(tǒng)的文件系統(tǒng)，是針對大規(guī)模數據處理和Google應用特性而設計的.它雖然運行于廉價的普通硬件上，但可以提供容錯功能.它可以給大量的用戶提供總體性能較高的效勞.一個GFS集群由1個主效勞器〔master)和大量的塊效勞器〔chunks-erver)構成，并被許多客戶〔client)訪問111.主效勞器存儲文件系統(tǒng)所有的元數據，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置.它還控制系統(tǒng)活動圍，如塊租約〔lease)管理，孤立塊的垃圾收集，塊效勞器間的塊遷移.主效勞器定期通過心跳〔HeartBeat)消息與每一個塊效勞器通信，并收集它們的狀態(tài)信息。2.3海量數據管理技術海量數據管理是指對大規(guī)模數據的計算、分析和處理，如各種搜索引擎.以互聯網為計算平臺的云計算能夠對分布的、海量的數據進展有效可靠地處理和分析.因此，數據管理技術必需能夠高效地管理大量的數據，通常數據規(guī)模達TB甚至PB級.云計算系統(tǒng)中的數據管理技術主要是Google的BT(BigTable)數據管理技術，以及Hadoop團隊開發(fā)的開源數據管理模塊HBase和Hive,作為基于Ha-doop的開源數據工具〔:*appengine.google.),主要用于存儲和處理海量構造化數據.BT是建立在GFS,Scheduler,LockService和MapReduce的一個大型的分布式數據庫，與傳統(tǒng)的關系數據庫不同，它把所有數據都作為對象來處理，形成一個巨大的表格，用來分布存儲大規(guī)模構造化數據。Google的很多工程使用BT來存儲數據，包括網頁查詢，GoogleEarth和Google金融.這些應用程序對BT的要求各不一樣：數據大小〔從URL到網頁到衛(wèi)星圖像〕不同，反響速度不同〔從后端的大批處理到實時數據效勞〕。對于不同的要求，BT都成功地提供了靈活高效的效勞。2.4虛擬化技術虛擬化(virtualization)技術是云計算系統(tǒng)的核心組成局部之是將各種計算及存儲資源充分整合和高效利用的關鍵技術.云計算的特征主要表達在虛擬化、分布式和動態(tài)可擴展，而虛擬化作為云計算最主要的特點,為云計算環(huán)境搭建起著決定性作用.虛擬化技術是伴隨著計算機技術的產生而出現的,作為云計算的核心技術，扮演著十分重要的角色，提供了全新的數據中心部署和管理方式,為數據中心管理員帶來了高效和可靠的管理體驗，還可以提高數據中心的資源利用率，低功能綠色環(huán)保。通過虛擬化技術，云計算中每一個應用部署的環(huán)境和物理平臺是沒有關系的，通過虛擬平臺進展管理、擴展、遷移、備份，種種操作都通過虛擬化層次完成.虛擬化技術實質是實現軟件應用與底層硬件相隔離，把物理資源轉變?yōu)檫壿嬁晒芾碣Y源E344.目前云計算中虛擬化技術主要包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式.虛擬化技術根據對象可分成存儲虛擬化、計算虛擬化、網絡虛擬化等，計算虛擬化又分為系統(tǒng)級虛擬化、應用級虛擬化和桌面虛擬化。2.5云計算平臺管理技術云計算資源規(guī)模龐大，一個系統(tǒng)效勞器數量眾多〔可能高達10萬臺〕、構造不同并且分布在不同物理地點的數據中心，同時還運行著成千上萬種應用。如何有效地管理云環(huán)境中的這些效勞器，保證整個系統(tǒng)提供不連續(xù)效勞必然是一個巨大的挑戰(zhàn).云計算平臺管理系統(tǒng)可以看作是云計算的“指揮中心〞通過云計算系統(tǒng)的平臺管理技術能夠使大量的效勞器協(xié)同工作，方便地進展業(yè)務部署和開通，快速發(fā)現和恢復系統(tǒng)故障，通過自動化、智能化的手段實現大規(guī)模系統(tǒng)的可靠運營和管理。3云計算應用現狀云計算平臺是一個強大的“云〞網絡，連接了大量并發(fā)的網絡計算和效勞，可利用虛擬化技術擴展每一個效勞器的能力，將各自的資源通過云計算平臺結合起來，提供超級計算和存儲能力.下面就當前云計算相關主要研究團隊和組織的研究進展情況進展比照分析，為云計算相關研究提供參考.3.1國際上相關研究組織目前，國外已經有多個云計算的科學研究工程，非常有名是ScientificCloud16和OpenNebula工程.產業(yè)界也在投入巨資部署各自的云計算系統(tǒng)，參與者主要有Google、Ama-zon、IBM、Microsoft等.國關于云計算的研究也已起步，并在計算機系統(tǒng)虛擬化根底理論與方法研究方面取得了階段性成果.國際上云計算主要研究組織及研發(fā)方向如表1所示.團隊組織商業(yè)工程技術特征核心技術適用圍GoogleAppEngine,包括Google搜索、儲存及運算水平擴大能力平行分散技術，Google各種日?；ヂ摼W應用及GoogleGoogleMaps、GoogleEarth、GoogleAd-MapReduce,開發(fā)者開發(fā)和發(fā)布各種應用sense、Gmail等BigTable,GFS程序‘‘藍云〞IBM云環(huán)境管理解決方案〔企IBM業(yè)私有云〕，IBMLotusLive(會議效勞、辦公協(xié)作月艮務、電子效勞〕，IBMRC2(IBM8大研究機構共同創(chuàng)立的私有云〕整合其所有軟件和硬件效勞網格技術，分布式存儲，動態(tài)負載高性能計算〔汽車和航天工業(yè)模擬計算、生命科學領域染色體組建模等〕Amazon亞馬遜網絡效勞〔彈性計算云EC2、簡單存儲效勞S3、簡單數據庫效勞sim-pleDB、簡單隊歹IJ效勞SQS、彈性MapRe-duce效勞、容推送效勞、電子商務效勞DevPay和FPS)彈性虛擬平臺虛擬技術*en各類企業(yè)在其平臺上搭建應用環(huán)境提供云計算效勞t如在線照片存儲共享SmugMug、在線視頻制作Animoto)應用程序開發(fā)者在云端開發(fā)程MicrosoftAzure平臺提供Microsoft.NET效勞、整合其所有軟件及大型應用軟件開發(fā)序，且運行在微軟云端的應用MicrosoftSQL效勞、Live效勞數據效勞技術程序還是運行在本地的應用程序都可以使用云計算效勞平臺EMC云存儲根底架構EMCAtoms(PB級的信息管理解決方案〕，Mozy針對Mac用戶的在線存儲信息存儲系統(tǒng)和虛擬化Vmware的虛擬化技術，一流的存儲技術向各種規(guī)模的企業(yè)和機構提供自動化網絡存儲解決方案客戶關系管理〔CRM)包括SalesCloud、SalesforceServiceCloud、CustomCloud、CloudPlatformforCRM、CloudInfrastructure彈性可定制商務軟件應用平臺整合技術為企業(yè)提供客戶關系管理(CRM)效勞forCRM提供統(tǒng)一整合的界面來部署在OracleEC2上的Oracle數據庫，軟硬件彈性虛擬Oracle的數據存儲云中任何操作系統(tǒng)上運行的應OracleVM,Sun*VM平臺技術，Sun開源技術用軟件，操作系統(tǒng)包括OpenSolaris、Linu*、Windows3.2國相關研究組織中國移動大云平臺包括數據挖掘、海量數據存儲和彈性計算等，主要用于中國移動的業(yè)務支撐、信息管理和互聯網應用；阿里云提供的計算、存儲和網絡效勞主要用于提供各種電子商務效勞；世紀互聯的彈性云計算已經對外提供效勞，支持多個操作系統(tǒng)、數據庫和編程環(huán)境；友友云開發(fā)的數流平臺(Bitsflow),分布式虛擬存儲系統(tǒng)〔DataCell),網絡計算平臺GAP和系統(tǒng)監(jiān)控管理平臺〔NetVM)主要針對大型企業(yè);華為的云帆方案主要包括云數據中心和針對電信的IDC云。在平臺的文件系統(tǒng)方面，中國移動，阿里巴巴和世紀互聯都是基于Hadoop文件系統(tǒng)HDFS,根據自身需求進展一些改進，而友友提出的DataCellFS。4云計算存在的挑戰(zhàn)與機遇目前，盡管云計算如火如荼的開展著，通過分析知道云計算具有許多優(yōu)點，讓人們看到了IT效勞將成為公共效勞的曙光，但是我們也要清醒地認識到云計算也不是萬能的靈丹妙藥，它仍存在著一些亟待解決的實際問題,如效勞可用性、數據主權與數據隱私問題、平安問題、軟件許可證問題、網絡傳輸問題和可伸縮性存儲等.甚至還有_些專家和學者對云計算持疑心態(tài)度，認為是在炒作概念.為此，需要進一步加強宣傳和應用好云計算產品，為科研生產效勞.本文給出了云計算開展過程中主要存在的一些挑戰(zhàn)問題與機遇。5總結與展望計算作為一項效勞功能是人們長久以來的夢想.隨著微軟吸引人眼球的_句廣告語“Weareallincloud!〞標志著云計算時代的到來，人們長久以來的夢想終將變?yōu)楝F實.從云供應商的觀點出發(fā)，整合效勞器平臺技術能更好地推進云計算根底設施架構的搭建以及大規(guī)模數據中心管理能力的提升，建立合作伙伴的生態(tài)鏈.利用商品化的計算、存儲和網絡低本錢建立大型數據中心使得以低于許多中等規(guī)模的數據中心的價格“即用即付〞的銷售資源成為可能，并且可以利用資源在大量用戶間的復用來獲取利潤.從云用戶的觀點出發(fā)，云計算可以令一個初創(chuàng)的軟件公司像初創(chuàng)的芯片廠商擁有為之效勞的代工廠_樣擁有自己的數據中心.總之，國外對云計算及其虛擬化關鍵技術方面的研究非?；顫?，并開發(fā)了一些相關工具與產品，云計算作為新一代產業(yè)浪潮的重要驅動力，將對經濟社會開展產生深遠的影響。參考文獻[1]MellP,GranceT.TheNISTdefinitionofcloudcomputingR].NationalInstituteofStadardandTechnology,USDepartmentofCommerce,2021[2]SunCorporation.ThewhitepaperoncloudcomputingarchitectureR].2021[3]鵬.云計算技術根底[M].2版.：電子工業(yè)出版社,011LIUPeng.IntroductiontocloudcomputingM].2ndEd.Beijng!PublishingHouseofElectronicsIndustry,2021[4]DeanJ,GhemawatS.MapReduce:SimplifieddataprocessingonlargeclustersJ].CommunicationsoftheACM,2021,51(1):107413[5]王慶波，金滓，何樂，等.虛擬化與云計算[M].：電子工業(yè),010WANGQingbo,JIN*ing,HELe,etal.Virtualizationandcloudcomputing[M].Beijng:PublishingHouseofElectronicsIndustry,2021[6]VMwarevirtualizationtechnology[EB/OL] [2021-0902].:/.vmware.cm/virtualization/what-s-vir-tualization.html10] GoyalA,DadizadehS.AsurveyoncloudcomputingR].TechnicalReportforCS508,2021[11]王鵬.云計算的關鍵技術與應用實例M.：人民郵電,010WANGPeng.Keytechnologyandapplicatione*amplesofcloudcomputing[M].Beijing:Posts&TelecomPress,2021[12]康,緯民.云計算:系統(tǒng)實例與研究現狀J].軟件學報,009,0(5):13374348CHENKang,ZHENGWeimin.Cloudcomputing!SysteminstancesandcurrentresearchJ].JournalofSoftware,2021,20(5