云計算與大數(shù)據(jù)技術(shù)PPT全套完整教學(xué)課件

云計算與大數(shù)據(jù)技術(shù)終稿第1章云計算與大數(shù)據(jù)運(yùn)維概論.pptx終稿第2章Linux操作系統(tǒng).pptx終稿第3章OPENSTACK部署與運(yùn)維.pptx終稿第4章Docker.pptx5大數(shù)據(jù)運(yùn)維導(dǎo)論.pptx6大數(shù)據(jù)運(yùn)維實操01.pptx6大數(shù)據(jù)運(yùn)維實操02.pptx7大數(shù)據(jù)運(yùn)維監(jiān)控.pptx云計算與OpenStack.pptx第1章云計算與大數(shù)據(jù)運(yùn)維概論知識地圖本課目標(biāo)掌握云計算基本概念、相關(guān)技術(shù)掌握云存儲、云計算與大數(shù)據(jù)的關(guān)系了解大數(shù)據(jù)主要技術(shù)及應(yīng)用場景理解云計算與大數(shù)據(jù)二者的區(qū)別和聯(lián)系Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹8網(wǎng)絡(luò)技術(shù)的成熟What’snew?What’simportant?政府政策的推動Thereareboundaries云計算產(chǎn)生背景云計算是傳統(tǒng)計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物云計算的產(chǎn)生離不開互聯(lián)網(wǎng)的助力，更離不開政府政策的推動云計算作為信息技術(shù)領(lǐng)域的一種創(chuàng)新應(yīng)用模式，成為新一代信息技術(shù)發(fā)展與商業(yè)模式變革的核心力量，引起世界各國的廣泛關(guān)注。

傳統(tǒng)的信息化應(yīng)用中，大學(xué)、政府、城市管理多按業(yè)務(wù)量大小、范圍建立屬于自己的獨立的服務(wù)器或數(shù)據(jù)中心，每個本地服務(wù)器需要專門的人進(jìn)行維護(hù)、管理，同時，各獨立業(yè)務(wù)間需要進(jìn)行信息共享時，需要通過互聯(lián)網(wǎng)和本地服務(wù)器的授權(quán)進(jìn)行信息公開，按獨立業(yè)務(wù)應(yīng)用的格式進(jìn)行訪問。而云應(yīng)用時，資源可以整合，避免資源浪費(fèi)云計算產(chǎn)生背景傳統(tǒng)信息化與云應(yīng)用信息化

大學(xué)、政府、城市管理所用服務(wù)器資源都有大量空閑，而在云應(yīng)用時，硬件設(shè)置投入相對減少的情況下，資源得到充分利用。而且只需要一個團(tuán)隊維護(hù)一個云服務(wù)即可。大學(xué)、政府、城市管理只需要按自己需要向云服務(wù)購買自己需要的資源即可云計算產(chǎn)生背景資源共享云計算是繼20世紀(jì)80年代大型計算機(jī)向客戶端/服務(wù)器（C/S）模式大轉(zhuǎn)變后，信息技術(shù)的又一次革命性變化。2006年8月9日，Google首席執(zhí)行官EricSchmidt在搜索引擎大會（SESSanJose2006）上首次提出云計算概念。云計算是網(wǎng)格計算，分布式計算，并行計算、效用技術(shù)、網(wǎng)絡(luò)存儲、虛擬化和負(fù)載均衡等傳統(tǒng)計算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。其目的是通過基于網(wǎng)絡(luò)的計算方式，將共享的軟件/硬件資源和信息進(jìn)行組織整合，按需提供給計算機(jī)和其他系統(tǒng)使用。云計算可以說是互聯(lián)網(wǎng)技術(shù)發(fā)達(dá)的今天，軟硬件技術(shù)、虛擬化技術(shù)、網(wǎng)絡(luò)通信技術(shù)，以及相關(guān)分布式存儲、分布式計算、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等相關(guān)學(xué)科發(fā)展下的必然產(chǎn)物，2009年起世界各國從政策上也給云計算大力扶持，這些都催生了云計算的產(chǎn)生與快速發(fā)展。云計算的產(chǎn)生整合了資源，提升資源利用率，降低企業(yè)硬件建設(shè)及運(yùn)營成本，同時開辟了信息化產(chǎn)業(yè)的新格局。云計算產(chǎn)生背景Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹81.2.1云計算定義1.2.2云能力類型1.2.3云服務(wù)類別1.2.4典型云計算部署模式1.2.5云計算基特征1.2云計算基本概念云計算基本概念——云計算定義云計算的定義有多種說法，細(xì)查起來，出現(xiàn)幾十種上百種說法也不稀奇，但總體來講表達(dá)的涵義極其相似，都在表述云計算基于互聯(lián)網(wǎng)、或伸縮、按用戶需求分配的資源。百度百科：“云計算（CloudComputing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交互模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源?！泵绹鴩覙?biāo)準(zhǔn)與技術(shù)研究院：“云計算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互?！盜SOIEC17788在2014年的《INTERNATIONALSTANDARD》中表述云計算的術(shù)語解釋為“云計算是一種支持網(wǎng)絡(luò)訪問的，將可伸縮、彈性、可共享的物理和虛擬資源池以按需自服務(wù)的方式供應(yīng)和管理”。在維基百科（W）中，截止到2010年7月，“云計算”的詞條被表述為是一種基于互聯(lián)網(wǎng)的計算，在其中共享的資源、軟件和信息以一種按需的方式提供給計算機(jī)和設(shè)備，就如同日常生活中的電網(wǎng)一樣。除此之外，學(xué)術(shù)界的美國國家標(biāo)準(zhǔn)和技術(shù)研究院（NIST）、美國加州大學(xué)伯克利分校（UCBerkeley），企業(yè)界的Gartner、高德納公司、Google、IBM，中國國務(wù)院，以及Google中國前總裁李開復(fù)、云計算專家劉鵬個人對“云計算”這個名詞也提出了相應(yīng)定義的描述方式。云計算基本概念——云能力類型應(yīng)用能力類型基礎(chǔ)設(shè)施能力類型平臺能力類型應(yīng)用能力類型：云服務(wù)客戶能使用云服務(wù)提供者的應(yīng)用的一類云能力類型?；A(chǔ)設(shè)施能力類型：云服務(wù)客戶能配置和使用計算、存儲和網(wǎng)絡(luò)資源的一類云能力類型。平臺能力類型：云服務(wù)客戶能使用云服務(wù)提供者支持的編程語言和執(zhí)行環(huán)境，部署、管理和運(yùn)行客戶創(chuàng)建或客戶獲取的應(yīng)用的一類云能力類型。云計算基本概念——云服務(wù)類別云服務(wù)類別是擁有相同質(zhì)量集的一組云服務(wù)。一種云服務(wù)類別可對應(yīng)一種或多種云能力類型。參考自《云計算標(biāo)準(zhǔn)化白皮書》中描述，典型的云服務(wù)類別包括：通訊即服務(wù)（CaaS）。為云服務(wù)客戶提供實時交互與協(xié)作能力的一種云服務(wù)類別。計算即服務(wù)（CompaaS）。為云服務(wù)客戶提供部署和運(yùn)行軟件所需的配置和使用計算資源能力的一種云服務(wù)類別。數(shù)據(jù)存儲即服務(wù)（DSaaS）。為云服務(wù)客戶提供配置和使用數(shù)據(jù)存儲相關(guān)能力的一種云服務(wù)類別。基礎(chǔ)設(shè)施即服務(wù)（IaaS）。為云服務(wù)客戶提供云能力類型中的基礎(chǔ)設(shè)施能力類型的一種云服務(wù)類別。網(wǎng)絡(luò)即服務(wù)（NaaS）。為云服務(wù)客戶提供傳輸連接和相關(guān)網(wǎng)絡(luò)能力的一種云服務(wù)類別。平臺即服務(wù)（PaaS）。為云服務(wù)客戶提供云能力類型中的平臺能力類型的一種云服務(wù)類別。軟件即服務(wù)（SaaS）。為云服務(wù)客戶提供云能力類型中的應(yīng)用能力類型的一種云服務(wù)類別。云計算基本概念——云服務(wù)類別

以IaaS、PaaS和SaaS應(yīng)用最為廣泛，也是大家比較公認(rèn)的云計算基本模型劃分模式云計算基礎(chǔ)模型示意圖云計算基本概念——云服務(wù)類別

IaaS主要包括計算機(jī)服務(wù)器、通信設(shè)備、存儲設(shè)備等，能夠按需向用戶提供的計算能力、存儲能力或網(wǎng)絡(luò)能力等IT基礎(chǔ)設(shè)施類服務(wù)，也就是能在基礎(chǔ)設(shè)施層面提供的服務(wù)。PaaS定位于通過互聯(lián)網(wǎng)為用戶提供一整套開發(fā)、運(yùn)行和運(yùn)營應(yīng)用軟件的支撐平臺。SaaS模式下，用戶不需要再花費(fèi)大量投資用于硬件、軟件和開發(fā)團(tuán)隊的建設(shè)，只需要支付一定的租賃費(fèi)用，就可以通過互聯(lián)網(wǎng)享受到相應(yīng)的服務(wù)。典型云計算服務(wù)應(yīng)用舉例層次國內(nèi)舉例國際舉例SaaS電子商務(wù)云、中小企業(yè)云、醫(yī)療云、教育云等GoogleApps、SalesforceCRM等PaaSAPP開發(fā)環(huán)境、APP測試環(huán)境、應(yīng)用引擎等GoogleAppEngine、、MicrosoftAzure等IaaS虛擬機(jī)租用服務(wù)、存儲服務(wù)、負(fù)載均衡服務(wù)、防火墻服務(wù)等AmazonEC2、AmazonS3、Rackspacecloudserver等云計算基本概念——典型云計算部署模式

云計算有四類典型的部署模式：公有云、私有云、混合云和社區(qū)云。企業(yè)A與B以“托管式專用”模式，在公有云中申請私有云使用的資源

混合云百度百科描述“社區(qū)云是大的公有云范疇內(nèi)的一個組成部分。是指在一定的地域范圍內(nèi)，由云計算服務(wù)提供商統(tǒng)一提供計算資源、網(wǎng)絡(luò)資源、軟件和服務(wù)能力所形成的云計算形式?！鄙鐓^(qū)云云計算基本概念——云計算基本特征云計算實現(xiàn)了基于網(wǎng)絡(luò)，將資源整合至大量的分布式計算機(jī)上，使企業(yè)、組織或個人等能夠按需申請資源使用權(quán)限，達(dá)到按需訪問計算機(jī)的目的。大體來講，云計算具有如下的特征：廣泛的網(wǎng)絡(luò)接入可測量的服務(wù)多租戶資源池化快速的彈性和可擴(kuò)展性按需自服務(wù)364521Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹81.3.1云計算發(fā)展現(xiàn)狀1.3.2云計算技術(shù)發(fā)展特點1.3.3云計算架構(gòu)1.3.4云計算網(wǎng)絡(luò)與安全1.3云計算技術(shù)

云計算技術(shù)——云計算發(fā)展現(xiàn)狀

自2009年起，世界各國紛紛出臺加快部署、推動云計算產(chǎn)業(yè)的戰(zhàn)略規(guī)劃和相關(guān)政策措施，期望在全球技術(shù)、經(jīng)濟(jì)競爭的格局中占據(jù)最大優(yōu)勢。2015年以IaaS、PaaS和SaaS為代表的典型云服務(wù)市場規(guī)模達(dá)到522.4億美元，增速20.6%，預(yù)計2020年將達(dá)到1435.3億美元，年復(fù)合增長率達(dá)22%，如圖(a)所示。(a)全球云計算市場規(guī)模(b)中國專有云市場規(guī)模及增速(單位:億元人民幣)2015年亞洲云計算市場全球占比12%，保持快速增長，其中印度增速達(dá)35%，中國市場全球占比已由2012年的3.7%上升到5%。金磚國家巴西、俄羅斯、南非云計算市場占有率總和僅3%左右，如圖(b)所示。云計算技術(shù)——云計算技術(shù)發(fā)展特點云計算產(chǎn)生，引領(lǐng)了第三次信息技術(shù)革命，同時帶來了一場技術(shù)上和商業(yè)模式的革命。云計算最終目的可以讓云計算服務(wù)提供商各盡所能，而用戶則可各取所需。云計算建設(shè)中涉及的主要技術(shù)有：虛擬化、數(shù)據(jù)中心的建設(shè)、云存儲、并行計算、用戶交互、安全與隱私。隨著信息化技術(shù)的發(fā)展，云計算技術(shù)發(fā)展產(chǎn)生一些變化。數(shù)據(jù)中心向整合化綠色節(jié)能方向發(fā)展虛擬化技術(shù)向軟硬協(xié)同方向發(fā)展容器技術(shù)成為云計算主流技術(shù)軟硬件協(xié)同設(shè)計是指對系統(tǒng)中的軟硬件部分使用統(tǒng)一的描述和工具進(jìn)行集成開發(fā),可完成全系統(tǒng)的設(shè)計驗證并跨越軟硬件界面進(jìn)行系統(tǒng)優(yōu)化。云計算數(shù)據(jù)中心既要解決如何在短時間內(nèi)快速、高效完成企業(yè)級數(shù)據(jù)中心的擴(kuò)容部署問題，同時要盡量涉足高性能和高可靠性的要求。整合使數(shù)據(jù)中心高效運(yùn)行所需的工具。容器技術(shù)可以在按需構(gòu)建容器技術(shù)操作系統(tǒng)實例的過程當(dāng)中為系統(tǒng)管理員提供極大的靈活性。以Docker為代表的技術(shù)快速迭代。同期，于2014年OpenStack社區(qū)決定開始支持容器和第三方容器支持者。VMware已經(jīng)宣布將支持容器云計算技術(shù)——云計算架構(gòu)云計算架構(gòu)大體分為顯示層、中間層、基礎(chǔ)設(shè)施層和管理層。用于以友好的方式展現(xiàn)用戶所需的內(nèi)容和服務(wù)體驗顯示層中間層基礎(chǔ)設(shè)施層HTMLJavaScriptCSSFlashSilverlight承上啟下，在基礎(chǔ)設(shè)施層資源的基礎(chǔ)上提供多種服務(wù)云計算架構(gòu)管理層REST多租戶并行處理應(yīng)用服務(wù)器分布式緩存給中間件層或者用戶準(zhǔn)備其所需的計算和存儲等資源虛擬化分布式存儲關(guān)系型數(shù)據(jù)庫NoSQL為橫向的三層服務(wù)，并提供多種管理和維護(hù)等方面的技術(shù)帳號管理SLA監(jiān)控計費(fèi)管理安全管理負(fù)載均衡運(yùn)維管理云計算技術(shù)——云計算網(wǎng)絡(luò)與安全云計算網(wǎng)絡(luò)，不管它們是公共的、私有的或是混合的云，都必須能夠在需要時增加和降低帶寬，在存儲網(wǎng)絡(luò)、數(shù)據(jù)中心和LAN之間實現(xiàn)非常低延遲的吞吐能力，允許在服務(wù)器之間實現(xiàn)無阻斷的連接，以支持虛擬機(jī)（VM）的自動遷移。能夠管理面板上的功能能夠延伸到企業(yè)和服務(wù)提供商網(wǎng)絡(luò)中；能在不斷變化的環(huán)境中始終提供可見性。云計算網(wǎng)絡(luò)可以看成三個相互依賴的結(jié)構(gòu)：前端，負(fù)責(zé)連接用戶到應(yīng)用；中間層，實現(xiàn)物理服務(wù)器互聯(lián)和它們的虛擬機(jī)遷移；以及存儲網(wǎng)絡(luò)。較大型的云網(wǎng)絡(luò)可以作為一個2層或3層網(wǎng)絡(luò)創(chuàng)建。云計算網(wǎng)絡(luò)有兩個任務(wù)：將資源池變成一個虛擬資源，然后連接所有位置的用戶到這些資源。云計算安全或云安全指一系列用于保護(hù)云計算數(shù)據(jù)、應(yīng)用和相關(guān)結(jié)構(gòu)的策略、技術(shù)和控制的集合，屬于計算機(jī)安全、網(wǎng)絡(luò)安全的子領(lǐng)域，或更廣泛地說屬于信息安全的子領(lǐng)域。云計算安全可以促進(jìn)云計算創(chuàng)新發(fā)展，將有利于解決投資分散、重復(fù)建設(shè)、產(chǎn)能過剩、資源整合不均和建設(shè)缺乏協(xié)同等很多問題。Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹81.4.1數(shù)據(jù)中心構(gòu)建與管理1.4.2虛擬化技術(shù)1.4.3云計算發(fā)展現(xiàn)狀1.4云存儲云存儲——數(shù)據(jù)中心構(gòu)建與管理數(shù)據(jù)中心是全球協(xié)作的特定設(shè)備網(wǎng)絡(luò)，用來在internet網(wǎng)絡(luò)基礎(chǔ)設(shè)施上傳遞、加速、展示、計算、存儲數(shù)據(jù)信息。維基百科給出的定義是“數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括計算機(jī)系統(tǒng)和其它與之配套的設(shè)備（例如通信和存儲系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置”。一個完整的數(shù)據(jù)中心在其建筑之中，由支撐系統(tǒng)、計算設(shè)備和業(yè)務(wù)信息系統(tǒng)這三個邏輯部分組成。數(shù)據(jù)中心技術(shù)發(fā)展產(chǎn)生一些變化：高密度、綠色化引發(fā)數(shù)據(jù)中心基礎(chǔ)設(shè)施變革。模塊化數(shù)據(jù)中心成為數(shù)據(jù)中心建設(shè)新模式。定制化成為數(shù)據(jù)中心設(shè)施設(shè)備的發(fā)展方向。更高的性能和速度成為數(shù)據(jù)中心IT設(shè)備技術(shù)發(fā)展趨勢。大規(guī)模、高流量加速數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備與技術(shù)演進(jìn)。

云存儲——虛擬化技術(shù)在計算機(jī)中，虛擬化（英語：Virtualization）是一種資源管理技術(shù)，是將計算機(jī)的各種實體資源，如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，打破實體結(jié)構(gòu)間的不可切割的障礙，使用戶可以比原本的組態(tài)更好的方式來應(yīng)用這些資源。這些資源的新虛擬部分是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。一般所指的虛擬化資源包括計算能力和資料存儲。在實際的生產(chǎn)環(huán)境中，虛擬化技術(shù)主要用來解決高性能的物理硬件產(chǎn)能過剩和老的舊的硬件產(chǎn)能過低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。系統(tǒng)虛擬化是指將一臺物理計算機(jī)系統(tǒng)虛擬化為一臺或多臺虛擬計算機(jī)系統(tǒng)。每個虛擬計算機(jī)系統(tǒng)（簡稱虛擬機(jī)）都擁有自己的虛擬硬件（如CPU、內(nèi)存和設(shè)備等），來提供一個獨立的虛擬機(jī)執(zhí)行環(huán)境。系統(tǒng)虛擬化體系結(jié)構(gòu)圖云存儲——虛擬化技術(shù)：系統(tǒng)虛擬化虛擬機(jī)可以看作是物理機(jī)的一種高效隔離的復(fù)制。虛擬機(jī)具有三個典型特征：同質(zhì)、高效和資源受控。同質(zhì)指的是虛擬機(jī)運(yùn)行環(huán)境和物理機(jī)環(huán)境在本質(zhì)上需求是相同的，但是在表現(xiàn)上有一些差異。高效指的是虛擬機(jī)中運(yùn)行的軟件需要具有接近在物理機(jī)上直接運(yùn)行的性能。資源受控指的是VMM需要對系統(tǒng)資源有完全控制能力和管理權(quán)限，包括資源的分配、監(jiān)控和回收。VMM對物理資源的虛擬可以歸結(jié)為三個主要任務(wù)：CPU虛擬化、內(nèi)存虛擬化和I/O虛擬化。CPU虛擬化是VMM中最核心的部分，決定了內(nèi)存虛擬化和I/O虛擬化的正確實現(xiàn)。按照VMM提供的虛擬平臺類型可以將VMM分為兩類：完全虛擬化和半虛擬化。完全虛擬化下，VMM虛擬的是現(xiàn)實存在的平臺。在客戶機(jī)操作系統(tǒng)看來，虛擬的平臺和現(xiàn)實的平臺是一樣的，客戶機(jī)操作系統(tǒng)覺察不到運(yùn)行在一個虛擬平臺上。這樣的虛擬平臺無需對現(xiàn)有的操作系統(tǒng)做任何修改。半虛擬化下，VMM虛擬的平臺在現(xiàn)實中是不存在的。這樣的虛擬平臺需要對客戶機(jī)操作系統(tǒng)進(jìn)行修改使之適應(yīng)虛擬環(huán)境。操作系統(tǒng)知道自己運(yùn)行在虛擬平臺上，并且會主動去適應(yīng)。云存儲——虛擬化技術(shù)：虛擬化資源管理虛擬化資源是云計算中最重要的組成部分之一，對虛擬化資源的管理水平直接影響云計算的可用性、可靠性和安全性。虛擬化資源管理主要包括對虛擬化資源的監(jiān)控、分配和調(diào)度。云資源池中應(yīng)用的需求不斷改變，在線服務(wù)的請求經(jīng)常不可預(yù)測，這種動態(tài)的環(huán)境要求云計算的數(shù)據(jù)中心或計算中心能夠?qū)Ω黝愘Y源進(jìn)行靈活、快速、動態(tài)的按需調(diào)度。云計算中的虛擬化資源與以往的網(wǎng)絡(luò)資源相比，有以下特征：(1)數(shù)量更為巨大；(2)分布更為離散；(3)調(diào)度更為頻繁；(4)安全性要求更高。通過對虛擬化資源的特征分析以及目前網(wǎng)絡(luò)資源管理的現(xiàn)狀，確定虛擬化資源的管理應(yīng)該滿足以下準(zhǔn)則：(1)所有虛擬化資源都是可監(jiān)控和可管理的；(2)請求的參數(shù)是可監(jiān)控的，監(jiān)控結(jié)果可以被證實；(3)通過網(wǎng)絡(luò)標(biāo)簽可以對虛擬化資源進(jìn)行分配和調(diào)度；(4)資源能高效地按需提供服務(wù)；(5)資源具有更高的安全性。在虛擬化資源管理調(diào)度接口方面，表述性狀態(tài)轉(zhuǎn)移（RepresentationalStateTransfer，簡稱REST）有能力成為虛擬化資源管理強(qiáng)有力的支撐。Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹81.5.1云計算與大數(shù)據(jù)的聯(lián)系1.5.2云計算與大數(shù)據(jù)的區(qū)別1.5云計算與大數(shù)據(jù)的關(guān)系云計算與大數(shù)據(jù)的關(guān)系——云計算與大數(shù)據(jù)的聯(lián)系從概念上來講，云計算項目中是否應(yīng)用大數(shù)據(jù)技術(shù)不是必要條件，但目前社會情況，大數(shù)據(jù)已經(jīng)普及，信息量大，互聯(lián)網(wǎng)發(fā)達(dá)，故當(dāng)前社會實際云計算應(yīng)用項目中，基本都離不大數(shù)據(jù)的應(yīng)用。大數(shù)據(jù)主要解決的是分布存儲、分布式計算的問題，是云計算的PaaS層的解決方案之一，并不等同于PaaS。大數(shù)據(jù)項目中應(yīng)用云計算技術(shù)也不是必要條件，只要建立的數(shù)據(jù)中心滿足大數(shù)據(jù)存儲與計算問題就可以啦。同樣當(dāng)前社會的實際形式，互聯(lián)網(wǎng)發(fā)達(dá)，所以大多大數(shù)據(jù)項目中也同樣借助了云計算的知識。云計算與大數(shù)據(jù)的關(guān)系——云計算與大數(shù)據(jù)的區(qū)別云計算更強(qiáng)調(diào)的是資源共享、按需獲取資源的一種業(yè)務(wù)模式，為了建立這樣的模式，需要分布式計算、并行計算、網(wǎng)格計算、多核計算、網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡等傳統(tǒng)計算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)相融合。大數(shù)據(jù)更強(qiáng)調(diào)的是按業(yè)務(wù)需求如何存儲大數(shù)據(jù)和如何計算大數(shù)據(jù)的問題。主要技術(shù)更偏重于分布式存儲、分布式計算、網(wǎng)絡(luò)等相關(guān)的技術(shù)細(xì)枝末節(jié)的研究。Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹81.6.1什么是數(shù)據(jù)1.6.2大數(shù)據(jù)的定義1.6.3大數(shù)據(jù)的基本特征1.6大數(shù)據(jù)的基本概念大數(shù)據(jù)的基本概念——什么是數(shù)據(jù)百度百科中給出數(shù)據(jù)的定義描述”數(shù)據(jù)是指對客觀事件進(jìn)行記錄并可以鑒別的符號，是對客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號或這些物理符號的組合。它是可識別的、抽象的符號?！彼粌H指狹義上的數(shù)字，還可以是具有一定意義的文字、字母、數(shù)字符號的組合、圖形、圖像、視頻、音頻等，也是客觀事物的屬性、數(shù)量、位置及其相互關(guān)系的抽象表示。例如，“0、1、2...`”、“陰、雨、下降、氣溫”“學(xué)生的檔案記錄、貨物的運(yùn)輸情況”等都是數(shù)據(jù)。數(shù)據(jù)經(jīng)過加工后就成為信息。在計算機(jī)科學(xué)中，數(shù)據(jù)是指所有能輸入到計算機(jī)并被計算機(jī)程序處理的符號的介質(zhì)的總稱，是用于輸入電子計算機(jī)進(jìn)行處理，具有一定意義的數(shù)字、字母、符號和模擬量等的通稱?，F(xiàn)在計算機(jī)存儲和處理的對象十分廣泛，表示這些對象的數(shù)據(jù)也隨之變得越來越復(fù)雜。大數(shù)據(jù)的基本概念——大數(shù)據(jù)的定義大數(shù)據(jù)概念早在1980年，著名未來學(xué)家阿爾文?托夫勒提出的概念。2011年，美國著名的咨詢公司麥肯錫（Mckinsey）在研究報告《大數(shù)據(jù)的下一個前沿：創(chuàng)新、競爭和生產(chǎn)力》中給出了大數(shù)據(jù)的定義：大數(shù)據(jù)是指大小超出了典型數(shù)據(jù)庫軟件工具收集、存儲、管理和分析能力的數(shù)據(jù)集。根據(jù)Gartner的定義，大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。美國國家標(biāo)準(zhǔn)技術(shù)研究所（NationalInstituteofStandardsandTechnology，NIST）的大數(shù)據(jù)工作組在《大數(shù)據(jù)：定義和分類》中認(rèn)為：大數(shù)據(jù)是指那些傳統(tǒng)數(shù)據(jù)架構(gòu)無法有效地處理的新數(shù)據(jù)集。因此，采用新的架構(gòu)來高效率完成數(shù)據(jù)處理，這些數(shù)據(jù)集特征包括：容量、數(shù)據(jù)類型的多樣性、多個領(lǐng)域數(shù)據(jù)的差異性、數(shù)據(jù)的動態(tài)特征（速度或流動率，可變性）。維基百科（Wikipedia）給出的定義是：大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息。百度百科給出的定義是：大數(shù)據(jù)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)的基本概念——大數(shù)據(jù)的定義亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）、大數(shù)據(jù)科學(xué)家JohnRauser在2011年提到一個簡單的大數(shù)據(jù)定義：任何超過了一臺計算機(jī)處理能力的龐大數(shù)據(jù)量。EMC公司給出的定義是：數(shù)據(jù)集或信息，它的規(guī)模、發(fā)布、位置在不同的孤島上，或它的時間線要求客戶部署新的架構(gòu)來捕捉、存儲、整合、管理和分析這些信息以便實現(xiàn)企業(yè)價值。國內(nèi)普遍的理解：具有數(shù)量巨大、來源多樣、生成極快、且多變等特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大量數(shù)據(jù)集的數(shù)據(jù)。因此，從以上不同的大數(shù)據(jù)定義可以看出，大數(shù)據(jù)的內(nèi)涵不僅僅是數(shù)據(jù)本身，還包括大數(shù)據(jù)技術(shù)以及大數(shù)據(jù)應(yīng)用。從數(shù)據(jù)本身角度而言，大數(shù)據(jù)是指大小、形態(tài)超出典型數(shù)據(jù)管理系統(tǒng)采集、儲存、管理和分析等能力的大規(guī)模數(shù)據(jù)集，而且這些數(shù)據(jù)之間存在著直接或間接的關(guān)聯(lián)性，通過大數(shù)據(jù)技術(shù)可以從中挖掘出模式與知識。大數(shù)據(jù)技術(shù)是使大數(shù)據(jù)中所蘊(yùn)含的價值得以挖掘和展現(xiàn)的一系列技術(shù)與方法，包括數(shù)據(jù)采集、預(yù)處理、存儲、分析挖掘、可視化等。大數(shù)據(jù)應(yīng)用，是對特定的大數(shù)據(jù)集、集成應(yīng)用大數(shù)據(jù)系列技術(shù)與方法，獲得有價值信息的過程。大數(shù)據(jù)技術(shù)的研究與突破，其最終目標(biāo)就是從復(fù)雜的數(shù)據(jù)集中發(fā)現(xiàn)新的模式與知識，挖掘得到有價值的新信息。大數(shù)據(jù)的基本概念——大數(shù)據(jù)的基本特征

對大數(shù)據(jù)的完整理解應(yīng)包含三個方面：數(shù)據(jù)特征、技術(shù)特征與應(yīng)用特征。對于大數(shù)據(jù)的數(shù)據(jù)特征，業(yè)界通常引用國際數(shù)據(jù)公司IDC定義的4V來描述。阿姆斯特丹大學(xué)的YuriDemchenko等人提出了大數(shù)據(jù)體系架構(gòu)框架的5V特征，如圖所示，它在上述4V的基礎(chǔ)上，增加了真實性（Veracity）特征。大數(shù)據(jù)的基本特征Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹81.7.1大數(shù)據(jù)采集1.7.2大數(shù)據(jù)存儲技術(shù)1.7.3大數(shù)據(jù)計算技術(shù)1.7.4大數(shù)據(jù)分析1.7.5大數(shù)據(jù)可視化1.7.6大數(shù)據(jù)平臺監(jiān)控1.7.7大數(shù)據(jù)平臺運(yùn)維1.7大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)——大數(shù)據(jù)采集數(shù)據(jù)采集（有時縮寫為DAQ或DAS），又稱為“數(shù)據(jù)獲取”或“數(shù)據(jù)收集”，是指對現(xiàn)實世界進(jìn)行采樣，以便產(chǎn)生可供計算機(jī)處理的數(shù)據(jù)的過程。通常，數(shù)據(jù)采集過程之中包括為了獲得所需信息，對于信號和波形進(jìn)行采集并對它們加以處理的步驟。數(shù)據(jù)采集系統(tǒng)的組成元件當(dāng)中包括用于將測量參數(shù)轉(zhuǎn)換成為電信號的傳感器，而這些電信號則是由數(shù)據(jù)采集硬件來負(fù)責(zé)獲取的。Data大數(shù)據(jù)技術(shù)——大數(shù)據(jù)存儲技術(shù)單機(jī)存儲系統(tǒng)存儲的數(shù)據(jù)量較小，且單機(jī)存儲引擎多采取哈希表、B樹等數(shù)據(jù)結(jié)構(gòu)在機(jī)械磁盤、SSD等持久化介質(zhì)上的實現(xiàn)。而且單機(jī)存儲系統(tǒng)的理論主要來源于具備ACID屬性的關(guān)系型數(shù)據(jù)庫，難以滿足大數(shù)據(jù)下可伸縮性、容錯性、可擴(kuò)展性、低成本的需求。InternetClientServerServer分布式存儲系統(tǒng)是將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展，是大數(shù)據(jù)存儲應(yīng)用的主要模型形式。大數(shù)據(jù)技術(shù)——大數(shù)據(jù)計算技術(shù)大數(shù)據(jù)分析計算是大數(shù)據(jù)處理平臺的核心功能，主要通過分布式計算框架來實現(xiàn)。針對數(shù)據(jù)分析計算的分布式計算框架不僅要提供高效的計算模型和簡單的編程接口，而且要有很好的可擴(kuò)展性、容錯能力和高效可靠的輸入輸出（I/O），以滿足大數(shù)據(jù)處理的需求?？蓴U(kuò)展性是指系統(tǒng)能夠通過增加資源來滿足不斷增加的對性能和功能需求的能力。計算框架的可擴(kuò)展性決定了其可計算規(guī)模和計算并發(fā)度等重要指標(biāo)。容錯和自動恢復(fù)是指系統(tǒng)考慮底層硬件和軟件的不可靠性，支持出現(xiàn)錯誤后自動恢復(fù)的能力。高效可靠的輸入輸出能夠緩解數(shù)據(jù)訪問的瓶頸問題，以提高任務(wù)的執(zhí)行效率和計算資源的利用率。除了以上一些共性之外，針對不同類型的大數(shù)據(jù)，還需要一些專用的計算框架。根據(jù)數(shù)據(jù)的特性，常見的大數(shù)據(jù)有三種不同的類型：批量大數(shù)據(jù)、流式大數(shù)據(jù)和大規(guī)模圖數(shù)據(jù)。批量大數(shù)據(jù)主要是指靜態(tài)的大體量的數(shù)據(jù)。這些數(shù)據(jù)在計算前已經(jīng)獲取并保存，且在計算過程中不會發(fā)生變化。流式大數(shù)據(jù)主要是指按時間順序無限增加的數(shù)據(jù)序列。這是一種動態(tài)數(shù)據(jù)，在計算前元法預(yù)知數(shù)據(jù)的到來時刻和到來順序，也無法預(yù)先將數(shù)據(jù)進(jìn)行存儲。大規(guī)模圖數(shù)據(jù)是指大規(guī)模的圖結(jié)構(gòu)數(shù)據(jù)，例如：互聯(lián)網(wǎng)的頁面鏈接圖、社交網(wǎng)絡(luò)圖等。由于圖數(shù)據(jù)存在較強(qiáng)的局部依賴性，使得圖計算具有局部更新和迭代計算的特性。大數(shù)據(jù)技術(shù)——大數(shù)據(jù)分析AnalyticVisualizations（可視化分析）：不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。1PredictiveAnalyticCapabilities（預(yù)測性分析能力）：數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。3SemanticEngines（語義引擎）：我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計成能夠從“文檔”中智能提取信息。4DataQualityandMasterDataManagement（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）：數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實踐。通過標(biāo)準(zhǔn)化的流程和工具對數(shù)據(jù)進(jìn)行處理可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果。5數(shù)據(jù)存儲，數(shù)據(jù)倉庫：數(shù)據(jù)倉庫是為了便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲所建立起來的關(guān)系型數(shù)據(jù)庫。6DataMiningAlgorithms（數(shù)據(jù)挖掘算法）：可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。21231230CLICKTOADDCONTENTSCONTENTSCONTENTSTEXTTEXT大數(shù)據(jù)技術(shù)——大數(shù)據(jù)可視化數(shù)據(jù)可視化主要旨在借助于圖形化手段，清晰有效地傳達(dá)與溝通信息。數(shù)據(jù)可視化技術(shù)的基本思想，是將數(shù)據(jù)庫中每一個數(shù)據(jù)項作為單個圖元元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時將數(shù)據(jù)的各個屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對數(shù)據(jù)進(jìn)行更深入的觀察和分析。數(shù)據(jù)可視化主要是借助于圖形化手段，清晰有效地傳達(dá)與溝通信息。數(shù)據(jù)可視化與信息圖形、信息可視化、科學(xué)可視化以及統(tǒng)計圖形密切相關(guān)。數(shù)據(jù)可視化技術(shù)包含以下幾個基本概念：①數(shù)據(jù)空間：是由n維屬性和m個元素組成的數(shù)據(jù)集所構(gòu)成的多維信息空間；②數(shù)據(jù)開發(fā)：是指利用一定的算法和工具對數(shù)據(jù)進(jìn)行定量的推演和計算；③數(shù)據(jù)分析：指對多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等動作剖析數(shù)據(jù)，從而能多角度多側(cè)面觀察數(shù)據(jù)；④數(shù)據(jù)可視化：是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。大數(shù)據(jù)技術(shù)——大數(shù)據(jù)平臺監(jiān)控大數(shù)據(jù)計算機(jī)系統(tǒng)的監(jiān)控為系統(tǒng)的運(yùn)維提供了數(shù)據(jù)基礎(chǔ)，常常從系統(tǒng)的硬件展開，同時兼顧大數(shù)據(jù)系統(tǒng)的網(wǎng)絡(luò)環(huán)境、配置環(huán)境、計算框架、上層服務(wù)等諸多層次。以便用戶及時通過監(jiān)控發(fā)現(xiàn)大數(shù)據(jù)平臺潛在的問題，并能及時告警?？梢哉f，大數(shù)據(jù)平臺監(jiān)控是故障診斷和分析的重要輔助利器，同樣監(jiān)控系統(tǒng)對大數(shù)據(jù)平臺重要性不言而喻。在發(fā)生事故之前就能預(yù)警，最大限度降低系統(tǒng)故障率，是監(jiān)控的終極目標(biāo)和價值體現(xiàn)。大數(shù)據(jù)技術(shù)——大數(shù)據(jù)平臺運(yùn)維大數(shù)據(jù)運(yùn)維主要從大數(shù)據(jù)系統(tǒng)的基礎(chǔ)服務(wù)傳輸系統(tǒng)、計算調(diào)度以及存儲系統(tǒng)層面開始考慮。運(yùn)維系統(tǒng)中的批量作業(yè)平臺，要解決運(yùn)維中高頻的批處理任務(wù)，確保穩(wěn)定性和可靠性，盡量引入原生支持的組件，減少開發(fā)的工作量。而這些工作的展開離不開大數(shù)據(jù)平臺監(jiān)控指標(biāo)值帶來的信息參考，可以說，大數(shù)據(jù)平臺運(yùn)維與大數(shù)據(jù)平臺監(jiān)控是不可分割的有機(jī)整體，監(jiān)控為系統(tǒng)的運(yùn)維提供了數(shù)據(jù)基礎(chǔ)，運(yùn)維又提升了系統(tǒng)監(jiān)控的意義。Coursecatalogue課程目錄云計算產(chǎn)生背景1云計算基本概念2云計算技術(shù)3云存儲4云計算與大數(shù)據(jù)的關(guān)系5大數(shù)據(jù)的基本概念6大數(shù)據(jù)技術(shù)7應(yīng)用場景介紹8應(yīng)用場景介紹美國華爾街“德溫特資本市場”公司首席執(zhí)行官保羅?霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進(jìn)而判斷民眾情緒，再以“1”到“50”進(jìn)行打分。根據(jù)打分結(jié)果，霍廷再決定如何處理手中數(shù)以百萬美元計的股票。國際商用機(jī)器公司（IBM）估測，這些“數(shù)據(jù)”值錢的地方主要在于時效。對于片刻便能定輸贏的華爾街，這一時效至關(guān)重要。曾經(jīng)，華爾街2%的企業(yè)搜集微博等平臺的“非正式”數(shù)據(jù)；如今，接近半數(shù)企業(yè)采用了這種手段。還有亞馬遜、Facebook、Twitter的大數(shù)據(jù)應(yīng)用，都取得了成功。應(yīng)用場景介紹針對國內(nèi)，人們熟悉的淘寶、京東等應(yīng)用，取得了大數(shù)據(jù)巨大成功的應(yīng)用。在城市建設(shè)上也有不同程度的應(yīng)用。例如徐州智慧城市信息資源工程項目中，政務(wù)信息有效數(shù)據(jù)新源的最歸集處理。通過數(shù)據(jù)交換服務(wù)、數(shù)據(jù)管理服務(wù)、數(shù)據(jù)監(jiān)控服務(wù)、信息資產(chǎn)管理服務(wù)、大數(shù)據(jù)分析展示服務(wù)，有效歸集和使用人口基礎(chǔ)信息庫，法人基礎(chǔ)信息庫、自然資源與空間地址信息庫、宏觀經(jīng)濟(jì)基礎(chǔ)信息庫。昆明國家經(jīng)濟(jì)技術(shù)開發(fā)區(qū)城市智能運(yùn)營中心項目，定位從城市系統(tǒng)性的視角出發(fā)，通過城市動態(tài)連接、感知、分析、反應(yīng)城市各個角落的狀態(tài)，通過預(yù)警預(yù)報、自動控制、數(shù)據(jù)決策等形式，影射與服務(wù)實體城市管理的需要。金融領(lǐng)域的“勤智.數(shù)控金融”互聯(lián)網(wǎng)金融監(jiān)管大數(shù)據(jù)平臺已運(yùn)行超過15054小時，擁有超過200個分析模型，超過400張報表，具備300多個流程上百個角色，已經(jīng)產(chǎn)生超過7000多項數(shù)據(jù)項。制造業(yè)的長安汽車智能制造技術(shù)研究所沖壓質(zhì)量大數(shù)據(jù)項目，通過建設(shè)大數(shù)據(jù)存儲與處理平臺，實現(xiàn)了工廠沖壓車間的所有設(shè)備、模具、材料、生產(chǎn)制造過程數(shù)據(jù)、質(zhì)量檢驗數(shù)據(jù)的集成、存儲與統(tǒng)一管控。借助統(tǒng)計學(xué)、計算機(jī)科學(xué)、機(jī)器學(xué)習(xí)等學(xué)科，對數(shù)據(jù)進(jìn)行統(tǒng)計分析，為沖壓制造過程工藝優(yōu)化和質(zhì)量把控提供支持，為實現(xiàn)沖壓產(chǎn)品質(zhì)量的精確控制和優(yōu)化提升提供確實的理論依據(jù)與參考。本章小結(jié)本章介紹了云計算與大數(shù)據(jù)基本概念，，并指出二者之間相互的聯(lián)系與區(qū)別，大數(shù)據(jù)是云計算PaaS層的解決方案之一，并不等同于PaaS。云計算更偏重于業(yè)務(wù)模型，而大數(shù)據(jù)更偏重于對大數(shù)據(jù)的存儲與計算的相關(guān)技術(shù)。云計算通過背景介紹，云計算定義、能力類型、部署模式和基本特征的描述，幫助學(xué)生理解云計算的基本概念，為后面云計算相關(guān)架構(gòu)、網(wǎng)絡(luò)安全、數(shù)據(jù)中心構(gòu)建、虛擬化等技術(shù)的學(xué)習(xí)有個清醒的基本理論認(rèn)知。通過云計算與大數(shù)據(jù)的關(guān)系，引出大數(shù)據(jù)的基本知識點，大數(shù)據(jù)的定義、基本特征及相關(guān)技術(shù)，使學(xué)生掌握大數(shù)據(jù)的基本知識點，為后面章節(jié)的學(xué)習(xí)打下基礎(chǔ)。結(jié)束謝謝第2章Linux操作系統(tǒng)知識地圖本課目標(biāo)掌握操作系統(tǒng)的基本概念具備Centos獨立安裝能力掌握Linux用戶與組的管理掌握文件系統(tǒng)的操作與管理與應(yīng)用掌握Shell運(yùn)用、進(jìn)程和網(wǎng)絡(luò)的管理Coursecatalogue課程目錄Linux系統(tǒng)的安裝與基本配置1Linux用戶與組的管理2Linux文件管理3Shell的運(yùn)用4Linux進(jìn)程管理5Linux網(wǎng)絡(luò)管理62.1.1操作系統(tǒng)的作用2.1.2Linux操作系統(tǒng)2.1.3實踐任務(wù)：Centos7.4的安裝與配置2.1.4磁盤分區(qū)2.1.6Swap（交換分區(qū)）2.1Linux系統(tǒng)的安裝與基本配置操作系統(tǒng)的作用

操作系統(tǒng)是由特定語言編寫的計算程序，用于管理計算機(jī)硬件與軟件資源。操作系統(tǒng)處于計算機(jī)硬件及應(yīng)用軟件之間，架起了硬件與軟件兩者之間溝通的橋梁，如圖所示操作系統(tǒng)功能典型示意圖Linux操作系統(tǒng)Linux是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)，是一個基于POSIX和UNIX的多用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。它能運(yùn)行主要的UNIX工具軟件、應(yīng)用程序和網(wǎng)絡(luò)協(xié)議。它支持32位和64位硬件。Linux繼承了Unix以網(wǎng)絡(luò)為核心的設(shè)計思想，是一個性能穩(wěn)定的多用戶網(wǎng)絡(luò)操作系統(tǒng)。Linux最初由芬蘭大學(xué)生LinusBenedictTorvalds發(fā)起，后來陸續(xù)加入的眾多愛好者共同開發(fā)完成。Linus于1991年4月13日在comp.os.minix上發(fā)布說自己已經(jīng)成功地將bash移植到了minix上。1991年10月5日上午11時53分，芬蘭大學(xué)生LinusTorvalds在comp.os.minix新聞群組上發(fā)表帖子“Freeminix-likekernelsourcesfor386-AT”,標(biāo)志了Linux操作系統(tǒng)的誕生。1991年年底，LinuxTorvalds公開了Linux內(nèi)核源碼0.02版，這個版本已經(jīng)可以運(yùn)行g(shù)cc、bash和很少的一些應(yīng)用程序。Linux操作系統(tǒng)Linux操作系統(tǒng)的誕生和成長，依賴于UNIX操作系統(tǒng)、MINIX操作系統(tǒng)、GNU計劃、POSIX標(biāo)準(zhǔn)和Internet網(wǎng)絡(luò)五個重要的技術(shù)。UNIX操作系統(tǒng)，最早由KenThompson、DennisRitchie和DouglasMcIlroy于1969年在AT&T的貝爾實驗室開發(fā)。于1972年用C語言進(jìn)行了改寫，使得UNIX系統(tǒng)在大專院校得到了推廣。MINIX系統(tǒng)最初是由荷蘭的AndrewS.Tanenbaum（AST）于1987年編制開發(fā)，Minix的名稱取自英語MiniUNIX，是一個迷你版本的類Unix操作系統(tǒng)(約300MB)，主要用于學(xué)生學(xué)習(xí)操作系統(tǒng)原理。Linux的創(chuàng)始人Linus在學(xué)習(xí)MINIX時，自己開發(fā)一個操作系統(tǒng)，即Linux。GNU是自由的操作系統(tǒng)，其內(nèi)容完全以GPL方式發(fā)布。GNU的設(shè)計類似Unix，不包含具著作權(quán)的Unix代碼。POSIX（PortableOperatingSystemInterfaceofUNIX，縮寫為POSIX）表示可移植操作系統(tǒng)接口，POSIX標(biāo)準(zhǔn)定義了操作系統(tǒng)應(yīng)該為應(yīng)用程序提供的接口標(biāo)準(zhǔn)，是IEEE為要在各種UNIX操作系統(tǒng)上運(yùn)行的軟件而定義的一系列API標(biāo)準(zhǔn)的總稱，其正式稱呼為IEEE1003，而國際標(biāo)準(zhǔn)名稱為ISO/IEC9945。POSIX標(biāo)準(zhǔn)意在期望獲得源代碼級別的軟件可移植性。Internet網(wǎng)絡(luò)為Linux開發(fā)過程中的交流，以及后期的發(fā)展提供了信息和資源的交流平臺。Linux操作系統(tǒng)

Linux在1999年發(fā)行中文版，這之后，基于服務(wù)平臺、個人桌面用戶以及大數(shù)據(jù)平臺不或或缺的操作系統(tǒng)。發(fā)展至今，Linux存在著許多不同的Linux版本，但它們都使用了Linux內(nèi)核。Linux可安裝在各種計算機(jī)硬件設(shè)備中，比如手機(jī)、平板電腦、路由器、視頻游戲控制臺、臺式計算機(jī)、大型機(jī)和超級計算機(jī)等。Linux發(fā)展歷程Linux操作系統(tǒng)Linux這個詞本身只表示Linux內(nèi)核，但人們已經(jīng)習(xí)慣稱基于Linux內(nèi)核的操作系統(tǒng)為Linux，Linux之所以應(yīng)用越來越廣泛，與其自己的特點分不開。開源免費(fèi)：用戶可以通過網(wǎng)絡(luò)或其他途徑免費(fèi)獲得并可以任意修改其源代碼，而且Linux系統(tǒng)上有著大量免費(fèi)可用的軟件，例如Apache、PHP、MySQL等。多用戶多任務(wù)：Linux可以使多個程序同時并行獨立地運(yùn)行，而且支持多個用戶對于自己的文件設(shè)備有自己特殊的權(quán)利，保證了各用戶之間互不影響。良好的界面：Linux桌面近年來越來越美觀豐富，接近于Windows，方便用戶快速學(xué)習(xí)和使用。可移植性：Linux支持幾乎所有的CPU平臺，可以將其安裝至U盤、移動硬件等存儲介質(zhì)，或運(yùn)行在多種硬件平臺上，例如X86嵌入式的系統(tǒng)。支持幾乎所有通用的網(wǎng)絡(luò)協(xié)議，例如TCP/IP等。同時，Linux支持幾乎所有的常用的開發(fā)語言，例如C++、Java、PHP等。Linux操作系統(tǒng)

Linux體系結(jié)構(gòu)，如圖所示，分為用戶層、內(nèi)核層和硬件層。其中系統(tǒng)硬件，嚴(yán)格講，并不屬于Linux操作系統(tǒng)范疇，它負(fù)責(zé)通過硬件控制程序向Linux操作系統(tǒng)提供硬件資料。Linux模塊實踐任務(wù)：Centos7.4的安裝與配置磁盤分區(qū)Linux磁盤的分區(qū)主要分為基本分區(qū)（primarypartion）和擴(kuò)充分區(qū)(extensionpartion)兩種。其中，基本分區(qū)即刻可以應(yīng)用且不能再分區(qū)，而擴(kuò)充分區(qū)需要進(jìn)行再次分區(qū)后方可使用，且擴(kuò)展分區(qū)再次分區(qū)稱為邏輯分區(qū)（logicalpartion），且邏輯分區(qū)沒有數(shù)量上限制。本分區(qū)和擴(kuò)充分區(qū)的數(shù)目之和不能大于四個。在Linux系統(tǒng)中，可以說一切皆文件，硬件設(shè)備也都將映射至文件中，對于硬盤、或SCSI設(shè)備等都不例外。針對不同的設(shè)備，分區(qū)的格式可能存在不同。hdx（x為從a~d）：是IDE設(shè)備驅(qū)動器標(biāo)識符，“hd”表明分區(qū)設(shè)備的類型，“x”為盤號（a：基本盤，b：基本從屬盤，c：輔助主盤，d：輔助從屬盤）,“~”代表分區(qū)，數(shù)字1到4表示主分區(qū)或擴(kuò)展分區(qū)，從5開始就是邏輯分區(qū)。例，hda3表示為第一個IDE硬盤上的第三個主分區(qū)或擴(kuò)展分區(qū)。sdx（x為a~z）：SCSI，SATA，USB設(shè)備驅(qū)動器標(biāo)識符。xvdx（x為a~z）：Xen虛擬機(jī)硬盤設(shè)備驅(qū)動器標(biāo)識符。磁盤分區(qū)1.Fdisk查看當(dāng)前磁盤分區(qū)，包括沒有掛上的分區(qū)和設(shè)備[root@localhost~]#fdisk-l磁盤/dev/sda：64.4GB,64424509440字節(jié)，125829120個扇區(qū)Units=扇區(qū)of1*512=512bytes扇區(qū)大小(邏輯/物理)：512字節(jié)/512字節(jié)I/O大小(最小/最佳)：512字節(jié)/512字節(jié)磁盤標(biāo)簽類型：dos磁盤標(biāo)識符：0x000eb81b設(shè)備BootStartEndBlocksIdSystem/dev/sda1*20482099199104857683Linux/dev/sda22099200125829119618649608eLinuxLVM磁盤/dev/mapper/centos-root：41.1GB,41120956416字節(jié)，80314368個扇區(qū)Units=扇區(qū)of1*512=512bytes扇區(qū)大小(邏輯/物理)：512字節(jié)/512字節(jié)I/O大小(最小/最佳)：512字節(jié)/512字節(jié)磁盤/dev/mapper/centos-swap：2147MB,2147483648字節(jié)，4194304個扇區(qū)Units=扇區(qū)of1*512=512bytes扇區(qū)大小(邏輯/物理)：512字節(jié)/512字節(jié)I/O大小(最小/最佳)：512字節(jié)/512字節(jié)磁盤/dev/mapper/centos-home：20.1GB,20073938944字節(jié)，39206912個扇區(qū)Units=扇區(qū)of1*512=512bytes扇區(qū)大小(邏輯/物理)：512字節(jié)/512字節(jié)I/O大小(最小/最佳)：512字節(jié)/512字節(jié)磁盤分區(qū)2.查看當(dāng)前磁盤分區(qū)與目錄掛載的關(guān)系的[root@localhost~]#df-h文件系統(tǒng)容量已用可用已用%掛載點/dev/mapper/centos-root39G3.8G35G10%/devtmpfs473M0473M0%/devtmpfs489M0489M0%/dev/shmtmpfs489M7.2M482M2%/runtmpfs489M0489M0%/sys/fs/cgroup/dev/sda11014M162M853M16%/boot/dev/mapper/centos-home19G40M19G1%/hometmpfs98M4.0K98M1%/run/user/42tmpfs98M28K98M1%/run/user/1000/dev/sr08.1G8.1G0100%/run/media/user/CentOS7x86_64其中文件系統(tǒng)記錄磁盤分區(qū)文件，掛載點，記錄目錄與磁盤分區(qū)對應(yīng)關(guān)系。例如掛載點/boot對應(yīng)文件系統(tǒng)/dev/sda1，說明所有寫在/boot目錄下的文件都存儲在/dev/sda1分區(qū)中。Swap（交換分區(qū)）Linux中Swap（即：交換分區(qū)），類似于Windows的虛擬內(nèi)存，就是當(dāng)內(nèi)存不足的時候，把一部分硬盤空間虛擬成內(nèi)存使用，從而解決內(nèi)存容量不足的情況。一般來說可以按照如下規(guī)則設(shè)置swap大?。?G以內(nèi)的物理內(nèi)存，SWAP設(shè)置為內(nèi)存的2倍。4-8G的物理內(nèi)存，SWAP等亍內(nèi)存大小。8-64G的物理內(nèi)存，SWAP設(shè)置為8G。64-256G物理內(nèi)存，SWAP設(shè)置為16G。Coursecatalogue課程目錄Linux系統(tǒng)的安裝與基本配置1Linux用戶與組的管理2Linux文件管理3Shell的運(yùn)用4Linux進(jìn)程管理5Linux網(wǎng)絡(luò)管理62.2.1Linux用戶和組概念2.2.2實踐任務(wù)：Linux用戶的命令2.2.3實踐任務(wù)：Linux組的命令2.2Linux用戶與組的管理Linux用戶和組概念

Linux是一個多用戶、多任務(wù)的操作系統(tǒng)，可以讓多個用戶同時使用系統(tǒng)。Linux系統(tǒng)安裝好后，系統(tǒng)默認(rèn)的帳號為root，對系統(tǒng)有完全的控制權(quán)，可對系統(tǒng)進(jìn)行任何設(shè)置和修改。對于普通用戶來講，任何一個要使用系統(tǒng)資源的用戶，都必須首先向系統(tǒng)管理員申請一個賬號，然后以這個賬號的身份進(jìn)入系統(tǒng)。每個用戶賬號都擁有一個惟一的用戶名和各自的口令。實現(xiàn)用戶賬號的管理，完成的主要工作：用戶賬號的添加、刪除與修改。用戶口令的管理。用戶組的管理。實踐任務(wù)：Linux用戶的命令——添加用戶【命令格式】useradd【選項】<用戶名>【常用參數(shù)】-ccomment指定一段注釋性描述。-d目錄指定用戶主目錄，如果此目錄不存在，則同時使用-m選項，可以創(chuàng)建主目錄。-g用戶組指定用戶所屬的用戶組。-G用戶組，用戶組指定用戶所屬的附加組。-sShell文件指定用戶的登錄Shell。-u用戶號指定用戶的用戶號，如果同時有-o選項，則可以重復(fù)使用其他用戶的標(biāo)識號。增加用戶賬號就是在/etc/passwd文件中為新用戶增加一條記錄，同時更新其他系統(tǒng)文件如/etc/shadow,/etc/group等?！纠?-2】新建用戶testuser，該用戶的登彔Shell是/bin/sh，它屬于root用戶組，同時又屬于user，其中root用戶組是其主組。[root@localhost~]#useradd-s/bin/sh-groot-Gusertestuser[root@localhost~]#tail-l/etc/passwd------省略------testuser:x:1002:0::/home/testuser:/bin/sh[root@localhost~]#tail-l/etc/shadow------省略------testuser:!!:18035:0:99999:7:::[root@localhost~]#實踐任務(wù)：Linux用戶的命令——修改帳號usermod命令用來修改用戶賬號屬性，對于系統(tǒng)中已經(jīng)存在的用戶賬號，可以使用usermod命令重新設(shè)置各種屬性?！久罡袷健縰sermod【選項】<用戶名>【常用參數(shù)】-u：修改用戶的UID號-L（大寫）：鎖定用戶賬號-U（大寫）：解鎖用戶賬號-l：更改用戶賬號的登錄名稱【例2-3】用戶帳號修改小案例。使用usermod命令鎖定用戶賬號testuser，確定狀態(tài)后解除其鎖定，如圖所示。[root@localhost~]#usermod-Ltestuser[root@localhost~]#passwd-StestusertestuserLK2019-05-190999997-1(密碼已被鎖定。)[root@localhost~]#usermod-Utestuser[root@localhost~]#passwd-StestusertestuserPS2019-05-190999997-1(密碼已設(shè)置，使用SHA512算法。)將用戶賬號的登錄名稱testuser更改為myuser，下次登錄時生效，如圖所示。[root@localhost~]#usermod-lmyusertestuser[root@localhost~]#grep"myuser"/etc/passwdmyuser:x:1002:0::/home/testuser:/bin/sh實踐任務(wù)：Linux用戶的命令——用戶口令管理用戶管理的一項重要內(nèi)容是用戶口令的管理。用戶賬號剛創(chuàng)建時沒有口令，但是被系統(tǒng)鎖定，無法使用，必須為其指定口令后才可以使用，即使是指定空口令。指定和修改用戶口令是passwd命令。超級用戶可以為自己和其他用戶指定口令，普通用戶只能用它修改自己的口令。【命令格式】passwd【選項】<用戶名>【常用參數(shù)】-l鎖定口令，即禁用賬號。-u口令解鎖。-d使賬號無口令。-f強(qiáng)迫用戶下次登錄時修改口令。如果默認(rèn)用戶名，則修改當(dāng)前用戶的口令?！纠?-4】指定用戶名myuser作為參數(shù)，為該用戶設(shè)置一個登錄密碼，重復(fù)輸入兩次進(jìn)行確認(rèn)，并查看shadow文件中該用戶的密碼字串信息。[root@localhost~]#passwd-umyuser解鎖用戶myuser的密碼。passwd:操作成功[root@localhost~]#passwd-SmyusermyuserPS2019-05-190999997-1(密碼已設(shè)置，使用SHA512算法。)[root@localhost~]#grepmyuser/etc/shadowmyuser:$6$2MMpch7W$RD95XXMacBKr4EVM3SPqRXDd/3Kyt8Ymkn/zqvrlSRkyEEJqfH9qDCY0jl8AUSvFXe.iwpTc3Z.Ua5F3x5aEL0:18035:0:99999:7:::實踐任務(wù)：Linux用戶的命令——刪除用戶如果一個用戶的賬號不再使用，可以從系統(tǒng)中刪除。刪除用戶賬號就是要將/etc/passwd等系統(tǒng)文件中的該用戶記錄刪除，必要時還刪除用戶的主目錄。刪除一個已有的用戶賬號使用userdel命令?！久罡袷健縰serdel【選項】<用戶名>【常用參數(shù)】常用的選項是-r，它的作用是把用戶的主目錄一起刪除。【例2-5】刪除用戶小案例。刪除系統(tǒng)中的用戶賬號user，結(jié)果保留其宿主目錄[root@localhost~]#userdeluseruserdel:useruseriscurrentlyusedbyprocess1963[root@localhost~]#ls-ld/home/userdrwx------.14useruser40965月1908:22/home/user刪除系統(tǒng)中的用戶賬號testuser，同時刪除其宿主目錄。[root@localhost~]#userdel-rtestuser[root@localhost~]#ls-ld/home/testuserls:無法訪問/home/testuser:沒有那個文件或目錄

實踐任務(wù)：Linux組的命令1.添加一個用戶組【命令格式】groupadd【選項】<用戶組>【常用參數(shù)】-gGID指定新用戶組的組標(biāo)識號（GID）-o一般與-g選項同時使用，表示新用戶組的GID可以與系統(tǒng)已有用戶組的GID相同?！纠?-6】創(chuàng)建組賬號grouptest，并查看/etc/group文件中的變化[root@localhost~]#groupaddgrouptest[root@localhost~]#tail-l/etc/group------省略------grouptest:x:1001:2.刪除用戶組【命令格式】groupdel【選項】<用戶組>【例2-7】用戶組操作小案例。[root@localhost~]#groupdelgrouptest[root@localhost~]#tail-l/etc/group-----已經(jīng)沒有關(guān)于grouptest用戶組的信息---【例2-8】用戶組查詢小案例。groups命令，查詢當(dāng)前用戶所屬的組賬號信息。[root@localhost~]#groupsrootroot:rootid命令，查看root用戶的信息[root@localhost~]#idrootuid=0(root)gid=0(root)組=0(root)3.用戶和組賬號查詢查詢當(dāng)前用戶所屬的組賬號信息?！久罡袷健縢roups<用戶組>查詢某個用戶賬號所屬的組【命令格式】whoami實踐任務(wù)：Linux組的命令4.修改用戶組屬性【命令格式】groupmod【選項】<用戶組>【常用參數(shù)】-gGID為用戶組指定新的組標(biāo)識號。-o與-g選項同時使用，用戶組的新GID可以與系統(tǒng)已有用戶組的GID相同。-n新用戶組將用戶組的名字改為新名字如果一個用戶同時屬于多個用戶組，那么用戶可以在用戶組之間切換，以便具有其他用戶組的權(quán)限。用戶可以在登錄后，使用命令newgrp切換到其他用戶組，命令的參數(shù)就是目的用戶組?！纠?-9】修改用戶組小例子。增加一個名這gr1的用戶組[root@localhost~]#groupaddgr1[root@localhost~]#tail-l/etc/group------省略------gr1:x:1001:將用戶組名gr1變更為gr2[root@localhost~]#groupmod-ngr2gr1[root@localhost~]#tail-l/etc/group------省略------gr2:x:1001:2.3 LiCoursecatalogue課程目錄Linux系統(tǒng)的安裝與基本配置1Linux用戶與組的管理2Linux文件管理3Shell的運(yùn)用4Linux進(jìn)程管理5Linux網(wǎng)絡(luò)管理62.3.1 Linux文件的概念2.3.2 Linux文件類型與權(quán)限2.3.3 實踐任務(wù)：文件系統(tǒng)的命令2.3.4 實踐任務(wù)：文件的壓縮與打包2.3.5 實踐任務(wù)：rpm軟件包的安裝2.3.6 實踐任務(wù)：yum軟件包的安裝2.3.7 實踐任務(wù)：從源碼安裝2.3 Linux文件管理Linux文件的概念

在Linux系統(tǒng)中，一切都以文件的方式存放在系統(tǒng)當(dāng)中，例如目錄、分區(qū)。目錄也可以說是文件的單元，可以以層次結(jié)構(gòu)這種文件存放在磁盤等存儲設(shè)備上的組織方法進(jìn)行存儲。目錄提供了管理文件的一個方便而有效的途徑。Linux文件結(jié)構(gòu)目錄

Linux文件類型與權(quán)限

Linux文件，針對Linux系統(tǒng)多用戶系統(tǒng)，可按不同用戶、用戶組分配權(quán)限進(jìn)行存儲。Linux文件類型與權(quán)限Linux文件權(quán)限管理命令【例2-10】修改圖2-8中文件test.txt權(quán)限屬性。（1）將文件test.txt所在群組root更改為user[root@localhost~]#chgrpusertest.txt[root@localhost~]#lltest.txt-rw-r--r--.1rootuser155月2007:27test.txt（2）將文件test.txt擁有者root更改為user[root@localhost~]#chownusertest.txt[root@localhost~]#lltest.txt-rw-r--r--.1useruser155月2007:27test.txt使用chmod和數(shù)字改變文件或目錄的訪問權(quán)限[root@localhost~]#chmod664test.txt[root@localhost~]#lltest.txt-rw-rw-r--.1useruser155月2007:27test.txt實踐任務(wù)：文件系統(tǒng)的命令1.cd(切換目錄)命令：Linux中用的最頻繁的命令，經(jīng)常需要進(jìn)行目錄的切換。常用的一些比較特殊的目錄：.//代表當(dāng)前目錄..//代表上一層目錄- //代表前一個工作目錄~//代表目前用戶身份所在的自家目錄~account//代表account這個用戶的自家家目錄樣例：[root@localhost~]#cd/home//進(jìn)入到home目錄[root@localhost~]#cd..//..表示上一層目錄，進(jìn)入到了/目錄下[root@localhost~]#cd~//~表示目前用戶身份所在的自家目錄，當(dāng)前用戶就是root，所以就進(jìn)入到了root目錄下。[root@localhost~]#cd~/openscap_data//進(jìn)入當(dāng)前root用戶主目錄下openscap_data文件夾實踐任務(wù)：文件系統(tǒng)的命令2.pwd(顯示當(dāng)前所在的目錄)【命令格式】pwd[-P]-P：顯示出確實的路徑，而非使用鏈接(link)路徑。(P是大寫)樣例：[root@localhost~]#pwd//顯示出當(dāng)前所在的目錄/root[root@localhost~]#cd/var/mail[root@localhost~]#pwd/var/mail//顯示出當(dāng)前的目錄路徑[root@localhost~]#pwd-P/var/spool/mail//怎么回事？有沒有加-P差很多？3.mkdir(建立新目錄)[root@localhost~]#mkdir[-mp]目錄名稱-m：配置文件目錄的權(quán)限，可以自己設(shè)定文件所需的權(quán)限，而不需要使用umask定義的默認(rèn)權(quán)限。-p：遞歸建立目錄。樣例：[root@localhost~]#cd/home[root@localhosthome]#mkdirtest//建立test新目錄[root@localhosthome]#mkdir-ptest1/test2/test3/test4//加-p的參數(shù)，可以遞歸建立多層目錄。實踐任務(wù)：文件系統(tǒng)的命令4.rmdir(刪除"空"目錄)[root@localhost~]#rmdir[-p]目錄名稱樣例：[root@localhosthome]#rmdir-ptest1/test2/test3/test4///使用-p這個參數(shù)，立刻就可以將test1/test2/test3/test4一次刪除，rmdir只能刪除空的目錄。5.ls(查看文件和目錄)[root@localhost~]#ls[-aAdfFhilRS]目錄名稱[root@localhost~]#ls[--color={none,auto,always}]目錄名稱[root@localhost~]#ls[--full-time]目錄名稱示例1：以長格式顯示所有的文件。[root@localhosthome]#ls-al~實踐任務(wù)：文件的壓縮與打包常用文件擴(kuò)展名涵義：.Z：compress程序壓縮的文件.gz：gzip程序壓縮的文件.bz2：bzip2程序壓縮的文件.tar：tar命令打包的數(shù)據(jù)，并沒有壓縮過.tar.gz：tar程序打包的文件，并且經(jīng)過gzip的壓縮.tar.bz2：tar程序打包的文件，并且經(jīng)過bzip2的壓縮Linux上常見的壓縮/打包指令：gzip和bzip2，其中g(shù)zip比bzip2性能好，但bzip2可以獲得更高壓縮比。compress：已經(jīng)基本不再使用了tar：可以將很多文件打包成為一個文件實踐任務(wù)：文件的壓縮與打包【例2-11】gzip壓縮與解壓縮舉例。查詢文件initial-setup-ks.cfg[root@localhost~]#llinitial-setup-ks.cfg-rw-r--r--.1rootroot20573月104:37initial-setup-ks.cfg將文件initial-setup-ks.cfg壓縮成.gz格式[root@localhost~]#gzip-vinitial-setup-ks.cfginitial-setup-ks.cfg: 46.4%--replacedwithinitial-setup-ks.cfg.gz[root@localhost~]#llinitial-setup-ks.cfg-rw-r--r--.1rootroot11413月104:37initial-setup-ks.cfg.gz將initial-setup-ks.cfg.gz文件解壓[root@localhost~]#gzip-dinitial-setup-ks.cfg.gz[root@localhost~]#llinitial-setup-ks.cfg-rw-r--r--.1rootroot20573月104:37initial-setup-ks.cfg實踐任務(wù)：rpm軟件包的安裝RPM（Red-HatPackageManager，RPM軟件包管理器），是RedHat公司開發(fā)的軟件包管理器，使用它可以很容易地對RPM形式的軟件包進(jìn)行安裝、升級、卸載、校驗、和查詢等操作。RPM內(nèi)含已經(jīng)編譯過的程序不配置文件等數(shù)據(jù)RPM在被安裝之前，會先檢查系統(tǒng)的硬盤容量、操作系統(tǒng)版本等，可避免文件被錯誤安裝RPM文件本身提供軟件版本信息、相依屬性軟件名稱、軟件用途說明、軟件所含文件等信息支持RPM安裝的軟件包一般都以.rpm擴(kuò)展名結(jié)尾，例如：hadoop-mapreduce-2.5.0xx.rpm?！久罡袷健縭pm【選項參數(shù)】<安裝包名>實踐任務(wù)：rpm軟件包的安裝【例2-12】RPM應(yīng)用舉例。RPM安裝舉例假設(shè)存在a1.rpm、a2.rpm和a3.rpm三個工具，對它們進(jìn)行安裝舉例。安裝a1.rpm單個rpm包舉例：rpm-ivha1.rpm安裝多個rpm包：rpm-ivha1.rpma2.rpm使用通配符安裝所有rpm包：rpm-ivh*.rpm安裝網(wǎng)上名為a有rpm包：rpm-ivh/path/a.rpm其中ivh參數(shù)中，-i:install的意思；-v:察看更細(xì)部的安裝信息畫面；-h:以安裝信息列顯示安裝進(jìn)度。RPM升級與更新–rpm-Uvha1.rpma1.rpm如果沒有安裝過，系統(tǒng)會直接安裝，若a1.rpm安裝過但版本較舊，則更新至新版–rpm-Fvha1.rpma1.rpm如果未安裝過，軟件不升級，如果a1.rpm已安裝，則a1.rpm會被升級RPM查詢rpm-qa|grepa1查詢是否安裝了帶a1字樣的軟件包rpm-qRa1查詢a1需要的依賴yum軟件包的安裝Yum（YellowdogUpdater,Modified）是一個在Fedora和RedHat以及CentOS中的Shell前端軟件包管理器?！纠?-13】Yum應(yīng)用舉例。Yum安裝a1.rpmyuminstalla1.rp2.RPM升級與更新yumupgradea1或者yumupdatea13.RPM查詢查找vim相關(guān)軟件包：yumsearchvim查看a1軟件包功能：yuminfoa1列出yum服務(wù)器上面提供的所有軟件名稱：yumlist列出目前服務(wù)器上可供本機(jī)進(jìn)行升級的軟件列表：yumlistupdates卸載軟件：yumremovea1實踐任務(wù)：從源碼安裝Tarball安裝的基本步驟通常如下：第1步：取得原始tar.gz文件第2步：查閱INSTALL與README等相關(guān)文件內(nèi)容，了解軟件安裝說明第3步：依賴軟件安裝，根據(jù)查閱的安裝說明安裝需要的依賴軟件第4步：檢查makefile以及configure或config建立Makefile文件是否存在第5步：編譯：執(zhí)行make，默認(rèn)使用Makefile，即指定make使用解壓出來頂級目錄中的Makefile作為其命令參數(shù)第6步：執(zhí)行makeinstall安裝軟件，默認(rèn)從解壓目錄中尋找Makefile作為make的操作定義文件。實踐任務(wù)：從源碼安裝Tarball常用的安裝命令：1.檢查當(dāng)前使用的Linux系統(tǒng)及相關(guān)軟件是否滿足安裝要求參考命令：./configure2.移除之前的*.o等目標(biāo)文件參考命令：makeclean3.編譯參考命令：makemake會依據(jù)Makefile進(jìn)行編譯,編譯的工作主要是進(jìn)行g(shù)cc來將原始碼編譯成為可以被執(zhí)行的objectfiles4.安裝參考命令：makeinstallmake會依據(jù)Makefile這個文件里面關(guān)亍install的選項定義,將上一個步驟所編譯完成的內(nèi)容安裝到設(shè)置好的系統(tǒng)目錄中,完成安裝Coursecatalogue課程目錄Linux系統(tǒng)的安裝與基本配置1Linux用戶與組的管理2Linux文件管理3Shell的運(yùn)用4Linux進(jìn)程管理5Linux網(wǎng)絡(luò)管理62.4.1文本編輯器2.4.2shellscript介紹2.4.3實踐任務(wù)：shellscrip