《大數(shù)據(jù)系統(tǒng)運(yùn)維》電子教學(xué)課件

大數(shù)據(jù)系統(tǒng)運(yùn)維第一章配置管理1.1配置管理內(nèi)容1.2配置管理方法1.3配置管理工具1.4其他運(yùn)維工具習(xí)題1.1配置管理內(nèi)容第一章配置管理配置管理術(shù)語(yǔ)定義配置基線配置項(xiàng)配置項(xiàng)屬性配置管理數(shù)據(jù)庫(kù)配置審計(jì)制定配置管理計(jì)劃版本控制變更控制1.1配置管理內(nèi)容第一章配置管理配置管理與資產(chǎn)管理的區(qū)別配置管理資產(chǎn)管理提供IT環(huán)境的邏輯模型，為ITIL流程提供數(shù)據(jù)依據(jù)。管理IT資產(chǎn)在整個(gè)生命周期內(nèi)的成本及變化情況。相關(guān)的ITIL流程可以提供服務(wù)穩(wěn)定性和質(zhì)量。可以降低資產(chǎn)的總體成本，減少采購(gòu)成本，增加資產(chǎn)的利用率，提供準(zhǔn)確的資產(chǎn)規(guī)劃。配置項(xiàng)是從運(yùn)維的角度出發(fā)，標(biāo)識(shí)的是IT部件。資產(chǎn)是基于價(jià)值、合同跟蹤管理的IT部件。如果需要保證你某個(gè)資產(chǎn)穩(wěn)定運(yùn)行，可將其作為配置項(xiàng)管理。如果某個(gè)配置項(xiàng)需要跟蹤其成本、合同及使用信息，可以作為資產(chǎn)進(jìn)行管理。維護(hù)CI項(xiàng)之間的復(fù)雜關(guān)系，以便進(jìn)行風(fēng)險(xiǎn)評(píng)估。維護(hù)資產(chǎn)之間基本的關(guān)聯(lián)關(guān)系，如父子關(guān)系等。1.1配置管理內(nèi)容第一章配置管理應(yīng)用軟件配置A服務(wù)器設(shè)備B網(wǎng)絡(luò)設(shè)備C安全設(shè)備D存儲(chǔ)設(shè)備E終端設(shè)備硬件配置軟件配置管理的最終目標(biāo)是管理軟件產(chǎn)品。第一章大數(shù)據(jù)概念與應(yīng)用1.1配置管理內(nèi)容1.2配置管理方法1.3配置管理工具1.4其他運(yùn)維工具習(xí)題1.2配置管理方法第一章配置管理配置管理基本流程1.2配置管理方法第一章配置管理配置管理更新維護(hù)子流程1.2配置管理方法第一章配置管理配置審核子流程1.2配置管理方法第一章配置管理配置自動(dòng)發(fā)現(xiàn)配置管理庫(kù)（CMDB）三大難點(diǎn)一是配置項(xiàng)識(shí)別。三是保證配置數(shù)據(jù)的持續(xù)更新。二是配置管理模型的創(chuàng)建與維護(hù)。第一章大數(shù)據(jù)概念與應(yīng)用1.1

配置管理內(nèi)容1.2配置管理方法1.3配置管理工具1.4其他運(yùn)維工具習(xí)題1.3配置管理工具第一章配置管理CMDB數(shù)據(jù)庫(kù)介紹與實(shí)踐ABC主要涉及CI的寬度和深度，以及CI的生命周期。確定配置管理的范圍設(shè)計(jì)者需要遵循一個(gè)原則和一套結(jié)構(gòu)。定義配置項(xiàng)的屬性采取兩種方法即“自上而下”和“自下而上”。構(gòu)建CI之間的關(guān)系CMDB存儲(chǔ)與管理企業(yè)IT架構(gòu)中設(shè)備的各種配置信息，它與所有服務(wù)支持和服務(wù)交付流程都緊密相聯(lián)，支持這些流程的運(yùn)轉(zhuǎn)、發(fā)揮配置信息的價(jià)值，同時(shí)依賴于相關(guān)流程保證數(shù)據(jù)的準(zhǔn)確性。1.3配置管理工具第一章配置管理Puppet介紹與實(shí)踐Puppet是一個(gè)優(yōu)秀的基礎(chǔ)設(shè)施管理平臺(tái)。下面將介紹Puppet的工作原理，以及它是如何幫助處于各種不同狀況的團(tuán)隊(duì)增強(qiáng)協(xié)作能力，以進(jìn)行軟件開(kāi)發(fā)和發(fā)布的——這種工作方式的演變通常被稱做DevOps（開(kāi)發(fā)運(yùn)維）。1.3配置管理工具第一章配置管理Chef介紹與實(shí)踐Chef是一個(gè)全新的開(kāi)源應(yīng)用，包括系統(tǒng)集成、配置管理和預(yù)配置等功能，由來(lái)自華盛頓西雅圖的Opscode基于Apache2.0許可證發(fā)布。Chef通過(guò)定義系統(tǒng)節(jié)點(diǎn)、食譜（cookbook）和程序庫(kù)來(lái)進(jìn)行工作，食譜用于表達(dá)管理任務(wù)，而程序庫(kù)則用于定義和其他比如應(yīng)用程序、數(shù)據(jù)庫(kù)或者像LDAP目錄一類的系統(tǒng)管理資源等工具之間的交互。1.3配置管理工具第一章配置管理Ansible介紹與實(shí)踐Ansible是一個(gè)IT自動(dòng)化工具。它可以配置系統(tǒng)，開(kāi)發(fā)軟件，或者編排高級(jí)的IT任務(wù)，例如持續(xù)開(kāi)發(fā)或者零宕機(jī)滾動(dòng)更新。主要目標(biāo)是簡(jiǎn)單易用。它也同樣專注安全性和可靠性，最小化的移動(dòng)部件，使用Openssh傳輸(有加速socket模式和同樣可用拉取模式)，易于人類閱讀的語(yǔ)言，使不熟悉編程的人也可以看得懂。適用于管理所有類型的環(huán)境，從隨手可安裝的實(shí)例，到企業(yè)級(jí)別的成千上萬(wàn)個(gè)實(shí)例都可行。1.3配置管理工具第一章配置管理SaltStack介紹與實(shí)踐SaltStack管理工具允許管理員對(duì)多個(gè)操作系統(tǒng)創(chuàng)建一個(gè)一致的管理系統(tǒng)，包括VMwarevSphere環(huán)境。作用于仆從和主拓?fù)?。SaltStack與特定的命令結(jié)合使用可以在一個(gè)或多個(gè)下屬執(zhí)行。實(shí)現(xiàn)這一點(diǎn)，此時(shí)SaltMaster可以發(fā)出命令，如salt'*'cmd.run'ls-l/'。1.3配置管理工具第一章配置管理不同階段CMDB發(fā)展類型第一階段第二階段第三階段模型偏靜態(tài)動(dòng)態(tài)、調(diào)整難道適中動(dòng)態(tài)、調(diào)整快速數(shù)據(jù)初始化Excel導(dǎo)入自動(dòng)發(fā)現(xiàn)+Excel導(dǎo)入自動(dòng)發(fā)現(xiàn)+服務(wù)的同時(shí)更新了配置庫(kù)配置更新手工自動(dòng)+手動(dòng)實(shí)時(shí)更新配置管理范圍設(shè)備設(shè)備+軟件所有IT組件及相關(guān)的服務(wù)場(chǎng)景資產(chǎn)管理配置自動(dòng)發(fā)現(xiàn)、告警分析配置管理服務(wù)化第一章大數(shù)據(jù)概念與應(yīng)用1.1

配置管理內(nèi)容1.2配置管理方法1.3配置管理工具1.4其他運(yùn)維工具習(xí)題1.4其他運(yùn)維工具第一章配置管理AmbariAmbari自身也是一個(gè)分布式架構(gòu)的軟件，主要由兩部分組成：AmbariServer和AmbariAgent。簡(jiǎn)單來(lái)說(shuō)，用戶通過(guò)AmbariServer通知AmbariAgent安裝對(duì)應(yīng)的軟件；Agent會(huì)定時(shí)地發(fā)送各個(gè)機(jī)器每個(gè)軟件模塊的狀態(tài)給AmbariServer，最終這些狀態(tài)信息會(huì)呈現(xiàn)在Ambari的GUI，方便用戶了解到集群的各種狀態(tài)，并進(jìn)行相應(yīng)的維護(hù)。1.4其他運(yùn)維工具第一章配置管理CLI工具主要命令命令作用diff比較文件的差異。grep或者egrep正則表達(dá)式過(guò)濾文件中的關(guān)鍵字。find查找文件。sed通過(guò)正則表達(dá)式修改文件內(nèi)容。df、du查看文件系統(tǒng)。free查看內(nèi)存。ps查看進(jìn)程。top查看cpu、內(nèi)存、進(jìn)程等整體性能情況。netstat查看網(wǎng)絡(luò)連接情況。telnet、ping、traceroute跟蹤網(wǎng)絡(luò)連接情況。1.4其他運(yùn)維工具第一章配置管理GangliaGanglia是UCBerkeley發(fā)起的一個(gè)開(kāi)源監(jiān)視項(xiàng)目，用于測(cè)量海量節(jié)點(diǎn)。每臺(tái)計(jì)算機(jī)都運(yùn)行一個(gè)收集和發(fā)送度量數(shù)據(jù)的名為gmond的守護(hù)進(jìn)程。它將從操作系統(tǒng)和指定主機(jī)中收集。接收所有度量數(shù)據(jù)的主機(jī)可以顯示這些數(shù)據(jù)并且可以將這些數(shù)據(jù)的精簡(jiǎn)表單傳遞到層次結(jié)構(gòu)中。gmond帶來(lái)的系統(tǒng)負(fù)載非常少，這使得它成為在集群中各臺(tái)計(jì)算機(jī)上運(yùn)行的一段代碼，而不會(huì)影響用戶性能。1.4其他運(yùn)維工具第一章配置管理ClouderaManagerClouderaManager一個(gè)hadoop集群的綜合管理平臺(tái)，對(duì)ClouderaDistributionHadoop（簡(jiǎn)稱CDH）的每個(gè)部件都提供了細(xì)粒度的可視化和控制。1、文件傳輸使用文件傳輸工具如scp命令，ftp命令，filezilla，winscp等負(fù)責(zé)文件的上傳和下載。2、網(wǎng)絡(luò)抓包和分析在排查網(wǎng)絡(luò)問(wèn)題時(shí)，抓包是最有效率的的排查方式，linux上的tcpdump和windows平臺(tái)的wireshark是比較流行的抓包分析工具。3、日志分析日志是排查故障的最重要依據(jù)，利用日志分析工具可以方便地提取日志中的有效信息，對(duì)性能和故障點(diǎn)做深入分析。當(dāng)日志量較多時(shí)，也可以借助日志分析平臺(tái)，如ELK或者SPLUNK。4、批量執(zhí)行命令在定位到故障之后，需要盡快修復(fù)，如果故障涉及到的服務(wù)器數(shù)量比較多，可以借助批量執(zhí)行命令的工具ansible完成此項(xiàng)工作。5、Dump分析在進(jìn)程故障退出之后，可能會(huì)生成threaddump或者h(yuǎn)eapdump，dump文件是比日志還要詳細(xì)的數(shù)據(jù)，記載了程序運(yùn)行時(shí)的各種信息，可以通過(guò)dump分析工具對(duì)dump文件進(jìn)行進(jìn)一步分析。1.4其他運(yùn)維工具第一章配置管理其他工具第一章大數(shù)據(jù)概念與應(yīng)用1.1

配置管理內(nèi)容1.2配置管理方法1.3配置管理工具1.4其他運(yùn)維工具習(xí)題1.CMDB經(jīng)歷了幾個(gè)階段的發(fā)展？2.配置管理和資產(chǎn)管理有什么區(qū)別？3.云時(shí)代的CMDB有什么特征？4.請(qǐng)簡(jiǎn)要設(shè)計(jì)你所理解的配置管理模型？習(xí)題：第二章系統(tǒng)管理及日志巡檢2.1系統(tǒng)建設(shè)2.2系統(tǒng)管理對(duì)象2.3系統(tǒng)管理內(nèi)容2.4系統(tǒng)管理工具習(xí)題2.5系統(tǒng)管理制度規(guī)范2.6日常巡檢2.1系統(tǒng)建設(shè)第二章系統(tǒng)管理及日志巡檢技術(shù)方案業(yè)務(wù)系統(tǒng)層01資源管理層03數(shù)據(jù)計(jì)算層02數(shù)據(jù)收集/存儲(chǔ)層04大數(shù)據(jù)系統(tǒng)應(yīng)該具有以下4個(gè)特點(diǎn)：①?gòu)椥匀萘看?；②高性能；③集成化；④自?dòng)化。常規(guī)的大數(shù)據(jù)系統(tǒng)架構(gòu)圖2.1系統(tǒng)建設(shè)第二章系統(tǒng)管理及日志巡檢技術(shù)方案靜態(tài)數(shù)據(jù)的批量處理：Hadoop流式數(shù)據(jù)的實(shí)時(shí)處理：Storm交互式數(shù)據(jù)：Spark目前，大數(shù)據(jù)系統(tǒng)主要的應(yīng)用場(chǎng)景和典型的大數(shù)據(jù)系統(tǒng)技術(shù)方案有以下三種：2.1系統(tǒng)建設(shè)第二章系統(tǒng)管理及日志巡檢部署實(shí)施針對(duì)不同的源數(shù)據(jù)和業(yè)務(wù)需求，需要部署不同的技術(shù)框架。而Hadoop是其中最受歡迎、最成熟、應(yīng)用最廣的大數(shù)據(jù)系統(tǒng)架構(gòu)，其他的大數(shù)據(jù)架構(gòu)很多都是基于Hadoop進(jìn)行擴(kuò)展和優(yōu)化，因此本節(jié)主要介紹Hadoop架構(gòu)的部署實(shí)施。2.1系統(tǒng)建設(shè)第二章系統(tǒng)管理及日志巡檢測(cè)試驗(yàn)收A功能測(cè)試B性能測(cè)試C可用性測(cè)試D容錯(cuò)性測(cè)試E穩(wěn)定性測(cè)試第二章系統(tǒng)管理及日志巡檢2.1系統(tǒng)建設(shè)2.2系統(tǒng)管理對(duì)象2.3系統(tǒng)管理內(nèi)容2.4系統(tǒng)管理工具習(xí)題2.5系統(tǒng)管理制度規(guī)范2.6日常巡檢2.2系統(tǒng)管理對(duì)象第二章系統(tǒng)管理及日志巡檢系統(tǒng)管理對(duì)象2.2系統(tǒng)管理對(duì)象第二章系統(tǒng)管理及日志巡檢分布式的架構(gòu)搭建大數(shù)據(jù)分析系統(tǒng)的部署過(guò)程分一下幾部分：底層操作系統(tǒng)分布式計(jì)算系統(tǒng)架構(gòu)數(shù)據(jù)分析算法及工具結(jié)果可視化及輸出API2.2系統(tǒng)管理對(duì)象第二章系統(tǒng)管理及日志巡檢系統(tǒng)硬件服務(wù)器環(huán)境數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)清洗轉(zhuǎn)換服務(wù)器、分布式存儲(chǔ)服務(wù)器、并行分析服務(wù)器、數(shù)據(jù)管理服務(wù)器和數(shù)據(jù)運(yùn)營(yíng)服務(wù)器。存儲(chǔ)環(huán)境數(shù)據(jù)存數(shù)主要包含結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。備份環(huán)境選擇合適備份方式，適當(dāng)備份存儲(chǔ)空間，對(duì)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)進(jìn)行備份，備份存儲(chǔ)可以考慮使用第三方數(shù)據(jù)服務(wù)機(jī)構(gòu)的異地備份服務(wù)。網(wǎng)絡(luò)環(huán)境如果相關(guān)數(shù)據(jù)信息是經(jīng)由互聯(lián)網(wǎng)采集，則必須選擇滿足互聯(lián)網(wǎng)基本采集要求的，并適合該大數(shù)據(jù)系統(tǒng)的Internet網(wǎng)絡(luò)類型。2.2系統(tǒng)管理對(duì)象第二章系統(tǒng)管理及日志巡檢系統(tǒng)數(shù)據(jù)原始系統(tǒng)數(shù)據(jù)預(yù)處理后數(shù)據(jù)存儲(chǔ)數(shù)據(jù)備份數(shù)據(jù)2.2系統(tǒng)管理對(duì)象第二章系統(tǒng)管理及日志巡檢IT供應(yīng)商01數(shù)據(jù)提供商02架構(gòu)和平臺(tái)提供商03大數(shù)據(jù)咨詢公司04分析運(yùn)營(yíng)商05可視化供應(yīng)商第二章系統(tǒng)管理及日志巡檢2.1系統(tǒng)建設(shè)2.2系統(tǒng)管理對(duì)象2.3系統(tǒng)管理內(nèi)容2.4系統(tǒng)管理工具習(xí)題2.5系統(tǒng)管理制度規(guī)范2.6日常巡檢2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢事件管理在IT服務(wù)管理中事件管理是重要流程之一，事件解決的時(shí)效性決定系統(tǒng)管理服務(wù)的質(zhì)量。事件管理是指及時(shí)處理中斷的IT服務(wù)并快速恢復(fù)IT服務(wù)能力。事件的來(lái)源來(lái)自于IT報(bào)告、監(jiān)控系統(tǒng)自動(dòng)轉(zhuǎn)發(fā)等。事件管理流程的目的是為了降低IT故障對(duì)企業(yè)業(yè)務(wù)的影響，達(dá)到提升業(yè)務(wù)穩(wěn)定性的作用。具體操作是，按照事件的優(yōu)先級(jí)，多渠道及時(shí)響應(yīng)服務(wù)請(qǐng)求，快速有序地解決，從而減少IT服務(wù)中斷造成的影響。2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢問(wèn)題管理問(wèn)題管理通過(guò)標(biāo)準(zhǔn)化的方法管理已發(fā)生的IT的技術(shù)問(wèn)題，其目的是為了幫助企業(yè)提高工作效率。問(wèn)題管理流程的主要階段為：?jiǎn)栴}的識(shí)別和提交、調(diào)查和診斷、實(shí)施解決以及回顧關(guān)閉。作為一個(gè)旨在提高效率的管理流程，問(wèn)題管理流程的目的是要找到管賬的根本原因，設(shè)計(jì)并實(shí)施解決方案，提高系統(tǒng)穩(wěn)定性。2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢配置管理配置管理是對(duì)IT資源進(jìn)行管理的重要步驟之一，也是大數(shù)據(jù)運(yùn)維重要依據(jù)。配置管理是IT管理的關(guān)鍵，也是事件管理、問(wèn)題管理等流程審查原因所在，具體數(shù)據(jù)來(lái)自配置管理數(shù)據(jù)庫(kù)。配置管理錄入并管理IT基礎(chǔ)設(shè)施的配置信息，是IT服務(wù)準(zhǔn)確的信息來(lái)源。由配置流程經(jīng)理組織制定或修訂配置管理相關(guān)定義與策略，包括：配置管理的范圍、結(jié)構(gòu)規(guī)劃、審核策略等，并接受部門負(fù)責(zé)人的審閱確認(rèn)。2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢變更管理變更管理的目的是有效的審批和控制IT設(shè)施變更，及時(shí)降低業(yè)務(wù)故障率，保證業(yè)務(wù)盡快、正常、有序地運(yùn)行，從而減少故障對(duì)用戶的影響，以提升服務(wù)質(zhì)量。變更管理在于規(guī)范和控制變更流程：在保證管控的前提下發(fā)起評(píng)估、批準(zhǔn)、實(shí)施、回顧變更，運(yùn)用正確的方法處理變更，在可控范圍內(nèi)壓縮變更產(chǎn)生的負(fù)面效應(yīng)，且保證在規(guī)定范圍之內(nèi)實(shí)施變更管理流程。確保完整記錄所有變革及對(duì)應(yīng)措施，確保跟蹤變更直到實(shí)施完成，通過(guò)對(duì)變更進(jìn)行風(fēng)險(xiǎn)評(píng)估，保證變更能夠更好地滿足業(yè)務(wù)的需求。2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢發(fā)布管理發(fā)布管理是變更流程的其中一種，主要為了在盡可能不影響系統(tǒng)正常服務(wù)運(yùn)行的情況下對(duì)IT環(huán)境實(shí)施可控的變更。發(fā)布管理的主要步驟包括：發(fā)布前的規(guī)劃準(zhǔn)備、申請(qǐng)與審批發(fā)布、同步災(zāi)備系統(tǒng)、試點(diǎn)運(yùn)行、評(píng)估發(fā)布流程。發(fā)布管理流程的目的是通過(guò)規(guī)范的操作流程，確保在生產(chǎn)環(huán)境中系統(tǒng)能夠平穩(wěn)地執(zhí)行變更操作，并降低一切風(fēng)險(xiǎn)，保證業(yè)務(wù)正常運(yùn)行。發(fā)布管理的流程包括：明確參與發(fā)布管理的人員職責(zé)，系統(tǒng)發(fā)布過(guò)程和具體實(shí)施步驟，確保系統(tǒng)發(fā)布后能夠持續(xù)安全運(yùn)行。2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢知識(shí)管理知識(shí)管理流程是IT運(yùn)維人員獲取各種來(lái)源的知識(shí)，結(jié)合存量技術(shù)，實(shí)現(xiàn)知識(shí)的生產(chǎn)、分享、使用和創(chuàng)新的過(guò)程。知識(shí)管理的目的在于通過(guò)對(duì)知識(shí)庫(kù)的有效管理，協(xié)助企業(yè)和個(gè)人創(chuàng)造價(jià)值。具體通過(guò)收集、梳理、歸納、撰寫等手段對(duì)本系統(tǒng)運(yùn)維知識(shí)進(jìn)行整理，形成文檔、視頻，錄入知識(shí)庫(kù)，并選取正確、科學(xué)的維度錄入知識(shí)庫(kù)，形成系列課件指導(dǎo)新人通過(guò)知識(shí)庫(kù)進(jìn)行學(xué)習(xí)。2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢日志管理日志管理對(duì)系統(tǒng)運(yùn)行至關(guān)重要，日志管理的質(zhì)量直接關(guān)系到定位系統(tǒng)問(wèn)題的速度和效率。日志管理的重點(diǎn)是把不同需求的日志進(jìn)行分類，方便問(wèn)題分析和問(wèn)題處理，而對(duì)于每一種需求，存在特定的記錄格式和內(nèi)容。日志管理最終是為了分析日志，常見(jiàn)的日志管理系統(tǒng)包括Web服務(wù)器日志和Linux日志。通過(guò)自動(dòng)解析標(biāo)準(zhǔn)格式日志的日志分析系統(tǒng)，用戶能夠快速高效的解析日志文件，節(jié)省運(yùn)維人員的工作時(shí)間和精力，提高處理系統(tǒng)問(wèn)題的效率。2.3系統(tǒng)管理內(nèi)容第二章系統(tǒng)管理及日志巡檢備份管理因?yàn)閿?shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)交換過(guò)程中，任何系統(tǒng)都有失效或故障的風(fēng)險(xiǎn)，因此有必要進(jìn)行備份管理，從備份系統(tǒng)中還原數(shù)據(jù)，最大程度地降低損失。從信息安全的角度出發(fā)，備份管理也避免了人為惡意破壞等帶來(lái)的損失。數(shù)據(jù)備份是保護(hù)數(shù)據(jù)的一道防線，十分必要。備份管理的根本目的是數(shù)據(jù)恢復(fù)，即能夠快速、正確、全面地恢復(fù)數(shù)據(jù)。除此之外，備份的意義不僅在于防范意外事件的破壞，還有保存歸檔歷史數(shù)據(jù)的功能。第二章系統(tǒng)管理及日志巡檢2.1系統(tǒng)建設(shè)2.2系統(tǒng)管理對(duì)象2.3系統(tǒng)管理內(nèi)容2.4系統(tǒng)管理工具習(xí)題2.5系統(tǒng)管理制度規(guī)范2.6日常巡檢2.4系統(tǒng)管理工具第二章系統(tǒng)管理及日志巡檢資產(chǎn)管理資產(chǎn)管理：資產(chǎn)管理是指對(duì)系統(tǒng)的資產(chǎn)進(jìn)行管理，提高資產(chǎn)利用率。對(duì)大數(shù)據(jù)系統(tǒng)而言，資產(chǎn)主要包括：軟件資產(chǎn)、硬件資產(chǎn)、云資產(chǎn)三種。其中，硬件資產(chǎn)包含服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等；軟件資產(chǎn)包含系統(tǒng)軟件、服務(wù)許可證等；云資產(chǎn)包括云服務(wù)器、云數(shù)據(jù)庫(kù)等。資產(chǎn)管理工具：資產(chǎn)管理工具主要對(duì)資產(chǎn)采購(gòu)、使用、維護(hù)、報(bào)廢的整個(gè)周期進(jìn)行有效的管理和保護(hù)。使用資產(chǎn)管理工具主要為了幫助企業(yè)管控，降低成本、提高資產(chǎn)利用率。主流的資產(chǎn)管理工具有CMDBuild和MAXIMO。2.4系統(tǒng)管理工具第二章系統(tǒng)管理及日志巡檢監(jiān)控管理監(jiān)控管理：監(jiān)控管理通過(guò)把管理和技術(shù)結(jié)合，監(jiān)視基礎(chǔ)設(shè)施和IT基礎(chǔ)結(jié)構(gòu)，即時(shí)發(fā)現(xiàn)并通知故障與異常。此外，監(jiān)控?cái)?shù)據(jù)的搜集與整理是實(shí)現(xiàn)事件管理、問(wèn)題管理等，以便實(shí)現(xiàn)大數(shù)據(jù)系統(tǒng)高可用性的終極目標(biāo)。監(jiān)控管理工具：監(jiān)控管理工具需要結(jié)合人工判斷，綜合監(jiān)控大數(shù)據(jù)系統(tǒng)的應(yīng)用情況針對(duì)故障發(fā)起事件和問(wèn)題，并保證系統(tǒng)正常運(yùn)行。目前，主流的監(jiān)控管理工具有Zabbix和Tivoli。2.4系統(tǒng)管理工具第二章系統(tǒng)管理及日志巡檢流程管理主流的流程管理工具有OTRS和SeviceDeskPlus。2.4系統(tǒng)管理工具第二章系統(tǒng)管理及日志巡檢外包管理外包管理：外包管理是指企業(yè)針對(duì)外包人員統(tǒng)一進(jìn)行管理，要求外包人員遵守相關(guān)規(guī)定，加強(qiáng)人員出勤及業(yè)績(jī)考核等。外包管理工具：外包管理能有效的約束外包人員的工作行為，同時(shí)加強(qiáng)企業(yè)運(yùn)維的管控，提升運(yùn)維人員各司其職、協(xié)調(diào)配合的能力。外包管理工具內(nèi)容相對(duì)簡(jiǎn)單，主要包括考勤管理等，一般都是與現(xiàn)有系統(tǒng)的人力資源管理模塊相結(jié)合。第二章系統(tǒng)管理及日志巡檢2.1系統(tǒng)建設(shè)2.2系統(tǒng)管理對(duì)象2.3系統(tǒng)管理內(nèi)容2.4系統(tǒng)管理工具習(xí)題2.5系統(tǒng)管理制度規(guī)范2.6日常巡檢2.5系統(tǒng)管理制度規(guī)范第二章系統(tǒng)管理及日志巡檢系統(tǒng)管理標(biāo)準(zhǔn)在IT服務(wù)領(lǐng)域內(nèi)，ISO20000標(biāo)準(zhǔn)應(yīng)用最為廣泛，國(guó)家間認(rèn)可度高。IT系統(tǒng)管理主要包括4個(gè)方面：①職責(zé)管理；②IT服務(wù)管理的計(jì)劃與實(shí)施；③變更或新增IT服務(wù)目錄的計(jì)劃與實(shí)施；④服務(wù)管理流程。大數(shù)據(jù)系統(tǒng)管理主要關(guān)注的是質(zhì)量管理，從系統(tǒng)的規(guī)劃、實(shí)施、監(jiān)控、驗(yàn)收等階段進(jìn)行質(zhì)量管控，保證系統(tǒng)服務(wù)的質(zhì)量。同時(shí)，在這一過(guò)程中，保持與系統(tǒng)最終用戶的持續(xù)溝通，確保業(yè)務(wù)需求得到滿足。2.5系統(tǒng)管理制度規(guī)范第二章系統(tǒng)管理及日志巡檢系統(tǒng)管理制度分類規(guī)劃實(shí)施運(yùn)營(yíng)評(píng)價(jià)業(yè)務(wù)制定IT服務(wù)戰(zhàn)略；管理系統(tǒng)投資成本/預(yù)算；符合內(nèi)外部標(biāo)準(zhǔn)政策。需求管理；優(yōu)先級(jí)排序。服務(wù)水平管理；能力管理；業(yè)務(wù)連續(xù)性管理。系統(tǒng)投資回報(bào)率；系統(tǒng)運(yùn)維績(jī)效。系統(tǒng)確定系統(tǒng)體系結(jié)構(gòu)；確定技術(shù)方向；管理項(xiàng)目組合。IT項(xiàng)目?jī)?nèi)部治理；IT項(xiàng)目外部治理。事件、問(wèn)題管理；發(fā)布、變更管理；配置庫(kù)管理；運(yùn)營(yíng)監(jiān)控管理。系統(tǒng)實(shí)施評(píng)級(jí)；設(shè)定改進(jìn)目標(biāo)；制定改進(jìn)措施。安全確定企業(yè)系統(tǒng)安全策略；制定企業(yè)系統(tǒng)安全標(biāo)準(zhǔn)；制定系統(tǒng)安全管理范圍。定義系統(tǒng)安全控制目標(biāo)；系統(tǒng)安全風(fēng)險(xiǎn)評(píng)估；制定安全風(fēng)險(xiǎn)措施。系統(tǒng)安全運(yùn)營(yíng)維護(hù)；系統(tǒng)安全風(fēng)險(xiǎn)控制。系統(tǒng)安全風(fēng)險(xiǎn)評(píng)價(jià)；安全改進(jìn)措施評(píng)價(jià)。內(nèi)控系統(tǒng)內(nèi)部控制規(guī)劃；系統(tǒng)審計(jì)規(guī)劃。系統(tǒng)實(shí)施控制；系統(tǒng)實(shí)施審計(jì)。內(nèi)部控制和持續(xù)改進(jìn)。服務(wù)水平評(píng)估與監(jiān)控；評(píng)估內(nèi)控措施有效性。2.5系統(tǒng)管理制度規(guī)范第二章系統(tǒng)管理及日志巡檢系統(tǒng)管理規(guī)范ITIL提供了服務(wù)管理最佳實(shí)踐指南，為高品質(zhì)IT服務(wù)的交付和支持提供一套客觀、嚴(yán)謹(jǐn)、可量化的綜合流程規(guī)范，是系統(tǒng)管理的最佳規(guī)范。第二章系統(tǒng)管理及日志巡檢2.1系統(tǒng)建設(shè)2.2系統(tǒng)管理對(duì)象2.3系統(tǒng)管理內(nèi)容2.4系統(tǒng)管理工具習(xí)題2.5系統(tǒng)管理制度規(guī)范2.6日常巡檢2.6日常巡檢第二章系統(tǒng)管理及日志巡檢日常巡檢檢查內(nèi)容分類：①環(huán)境和設(shè)備檢查；②應(yīng)用系統(tǒng)檢查。巡檢方法分類：①巡檢；②點(diǎn)檢；③廠商巡檢。巡檢流程：①巡檢規(guī)劃；②巡檢實(shí)施；③巡檢記錄處理。第二章系統(tǒng)管理及日志巡檢2.1系統(tǒng)建設(shè)2.2系統(tǒng)管理對(duì)象2.3系統(tǒng)管理內(nèi)容2.4系統(tǒng)管理工具習(xí)題2.5系統(tǒng)管理制度規(guī)范2.6日常巡檢1.簡(jiǎn)述大數(shù)據(jù)系統(tǒng)主要的三種應(yīng)用場(chǎng)景和對(duì)應(yīng)的大數(shù)據(jù)系統(tǒng)技術(shù)方案。2.簡(jiǎn)述安裝部署HDP的主要步驟。3.列舉出幾個(gè)具有代表性的大數(shù)據(jù)系統(tǒng)軟件，并簡(jiǎn)要說(shuō)明其作用。4.簡(jiǎn)述事件管理的流程目標(biāo)。5.簡(jiǎn)述問(wèn)題管理的流程。6.為什么說(shuō)IT運(yùn)維管理的基礎(chǔ)是配置管理？7.為什么要做好變更管理？8.你認(rèn)為日志管理最大的作用是什么？9.如果做好了安全防護(hù)措施，大數(shù)據(jù)系統(tǒng)還需不需要備份管理？10.簡(jiǎn)述主流的監(jiān)控管理工具，并探討如何更好地利用這些工具？11.流程管理的意義是什么？12.在大數(shù)據(jù)系統(tǒng)管理中遵循ITIL規(guī)范有什么好處？習(xí)題：第三章故障管理3.1集群結(jié)構(gòu)3.2故障報(bào)告3.3故障處理3.4故障后期管理習(xí)題3.1集群結(jié)構(gòu)第三章故障管理CDH（ClouderaDistributionHadoop）版的HADOOP集群介紹集群結(jié)構(gòu)。3.1集群結(jié)構(gòu)第三章故障管理CDH功能模塊系統(tǒng)部署和管理數(shù)據(jù)存儲(chǔ)資源管理處理引擎安全、數(shù)據(jù)管理工具庫(kù)3.1集群結(jié)構(gòu)第三章故障管理集群的結(jié)構(gòu)組成模塊組件名稱系統(tǒng)部署和管理ClouderaManagerClouderaDirector數(shù)據(jù)存儲(chǔ)HDFSHBase資源管理YARN處理引擎SparkImpalaSearch安全、數(shù)據(jù)管理ClouderaNavigator工具款Hive3.1集群結(jié)構(gòu)第三章故障管理硬件配置組成硬件名稱管理節(jié)點(diǎn)工作節(jié)點(diǎn)處理器兩路Intel?至強(qiáng)處理器，可選用E5-2630處理器兩路Intel?至強(qiáng)處理器，可選用E5-2660處理器內(nèi)核數(shù)6核/CPU（或者可選用8核/CPU)，主頻2.3GHz或以上6核/CPU（或者可選用8核/CPU)，主頻2.0GHz或以上內(nèi)存64GBECCDDR364GBECCDDR3硬盤2個(gè)2TB的SAS硬盤（3.5寸),7200RPM，RAID14-12個(gè)4TB的SAS硬盤（3.5寸),7200RPM，不使用RAID網(wǎng)絡(luò)至少兩個(gè)1GbE以太網(wǎng)電口，推薦使用光口提高性能?？梢詢蓚€(gè)網(wǎng)口鏈路聚合提供更高帶寬。至少兩個(gè)1GbE以太網(wǎng)電口，推薦使用光口提高性能?？梢詢蓚€(gè)網(wǎng)口鏈路聚合提供更高帶寬。硬件尺寸1U或2U1U或2U接入交換機(jī)48口千兆交換機(jī)，要求全千兆，可堆疊聚合交換機(jī)（可選）4口SFP+萬(wàn)兆光纖核心交換機(jī)，一般用于50節(jié)點(diǎn)以上大規(guī)模集群第三章故障管理3.1集群結(jié)構(gòu)3.2故障報(bào)告3.3故障處理3.4故障后期管理習(xí)題3.2故障報(bào)告第三章故障管理發(fā)現(xiàn)在故障發(fā)現(xiàn)之后，需要精確描述，包括如何發(fā)現(xiàn)的故障（如果是用戶，用戶的聯(lián)系方式要保留，便于后期回訪）故障發(fā)生的時(shí)間點(diǎn)，故障的現(xiàn)象，故障暫時(shí)的影響等，只有把這些描述清楚了，才有可能在后續(xù)的流程中提升效率，一個(gè)典型的故障記錄單如下表所示：

分類記錄單號(hào)20170511000328狀態(tài)已指派等待代碼等待管理員接單記錄人員張三分析員李四報(bào)告時(shí)間2017-05-1111:18:20客戶王五客戶組織業(yè)務(wù)一部客戶電話XXX客戶郵箱XXXVIP屬性VIP故障來(lái)源用戶報(bào)告摘要大數(shù)據(jù)分析系統(tǒng)X無(wú)法登錄詳細(xì)信息今天10：00，李四使用Chrome瀏覽器訪問(wèn)X系統(tǒng)時(shí)，在輸入用戶名和密碼之后，頁(yè)面出現(xiàn)錯(cuò)誤信息“服務(wù)器內(nèi)部故障308，請(qǐng)聯(lián)系管理員”，截圖如附件所示故障分類大數(shù)據(jù)分析系統(tǒng)/X系統(tǒng)/用戶登錄故障故障級(jí)別低3.2故障報(bào)告第三章故障管理影響分析在運(yùn)維部門，一般會(huì)有一二三線的人員劃分：一線人員指的是客服人員或者監(jiān)控值班人員，負(fù)責(zé)處理日常性的用戶詢問(wèn)和故障處理；二線人員指的是專業(yè)的系統(tǒng)管理員，如網(wǎng)絡(luò)管理員，服務(wù)器管理員，應(yīng)用管理員等，當(dāng)一線人員處理不了故障，會(huì)有二線的管理員跟進(jìn)；三線指的是系統(tǒng)開(kāi)發(fā)人員，產(chǎn)品供應(yīng)商，當(dāng)是比較深層的故障，例如是軟件開(kāi)發(fā)的問(wèn)題，操作系統(tǒng)缺陷或者深層故障，會(huì)交給三線人員處理。第三章故障管理3.1集群結(jié)構(gòu)3.2故障報(bào)告3.3故障處理3.4故障后期管理習(xí)題3.3故障處理第三章故障管理故障診斷參考大數(shù)據(jù)系統(tǒng)的系統(tǒng)架構(gòu)，從故障發(fā)生的位置來(lái)看，可以分為：應(yīng)用層故障，系統(tǒng)層故障，網(wǎng)絡(luò)層故障，硬件層故障，機(jī)房環(huán)境故障，客戶端故障等。從故障的原因出發(fā)，在運(yùn)維過(guò)程中的的常見(jiàn)故障主要有：3.3故障處理第三章故障管理故障診斷1、故障的完整描述如前文3.3.1所述，準(zhǔn)確的故障描述至關(guān)重要，能幫助管理員把故障的范圍縮小，對(duì)故障的發(fā)生源有個(gè)預(yù)判定位，避免在大范圍內(nèi)浪費(fèi)資源。通過(guò)故障的完整描述，應(yīng)該能核實(shí)以下信息，該問(wèn)題的具體報(bào)錯(cuò)碼，具體報(bào)錯(cuò)時(shí)間，是不是首次發(fā)生等。如果信息比較模糊，還需要反復(fù)確認(rèn)。2、監(jiān)控信息，dump文件，日志等現(xiàn)場(chǎng)快照故障發(fā)生時(shí)的現(xiàn)場(chǎng)信息是排查故障的關(guān)鍵，如同車禍現(xiàn)場(chǎng)的視頻記錄一樣，日志，監(jiān)控信息，dump文件，網(wǎng)路抓包情況是故障現(xiàn)場(chǎng)的記錄數(shù)據(jù)。一些沒(méi)有經(jīng)驗(yàn)的開(kāi)發(fā)者往往由于開(kāi)發(fā)的應(yīng)用輸出的日志太少，在生產(chǎn)環(huán)境出現(xiàn)問(wèn)題時(shí)，沒(méi)有任何記錄，排查故障時(shí)也毫無(wú)頭緒。大多數(shù)故障都可以通過(guò)日志發(fā)現(xiàn)端倪，一些復(fù)雜的故障要依靠多種手段才能定位原因。如果當(dāng)時(shí)無(wú)法定位原因，則需要考慮通過(guò)降低日志輸出的級(jí)別，在關(guān)鍵位置增加日志，部署一些詳細(xì)監(jiān)控的策略，等待故障再次發(fā)生時(shí)，能夠捕獲更多的信息。3、文檔，經(jīng)驗(yàn)和知識(shí)通過(guò)現(xiàn)場(chǎng)快照發(fā)現(xiàn)了錯(cuò)誤的具體信息后，還要結(jié)合系統(tǒng)本身的文檔，知識(shí)庫(kù)或者管理員的經(jīng)驗(yàn)，進(jìn)行進(jìn)一步分析。例如已經(jīng)發(fā)現(xiàn)了服務(wù)器應(yīng)用輸出的日志有明顯的錯(cuò)誤信息，顯示網(wǎng)絡(luò)連接失敗?？赡茉搯?wèn)題過(guò)去已經(jīng)發(fā)生過(guò)，是由于訪問(wèn)量上升時(shí)，服務(wù)端無(wú)法再創(chuàng)建新的連接造成的。如果該經(jīng)驗(yàn)沒(méi)有記錄到文檔或者知識(shí)庫(kù)中，而人員又不是當(dāng)時(shí)處理故障的人員，則還需要花費(fèi)資源進(jìn)行診斷。一般的大型組織，都會(huì)建立自己的知識(shí)庫(kù)或者文檔庫(kù)，各種開(kāi)源軟件也會(huì)有相應(yīng)的文檔或者論壇在互聯(lián)網(wǎng)上開(kāi)放，可以通過(guò)搜索引擎檢索到軟件相關(guān)的問(wèn)題記錄和解決情況。3.3故障處理第三章故障管理故障排除故障排除通常有兩種做法，變通解決和根本解決。變通解決指的是，當(dāng)故障造成了系統(tǒng)不可用，恢復(fù)服務(wù)是第一要?jiǎng)?wù)，如同醫(yī)生搶救病人一樣，先救活再說(shuō)。根本解決指的是找到的故障的深層原因，在源頭上予以解決。例如，應(yīng)用程序的缺陷造成了程序運(yùn)行了一段時(shí)間會(huì)崩潰退出，此時(shí)先將程序重新啟動(dòng)恢復(fù)服務(wù)，重啟動(dòng)作就是變通解決，等找到了程序的缺陷，通過(guò)升級(jí)變更予以消除，這就是根本解決。排除方法適應(yīng)場(chǎng)景重啟服務(wù)軟件或者硬件不明原因的故障，通過(guò)重啟相關(guān)模塊來(lái)恢復(fù)服務(wù)，但要注意的是，復(fù)雜系統(tǒng)尤其是分布式系統(tǒng)包含多臺(tái)服務(wù)器，多個(gè)應(yīng)用模塊，按照怎樣的順序重啟，重啟哪些模塊也都是需要注意的點(diǎn)；性能調(diào)度當(dāng)訪問(wèn)量激增的時(shí)候，系統(tǒng)會(huì)出現(xiàn)卡頓，一些模塊可能會(huì)由于資源耗盡而無(wú)法再服務(wù)，可以通過(guò)擴(kuò)充系統(tǒng)性能，如果系統(tǒng)是部署在云上，可以通過(guò)云管理平臺(tái)動(dòng)態(tài)地增加cpu，內(nèi)存，甚至整個(gè)服務(wù)器等來(lái)解決性能問(wèn)題；

修補(bǔ)數(shù)據(jù)當(dāng)故障造成了數(shù)據(jù)錯(cuò)誤，丟失，重復(fù)的情況，故障的處理就會(huì)變的異常麻煩，如果數(shù)據(jù)特別重要，一定需要修復(fù)，則需要安排資源對(duì)數(shù)據(jù)進(jìn)行逐筆核對(duì)，識(shí)別出錯(cuò)誤的地方，這個(gè)工作量通常非常大；升級(jí)變更如果是硬件故障，通過(guò)升級(jí)變更更換硬件；如果是軟件問(wèn)題，通過(guò)升級(jí)變更修復(fù)缺陷；隔離，重置等其他應(yīng)急操作當(dāng)系統(tǒng)存在冗余的模塊，為了避免流量仍然導(dǎo)向到故障模塊，則可以徹底手工隔離故障模塊；一些系統(tǒng)可能由于自身結(jié)構(gòu)原因，會(huì)有一些常發(fā)性故障，例如用戶登錄狀態(tài)錯(cuò)誤，則可以將重置用戶登錄狀態(tài)做成一個(gè)功能，方便在排除故障的時(shí)候使用；自動(dòng)化在有了一定故障處理經(jīng)驗(yàn)和原則之后，對(duì)于固定場(chǎng)景的故障，可以考慮開(kāi)發(fā)成自動(dòng)處理，在捕獲到異常之后，由系統(tǒng)管理模塊對(duì)故障進(jìn)程自動(dòng)隔離，自動(dòng)重啟，自動(dòng)重置，自動(dòng)擴(kuò)容等；第三章故障管理3.1集群結(jié)構(gòu)3.2故障報(bào)告3.3故障處理3.4故障后期管理習(xí)題3.4故障后期管理第三章故障管理建立和更新知識(shí)庫(kù)關(guān)于企業(yè)知識(shí)庫(kù)的建立，是因?yàn)檫\(yùn)維工作所需的大量知識(shí)分散保存在文檔管理系統(tǒng)或者個(gè)人電腦中，需要時(shí)查找不便，找到又發(fā)現(xiàn)版本不統(tǒng)一，甚至陳舊過(guò)時(shí)。通過(guò)建設(shè)知識(shí)管理系統(tǒng)，對(duì)大量有價(jià)值的案例、規(guī)范、手冊(cè)、經(jīng)驗(yàn)等知識(shí)進(jìn)行分類存儲(chǔ)和管理，積累知識(shí)資產(chǎn)避免流失；規(guī)范知識(shí)的存儲(chǔ)、分類，實(shí)現(xiàn)便捷高效的查詢；通過(guò)記錄并分析使用者的知識(shí)行為，促進(jìn)知識(shí)的學(xué)習(xí)、共享、利用和傳承；并與現(xiàn)有的管理系統(tǒng)、流程系統(tǒng)進(jìn)行銜接，實(shí)現(xiàn)不同系統(tǒng)間知識(shí)的整合。而對(duì)于故障處理的經(jīng)驗(yàn)，除了故障處理流程記錄之外，也可以針對(duì)一些典型故障，創(chuàng)建或者更新知識(shí)庫(kù)，便于以后重復(fù)利用，減少排查故障時(shí)的工作量。3.4故障后期管理第三章故障管理故障預(yù)防1、首先任何生產(chǎn)過(guò)程都要進(jìn)行程序化，這樣使整個(gè)生產(chǎn)過(guò)程都可以進(jìn)行考量，這是發(fā)現(xiàn)事故征兆的前提。2、對(duì)每一個(gè)程序都要?jiǎng)澐窒鄳?yīng)的責(zé)任，可以找到相應(yīng)的負(fù)責(zé)人，要讓他們認(rèn)識(shí)到安全生產(chǎn)的重要性，以及安全事故帶來(lái)的巨大危害性。3、根據(jù)生產(chǎn)程序的可能性，列出每一個(gè)程序可能發(fā)生的事故，以及發(fā)生事故的先兆，培養(yǎng)員工對(duì)事故先兆的敏感性。4、在每一個(gè)程序上都要制定定期的檢查制度，及早發(fā)現(xiàn)事故的征兆。5、在任何程序上一旦發(fā)現(xiàn)生產(chǎn)安全事故的隱患，要及時(shí)的報(bào)告，要及時(shí)的排除。6、在生產(chǎn)過(guò)程中，即使有一些小事故發(fā)生，可能是避免不了或者經(jīng)常發(fā)生，也應(yīng)引起足夠的重視，要及時(shí)排除。當(dāng)事人即使不能排除，也應(yīng)該向安全負(fù)責(zé)人報(bào)告，以便找出這些小事故的隱患，及時(shí)排除，避免安全事故的發(fā)生。1.從故障的原因出發(fā)，故障可以分為哪些種類？2.當(dāng)發(fā)生故障時(shí)，需要記錄哪些相關(guān)信息？3.運(yùn)維的一線，二線，三線人員的工作職責(zé)如何劃分？習(xí)題：第四章性能管理4.1性能分析4.2性能監(jiān)控工具4.3性能優(yōu)化習(xí)題4.1性能分析第四章性能管理性能因子影響Hadoop大數(shù)據(jù)作業(yè)性能的因子有以下幾點(diǎn)：①Hadoop配置：配置對(duì)Hadoop集群的性能是非常重要的；不合理的配置會(huì)產(chǎn)生CPU負(fù)載、內(nèi)存交換、IO等的額外開(kāi)銷問(wèn)題。②文件大?。禾貏e大和特別小的文件都會(huì)影響Map任務(wù)的性能。③Mapper，Reducer的數(shù)量：會(huì)影響Map、Reduce的任務(wù)和Job的性能。④硬件:節(jié)點(diǎn)的性能、配置規(guī)劃及網(wǎng)絡(luò)硬件的性能會(huì)直接影響到作業(yè)的性能。⑤代碼：質(zhì)量差的代碼會(huì)影響Map/Reduce性能。4.1性能分析第四章性能管理性能指標(biāo)包括：Elapsedtime、TotalAllocatedContainers、Numberofmaps，Launchedmaptasks、Numberofreduces，Launchedreducetasks、Jobstate、Totaltimespentbyallmaptasks(ms)、Totaltimespentbyallreducetasks(ms)、Totalvcore-secondstakenbyallmaptasks、Totalvcore-secondstakenbyallreducetasks、Mapinputrecords、Mapoutputrecords、Mapoutputbytes、Mapoutputmaterializedbytes、Inputsplitbytes、Combineinputrecords、Combineoutputrecords、Reduceinputgroups、Reduceshufflebytes、Reduceinputrecords、Reduceoutputrecords、SpilledRecords、ShuffledMaps、FailedShuffles、MergedMapoutputs、GCtimeelapsed(ms)、CPUtimespent(ms)、Physicalmemory(bytes)snapshot、Virtualmemory(bytes)snapshot、Totalcommittedheapusage(bytes)等。第四章性能管理4.1性能分析4.2性能監(jiān)控工具4.3性能優(yōu)化習(xí)題4.2性能監(jiān)控工具第四章性能管理通過(guò)瀏覽器查看HadoopNameNode開(kāi)放的50070端口,可以了解到hadoop集群的基本配置信息和監(jiān)控到hadoop集群的狀態(tài)。集群基本信息（1）4.2性能監(jiān)控工具第四章性能管理集群基本信息（2）4.2性能監(jiān)控工具第四章性能管理集群基本信息（3）4.2性能監(jiān)控工具第四章性能管理集群基本信息（4）4.2性能監(jiān)控工具第四章性能管理（1）運(yùn)行了哪些作業(yè)，每個(gè)作業(yè)的類型、執(zhí)行時(shí)間、起始時(shí)間、結(jié)束時(shí)間、執(zhí)行時(shí)間、當(dāng)前狀態(tài)、最終狀態(tài)等。4.2性能監(jiān)控工具第四章性能管理（2）作業(yè)運(yùn)行在集群的哪些計(jì)算節(jié)點(diǎn)上。4.2性能監(jiān)控工具第四章性能管理（3）HDFS文件信息，包括Size、Replication、BlockSize。4.2性能監(jiān)控工具第四章性能管理集群CLI通過(guò)yarn、mapred等CLI工具，也可監(jiān)控作業(yè)的運(yùn)行。操作系統(tǒng)自帶工具通過(guò)操作系統(tǒng)自帶的工具，如vmstat，可以監(jiān)控到節(jié)點(diǎn)的物理運(yùn)行性能，可以監(jiān)控每個(gè)節(jié)點(diǎn)的資源占用信息。4.2性能監(jiān)控工具第四章性能管理Ganglia工作原理圖如下：4.2性能監(jiān)控工具第四章性能管理Ganglia監(jiān)控畫面4.2性能監(jiān)控工具第四章性能管理其他監(jiān)控工具其它常用監(jiān)控工具還有Dr.Elephant、nagios、eBayEagle等,如下圖顯示的Dr.Elephant監(jiān)控畫面。第四章性能管理4.1性能分析4.2性能監(jiān)控工具4.3性能優(yōu)化習(xí)題4.3性能優(yōu)化第四章性能管理Hadoop集群配置規(guī)劃優(yōu)化AHadoop硬件配置規(guī)劃優(yōu)化B操作系統(tǒng)規(guī)劃優(yōu)化CHadoop集群配置規(guī)劃優(yōu)化4.3性能優(yōu)化第四章性能管理Hadoop性能優(yōu)化內(nèi)存優(yōu)化配置多個(gè)MapReduce工作目錄壓縮MapReduce中間結(jié)果調(diào)整虛擬CPU個(gè)數(shù)其他優(yōu)化常用技巧4.3性能優(yōu)化第四章性能管理作業(yè)優(yōu)化在經(jīng)過(guò)以上Hadoop性能優(yōu)化后，如果對(duì)作業(yè)運(yùn)行還有加快的需求，則采用以下優(yōu)化方法可以進(jìn)一步提升作業(yè)運(yùn)行性能。減少作業(yè)時(shí)間01調(diào)節(jié)節(jié)點(diǎn)任務(wù)02優(yōu)化shuffle，提高作業(yè)性能03代碼優(yōu)化04第四章性能管理4.1性能分析4.2性能監(jiān)控工具4.3性能優(yōu)化習(xí)題1.請(qǐng)列出3個(gè)以上主要性能因子。2.請(qǐng)列出5個(gè)以上主要性能指標(biāo)并說(shuō)明其代表的含義。3.請(qǐng)列出3個(gè)以上主要性能監(jiān)測(cè)工具并說(shuō)明它的運(yùn)用方法。4.Hadoop集群配置規(guī)劃優(yōu)化可以采取哪些措施？5.請(qǐng)說(shuō)明Hadoop集群優(yōu)化的5個(gè)技巧。6.如何調(diào)整Map任務(wù)數(shù)目？請(qǐng)比較調(diào)整Map任務(wù)數(shù)的運(yùn)行效果。7.如何修改調(diào)度策略？習(xí)題：第五章安全管理5.1安全概述5.2資產(chǎn)安全管理5.3應(yīng)用安全5.4安全威脅習(xí)題5.5安全措施5.1安全概述

第五章安全管理安全管理的主要目標(biāo)保密性是指對(duì)數(shù)據(jù)的訪問(wèn)限制，只有被授權(quán)的人才能使用。完整性特別是與數(shù)據(jù)相關(guān)的完整性，指的是保證數(shù)據(jù)沒(méi)有在未經(jīng)授權(quán)的方式下改變?？捎眯允侵赣?jì)算機(jī)服務(wù)時(shí)間內(nèi)，確保服務(wù)的可用。5.1安全概述第五章安全管理自從互聯(lián)網(wǎng)誕生以來(lái)，黑客和攻擊就伴隨而來(lái)，信息安全的問(wèn)題一直呈現(xiàn)上升態(tài)勢(shì)。第五章安全管理5.1安全概述5.2資產(chǎn)安全管理5.3應(yīng)用安全5.4安全威脅習(xí)題5.5安全措施5.2資產(chǎn)安全管理第五章安全管理環(huán)境設(shè)施管理環(huán)境可以分為服務(wù)器機(jī)房環(huán)境和終端辦公環(huán)境門禁系統(tǒng)目前應(yīng)用比較廣泛的主要分為卡片式，密碼式，生物特征和混合式：卡片式的門禁系統(tǒng)，人員需憑刷卡進(jìn)出；密碼式門禁系統(tǒng)，人員憑借口令輸入進(jìn)出；生物特征式的門禁系統(tǒng)，人員可以通過(guò)指紋，虹膜，面部識(shí)別等生物特征進(jìn)行進(jìn)出?；旌戏绞降拈T禁系統(tǒng)可能會(huì)采取卡片，密碼或者生物特征中的多種方式。而對(duì)于非企業(yè)內(nèi)部的工作人員，最好有一套臨時(shí)人員的進(jìn)出登記制度，對(duì)于機(jī)房等關(guān)鍵場(chǎng)所，需要有內(nèi)部人員陪同。為保護(hù)昂貴的電子設(shè)備和數(shù)據(jù)資源，機(jī)房一般都會(huì)采用報(bào)警及滅火系統(tǒng)。傳統(tǒng)的水因?yàn)闀?huì)破壞電子設(shè)備，該系統(tǒng)是將某些具有滅火能力的氣態(tài)化合物，常溫下貯存于常溫高壓或低溫低壓容器中，在火災(zāi)發(fā)生時(shí)通過(guò)自動(dòng)或手動(dòng)控制設(shè)備施放到火災(zāi)發(fā)生區(qū)域，從而達(dá)到滅火目的。視頻監(jiān)控也是一個(gè)通用的安全管控手段，在關(guān)鍵的通道，入口處安裝音視頻監(jiān)控設(shè)備，通過(guò)攝像和錄音的方式獲取環(huán)境的實(shí)時(shí)狀態(tài)，并根據(jù)存儲(chǔ)容量，保存數(shù)天或者數(shù)月的存檔，方便以后調(diào)檔查詢。5.2資產(chǎn)安全管理第五章安全管理設(shè)備安全為防各種設(shè)備的丟失或者損壞，設(shè)備的管理必不可少。常見(jiàn)的管控措施對(duì)所有設(shè)備進(jìn)行統(tǒng)一登記和編碼，在新購(gòu)、維修、報(bào)廢、遷移等環(huán)節(jié)對(duì)資產(chǎn)的配置信息進(jìn)行及時(shí)維護(hù)，每年固定時(shí)間對(duì)設(shè)備信息進(jìn)行審計(jì)復(fù)核。目前，已經(jīng)有二維碼或者RFID內(nèi)置的標(biāo)簽，可以粘貼在各種設(shè)備的物理表面，方便進(jìn)行統(tǒng)一管理。第五章安全管理5.1安全概述5.2資產(chǎn)安全管理5.3應(yīng)用安全5.4安全威脅習(xí)題5.5安全措施5.3應(yīng)用安全第五章安全管理技術(shù)安全A安全漏洞B安全開(kāi)發(fā)C安全測(cè)試D運(yùn)維加固5.3應(yīng)用安全第五章安全管理技術(shù)安全漏洞概述注入注入攻擊漏洞，例如SQL，OS以及LDAP注入。這些攻擊發(fā)生在當(dāng)不可信的數(shù)據(jù)作為命令或者查詢語(yǔ)句的一部分，被發(fā)送給解釋器的時(shí)候。攻擊者發(fā)送的惡意數(shù)據(jù)可以欺騙解釋器，以執(zhí)行計(jì)劃外的命令或者在未被恰當(dāng)授權(quán)時(shí)訪問(wèn)數(shù)據(jù)。失效的身份認(rèn)證和會(huì)話管理與身份認(rèn)證和回話管理相關(guān)的應(yīng)用程序功能往往得不到正確的實(shí)現(xiàn)，這就導(dǎo)致了攻擊者攻擊者破壞密碼、密鑰、會(huì)話令牌或攻擊其他的漏洞去冒充其他用戶的身份（暫時(shí)或永久的）。跨站腳本（XSS）當(dāng)應(yīng)用程序收到含有不可信的數(shù)據(jù)，在沒(méi)有進(jìn)行適當(dāng)?shù)尿?yàn)證和轉(zhuǎn)義的情況下，就將它發(fā)送給一個(gè)網(wǎng)頁(yè)瀏覽器，或者使用可以創(chuàng)建javaScript腳本的瀏覽器API利用用戶提供的數(shù)據(jù)更新現(xiàn)有網(wǎng)頁(yè)，這就會(huì)產(chǎn)生跨站腳本攻擊。XSS允許攻擊者在受害者的瀏覽器上執(zhí)行腳本，從而劫持用戶會(huì)話、危害網(wǎng)站或者將用戶重定向到惡意網(wǎng)站。失效的訪問(wèn)控制對(duì)于通過(guò)認(rèn)證的用戶所能夠執(zhí)行的操作，缺乏有效的限制。攻擊者就可以利用這些缺陷來(lái)訪問(wèn)未經(jīng)授權(quán)的功能和/或數(shù)據(jù)，例如訪問(wèn)其他用戶的賬戶，查看敏感文件，修改其他用戶的數(shù)據(jù)，更改訪問(wèn)權(quán)限等。安全配置錯(cuò)誤好的安全需要對(duì)應(yīng)用程序、框架、應(yīng)用程序服務(wù)器、web服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和平臺(tái)定義和執(zhí)行安全配置。由于許多設(shè)置的默認(rèn)值并不是安全的，因此，必須定義、實(shí)施和維護(hù)這些設(shè)置。此外，所有的軟件應(yīng)該保持及時(shí)更新。5.3應(yīng)用安全第五章安全管理技術(shù)安全漏洞概述敏感信息泄露許多web應(yīng)用程序和API沒(méi)有正確保護(hù)敏感數(shù)據(jù)，如財(cái)務(wù)、醫(yī)療保健和PII。攻擊者可能會(huì)竊取或篡改此類弱保護(hù)的數(shù)據(jù)，進(jìn)行信用卡欺騙、身份竊取或其他犯罪行為。敏感數(shù)據(jù)應(yīng)該具有額外的保護(hù)，例如在存放或在傳輸過(guò)程中的加密，以及與瀏覽器交換時(shí)進(jìn)行特殊的預(yù)防措施。攻擊檢測(cè)與防護(hù)不足大多數(shù)應(yīng)用和API缺乏檢測(cè)、預(yù)防和響應(yīng)手動(dòng)或自動(dòng)化攻擊的能力。攻擊保護(hù)措施不限于基本輸入驗(yàn)證，還應(yīng)具備自動(dòng)檢測(cè)、記錄和響應(yīng)，甚至阻止攻擊的能力。應(yīng)用所有者還應(yīng)能夠快速部署安全補(bǔ)丁以防御攻擊?？缯菊?qǐng)求偽造（CSRF）一個(gè)跨站請(qǐng)求偽造攻擊迫使登錄用戶的瀏覽器將偽造的HTTP請(qǐng)求，包括受害者的會(huì)話cookie和所有其他自動(dòng)填充的身份認(rèn)證信息，發(fā)送到一個(gè)存在漏洞的web應(yīng)用程序。這種攻擊允許攻擊迫使受害者的瀏覽器生成讓存在漏洞的應(yīng)用程序認(rèn)為是受害者的合法請(qǐng)求的請(qǐng)求。使用含有已知漏洞的組件組件，比如：庫(kù)文件、框架和其他軟件模塊，具有與應(yīng)用程序相同的權(quán)限。如果一個(gè)帶有漏洞的組件被利用，這種攻擊可以促成嚴(yán)重的數(shù)據(jù)丟失或服務(wù)器接管。應(yīng)用程序和API使用帶有已知漏洞的組件可能會(huì)破壞應(yīng)用程序的防御系統(tǒng)，并使一系列可能的攻擊和影響成為可能。安全配置錯(cuò)誤現(xiàn)代應(yīng)用程序通常涉及豐富的客戶端應(yīng)用程序和API，如：瀏覽器和移動(dòng)APP中的JavaScript，其與某類API(SOAP/XML、REST/JSON、RPC、GWT等）連接。這些API通常是不受保護(hù)的，并且包含許多漏洞。5.3應(yīng)用安全第五章安全管理數(shù)據(jù)安全存儲(chǔ)安全傳輸安全訪問(wèn)安全5.3數(shù)據(jù)安全第五章安全管理水印信號(hào)技術(shù)水印信號(hào)嵌入水印信號(hào)的驗(yàn)證第五章安全管理5.1安全概述5.2資產(chǎn)安全管理5.3應(yīng)用安全5.4安全威脅習(xí)題5.5安全措施5.4安全威脅第五章安全管理人為失誤01人自身原因02環(huán)境原因03工具原因04流程原因5.4安全威脅第五章安全管理外部攻擊分類詳細(xì)內(nèi)容惡意程序惡意程序是未經(jīng)授權(quán)運(yùn)行的、懷有惡意目的、具有攻擊意圖或者實(shí)現(xiàn)惡意功能的所有軟件的統(tǒng)稱，其表現(xiàn)形式有很多：計(jì)算機(jī)病毒、特洛伊木馬程序、蠕蟲(chóng)、僵尸程序、黑客工具、漏洞利用程序、邏輯炸彈、間諜軟件等。網(wǎng)絡(luò)入侵網(wǎng)絡(luò)入侵，是指根據(jù)信息系統(tǒng)存在的漏洞和安全缺陷，通過(guò)外部對(duì)信息系統(tǒng)的硬件、軟件及數(shù)據(jù)進(jìn)行攻擊行為。網(wǎng)絡(luò)攻擊的技術(shù)與方法有很多種類型，通常從攻擊對(duì)象入手，可以分為針對(duì)主機(jī)、協(xié)議、應(yīng)用和信息等攻擊。拒絕服務(wù)攻擊拒絕服務(wù)攻擊（DoS）即攻擊者想辦法讓目標(biāo)機(jī)器停止提供服務(wù)，是黑客常用的攻擊手段之。常見(jiàn)的造成網(wǎng)絡(luò)帶寬的耗盡，使合法用戶無(wú)法正常訪問(wèn)服務(wù)器資源的攻擊，DDoS攻擊手段是在傳統(tǒng)的DoS攻擊基礎(chǔ)之上產(chǎn)生的一類攻擊方式。單一的DoS攻擊一般是采用一對(duì)一方式的，當(dāng)被攻擊目標(biāo)CPU速度低、內(nèi)存小或者網(wǎng)絡(luò)帶寬小等等各項(xiàng)性能指標(biāo)不高時(shí)，它的效果是明顯的。社會(huì)工具為某些非容易的獲取訊息，利用社會(huì)科學(xué)尤其心理學(xué)，語(yǔ)言學(xué)，欺詐學(xué)將其進(jìn)行綜合，有效的利用人性的弱點(diǎn)，并最終獲得信息為最終目的學(xué)科稱為“社會(huì)工程學(xué)”（SocialEngineering）。社會(huì)工程學(xué)中比較知名的案例是網(wǎng)絡(luò)釣魚(yú)，通過(guò)大量發(fā)送聲稱來(lái)自于銀行或其他知名機(jī)構(gòu)的欺騙性垃圾郵件，意圖引誘收信人給出敏感信息（如用戶名、口令、帳號(hào)ID、ATMPIN碼或信用卡詳細(xì)信息）的一種攻擊方式。5.4安全威脅第五章安全管理信息泄露信息泄露是信息安全的重大威脅，國(guó)內(nèi)外都發(fā)生過(guò)大規(guī)模的信息泄露事件。2015年2月，國(guó)內(nèi)多家酒店的網(wǎng)站存在高危漏洞，房客開(kāi)房信息大量泄露，一覽無(wú)余，黑客可輕松獲取到千萬(wàn)級(jí)的酒店顧客的訂單信息，包括顧客姓名、身份證、手機(jī)號(hào)、房間號(hào)、房型、開(kāi)房時(shí)間、退房時(shí)間、家庭住址、信用卡后四位、信用卡截止日期、郵件等等大量敏感信息。2016年5月，位于美國(guó)紐約的輕博客網(wǎng)站Tumblr賬戶信息泄露，涉及的郵箱賬號(hào)和密碼達(dá)65,469,298個(gè)。由于一般用戶在互聯(lián)網(wǎng)上習(xí)慣使用相同賬號(hào)和密碼，一旦一個(gè)網(wǎng)站的賬號(hào)遭到泄露，其他網(wǎng)站會(huì)受到撞庫(kù)攻擊，造成更大規(guī)模的信息泄露。5.4安全威脅第五章安全管理災(zāi)害洪災(zāi)災(zāi)害01地震災(zāi)害03火災(zāi)災(zāi)害02人為因素04第五章安全管理5.1安全概述5.2資產(chǎn)安全管理5.3應(yīng)用安全5.4安全威脅習(xí)題5.5安全措施5.5安全措施第五章安全管理安全制度規(guī)范分類詳細(xì)內(nèi)容人員組織明確各級(jí)人員對(duì)于信息安全的責(zé)任和義務(wù)，明確信息安全的領(lǐng)導(dǎo)機(jī)構(gòu)和組織形式。行為安全明確每個(gè)人在組織內(nèi)部允許和禁止的行為。機(jī)房安全明確出入機(jī)房，上架設(shè)備所必須遵守的流程規(guī)范。網(wǎng)絡(luò)安全明確組織內(nèi)部的網(wǎng)絡(luò)區(qū)域劃分，以及不同網(wǎng)絡(luò)的功能和隔離措施。開(kāi)發(fā)過(guò)程安全明確軟件的開(kāi)發(fā)設(shè)計(jì)和測(cè)試遵守相關(guān)規(guī)范，開(kāi)發(fā)和運(yùn)維分離，源代碼和文檔應(yīng)落地保存。終端安全明確終端設(shè)備的使用范圍，禁止私自修改終端設(shè)備，應(yīng)設(shè)置終端口令，及時(shí)鎖屏，及時(shí)更新操作系統(tǒng)補(bǔ)丁等。數(shù)據(jù)安全不對(duì)外傳播敏感數(shù)據(jù)，生產(chǎn)數(shù)據(jù)的使用需要在監(jiān)督和授權(quán)下執(zhí)行?？诹畎踩鞔_口令的復(fù)雜程度，定期修改的時(shí)間等。臨時(shí)人員的管理明確非內(nèi)部員工的的行為列表，外包人員的行為規(guī)范，防范非法入侵。5.5安全措施第五章安全管理安全防范措施分類詳細(xì)內(nèi)容機(jī)房門禁系統(tǒng)，消防系統(tǒng)，攝像系統(tǒng)。服務(wù)器防病毒軟件，漏洞掃描工具，配置核查系統(tǒng)。網(wǎng)絡(luò)防火墻，入侵監(jiān)測(cè)系統(tǒng)，入侵防御系統(tǒng)。終端防病毒軟件，行為控制和審計(jì)軟件，堡壘機(jī)。應(yīng)用程序漏洞掃描工具，源代碼掃描軟件，證書管理系統(tǒng)，統(tǒng)一認(rèn)證系統(tǒng)，身份管理系統(tǒng)。數(shù)據(jù)備份數(shù)據(jù)備份軟件。流程管理運(yùn)維管理平臺(tái)，安全管理平臺(tái)，審計(jì)平臺(tái)。5.5安全措施第五章安全管理SSL中間人攻擊第五章安全管理5.1安全概述5.2資產(chǎn)安全管理5.3應(yīng)用安全5.4安全威脅習(xí)題5.5安全措施習(xí)題：1.安全中的完整性指的是計(jì)算機(jī)服務(wù)時(shí)間內(nèi)，確保服務(wù)的可用。2.視頻監(jiān)控重點(diǎn)是實(shí)時(shí)監(jiān)控，一般不需要存檔。3.跨站腳本（XSS）漏洞的原因是因?yàn)槿鄙購(gòu)?qiáng)壯的認(rèn)證措施。4.健壯的輸入和輸出過(guò)濾可以大大降低Web應(yīng)用受攻擊的風(fēng)險(xiǎn)。5.開(kāi)發(fā)過(guò)程中的漏洞只能通過(guò)修改代碼規(guī)避，其他方式都不可行。第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習(xí)題6.1高可用性概述第六章高可用性管理衡量系統(tǒng)運(yùn)行穩(wěn)定性的關(guān)鍵指標(biāo)是系統(tǒng)的可用性，可用性（availability）指的是系統(tǒng)的無(wú)故障運(yùn)行時(shí)間的百分比，計(jì)算公式為：無(wú)故障運(yùn)行時(shí)間/計(jì)劃對(duì)外服務(wù)時(shí)間*100%。為了保證系統(tǒng)有較高的可用性，會(huì)采取一些高可用（HighAvailability，簡(jiǎn)稱HA）技術(shù)來(lái)減少故障中斷時(shí)間。高可用技術(shù)的核心思想是冗余，即關(guān)鍵部件要不止一個(gè)，在原部件故障或者維修的的時(shí)候，備用的零部件要能頂替原有部件的作用。當(dāng)發(fā)生大規(guī)模故障時(shí)，如機(jī)房整體電力故障，對(duì)外網(wǎng)絡(luò)被物理切斷，在一定區(qū)域內(nèi)的部件冗余也失效，此時(shí)就需要考慮容災(zāi)相關(guān)的方案。通過(guò)在其他物理區(qū)域的數(shù)據(jù)中心建立備份系統(tǒng)，第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習(xí)題6.2高可用性技術(shù)第六章高可用性管理系統(tǒng)架構(gòu)機(jī)房環(huán)境機(jī)房環(huán)境的高可用主要考慮的是電力和機(jī)柜分配的方面。網(wǎng)絡(luò)、主機(jī)、存儲(chǔ)網(wǎng)絡(luò)是數(shù)據(jù)中心的核心，主機(jī)是高可用方案的主要部分，主機(jī)層面的高可用技術(shù)分為主從模式、雙機(jī)模式和集群模式。數(shù)據(jù)庫(kù)在數(shù)據(jù)庫(kù)領(lǐng)域，有一些經(jīng)典的高可用技術(shù)，不同產(chǎn)品的原理和實(shí)現(xiàn)上都略有區(qū)別。應(yīng)用在實(shí)現(xiàn)某個(gè)特定功能點(diǎn)時(shí)，應(yīng)用程序可以通過(guò)多個(gè)實(shí)例完成該功能的服務(wù)。6.2高可用性技術(shù)第六章高可用性管理容災(zāi)一般情況下，談到高可用技術(shù)時(shí)，討論的范圍都是在數(shù)據(jù)中心內(nèi)部的各種保障技術(shù)，但當(dāng)數(shù)據(jù)中心整體發(fā)生故障，或者稱之為災(zāi)難時(shí)，就需要依靠容災(zāi)技術(shù)，在6.3的業(yè)務(wù)連續(xù)性管理中，會(huì)有詳細(xì)闡述。6.2高可用性技術(shù)第六章高可用性管理監(jiān)控指標(biāo)項(xiàng)應(yīng)用自身狀態(tài)：服務(wù)進(jìn)程狀況、服務(wù)狀態(tài)、業(yè)務(wù)開(kāi)關(guān)或可使用標(biāo)志狀態(tài)。數(shù)據(jù)服務(wù)：數(shù)據(jù)及時(shí)、數(shù)據(jù)關(guān)鍵路徑、數(shù)據(jù)完整性和正確性關(guān)鍵表記錄變化情況、關(guān)鍵業(yè)務(wù)數(shù)據(jù)、關(guān)鍵數(shù)據(jù)按預(yù)期清空。性能容量：用戶數(shù)量（終端/API)，內(nèi)存加載量、消息并發(fā)量、事務(wù)響應(yīng)時(shí)間。批量作業(yè)：批量處理情況、批量開(kāi)始時(shí)間、批量結(jié)束時(shí)間、批量加載時(shí)間、批處理狀態(tài)。應(yīng)用占用系統(tǒng)資源：文件句柄數(shù)、應(yīng)用分區(qū)空間、應(yīng)用文件增長(zhǎng)情況、網(wǎng)絡(luò)連接、單個(gè)用戶或請(qǐng)求進(jìn)程占用的系統(tǒng)資源。應(yīng)用中間件（Weblogic、Tomcat）：WeblogicServer、線程池、JVM、數(shù)據(jù)源、連接池、APP狀態(tài)。MQ：隊(duì)列管理器、通道、隊(duì)列、事件、（Event）。WEB服務(wù)器（例如Apache）：Apache吞吐率、Apache并發(fā)連接數(shù)、httpd進(jìn)程數(shù)、httpd線程數(shù)目、提供網(wǎng)站服務(wù)的字節(jié)數(shù)、處理連接的耗時(shí)時(shí)間。6.2高可用性技術(shù)第六章高可用性管理故障轉(zhuǎn)移主機(jī)/存儲(chǔ)/網(wǎng)絡(luò)/數(shù)據(jù)庫(kù)一般都是心跳包機(jī)制來(lái)進(jìn)行健康狀態(tài)的監(jiān)控。由管理模塊向各個(gè)模塊之間按照一定時(shí)間間隔發(fā)送心跳包，或者兩個(gè)模塊之間互相發(fā)送心跳包，如果超過(guò)設(shè)定時(shí)間周期，某個(gè)模塊沒(méi)有響應(yīng)，則判斷該模塊出現(xiàn)故障，備份模塊接管該模塊的服務(wù)，這個(gè)過(guò)程被稱為故障轉(zhuǎn)移（Failover）。在主備機(jī)的高可用系統(tǒng)中，在特殊情況下會(huì)發(fā)生腦裂（split-brain）的故障。發(fā)生這種故障的原因是心跳線或者網(wǎng)絡(luò)出現(xiàn)問(wèn)題，造成主備機(jī)互相探測(cè)不到對(duì)方的心跳，都以為對(duì)方發(fā)生了故障，于是便主動(dòng)獲取存儲(chǔ)或者服務(wù)IP等資源，雙方都啟動(dòng)服務(wù)，造成服務(wù)異常。為了解決腦裂問(wèn)題，一般會(huì)在主備機(jī)之外，引入一個(gè)第三方模塊，作為仲裁者，由它來(lái)判斷到底是誰(shuí)應(yīng)該接管資源，對(duì)外提供服務(wù)。第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習(xí)題6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備系統(tǒng)等級(jí)類別主要要求第一級(jí)每周一次的數(shù)據(jù)備份，場(chǎng)外存放備份介質(zhì)。第二級(jí)每周一次的數(shù)據(jù)備份，有備用的基礎(chǔ)設(shè)施場(chǎng)地。第三級(jí)每天一次的數(shù)據(jù)備份，利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時(shí)批量傳送至備用場(chǎng)地。第四級(jí)每天一次的數(shù)據(jù)備份，利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時(shí)批量傳送至備用場(chǎng)地，配備災(zāi)難恢復(fù)所需的全部數(shù)據(jù)處理設(shè)備，并處于就緒狀態(tài)或運(yùn)行狀態(tài)。第五級(jí)采用遠(yuǎn)程數(shù)據(jù)復(fù)制技術(shù)，并利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)實(shí)時(shí)復(fù)制到備用場(chǎng)地，配備災(zāi)難恢復(fù)所需的全部數(shù)據(jù)處理設(shè)備，并處于就緒狀態(tài)或運(yùn)行狀態(tài)。第六集遠(yuǎn)程實(shí)時(shí)備份，實(shí)現(xiàn)數(shù)據(jù)零丟失，具備遠(yuǎn)程集群系統(tǒng)的實(shí)時(shí)監(jiān)控和自動(dòng)切換能力。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備恢復(fù)能力要求要素要求數(shù)據(jù)備份系統(tǒng)①完全數(shù)據(jù)備份至少每天一次；②備份介質(zhì)場(chǎng)外存放；③遠(yuǎn)程實(shí)時(shí)備份，實(shí)現(xiàn)數(shù)據(jù)零丟失。備用數(shù)據(jù)處理系統(tǒng)①備用數(shù)據(jù)處理系統(tǒng)具備與生產(chǎn)數(shù)據(jù)處理系統(tǒng)一致的處理能力并完全兼容；②、應(yīng)用軟件是“集群的”，可實(shí)時(shí)無(wú)縫切換；③具備遠(yuǎn)程集群系統(tǒng)的實(shí)時(shí)監(jiān)控和自動(dòng)切換能力。備用網(wǎng)絡(luò)系統(tǒng)①配備與主系統(tǒng)相同等級(jí)的通信線路和網(wǎng)絡(luò)設(shè)備；②備用網(wǎng)絡(luò)處于運(yùn)行狀態(tài)；③最終用戶可通過(guò)網(wǎng)絡(luò)同時(shí)接入主、備中心。備用基礎(chǔ)設(shè)施①有符合介質(zhì)存放條件的場(chǎng)地；②有符合備用數(shù)據(jù)處理系統(tǒng)和備用網(wǎng)絡(luò)設(shè)備運(yùn)行要求的場(chǎng)地；③有滿足關(guān)鍵業(yè)務(wù)功能恢復(fù)運(yùn)作要求的場(chǎng)地；④以上場(chǎng)地應(yīng)保持7x24小時(shí)運(yùn)作。專業(yè)技術(shù)支持能力在災(zāi)難備份中心7x24小時(shí)有專職的：①計(jì)算機(jī)機(jī)房管理人員；②專職數(shù)據(jù)備份技術(shù)支持人員；③專職硬件、網(wǎng)絡(luò)技術(shù)支持人員；④專職操作系統(tǒng)、數(shù)據(jù)庫(kù)和應(yīng)用軟件技術(shù)支持人員。運(yùn)行維護(hù)管理能力①有介質(zhì)存取、驗(yàn)證和轉(zhuǎn)儲(chǔ)管理制度；②按介質(zhì)特性對(duì)備份數(shù)據(jù)進(jìn)行定期的有效性驗(yàn)證；③有備用計(jì)算機(jī)機(jī)房運(yùn)行管理制度；④有硬件和網(wǎng)絡(luò)運(yùn)行管理制度；⑤有實(shí)時(shí)數(shù)據(jù)備份系統(tǒng)運(yùn)行管理制度；⑥有操作系統(tǒng)、數(shù)據(jù)庫(kù)和應(yīng)用軟件運(yùn)行管理制度。災(zāi)難恢復(fù)預(yù)案有相應(yīng)的經(jīng)過(guò)完整測(cè)試和演練的災(zāi)難恢復(fù)預(yù)案。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理數(shù)據(jù)復(fù)制基于數(shù)據(jù)庫(kù)的復(fù)制基于應(yīng)用的復(fù)制基于存儲(chǔ)的數(shù)據(jù)復(fù)制6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備切換災(zāi)備切換是一系列操作的組合，不是單一的技術(shù)動(dòng)作，服務(wù)的啟動(dòng)順序也有嚴(yán)格的要求。比如數(shù)據(jù)庫(kù)必須先啟動(dòng)，之后才能啟動(dòng)應(yīng)用程序；應(yīng)用服務(wù)器接管完成，才能進(jìn)行網(wǎng)絡(luò)的切換。如果應(yīng)用程序先于數(shù)據(jù)庫(kù)啟動(dòng)，會(huì)出現(xiàn)報(bào)錯(cuò)。最好通過(guò)操作手冊(cè)和切換腳本對(duì)切換的步驟進(jìn)行固化，并安排一定頻率的災(zāi)備演練。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理應(yīng)急預(yù)案需要對(duì)系統(tǒng)可能出現(xiàn)的故障做出預(yù)案，以便發(fā)生故障時(shí)能夠快速處理以恢復(fù)服務(wù)。應(yīng)急預(yù)案中需要明確適用的故障場(chǎng)景，啟動(dòng)預(yù)案的觸發(fā)條件，相關(guān)人員的職責(zé)，以及應(yīng)急的操作步驟。其中，應(yīng)急的操作步驟包括可能的技術(shù)操作步驟如重啟進(jìn)程，業(yè)務(wù)操作步驟如發(fā)出通知。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理日常演練01沙盤推演0203模擬演練真實(shí)切換第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習(xí)題1.一個(gè)系統(tǒng)24*365小時(shí)對(duì)外服務(wù)，2017年度中斷服務(wù)20小時(shí)，該系統(tǒng)的可用性為多少？2.簡(jiǎn)述腦裂現(xiàn)象是如何產(chǎn)生的，怎么避免？3.請(qǐng)列出三種數(shù)據(jù)復(fù)制技術(shù)。4.請(qǐng)列出三種常見(jiàn)的監(jiān)控指標(biāo)項(xiàng)。習(xí)題：第七章應(yīng)用變更管理7.1變更管理概述7.2變更管理流程7.3變更配置管理習(xí)題7.1變更管理概述

第七章應(yīng)用變更管理變更管理目標(biāo)確保變更被記錄然后被評(píng)估、授權(quán)、決定優(yōu)先級(jí)、計(jì)劃、測(cè)試、實(shí)施、記錄和審核的一些列控制措施。變更管理目標(biāo)7.1變更管理概述

第七章應(yīng)用變更管理變更管理范圍范圍：變更管理范圍主要是指支撐業(yè)務(wù)服務(wù)的應(yīng)用軟件及其依賴的基礎(chǔ)設(shè)施環(huán)境等基礎(chǔ)配置項(xiàng)，在整個(gè)生命周期內(nèi)發(fā)生變化時(shí)管理。變更管理范圍7.1變更管理概述

第七章應(yīng)用變更管理變更管理的種類標(biāo)準(zhǔn)變更緊急變更1、變更請(qǐng)求的發(fā)起是由一個(gè)已定義的場(chǎng)景或條件來(lái)發(fā)起的。2、管理權(quán)限事先給予。3、低風(fēng)險(xiǎn)且易于了解。1、緊急變更被預(yù)留給旨在修復(fù)那些嚴(yán)重影響到業(yè)務(wù)的緊迫程度高的IT服務(wù)故障或者緊急的業(yè)務(wù)需求。2、緊急變更的測(cè)試仍是不可避免的，應(yīng)避免那些完全未經(jīng)測(cè)試的變更。變更管理的種類7.1變更管理概述

第七章應(yīng)用變更管理變更管理的原則應(yīng)建立組織變更管理文化。變更管理流程與企業(yè)項(xiàng)目管理、利益相關(guān)者的變更管理流程要一致。職責(zé)分離。防止生產(chǎn)環(huán)境中的未授權(quán)變更。和其他服務(wù)管理進(jìn)程一致從而可以追蹤變更、發(fā)現(xiàn)未授權(quán)變更。明確變更窗口。嚴(yán)格評(píng)估影響服務(wù)能力的變更的風(fēng)險(xiǎn)和性能。第七章應(yīng)用變更管理7.1變更管理概述7.2變更管理流程7.3變更配置管理習(xí)題7.2變更管理流程第七章應(yīng)用變更管理變更的組織架構(gòu)變更的組織架構(gòu)包括CAB，全稱變更咨詢委員會(huì)；以及CCB，全稱變更控制委員會(huì)和緊急變更控制委員會(huì)(ECCB)。變更的組織架構(gòu)7.2變更管理流程第七章應(yīng)用變更管理變更的管理策略變更數(shù)量。服務(wù)中斷數(shù)量、因?yàn)殄e(cuò)誤規(guī)則導(dǎo)致的缺陷或返工、不完整或缺乏評(píng)估這類現(xiàn)象的減少。未經(jīng)授權(quán)的變更數(shù)量。。無(wú)計(jì)劃變更和緊急修復(fù)的數(shù)量和百分比。變更成功率。變更失敗的數(shù)量。變更回退的數(shù)量。緊急變更數(shù)量7.2變更管理流程第七章應(yīng)用變更管理變更的流程控制變更的規(guī)劃和控制變更決策和授權(quán)管理報(bào)告持續(xù)改進(jìn)變更的發(fā)布和調(diào)度質(zhì)量和控制了解變更影響7.2變更管理流程第七章應(yīng)用變更管理變更管理流程1、創(chuàng)建和記錄變更請(qǐng)求3、變更評(píng)估5、分配優(yōu)先次序7、變更的授權(quán)2、變更請(qǐng)求審核4、變更的風(fēng)險(xiǎn)6、變更的規(guī)劃和調(diào)度8、協(xié)調(diào)變更執(zhí)行9、變更回顧、關(guān)閉7.2變更管理流程第七章應(yīng)用變更管理創(chuàng)建和記錄變更請(qǐng)求變更是由發(fā)起者通過(guò)一請(qǐng)求發(fā)起的。對(duì)于一個(gè)能給組織或財(cái)政帶來(lái)重大影響的重大變更，變更提議需要被完整說(shuō)明，并連同從業(yè)務(wù)和財(cái)政角度來(lái)說(shuō)明。變更記錄，記錄了變更的所有歷史痕跡，從變更請(qǐng)求和隨后已設(shè)定的參數(shù)記錄中獲得信息，如優(yōu)先和授權(quán)、執(zhí)行和檢查信息。7.2變更管理流程第七章應(yīng)用變更管理變更請(qǐng)求審核應(yīng)過(guò)濾以下變更：不合理的變更請(qǐng)求。2、過(guò)期、已接受、被拒絕或仍在審議中被重復(fù)提交的變更請(qǐng)求。3、提交不完整變更請(qǐng)求。7.2變更管理流程第七章應(yīng)用變更管理變更評(píng)估誰(shuí)提出的原因。變更的原因。變更的回報(bào)。變更帶來(lái)的那些風(fēng)險(xiǎn)。變更所需要的資源。誰(shuí)來(lái)負(fù)責(zé)建立、測(cè)試和實(shí)施變更。變更之間的關(guān)系。7.2變更管理流程第七章應(yīng)用變更管理變更的風(fēng)險(xiǎn)7.2變更管理流程第七章應(yīng)用變更管理分配優(yōu)先次序確定變更順序的。每一個(gè)變更都包括發(fā)起人對(duì)影響的評(píng)估和變更的緊迫性。變更優(yōu)先是來(lái)自于影響性和緊迫性。最初的影響性和緊急度是由發(fā)起人提供的，但在變更授權(quán)流程中優(yōu)先次序可能會(huì)被修改所以風(fēng)險(xiǎn)評(píng)估在這一階段就很重要。變更顧問(wèn)組織為了評(píng)估實(shí)施或者不實(shí)施變更所引發(fā)的風(fēng)險(xiǎn)時(shí)需要業(yè)務(wù)影響信息。影響是基于有利于業(yè)務(wù)的變更或由于錯(cuò)誤變更造成損失和成本。影響無(wú)法用絕對(duì)數(shù)值表示，但可以取決于某些事情或某些情況的可能性。7.2變更管理流程第七章應(yīng)用變更管理變更的規(guī)劃和調(diào)度仔細(xì)的規(guī)劃變更確保變更管理流程中每一個(gè)任務(wù)都是明確的；其他流程所包含的任務(wù)；給那些變更和發(fā)布的供應(yīng)商或項(xiàng)目提供多少流程接口。許多變更可能是屬于一個(gè)發(fā)布里的，有可能是設(shè)計(jì)、測(cè)試和發(fā)布。也有許多獨(dú)立的變更組成一個(gè)發(fā)布，這可能造成復(fù)雜的依賴關(guān)系難以管理。建議變更管理中，調(diào)度變更時(shí)優(yōu)先考慮業(yè)務(wù)而不是IT的需求。事先商定和已確定的變更和發(fā)布窗口能幫助組織改善計(jì)劃和整個(gè)變更發(fā)布。只要有可能，變更管理應(yīng)安排授權(quán)，進(jìn)行發(fā)布目標(biāo)變更或部署軟件包和分配相應(yīng)資源。變更管理協(xié)調(diào)產(chǎn)品和變更日程的分配和預(yù)計(jì)服務(wù)中斷。變更日程包括所有授權(quán)實(shí)施變更及實(shí)施日期的詳細(xì)信息。預(yù)計(jì)服務(wù)中斷包含SLA協(xié)議和可用性中的變更細(xì)節(jié)。7.2變更管理流程第七章應(yīng)用變更管理變更的授權(quán)01預(yù)期業(yè)務(wù)風(fēng)險(xiǎn)02對(duì)財(cái)政影響03范圍變化7.2變更管理流程第七章應(yīng)用變更管理調(diào)度變更執(zhí)行已授權(quán)的變更會(huì)被提交給執(zhí)行變更的相關(guān)技術(shù)組，建議使用正規(guī)的方式來(lái)實(shí)現(xiàn)，便于對(duì)其追蹤。變更管理應(yīng)確保變更如期完成，管理主要起到協(xié)調(diào)作用，具體實(shí)施由其他人員負(fù)責(zé)。每個(gè)變更都應(yīng)提前準(zhǔn)備修復(fù)程序并將其文檔化。因?yàn)閷?shí)施期間或?qū)嵤┖蟀l(fā)生錯(cuò)誤時(shí)這些程序能以對(duì)業(yè)務(wù)最小影響下進(jìn)行快速恢復(fù)。變更管理有監(jiān)督的作用，確保變更是經(jīng)過(guò)測(cè)試的。對(duì)于沒(méi)有經(jīng)全面測(cè)試的變更需要在執(zhí)行時(shí)特別關(guān)注。7.2變更管理流程第七章應(yīng)用變更管理變更回顧、關(guān)閉變更完成后變更管理者應(yīng)對(duì)結(jié)果進(jìn)行評(píng)估。評(píng)估還要包括由變更引起的任何事件。變更回顧應(yīng)確認(rèn)變更是否達(dá)到目標(biāo)，應(yīng)吸取的經(jīng)驗(yàn)對(duì)今后的變更進(jìn)行改進(jìn)。變更若沒(méi)有實(shí)現(xiàn)目標(biāo)，變更管理應(yīng)決定后續(xù)的行動(dòng)，如果達(dá)到目標(biāo)應(yīng)關(guān)閉變更。第七章應(yīng)用變更管理7.1變更管理概述7.2變更管理流程7.3變更配置管理習(xí)題7.3變更配置管理第七章應(yīng)用變更管理變更配置管理為了管理大型復(fù)雜的IT服務(wù)和基礎(chǔ)設(shè)施，資產(chǎn)和配置管理需要使用配置管理系統(tǒng)CMS。在指定范圍內(nèi)CMS掌握著所有配置項(xiàng)信息。CMS為所有服務(wù)組件與相關(guān)事故、問(wèn)題、已知錯(cuò)誤、變更發(fā)布、文檔、公司數(shù)據(jù)、供應(yīng)商、客戶信息做關(guān)聯(lián)。第七章應(yīng)用變更管理7.1變更管理概述7.2變更管理流程7.3變更配置管理習(xí)題1.請(qǐng)簡(jiǎn)要描述變更管理的活動(dòng)流程。2.請(qǐng)簡(jiǎn)要描述發(fā)布管理的活動(dòng)流程。3.請(qǐng)簡(jiǎn)要描述變更管理的關(guān)鍵績(jī)效指標(biāo)和衡量標(biāo)準(zhǔn)。4.請(qǐng)簡(jiǎn)要描述發(fā)布管理的關(guān)鍵績(jī)效指標(biāo)和衡量標(biāo)準(zhǔn)。習(xí)題：第八章升級(jí)管理8.1

Hadoop升級(jí)管理8.2

Spark升級(jí)管理8.3

HiveSQL升級(jí)管理8.4

ZooKeeper升級(jí)管理習(xí)題8.1Hadoop升級(jí)管理第八章升級(jí)管理Hadoop升級(jí)風(fēng)險(xiǎn)Hadoop升級(jí)最主要是HDFS的升級(jí)，HDFS的升級(jí)是否成功，才是升級(jí)的關(guān)鍵，如果升級(jí)出現(xiàn)數(shù)據(jù)丟失，則其他升級(jí)就變的毫無(wú)意義。8.1Hadoop升級(jí)管理第八章升級(jí)管理HDFS的數(shù)據(jù)和元數(shù)據(jù)升級(jí)HDFS是一種分布式文件系統(tǒng)層，可對(duì)集群節(jié)點(diǎn)間的存儲(chǔ)和復(fù)制進(jìn)行協(xié)調(diào)。HDFS確保了無(wú)法避免的節(jié)點(diǎn)故障發(fā)生后數(shù)據(jù)依然可用，可將其用作數(shù)據(jù)來(lái)源，可用于存儲(chǔ)中間態(tài)的處理結(jié)果，并可存儲(chǔ)計(jì)算的最終結(jié)果。升級(jí)HDFS花費(fèi)的時(shí)間不長(zhǎng)，就是和啟動(dòng)集群的時(shí)間要多2-3倍的時(shí)間，升級(jí)丟失數(shù)據(jù)的風(fēng)險(xiǎn)幾乎沒(méi)有。8.1Hadoop升級(jí)管理第八章升級(jí)管理YARN升級(jí)配置YARN是YetAnotherResourceNegotiator（另一個(gè)資源管理器）的縮寫，可充當(dāng)Hadoop堆棧的集群協(xié)調(diào)組件。該組件負(fù)責(zé)協(xié)調(diào)并管理底層資源和調(diào)度作業(yè)的運(yùn)行。通過(guò)充當(dāng)集群資源的接口，YARN使得用戶能在Hadoop集群中使用比以往的迭代方式運(yùn)行更多類型的工作負(fù)載。由于任務(wù)計(jì)算都是使用Hive，所以YARN的升級(jí)很簡(jiǎn)單，只是啟動(dòng)yarn就行了。唯一要注意的是，從MapReduce升級(jí)到Y(jié)ARN，資源分配方式變化了，所以要根據(jù)自己的生產(chǎn)環(huán)境修改相關(guān)的資源配置。第八章升級(jí)管理8.1

Hadoop升級(jí)管理8.2

Spark升級(jí)管理8.3

HiveSQL升級(jí)管理8.4

ZooKeeper升級(jí)管理習(xí)題8.2Spark升級(jí)管理第八章升級(jí)管理Spark特性支持比Map和Reduce更多的函數(shù)。優(yōu)化任意操作算子圖（operatorgraphs）。可以幫助優(yōu)化整體數(shù)據(jù)處理流程的大數(shù)據(jù)查詢的延遲計(jì)算。提供簡(jiǎn)明、一致的Scala，Java和PythonAPI。提供交互式Scala和PythonShell。目前暫不支持Java。8.2Spark升級(jí)管理第八章升級(jí)管理Spark生態(tài)系統(tǒng)SparkStreaming01SparkSQL02SparkMLlib03SparkGraphX04第八章升級(jí)管理8.1

Hadoop升級(jí)管理8.2

Spark升級(jí)管理8.3

HiveSQL升級(jí)管理8.4

ZooKeeper升級(jí)管理習(xí)題8.3HiveSQL升級(jí)管理第八章升級(jí)管理HiveSQL體系結(jié)構(gòu)用戶接口用戶接口主要有三個(gè)：CLI，Client和WUI。元數(shù)據(jù)存儲(chǔ)Hive將元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等。解釋器、編譯器、優(yōu)化器、執(zhí)行器解釋器、編譯器、優(yōu)化器完成HQL查詢語(yǔ)句從詞法分析、語(yǔ)法分析、編譯、優(yōu)化以及查詢計(jì)劃的生成。生成的查詢計(jì)劃存儲(chǔ)在HDFS中，并在隨后由MapReduce調(diào)用執(zhí)行。HadoopHive的數(shù)據(jù)存儲(chǔ)在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢，比如s