2023學年完整公開課版監(jiān)控服務

14.監(jiān)控服務2學習目標了解Heat組件的功能、架構、使用掌握Heat模板的編寫方法掌握編配服務、棧、模板的關鍵概念掌握使用輔助Shell腳本完成對平的314.監(jiān)控服務任務要求小李接下來要熟悉監(jiān)控服務。通過監(jiān)控服務，可以實時查看平臺的運行情況，保障平臺運行穩(wěn)定，維護數(shù)據(jù)安全，對可能出現(xiàn)的危險做到快速判斷和處理。要求可以通過GUI或CLI查看平臺某一個時間段的運行數(shù)據(jù)，包括網絡數(shù)據(jù)、實例數(shù)據(jù)、存儲數(shù)據(jù)和服務資源消耗情況。414監(jiān)控服務基本概念計量（Metering）：收集資源的使用數(shù)據(jù)，其數(shù)據(jù)信息主要包括：使用對象、使用者、使用時間和用量。Ceilometer的目標是計量Metering方面，為上層的計費、結算或者監(jiān)控應用使用數(shù)據(jù)收集功能提供統(tǒng)一的資源。計費（Rating）：將資源使用數(shù)據(jù)按照商務規(guī)則轉化為可計費項目并計算費用。Ceilometer的意義：結算（Billing）：收錢開票。Alarm是ceilometer的告警機制，可以通過閾值或者組合條件告警，并設置告警時觸發(fā)的action。0105040203514監(jiān)控服務基本概念Meter是資源使用的計量項Ceilometer主要概念Sample是某個時刻某個資源（resource）的某個meter值Statistics是一個時間段（Period）內的samples聚合值Resource是指被監(jiān)控的資源對象614監(jiān)控服務基本概念OK正常狀態(tài)（數(shù)據(jù)充足，未告警）目前Ceilometer支持兩種ActionInsufficientData（默認狀態(tài)-數(shù)據(jù)不足）ALARM（告警狀態(tài)）

'log:'：Alarm被寫入Log文件。'WebhookURL:'：這是一個HTTP(S)endpoint的URL，Alarm的內容會以JSON的格式被POST到該URL中。714監(jiān)控服務基本概念agent-*服務負責采集信息，采集的信息可以通過三種方式publish出來，包括RPC、UDP和File。RPC將采集的信息以payload方式發(fā)布到消息隊列，collector服務通過監(jiān)聽queue來收集這些信息；UDP通過socket創(chuàng)建一個UDP數(shù)據(jù)通道，然后collector通過bind這個socket來接收數(shù)據(jù)；File方式比較直接，就是將采集的數(shù)據(jù)以filelog的方式寫入log文件中。814監(jiān)控服務基本概念agent-notification負責收集各個組件推送到oslo-messaging的消息oslo-messaging是openstack整體的消息隊列框架agent-compute只負責收集虛擬機的CPU內存和IO等信息agent-central是通過各個組件API方式收集有用的信息agent-notification只需監(jiān)聽AMQP中的queue即可收到信息，而agent-compute和agent-central都需要定期Poll輪詢收集信息。914監(jiān)控服務基本概念信息通過agent-*采集并由collector匯總處理，最終需要持久化到存儲介質中，ceilometer目前支持的存儲包括mysql、DB2、HBase、mongoDB，從支持的數(shù)據(jù)庫來看，監(jiān)控數(shù)據(jù)持久化的壓力還是相當大的。如圖所示1014監(jiān)控服務基本概念Ceilometer會對采集的數(shù)據(jù)進行處理，處理機制如圖所示：Collect：Meters數(shù)據(jù)收集Transform：Meters數(shù)據(jù)轉換Publish：Meters數(shù)據(jù)發(fā)布Store：Meters數(shù)據(jù)保存

Read：Meters數(shù)據(jù)訪問Alarm：提供告警1114監(jiān)控服務基本概念Ceilometer總體框架1214監(jiān)控服務Meter的數(shù)據(jù)處理Meters數(shù)據(jù)的處理使用Pipeline的方式，即Metes數(shù)據(jù)依次經過（零個或者多個）Transformer和（一個或者多個）Publisher處理，最后達到（一個或者多個）Receiver其中Recivers包括CeilometerCollector和外部系統(tǒng)。Ceilometer根據(jù)配置文件/etc/ceilometer/pipeline.yaml來配置meters所使用的transformers和publishers。1314監(jiān)控服務Publisher分發(fā)器Publisher類型表Publishers類型格式說明配置項Notifiernotifier://?option1=value1&option2=value2samples數(shù)據(jù)被發(fā)到AMQP系統(tǒng)，然后被Ceilometercollecter接收。默認的AMQPQueue是

metering_topic=metering。這默認的方式。[publisher_notifier]

metering_driver=messagingv2

metering_topic=meteringRPCrpc://?option1=value1&option2=value2與notifier類似，同樣經過AMQP，不過是同步操作，因此可能有性能問題。[publisher_rpc]

metering_topic=meteringUDPudp://<host>:<port>/經過UDPport發(fā)出。默認的UDP端口是4952udp_port=4952Filefile://path?option1=value1&option2=value2發(fā)送到文件保存

1414監(jiān)控服務Publisher分發(fā)器通過修改/ect/ceilometer/ceilometer.conf來配置Publisher分發(fā)器，以下列出了集中Publisher的配置項以及消息示例Notifier配置項：[publisher_notifie]metering_dri=messagingv2metering_to=metering示例：notifier://?policy=drop&max_queue_length=512RPC配置項：[publisher_rpc]metering_topic=metering示例：rpc://?per_meter_topic=11514監(jiān)控服務Publisher分發(fā)器UDP配置項：udp_port=4952示例：rpc://?per_meter_topic=1file配置項：file://path?option1=value1&option2=value2通過配置/etc/ceilometer/pipeline.yaml來為某個meter指定多個publisher。1614監(jiān)控服務數(shù)據(jù)保存文件分發(fā)器：保存到文件。通過添加配置項“dispatcher=file”來指定分發(fā)器類型為文件。數(shù)據(jù)庫分發(fā)器：保存到數(shù)據(jù)庫。添加配置項“dispatcher=database”來指定分發(fā)器類型為數(shù)據(jù)庫。HTTP分發(fā)器：保存到外部的HTTPtarget。通過添加配置項“dispatcher=http”來指定分發(fā)器類型為HTTP。CeilometerCollector從AMQP接收到數(shù)據(jù)后，會原封不動地通過一個或者多個分發(fā)器（dispatchers）將它保存到指定位置，目前它支持的分發(fā)器：1714監(jiān)控服務數(shù)據(jù)保存CeilometerCollector支持的數(shù)據(jù)庫類型分發(fā)器有以下三種MongoDB：默認DBSQLDB：支持mysql、postgreSQL和IBMDB2等HBaseDB。1814監(jiān)控服務數(shù)據(jù)保存Ceilometer支持同時配置多個分發(fā)器，將數(shù)據(jù)保存到多個目的位置。通過配置ceilomet-er.conf中做如下配置使得同時使用file和databasedispatcher：[DEFAULT]dispatcher=databasedispatcher=file[dispatcher_file]backup_count=5file_path=/var/log/ceilometer/ceilometer-samplesmax_bytes=1000001914監(jiān)控服務告警ceilometer-alarm-api使用CeilometerRESTAPI獲取statistics數(shù)據(jù)。ceilometer-alarm-evaluator生成alarm數(shù)據(jù)，并通過AMQP發(fā)給ceilometer-al-arm-notifer。ceilometer-alarm-notifer會通過指定方式把alarm發(fā)出去。2014監(jiān)控服務監(jiān)控數(shù)據(jù)資源界面查看步驟1進入dashboard找到“管理員”選項；2打開系統(tǒng)面板，找到資源使用情況；3進入到“統(tǒng)計數(shù)據(jù)”界面，如圖所示；4選擇相應的度量值、分組值、時期查看統(tǒng)計信息。2114監(jiān)控服務監(jiān)控數(shù)據(jù)資源查看資源使用情況2214監(jiān)控服務監(jiān)控數(shù)據(jù)資源命令行查看資源可以用命令查看網絡數(shù)據(jù)、實例數(shù)據(jù)、存儲數(shù)據(jù)、服務資源消耗情況。#ceilometerstatistics-mnetwork.incoming.bytes

查看實例數(shù)據(jù)#ceilometerstatistics-minstance

查看存儲數(shù)據(jù)

查看服務資源消耗情況#ceilometerstatistics-mdisk.read.requests#ceilometerstatistics-mmemory2314監(jiān)控服務數(shù)據(jù)庫的全量備份和增量備份

編寫全量備份腳本

編寫全量備份腳本

開啟MySQL數(shù)據(jù)庫的binlog功能，編寫增量備份腳本#vi/etc/flog-bin=mysql-bin#servicemysqldrestart//MySQL增量腳本文件在附錄mysql_hourly_bk.sh//MySQL全量腳本文件在附錄mysql_full_bk.sh2414監(jiān)控服務數(shù)據(jù)庫的全量備份和增量備份開啟定時設置

開啟定時設置，編輯/etc/crontab文件，添加以下內容#vi/etc/crontab0