AIOps落地實(shí)施最佳實(shí)踐

1、 AIOps落地實(shí)施最佳實(shí)踐目 錄 TOC o 1-3 h z u HYPERLINK l _Toc522800860 1.AIOps背景快速回顧 PAGEREF _Toc522800860 h 3 HYPERLINK l _Toc522800861 2.最終狀態(tài) PAGEREF _Toc522800861 h 4 HYPERLINK l _Toc522800862 3.早期階段 PAGEREF _Toc522800862 h 5 HYPERLINK l _Toc522800863 4.中期階段 PAGEREF _Toc522800863 h 10 HYPERLINK l _Toc522800

2、864 5.后期階段 PAGEREF _Toc522800864 h 15AIOps背景快速回顧很多企業(yè)在談到AIOps 的時(shí)候，他們時(shí)常覺(jué)得 AIOps 不夠成熟，以至于無(wú)法實(shí)施各種分析。也有人認(rèn)為：AIOps 的各項(xiàng)能力是線性發(fā)展的，他們必須事先評(píng)估和補(bǔ)足當(dāng)前在“處理大量的事件和警報(bào)，以及統(tǒng)一化分散監(jiān)控”方面的能力成熟度，才能考慮切入 AIOps。數(shù)十年來(lái)，分析師和供應(yīng)商灌輸了僵化的 ITIL 思想和嚴(yán)格的流程，使大家都不愿為那些長(zhǎng)期存在的問(wèn)題，找到替代的解決方案。誠(chéng)然，AIOps 并未直接受到 ITIL 的約束，并能夠被分步驟地予以實(shí)施和改進(jìn)，但是業(yè)界至今仍缺乏實(shí)際的行動(dòng)指導(dǎo)。本文通過(guò)早

3、、中、后期九個(gè)步驟來(lái)給出 AIOps 所必要的最佳實(shí)踐。本文首先提出一個(gè)必要且可行的“路線圖”，然后詳細(xì)闡述在 AIOps 實(shí)施過(guò)程中可采用的具體步驟，以構(gòu)建出一套 AIOps 的最佳實(shí)踐。Gartner 判斷的 IT 新興市場(chǎng)趨勢(shì)為：傳統(tǒng)的 IT 流程與工具已不再適合處理那些由現(xiàn)代數(shù)字業(yè)務(wù)所帶來(lái)的挑戰(zhàn)。這不但與數(shù)據(jù)的傳輸速度、種類、以及體量有關(guān)，還與從線下的歷史分析轉(zhuǎn)為線上的實(shí)時(shí)分析有關(guān)。Gartner 對(duì)于這種趨勢(shì)所給出的答案是：AIOps。它整合了IT 服務(wù)管理（ITSM）、IT 運(yùn)營(yíng)管理（ITOM）和數(shù)據(jù)層面上的 IT 自動(dòng)化。AIOps 使得數(shù)據(jù)能夠駐留在支持實(shí)時(shí)應(yīng)用分析和深度歷史查

4、詢的大數(shù)據(jù)平臺(tái)之中。這些分析可以由那些支持對(duì)數(shù)據(jù)流進(jìn)行無(wú)人值守式處理的機(jī)器學(xué)習(xí)來(lái)實(shí)現(xiàn)。因此 AIOps 的基本思想是：傳統(tǒng)的 IT 工具仍然發(fā)揮效用，例如服務(wù)管理仍然處理各種請(qǐng)求和事件；而性能管理仍然監(jiān)視各種指標(biāo)、事件和日志。但是它們的數(shù)據(jù)被關(guān)聯(lián)、并通過(guò)機(jī)器學(xué)習(xí)的分析,從而實(shí)現(xiàn)更好、更快的決策和任務(wù)過(guò)程的自動(dòng)化。最終狀態(tài)AIOps 的最終狀態(tài)是：要保證數(shù)據(jù)能夠順暢地從多個(gè)數(shù)據(jù)源流入一個(gè)大的數(shù)據(jù)平臺(tái)中。該平臺(tái)能夠?qū)?lái)自其他來(lái)源和類型的數(shù)據(jù)予以吸收、分析和后期處理；通過(guò)機(jī)器學(xué)習(xí)來(lái)管理和修改分析算法。它能夠自動(dòng)觸發(fā)工作流，其輸出結(jié)果會(huì)作為二次數(shù)據(jù)源被再次反饋到系統(tǒng)之中，使得系統(tǒng)實(shí)現(xiàn)自適應(yīng)，并且通過(guò)響

5、應(yīng)各種數(shù)據(jù)卷、數(shù)據(jù)類型和數(shù)據(jù)源的變化，進(jìn)而自動(dòng)調(diào)整和按需通知相應(yīng)的管理員?；谏鲜龈拍睿覍⑹紫忍岢鲆粋€(gè)必要且可行的“路線圖”，然后詳細(xì)闡述在 AIOps 實(shí)施過(guò)程中可采用的具體步驟，以構(gòu)建出一套 AIOps 的最佳實(shí)踐。該 AIOps 路線圖共分為 9 步，他們分別是：識(shí)別當(dāng)前用例就系統(tǒng)記錄達(dá)成一致確定成功的標(biāo)準(zhǔn)、并著手跟蹤它們?cè)u(píng)估當(dāng)前和未來(lái)狀態(tài)的數(shù)據(jù)模型分析現(xiàn)有工作流開(kāi)始自動(dòng)化實(shí)施開(kāi)發(fā)新的分析工作流使組織適應(yīng)新的技能集定制各種分析技術(shù)早期階段識(shí)別當(dāng)前用例鑒于各種變數(shù)情況，您最好先從自己所熟悉的方面開(kāi)始。對(duì)于大多數(shù)用戶來(lái)說(shuō)，他們當(dāng)前的各種用例方案無(wú)法應(yīng)對(duì)那些新技術(shù)的發(fā)展。因此，您可以列舉出自

6、己當(dāng)前正在處理、或準(zhǔn)備解決的用例列表。如下給出的切入點(diǎn)可方便您發(fā)現(xiàn)當(dāng)前的“目標(biāo)”狀態(tài)：列出如何實(shí)現(xiàn)各種預(yù)期的結(jié)果評(píng)估特定用例的優(yōu)先級(jí)突出當(dāng)前能力、工具、技能或過(guò)程中與目標(biāo)所存在的差距同時(shí)，這也是制定一個(gè)成功 AIOps 戰(zhàn)略的良好開(kāi)端。通過(guò)強(qiáng)調(diào)這種“開(kāi)啟”方式，我們會(huì)發(fā)現(xiàn)許多新的用例。各種新的預(yù)期結(jié)果也會(huì)涌現(xiàn)出來(lái)，而它們的優(yōu)先級(jí)將隨著您的業(yè)務(wù)和技術(shù)的變化而相應(yīng)地調(diào)整。可見(jiàn)新的 AIOps 方法會(huì)給我們帶來(lái)各種新的可能性與挑戰(zhàn)。所以說(shuō)，重要的是要在一開(kāi)始就能找到從當(dāng)前您所處的位置前往目標(biāo)的橋梁。只有找到了您面臨的問(wèn)題和需要改變的地方，才能選擇正確的道路去實(shí)現(xiàn)，反之則注定失敗。評(píng)估數(shù)據(jù)的自由度AI

7、Ops 的首要基本元素是：來(lái)自不同工具的數(shù)據(jù)流能夠自由地匯聚到大數(shù)據(jù)存儲(chǔ)區(qū)中。因此，您必須評(píng)估自己IT系統(tǒng)中獲取到的各類數(shù)據(jù)的易用性和頻率。我們理想的最優(yōu)模型為：實(shí)時(shí)地發(fā)送數(shù)據(jù)流。然而，目前很少有 IT 監(jiān)控或服務(wù)臺(tái)（service desk）工具能夠支持向外流出數(shù)據(jù)。當(dāng)然，它們迭代出的最新版本應(yīng)該能以 REST API 方式提供編程上的交互與支持。但是，如果使用的是基于諸如 Oracle 或 SQL 之類的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)，由于它們?cè)谧畛踉O(shè)計(jì)時(shí)并非為了支持?jǐn)?shù)據(jù)的連續(xù)流出，那么即使具有可編程接口，也會(huì)對(duì)生產(chǎn)系統(tǒng)的性能產(chǎn)生巨大的影響，因此，我們可以斷言它們并不能支持?jǐn)?shù)據(jù)流。可見(jiàn)，在制定 AIOps

8、 策略的早期，重要的步驟之一就是要明確自己系統(tǒng)對(duì)于數(shù)據(jù)流的支持能力，并為如下問(wèn)題給出相應(yīng)的答案：我如何能從當(dāng)前的 IT 工具中獲取數(shù)據(jù)？我能得到什么樣的數(shù)據(jù)？我能夠通過(guò)編程的方式來(lái)實(shí)現(xiàn)嗎？我獲取這些數(shù)據(jù)的頻率是怎樣的？通過(guò)發(fā)現(xiàn)這些約束條件，您可以考慮去更改當(dāng)前的數(shù)據(jù)整合策略（例如，將批處理上傳模式轉(zhuǎn)化為流式），甚至考慮將現(xiàn)有的IT工具替換為那些支持實(shí)時(shí)數(shù)據(jù)流的軟件。就系統(tǒng)記錄達(dá)成一致AIOps 的第二個(gè)基本要素是：組織的協(xié)同和溝通。我建議 IT 運(yùn)營(yíng)和 IT 服務(wù)管理人員協(xié)作審查各種數(shù)據(jù)的需求，同時(shí)就各自的角色和責(zé)任達(dá)成共識(shí)。在此，我們主要著眼于基于共享數(shù)據(jù)上的協(xié)同決策。這里所說(shuō)的數(shù)據(jù)并不是那

9、些已經(jīng)流入 AIOps 大數(shù)據(jù)存儲(chǔ)區(qū)，以待分析的數(shù)據(jù)。而是 IT 人員可以從自己環(huán)境中獲悉的、用于采取行動(dòng)和做出決斷、并最終能夠跟蹤效果的那些數(shù)據(jù)。因此，整個(gè)團(tuán)隊(duì)需要針對(duì)數(shù)據(jù)達(dá)成如下共識(shí)：為了突破系統(tǒng)當(dāng)前限制所需要的最小數(shù)據(jù)集數(shù)據(jù)所在的位置團(tuán)隊(duì)所能共享的聯(lián)合視圖與訪問(wèn)權(quán)限根據(jù)傳統(tǒng)的 ITIL 模型，在許多成熟的組織中，滿足上述條件的系統(tǒng)是他們的服務(wù)臺(tái)。各種服務(wù)請(qǐng)求、事件和變更性的數(shù)據(jù)都被存放于此。但是當(dāng) DevOps 團(tuán)隊(duì)開(kāi)始使用 Jira（譯者注：一種項(xiàng)目與事務(wù)跟蹤的工具），來(lái)記錄缺陷和功能性的改進(jìn)時(shí)，該模型會(huì)受到了一定的挑戰(zhàn)。因?yàn)樵谑褂?APM（譯者注：一種監(jiān)控和管理應(yīng)用軟件性能和可用性的

10、工具）時(shí)，IT 運(yùn)營(yíng)與安全團(tuán)隊(duì)是無(wú)法通過(guò)各種本地或遠(yuǎn)程事件，來(lái)捕獲或識(shí)別多種威脅的。因此準(zhǔn)備實(shí)施 AIOps 就意味著：您需要在應(yīng)用程序、服務(wù)或業(yè)務(wù)的價(jià)值鏈中確定所有有效的結(jié)果性指標(biāo)，并制定出一個(gè)方案來(lái)匯集這些數(shù)據(jù)。您可以在大數(shù)據(jù)平臺(tái)上構(gòu)建各種“儀表板”，來(lái)篩選出具有特定用途的大數(shù)據(jù)集，即：對(duì)不同數(shù)據(jù)源產(chǎn)生不同的視圖。當(dāng)然，您可以從“在當(dāng)前環(huán)境中選擇數(shù)據(jù)子集，并將其反饋（如 Jira 工單和 APM 事件等）到已建成的記錄系統(tǒng)中”開(kāi)始。制定成功標(biāo)準(zhǔn)并開(kāi)始跟蹤它們?nèi)魏纬晒Φ臉I(yè)務(wù)與 IT 管理都起源于了解各種關(guān)鍵性能指標(biāo)（KPI）和度量標(biāo)準(zhǔn)。因此，具有可操作性的方面包括：了解對(duì)哪些方面進(jìn)行測(cè)量實(shí)現(xiàn)

11、一致且完備的措施定期報(bào)告或提供性能衡量的可視化能夠?qū)ω?zé)任方問(wèn)責(zé)一般大多數(shù) IT 工具都自帶有幾種衡量工具和模板，它們往往能夠?yàn)槟峁└鞣N參數(shù)。而我們都知道：數(shù)量是無(wú)法真正反映背后因果關(guān)系的。如果我們只是簡(jiǎn)單地將它們放到報(bào)表上的話，并不能給企業(yè)帶來(lái)業(yè)務(wù)上的提升。中期階段評(píng)估當(dāng)前和未來(lái)狀態(tài)下的數(shù)據(jù)模型數(shù)據(jù)模型評(píng)估是一個(gè)關(guān)鍵方面，但很少有人真正理解或愿意這么做。本質(zhì)上說(shuō)，您必須為即將上馬的 AIOps 方案厘清各個(gè)數(shù)據(jù)源的數(shù)據(jù)模型，以保證這些模型能夠被 AIOps 的用例所識(shí)別，進(jìn)而評(píng)估出不同模型間的直接交互和預(yù)期結(jié)果。我們之所以說(shuō)它具有一定的挑戰(zhàn)性，是因?yàn)榇蠖鄶?shù) IT 工具的數(shù)據(jù)模型對(duì)于用戶都是不

12、可見(jiàn)的。很少有組織、甚至包括一些數(shù)據(jù)分析人員或?qū)＜遥苷嬲来髷?shù)據(jù)平臺(tái)（使用的是 NoSQL）與傳統(tǒng)數(shù)據(jù)庫(kù)（使用的是 SQL）的不同之處。AIOps 實(shí)際上是在一個(gè)大數(shù)據(jù)存儲(chǔ)庫(kù)中關(guān)聯(lián)了來(lái)自不同 IT（和非 IT）源的數(shù)據(jù)，使得它們能夠互聯(lián)互通，從而實(shí)現(xiàn)分析和趨勢(shì)判斷。AIOps 系統(tǒng)可以處理許多種共享的數(shù)據(jù)結(jié)構(gòu)（如下所示），而不需要額外地進(jìn)行二次開(kāi)發(fā)或改進(jìn)：時(shí)間戳： 各種事件、日志和度量中帶有時(shí)間點(diǎn)特征的數(shù)據(jù)，可以被聚集在一起用于關(guān)聯(lián)事件，并按照時(shí)序進(jìn)行因果分析。屬性： 某個(gè)事件、日志或度量所關(guān)聯(lián)的信息鍵值對(duì)（key:value）, 如“狀態(tài)”、“源”、“提交者”等，可用于在不同數(shù)據(jù)集之間創(chuàng)

13、建關(guān)系模型。歷史性：時(shí)間序列或事件活動(dòng)的過(guò)往數(shù)據(jù)，可用來(lái)預(yù)測(cè)將來(lái)的表現(xiàn)或門(mén)限值，如飽和度（saturation）和退化度（degradation）。效應(yīng)：一天、一周、一個(gè)月等時(shí)序數(shù)據(jù)所呈現(xiàn)的趨勢(shì)或規(guī)律性，可用于關(guān)聯(lián)多個(gè)數(shù)據(jù)集、或預(yù)測(cè)可伸縮性的資源需求。應(yīng)用程序、服務(wù)和業(yè)務(wù)模型：如果您能夠定期進(jìn)行發(fā)現(xiàn)與配置管理上的實(shí)踐，就可以用它們來(lái)通知 AIOps 平臺(tái)各種資產(chǎn)的分組、關(guān)聯(lián)、依存關(guān)系、以及做到數(shù)據(jù)的去重?？傊ㄟ^(guò)構(gòu)建良好的時(shí)序數(shù)據(jù)，AIOps 能夠運(yùn)用各種運(yùn)營(yíng)監(jiān)控與管理工具來(lái)關(guān)聯(lián)、分析和預(yù)測(cè)各種時(shí)序數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)：將 IT 和非 IT 類數(shù)據(jù)相集合，例如：用戶數(shù)量+性能表現(xiàn)、延遲時(shí)間+轉(zhuǎn)換率

14、；并能增加數(shù)據(jù)的“粒度”，例如：從 5 分鐘的頻率上到 1 分鐘；對(duì)數(shù)據(jù)流進(jìn)行應(yīng)用級(jí)的分析，例如：做到“實(shí)時(shí)”或?qū)μ囟v史時(shí)間段的查詢。人工捕獲的事件往往是非結(jié)構(gòu)化的；而大多數(shù)設(shè)備獲取的 IT 事件 blob（譯者注：binary large object，二進(jìn)制大對(duì)象）也只能達(dá)到半結(jié)構(gòu)化。它們都存在著：格式不一致、不夠完整、大量重復(fù)等特點(diǎn)。因此，AIOps 應(yīng)當(dāng)對(duì)這些 IT 事件屬性提供范式轉(zhuǎn)換，為進(jìn)一步分析做好準(zhǔn)備。如今，許多 AIOps 都能聚焦事件的管理、分析和關(guān)聯(lián)。一旦數(shù)據(jù)流入 AIOps 平臺(tái)，我們就必須考慮其數(shù)據(jù)結(jié)構(gòu)和完整性是否支持機(jī)器分析。常用的一種方法是：對(duì)傳入的數(shù)據(jù)執(zhí)行“E

15、TL”（Extract 提取、Transform 轉(zhuǎn)換、Load 加載），也就是在數(shù)據(jù)流中進(jìn)行規(guī)范化和集中式轉(zhuǎn)換，以便實(shí)現(xiàn)對(duì)數(shù)據(jù)的關(guān)聯(lián)和分析。當(dāng)然，在采用 AIOps 方案之前，企業(yè)可能會(huì)面臨兩方面的壓力：大量有待轉(zhuǎn)換、處理和分析的數(shù)據(jù)可能會(huì)使得當(dāng)前的系統(tǒng)無(wú)法實(shí)現(xiàn)實(shí)時(shí)性、或升級(jí)成本高昂。需要人工去管理和維護(hù)各種數(shù)據(jù)的結(jié)構(gòu)與標(biāo)準(zhǔn)，否則系統(tǒng)只能對(duì)已知模型進(jìn)行處理，而無(wú)法適用于新的數(shù)據(jù)類型。另外，大多數(shù)云服務(wù)系統(tǒng)也會(huì)使用“標(biāo)簽”策略作為最佳實(shí)踐。它們通過(guò)對(duì)不同類型對(duì)象的屬性變量進(jìn)行哈希，然后獨(dú)立于對(duì)象本身，僅使用標(biāo)簽來(lái)進(jìn)行引用、排序、關(guān)聯(lián)和分析。不同于那些帶有固定公共值的預(yù)定義映射關(guān)系，標(biāo)簽是能夠跟

16、隨數(shù)據(jù)一同變化的。NoSQL 數(shù)據(jù)庫(kù)和諸如 Elasticsearch 之類的大規(guī)模分析工具，能夠通過(guò)標(biāo)簽來(lái)處理各種屬性關(guān)系。此外，系統(tǒng)還能在數(shù)據(jù)流入時(shí)就實(shí)時(shí)地打上標(biāo)簽，以避免任何具有未知特性的“盲數(shù)據(jù)”產(chǎn)生。可見(jiàn)，企業(yè)需要通過(guò)具有 ETL 或標(biāo)簽?zāi)芰Φ?AIOps 大數(shù)據(jù)平臺(tái)，來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)模型的實(shí)時(shí)評(píng)估與管控。分析現(xiàn)有工作流至此，我想您對(duì) AIOps 方案的分析已經(jīng)準(zhǔn)備就緒了。此處的分析并非來(lái)自于 IT 工具，而是您定期或不定期進(jìn)行的，旨在改進(jìn)流程、降低成本和提高性能的離線式手動(dòng)分析。您可以通過(guò)手動(dòng)分析 AIOps 方案，以不斷迭代的方式解決自動(dòng)化過(guò)程中出現(xiàn)的問(wèn)題，進(jìn)而減少花費(fèi)在分析上的手動(dòng)

17、工作量，并提高分析的頻率和范圍。可見(jiàn)，AIOps 的目的就是：減少您在手動(dòng)上花費(fèi)的時(shí)間和精力，通過(guò)提高速度與頻率，以實(shí)現(xiàn)對(duì)數(shù)據(jù)集的自動(dòng)化實(shí)時(shí)分析。開(kāi)始實(shí)施自動(dòng)化誠(chéng)然，每個(gè)人都知道自動(dòng)化的價(jià)值，但是不同團(tuán)隊(duì)對(duì)此有著不同的理解。隨著 DevOps 所帶來(lái)的持續(xù)集成與交付（CI/CD），IT 運(yùn)營(yíng)的自動(dòng)化道路也發(fā)生了相應(yīng)的影響。IT 運(yùn)營(yíng)（IT Ops）：著眼于自動(dòng)化任務(wù)和協(xié)調(diào)各項(xiàng)步驟。其中包括：實(shí)現(xiàn)服務(wù)臺(tái)的工作自動(dòng)化、自動(dòng)給服務(wù)器打補(bǔ)丁、通過(guò)監(jiān)控工具來(lái)自動(dòng)修正系統(tǒng)錯(cuò)誤。難點(diǎn)在于橫跨各種工具間的步驟配合與相互聯(lián)動(dòng)。DevOps：著眼于自動(dòng)化自己的開(kāi)發(fā)任務(wù)和業(yè)務(wù)流程，以消除瀑布式開(kāi)發(fā)所帶來(lái)的分段式審查

18、過(guò)程、隔離式測(cè)試、行為合規(guī)、以及運(yùn)營(yíng)與上線聯(lián)動(dòng)等所造成的瓶頸與滯后?？梢?jiàn)，DevOps 的應(yīng)用團(tuán)隊(duì)旨在通過(guò)開(kāi)創(chuàng)新的服務(wù)（如云端應(yīng)用），加快集成與交付的速度與頻率。而IT運(yùn)營(yíng)團(tuán)隊(duì)，則需要“自動(dòng)化所有”，他們需要協(xié)調(diào)的不只是 CI/CD，而是整個(gè)“鏈條”。如果他們不知道服務(wù)何時(shí)從測(cè)試轉(zhuǎn)移到了生產(chǎn)環(huán)境，不知道誰(shuí)手中的源代碼會(huì)對(duì)產(chǎn)生環(huán)境造成何種影響，不知道如何識(shí)別與度量業(yè)務(wù)開(kāi)發(fā)人員積壓的工作，那么就無(wú)法真正有效地去管理好自己的自動(dòng)化環(huán)境。因此，IT 運(yùn)營(yíng)需要跟上 DevOps 團(tuán)隊(duì)的速度和敏捷性，綜合運(yùn)用工具來(lái)發(fā)現(xiàn)信息、共享信息，并通過(guò)與 DevOps 的溝通來(lái)“刷出自己的存在感”。后期階段開(kāi)發(fā)新的分析工作流通過(guò)中期階段對(duì)于現(xiàn)有工作流的分析，您應(yīng)當(dāng)能夠自動(dòng)化并擴(kuò)展了自己的 AIOps 方案，同時(shí)實(shí)現(xiàn)了如下方面：評(píng)估現(xiàn)有工作流的價(jià)值修改和改進(jìn)現(xiàn)有工作流基于現(xiàn)有差距開(kāi)發(fā)新的工作流一旦在 AIOps