云計(jì)算中心持續(xù)自動(dòng)化周期性改進(jìn)流程

1、云計(jì)算中心持續(xù)自動(dòng)化周期性改進(jìn)流程目錄 HYPERLINK l _bookmark0 技術(shù)中心運(yùn)維自動(dòng)化目標(biāo)3 HYPERLINK l _bookmark1 適用范圍3 HYPERLINK l _bookmark2 自動(dòng)化運(yùn)維帶來的意義3 HYPERLINK l _bookmark3 周期審核3 HYPERLINK l _bookmark4 審核內(nèi)容3 HYPERLINK l _bookmark5 自動(dòng)化的實(shí)現(xiàn)流程4 HYPERLINK l _bookmark6 自動(dòng)化需求匯總&分析4 HYPERLINK l _bookmark7 需求收集4 HYPERLINK l _bookmark8 需求

2、篩選4 HYPERLINK l _bookmark9 需求分析5 HYPERLINK l _bookmark10 案例分析：“自動(dòng)化生成賬單需求分析”5 HYPERLINK l _bookmark11 需求評(píng)估5 HYPERLINK l _bookmark12 評(píng)審小組組成5 HYPERLINK l _bookmark13 需求分解6 HYPERLINK l _bookmark14 案例分析：“自動(dòng)化生成賬單需求分解”6 HYPERLINK l _bookmark15 評(píng)估結(jié)果確認(rèn)6 HYPERLINK l _bookmark16 評(píng)估報(bào)告6 HYPERLINK l _bookmark17 自

3、動(dòng)化設(shè)計(jì)與實(shí)現(xiàn)7 HYPERLINK l _bookmark18 設(shè)計(jì)合適的模型7 HYPERLINK l _bookmark19 案例：“自動(dòng)化生成賬單需求分解”7 HYPERLINK l _bookmark20 自動(dòng)化開發(fā)7 HYPERLINK l _bookmark21 測(cè)試-貫穿整個(gè)開發(fā)階段7 HYPERLINK l _bookmark22 測(cè)試分析報(bào)告8 HYPERLINK l _bookmark23 生產(chǎn)發(fā)布8 HYPERLINK l _bookmark24 持續(xù)優(yōu)化9技術(shù)中心運(yùn)維自動(dòng)化目標(biāo)適用范圍云計(jì)算技術(shù)中心，約定必須周期性對(duì)運(yùn)維工程師的日常操作進(jìn)行篩選整理評(píng)估，通過運(yùn)維自動(dòng)化

4、來持續(xù)的創(chuàng)新與簡(jiǎn)化，最大限度提高效率、降低成本。自動(dòng)化運(yùn)維帶來的意義 消除無效率：運(yùn)維工作的手動(dòng)工作，通過自動(dòng)化，將顯著提升效率水平； 減少錯(cuò)誤：即使最謹(jǐn)慎的人，也會(huì)犯錯(cuò)，尤其是面對(duì)著重復(fù)性工作。我們通過運(yùn)維的自動(dòng)化來完成重復(fù)性工作，把錯(cuò)誤率大大降低； 放大工程師價(jià)值：我們要通過運(yùn)維自動(dòng)化，釋放工程師時(shí)間，集中在更復(fù)雜、更有戰(zhàn)略意義的業(yè)務(wù)問題上。同樣數(shù)量的工程師，通過自動(dòng)化運(yùn)維，能更多的創(chuàng)造價(jià)值； 提高滿意度水平 SLA：自動(dòng)化運(yùn)維為內(nèi)部和外部客戶提供高水平支持。無論是通過提供自助服務(wù)選項(xiàng)，還是大幅縮短時(shí)間（最多達(dá) 90）來減少聯(lián)系和等待服務(wù)臺(tái)的需求，自動(dòng)化運(yùn)維讓我們可以更好得擁抱 SLA。

5、降低成本：系統(tǒng)中斷、人為錯(cuò)誤、重復(fù)工作，會(huì)導(dǎo)致不菲的費(fèi)用和代價(jià)，我們通過自動(dòng)化運(yùn)維大幅度消除這些成本綜上，技術(shù)中心把運(yùn)維自動(dòng)化做為“最佳實(shí)踐”的一部分，盡可能多的實(shí)施自動(dòng)化流程。周期審核 三個(gè)月一次小范圍審核組成人員：技術(shù)部小組內(nèi)部討論內(nèi)容：對(duì)已經(jīng)確認(rèn)影響效率的手動(dòng)問題做總結(jié)，在小組內(nèi)通過腳本/程序方式自動(dòng)化 六個(gè)月一次大范圍審核組成人員：技術(shù)中心討論內(nèi)容：針對(duì)共性問題做發(fā)現(xiàn)，正式發(fā)布已經(jīng)測(cè)試穩(wěn)定的自動(dòng)化程序?qū)徍藘?nèi)容 執(zhí)行異常：審核已完成自動(dòng)化需求的執(zhí)行情況，是否有異常，改進(jìn)空間 執(zhí)行延遲：審核正在實(shí)現(xiàn)自動(dòng)化需求的進(jìn)度，是否延遲等 執(zhí)行不徹底：審核是否有需求已經(jīng)實(shí)現(xiàn)自動(dòng)化，但仍然手動(dòng)執(zhí)行自動(dòng)化

6、的實(shí)現(xiàn)流程自動(dòng)化需求匯總&分析定期收集技術(shù)人員工作報(bào)告，匯總階段處理的 jira 工單，不定時(shí)舉行頭腦風(fēng)暴，對(duì)收集到的信息做橫向和縱向分析需求收集技術(shù)人員工作報(bào)告Jira 工單匯總分析頭腦風(fēng)暴需求篩選 篩選方法需求的頻數(shù)單次需求工時(shí)時(shí)長(zhǎng)解決需求過程中的出錯(cuò)率 結(jié)果匯總結(jié)果由易到難分類排序定義優(yōu)先級(jí)需求分析 分析當(dāng)前需求的解決流程 需求價(jià)值：有無解決需求的難點(diǎn)，痛點(diǎn)，簡(jiǎn)化人員需求是否可以復(fù)用需求人力成本需求時(shí)間成本 根據(jù)當(dāng)前解決流程，標(biāo)注整個(gè)需求的難點(diǎn)所在 指定需求的介紹人，為評(píng)估做準(zhǔn)備案例分析：“自動(dòng)化生成賬單需求分析”背景介紹：L2C 有為客戶提供關(guān)聯(lián)賬單業(yè)務(wù)?？蛻魰?huì)將他們的 AWS 賬戶關(guān)

7、聯(lián)到 L2C 公司賬號(hào)下，當(dāng)客戶關(guān)聯(lián)賬號(hào)后，AWS 會(huì)將被關(guān)聯(lián)賬號(hào)的賬單信息統(tǒng)一整合 L2C Payer 賬號(hào)下，出具統(tǒng)一賬單。 任務(wù)復(fù)雜性分析混合復(fù)雜性：Link 的賬單 AWS 默認(rèn)會(huì)合并到一起，由 Payer 賬戶進(jìn)行單個(gè)拆分預(yù)存款：部分客戶為預(yù)存款客戶，每個(gè)月需要計(jì)算客戶的預(yù)存款余額區(qū)域復(fù)雜性：AWS 的多 region 賬單即使在一個(gè) payer 下也是分離的，需要在不同區(qū)域中單獨(dú)核算服務(wù)費(fèi)單獨(dú)計(jì)費(fèi)：L2C 對(duì)需要遷移、部署、MSP 的服務(wù)客戶，每個(gè)月要在賬單中單獨(dú)加入服務(wù)費(fèi) 人工處理繁瑣分析人工拆分：當(dāng)前的賬單由技術(shù)部根據(jù) AWS 提供的原始 invoice，按照賬號(hào) ID 拆分成

8、不同的賬單子表人工核對(duì)：根據(jù) S3 存儲(chǔ)桶中的詳細(xì)的賬單表記錄的信息核對(duì)，核對(duì)無誤后提交給前端商務(wù)人員；商務(wù)補(bǔ)充：商務(wù)部收到提交過去的賬單子表后，根據(jù)賬號(hào) ID 將北京和寧夏區(qū)域?qū)?yīng)的賬單子表整合到一個(gè)賬單中，根據(jù)合同追加我司服務(wù)費(fèi)用，并需要將月賬單費(fèi)用總額從預(yù)存款中扣除，計(jì)算剩余的余款，將這部分信息追加到賬單中，最終生成 PDF，郵件發(fā)送給客戶發(fā)票開具：并將賬單信息提交給財(cái)務(wù)部，進(jìn)入發(fā)票流程；發(fā)票郵寄：財(cái)務(wù)部收到賬單后，會(huì)根據(jù)銷售人員的需求提供相應(yīng)的發(fā)票信息，郵寄給客戶綜上，隨著客戶越來越多，賬單表格越來越大，整體工作流程會(huì)占用大量的人員時(shí)間，而且出錯(cuò)率較高。2.2 需求評(píng)估針對(duì)收集完的需求

9、，做統(tǒng)一的分析，評(píng)估，結(jié)合當(dāng)前公司技術(shù)狀態(tài)，財(cái)務(wù)能力等現(xiàn)狀，是否考慮執(zhí)行， 如執(zhí)行確定相關(guān)責(zé)任人，統(tǒng)籌規(guī)劃后續(xù)實(shí)施評(píng)審小組組成根據(jù)技術(shù)部規(guī)劃，在技術(shù)部季度/半年度例會(huì)上由自動(dòng)化運(yùn)維組長(zhǎng)根據(jù)調(diào)研發(fā)起，組成評(píng)審小組。小組成員主要由自動(dòng)化運(yùn)維組長(zhǎng)、需求工程師、技術(shù)總監(jiān)、其它必要工程師組成需求分解 需求當(dāng)事人介紹當(dāng)前重復(fù)繁瑣工作解決流程 需求介紹人闡述工作的難點(diǎn)，希望自動(dòng)化哪些部分 技術(shù)可行性驗(yàn)證：從網(wǎng)上整理相關(guān)需求的解決方法，供參考使用 針對(duì)難點(diǎn)，痛點(diǎn)特別說明 針對(duì)需求做一期，二期，三期規(guī)劃 評(píng)定評(píng)估結(jié)果 指定自動(dòng)化實(shí)現(xiàn)負(fù)責(zé)人案例分析：“自動(dòng)化生成賬單需求分解”對(duì)于賬單根據(jù)功能可以分成 技術(shù)部 +

10、商務(wù)部 + 財(cái)務(wù)部 三個(gè)部分技術(shù)部：難點(diǎn)主要在核對(duì)校驗(yàn)，excel 表格信息記錄的很詳細(xì)，需要先做匯總，統(tǒng)計(jì)然后才能和賬單子表做對(duì)比，客戶越多，這部分需要重復(fù)的工作量也隨著增加，因?yàn)?AWS 資源服務(wù)較多，一旦其中一個(gè)單元格計(jì)算錯(cuò)誤，可能需要推倒重來，直到核算一致為止商務(wù)部：難點(diǎn)主要是計(jì)算預(yù)存款余額，這部分需要加上不同 Region 單獨(dú)資源費(fèi)和服務(wù)費(fèi)，需要多人多次核對(duì) 針對(duì)此事件規(guī)劃如下：一期規(guī)劃：自動(dòng)化實(shí)現(xiàn)技術(shù)部賬單分揀工作；二期規(guī)劃：結(jié)合賬單平臺(tái)商務(wù)人員計(jì)算自動(dòng)化。只需要錄入預(yù)存款總額，當(dāng)月服務(wù)費(fèi)即可生成當(dāng)月客戶賬單評(píng)估結(jié)果確認(rèn) 評(píng)估是否執(zhí)行 評(píng)估執(zhí)行哪一部分 結(jié)果對(duì)評(píng)估報(bào)告進(jìn)行最終簽字

11、確認(rèn)評(píng)估報(bào)告根據(jù)評(píng)估結(jié)果，生成最終的評(píng)估報(bào)告，由評(píng)估團(tuán)隊(duì)簽字確認(rèn)評(píng)估報(bào)告樣例如下：評(píng)估報(bào)告評(píng)估需求自動(dòng)化生成賬單評(píng)估團(tuán)隊(duì)高楷鈞李小波程勤勤尹 濤安書生吳訓(xùn)杰蘇子庚評(píng)估結(jié)果執(zhí)行 不執(zhí)行評(píng)估內(nèi)容李小波介紹當(dāng)前賬單的解決流程李小波介紹當(dāng)前賬單的難點(diǎn)所在重復(fù)過濾不同賬號(hào)下的 excel 賬單表格，表格文件比較大，非常浪費(fèi)時(shí)間討論后，一致同意自動(dòng)化生成每個(gè)賬號(hào)的月賬單具體負(fù)責(zé)人李小波，安書生2.3 自動(dòng)化設(shè)計(jì)與實(shí)現(xiàn)根據(jù)功能，對(duì)需求做細(xì)化的拆分。利用前期的調(diào)研結(jié)果分析整理后，結(jié)合已經(jīng)存在的模型、工具和方法論，整合形成一套適合需求的模型，然后基于此模型做論證，修復(fù)到最終生成設(shè)計(jì)報(bào)告。設(shè)計(jì)合適的模型符合云計(jì)算

12、的 Devops 設(shè)計(jì)標(biāo)準(zhǔn) 分解和模塊化：按照分解的需求做功能最小粒度拆分，力求“模塊化、可復(fù)用” 結(jié)合已有模型設(shè)計(jì)需求模型，減少重復(fù)設(shè)計(jì) 設(shè)計(jì)評(píng)估和設(shè)計(jì)復(fù)查第一步：分模塊確認(rèn)，每個(gè)模塊能否單獨(dú)實(shí)現(xiàn)第二步：評(píng)估整體設(shè)計(jì)是否有邏輯漏洞案例：“自動(dòng)化生成賬單需求分解”技術(shù)實(shí)現(xiàn)：通過 python 對(duì) S3 存儲(chǔ)桶中的 excel 賬單表格處理，按需生產(chǎn)格式化賬單拆分自動(dòng)化開發(fā)約定開發(fā)周期，制定警戒時(shí)間（通常在第二次自動(dòng)化會(huì)議 review） 構(gòu)建基礎(chǔ)開發(fā)環(huán)境 開發(fā)人員責(zé)任分配 根據(jù)設(shè)計(jì)模型，匹配需求，實(shí)現(xiàn)功能測(cè)試-貫穿整個(gè)開發(fā)階段邊開發(fā)，邊測(cè)試，開發(fā)人員在開發(fā)過程中要通過不斷的測(cè)試發(fā)現(xiàn)問題，不斷修

13、復(fù)，逐漸完善設(shè)計(jì)上的不足，代碼 bug，邏輯漏洞，按照預(yù)定目標(biāo)一步一步完成開發(fā) 測(cè)試計(jì)劃確定測(cè)試對(duì)象設(shè)計(jì)，編寫測(cè)試用例執(zhí)行測(cè)試評(píng)估測(cè)試結(jié)果 單元測(cè)試階段性測(cè)試分模塊測(cè)試 集成測(cè)試建議測(cè)試方法：自頂向下集成其他方法：自底向上集成，大爆炸集成，三明治集成當(dāng)一次測(cè)試完成后，記錄測(cè)試過程中發(fā)現(xiàn)的問題，重復(fù)多次測(cè)試，將結(jié)果整理到報(bào)告中，反饋給負(fù)責(zé)人，判斷是否可投入生產(chǎn)使用測(cè)試分析報(bào)告根據(jù)持續(xù)測(cè)試的結(jié)果，生成“自動(dòng)化開發(fā)測(cè)試報(bào)告”自動(dòng)化開發(fā)測(cè)試報(bào)告測(cè)試階段結(jié)果階段測(cè)試階段一基本滿足需求，可以將磁盤的數(shù)據(jù)保存到cloudwatchShell 腳本依賴性高，適配性差階段二1. 滿足需求，可以實(shí)現(xiàn)函數(shù)觸發(fā)，參數(shù)獲取階段三80%滿足需求，可以對(duì)卷，磁盤做擴(kuò)展磁盤擴(kuò)展成功后，未收到通知郵件集成測(cè)試根據(jù)測(cè)試用例，一次性測(cè)試成功集成度高，整個(gè)流程不需要人工介入并發(fā)性差，不能同時(shí)對(duì)兩個(gè)磁盤做熱擴(kuò)容是否發(fā)布發(fā)布 不發(fā)布生產(chǎn)發(fā)布提交：有 Devops 開發(fā)組向自動(dòng)化評(píng)審組提交測(cè)試報(bào)告； 測(cè)試：批準(zhǔn)后分發(fā) L2C 的工程師上線測(cè)試環(huán)境進(jìn)行測(cè)試； 生產(chǎn)試運(yùn)行：一個(gè)完整周期（根