開發(fā)-運(yùn)維-開發(fā),一路走來的收獲與感悟

開發(fā)-運(yùn)維-開發(fā)，一路走來的收獲與感悟杭研后臺(tái)——何登成自我簡介何登成研究生期間：5年數(shù)據(jù)庫研發(fā)；B2B期間：2年DBA，數(shù)據(jù)庫運(yùn)維；網(wǎng)易期間：重轉(zhuǎn)研發(fā)；一定的研發(fā)和運(yùn)維經(jīng)驗(yàn)；Outline從開發(fā)到運(yùn)維，我所學(xué)到的知識(shí)；從運(yùn)維回到開發(fā)，我的思維轉(zhuǎn)變；從開發(fā)到運(yùn)維，我所學(xué)到的對系統(tǒng)線上運(yùn)行狀況了如指掌線上操作無小事遵守流程風(fēng)險(xiǎn)意識(shí)，一切操作均可能失敗注意日常操作的整理與收集老大是用來背黑鍋的與產(chǎn)品相關(guān)的所有人員打好關(guān)系如非必要，不要在節(jié)假日前做上線操作運(yùn)維要懂得說不盡可能準(zhǔn)備應(yīng)急預(yù)案注重總結(jié)：你會(huì)在同一個(gè)水溝前跌倒兩次嗎？及時(shí)反饋、指導(dǎo)開發(fā)I：對系統(tǒng)線上運(yùn)行狀況了如指掌運(yùn)維第一步在做運(yùn)維前，必須對線上的系統(tǒng)運(yùn)行情況了如指掌；系統(tǒng)部署架構(gòu)；系統(tǒng)服務(wù)的產(chǎn)品；系統(tǒng)運(yùn)行現(xiàn)狀；系統(tǒng)的監(jiān)控與報(bào)警；...畫外音你敢娶(嫁)一個(gè)你不了解的女人(男人)嗎？II：線上操作無小事運(yùn)維必須要牢記的原則任何一個(gè)你認(rèn)為微不足道的操作，都可能導(dǎo)致系統(tǒng)出現(xiàn)問題；舉例說明：觸發(fā)系統(tǒng)Bug；耗盡資源...我的經(jīng)驗(yàn)1個(gè)月：無線上登錄權(quán)限；3個(gè)月：可登錄線上，只有只讀權(quán)限；(同樣可能觸發(fā)風(fēng)險(xiǎn)：做一個(gè)全表Select，耗盡I/O資源，替換熱點(diǎn)內(nèi)存...)開始：老大操作我學(xué)習(xí)；后來：我操作老大監(jiān)督；III、遵守流程所有的線上操作，必須要有成熟的流程；所有的線上操作，必須按照流程進(jìn)行；流程是前輩踩了無數(shù)坑之后，總結(jié)下來的。除非你想重新踩這些坑，否則一切按照流程來做；如果對流程好奇，可以請教制定者，這么做的原因是什么？不這么做有什么風(fēng)險(xiǎn)？IV、風(fēng)險(xiǎn)意識(shí)，一切操作均可能失敗運(yùn)維人員，必須有強(qiáng)烈的風(fēng)險(xiǎn)意識(shí)。如何帶著風(fēng)險(xiǎn)意識(shí)做事？所有線上變更，必須先整理命令與腳本；所有的腳本，必須經(jīng)過線下測試，驗(yàn)證通過；所有的操作，必須考慮失敗后回滾情況，準(zhǔn)備回滾腳本；我的經(jīng)驗(yàn)所有上線操作，提前一天準(zhǔn)備好腳本，測試通過；準(zhǔn)備好回滾腳本，測試通過；線上操作，基本不敲新的命令；V、注意日常操作的整理與收集好記性不如爛筆頭，放之四海而皆準(zhǔn)的道理；提高工作效率；降低記錯(cuò)而導(dǎo)致誤操作的可能性；......我的經(jīng)驗(yàn)做DBA期間，我整理了近120+條，1000+行的常用Oracle命令，基本上能夠處理大部分操作；VI、老大是用來背黑鍋的嘿嘿！是不是覺得這一條很不可思議??！潛臺(tái)詞：老大不讓我背黑鍋就不錯(cuò)了但是：你必須牢記這句話??！怎么做才能讓老大來背黑鍋？你碰到一個(gè)問題，流程上沒說怎么做，你也拿捏不準(zhǔn)怎么做。此時(shí)該怎么辦？別猶豫，第一時(shí)間告知老大，讓老大來拿主意；老大做決策，你來做實(shí)施。做對了，老大的功勞，應(yīng)該的；做錯(cuò)了，老大的決策出錯(cuò)，老大都不知道怎么做，你更不了解了黑鍋已給老大背上VII、與產(chǎn)品相關(guān)的所有人員打好關(guān)系做事，說到底還是做人！你能相信，幾波完全不相識(shí)的人，能合作把一個(gè)產(chǎn)品/項(xiàng)目做好，運(yùn)維好嗎？產(chǎn)品新功能上線，該通知誰？平時(shí)有了疑問，該咨詢誰？線上出了問題，該聯(lián)系誰？......VIII、如非必要，不要在節(jié)假日前做上線操作這應(yīng)該算是運(yùn)維領(lǐng)域一個(gè)共識(shí)，并且也經(jīng)過多次的應(yīng)驗(yàn)；節(jié)假日前做操作，導(dǎo)致問題的可能性更大；節(jié)假日前不做操作，線上都有可能抽風(fēng)；為什么會(huì)這樣？節(jié)假日前，心已經(jīng)飛走了...節(jié)假日前做上線操作，節(jié)假日出了問題，找誰來處理？節(jié)假日本身的訪問模式、壓力，與平時(shí)有較大差異；IX、運(yùn)維要懂得說不作為一個(gè)運(yùn)維，有線上的操作權(quán)限，有時(shí)是相當(dāng)吃香的！這時(shí)，要經(jīng)得住誘惑，要懂得說不！你有可能收到哪些請求？Hi，哥們！幫我線上導(dǎo)些數(shù)據(jù)？幫我把線上的配置修改下？幫我做一些數(shù)據(jù)訂正？幫我悄悄的上線一個(gè)功能？...對于這些請求，最好的做法是：拿流程做擋箭牌，懂得對哥們說不！X：盡可能準(zhǔn)備應(yīng)急預(yù)案系統(tǒng)出問題了，你老大，老大的老大，甚至是大BOSS都被驚動(dòng)了，正虎視眈眈的站在你的背后，指手畫腳的要你在5分鐘內(nèi)把問題給解決掉?。?！此時(shí)的你：背脊發(fā)涼！腦袋發(fā)昏??！兩手發(fā)抖?。?！別說定位/解決問題，正常思考的能力都丟失了...該怎么辦？如果針對此問題，你剛好有一個(gè)應(yīng)急預(yù)案，不慌不忙的拿出來，三下五除二，立馬解決；你還愁著不升官發(fā)財(cái)嗎？？到時(shí)別忘了請我吃頓飯！XI：注重總結(jié)：你會(huì)在同一個(gè)水溝前跌倒兩次嗎？第一次跌進(jìn)一個(gè)水溝可謂不知；第二次跌進(jìn)同一水溝所謂不智；第一次犯的錯(cuò)，只要遵守了流程，謂“不知者不罪”；但，同樣的錯(cuò)誤，接二連三的犯，你就要問問自己，是不是自身存在問題了！XII、及時(shí)反饋、指導(dǎo)開發(fā)上線運(yùn)維/日常運(yùn)維/例行巡檢過程中，所有的不爽之處，別客氣，提出來，向開發(fā)反饋！首先，這是開發(fā)應(yīng)該做的職責(zé)；其次，開發(fā)其實(shí)也正愁著沒事可干呢！從開發(fā)到運(yùn)維，我所學(xué)到的對系統(tǒng)線上運(yùn)行狀況了如指掌線上操作無小事遵守流程風(fēng)險(xiǎn)意識(shí)，一切操作均可能失敗注意日常操作的整理與收集老大是用來背黑鍋的與產(chǎn)品相關(guān)的所有人員打好關(guān)系如非必要，不要在節(jié)假日前做上線操作運(yùn)維要懂得說不盡可能準(zhǔn)備應(yīng)急預(yù)案注重總結(jié)：你會(huì)在同一個(gè)水溝前跌倒兩次嗎？及時(shí)反饋、指導(dǎo)開發(fā)從運(yùn)維回到開發(fā)，我的思維轉(zhuǎn)變活著，好好活著木桶效應(yīng)出門找別人之前，把鑰匙留下沒有秘密可言：有問題直接告訴我，別讓我猜完美是很難的，懂得取舍你這么牛逼，你同事知道嗎？機(jī)器能自動(dòng)搞定的，為什么要人來做？專業(yè)人做專業(yè)事：你為什么幫運(yùn)維做決策？它山之石，可以攻玉那么重視線上環(huán)境，為何卻對測試環(huán)境棄之如履？I、活著，好好活著考察一個(gè)系統(tǒng)，說到底就是考察系統(tǒng)的可用性！活著設(shè)計(jì)/研發(fā)系統(tǒng)，針對各種異常情況，針對各種未考慮周全的地方，要做到充分的容錯(cuò)；碰到異常，可以報(bào)警，可以監(jiān)控，但是不能簡單的就把系統(tǒng)宕掉：線上慎用assert斷言！好好活著不僅要活著，還要好好活著，不能賴活著；壓力激增，連接暴漲，系統(tǒng)能不能處理各種突發(fā)情況？保證系統(tǒng)的平穩(wěn)運(yùn)行？限流，控流，監(jiān)控，報(bào)警......II、木桶效應(yīng)系統(tǒng)能夠提供的性能指標(biāo)，是他能支持的最高性能？是他的平均性能？都不是！系統(tǒng)的最低性能，才是系統(tǒng)真正的性能指標(biāo)；系統(tǒng)運(yùn)行過程中，足夠穩(wěn)定嗎？是否存在大幅波動(dòng)？大幅波動(dòng)的原因是什么？定位到這些問題，并予以消除；III、出門找別人前，把鑰匙留下大家應(yīng)該都遇到過這種情況：門鎖著，家人帶著鑰匙出去了，說是很快回來，誰知一等就是一下午對于系統(tǒng)實(shí)現(xiàn)，意味著什么？有沒有持有資源去做I/O？有沒有持有資源，去掉用外部接口？......你不能假設(shè)外部的操作一定很快完成，你不能出門前，把鑰匙也帶走了；或者，外部調(diào)用使用超時(shí)機(jī)制，保證調(diào)用的最長時(shí)間，如果你長時(shí)間不回來，別怪我把門給撬了啊；IV、沒有秘密可言小兩口熱戀中你猜我為什么不開心？你猜我想吃什么？......你抓狂不？系統(tǒng)上線之后，就是運(yùn)維人員的女朋友，遇到問題如果也要靠猜，運(yùn)維人員抓狂不？你的系統(tǒng)，要暴露出足夠的信息，方便運(yùn)維人員在運(yùn)維過程中，碰到問題能較快定位到原因所在；V、完美是很難的，懂得取舍開發(fā)人員的性格中，有追求完美的因子。但是：完美是很難的，要懂得取舍，有舍才有得；哪些情況下，需要考慮取舍？這樣實(shí)現(xiàn)簡單，方便后期維護(hù)，但不是最優(yōu)的；就這么做。這樣做容錯(cuò)處理，簡直太惡心了；系統(tǒng)必須容錯(cuò)。系統(tǒng)中打了好多采樣點(diǎn)，影響了系統(tǒng)性能；方便后期運(yùn)維；......VI、你這么牛逼，你同事知道嗎？除非系統(tǒng)是你一個(gè)人做的，除非系統(tǒng)開發(fā)出來后，后續(xù)不需要進(jìn)行改進(jìn)與升級(jí)。否則：必須考慮整個(gè)團(tuán)隊(duì)的技術(shù)水平；這么寫代碼，同事看的懂嗎？能進(jìn)行審核嗎？當(dāng)前的代碼，后續(xù)維護(hù)/接手的難度大嗎？非特殊需求與場景下，代碼以簡潔易懂為標(biāo)準(zhǔn)，杜絕奇淫巧計(jì)；VII、機(jī)器能自動(dòng)搞定的，為什么要人來做？運(yùn)維，追求的是運(yùn)維自動(dòng)化；開發(fā)，更應(yīng)該將大部分操作，都自動(dòng)化起來系統(tǒng)的單元測試，每天還需要手動(dòng)來運(yùn)行嗎？復(fù)雜點(diǎn)的測試系統(tǒng)，還需要手動(dòng)一步步搭建嗎？性能分析采集到的數(shù)據(jù)，還需要一行行去分析嗎？(何不畫個(gè)圖呢？)......VIII、專業(yè)人做專業(yè)事：你為什么幫運(yùn)維做決策？術(shù)業(yè)有專攻，開發(fā)與運(yùn)維都有自己擅長的領(lǐng)域。開發(fā)做好自己份內(nèi)之事，其余的交由運(yùn)維搞定。哪些是開發(fā)不擅長，而運(yùn)維擅長的？系統(tǒng)運(yùn)行需要多少內(nèi)存？系統(tǒng)需要消耗多少IOPS？系統(tǒng)加鎖/回調(diào)超時(shí)應(yīng)該設(shè)置為多少？......所有這些，因產(chǎn)品而異，既然在開發(fā)過程中無法確認(rèn)，何不暴露出來，由運(yùn)維人員來進(jìn)行配置？IX、它山之石，可以攻玉你是否聽過這句話：當(dāng)你覺得自己的想法很創(chuàng)新時(shí)，十有八九是知識(shí)面太窄我做運(yùn)維時(shí)，管理的是世界上最好的數(shù)據(jù)庫系統(tǒng)——Oracle；我重新做研發(fā)后，做的是基于MySQL的存儲(chǔ)引擎，從Oracle中借鑒良多；不要蒙頭做自己的系統(tǒng)，有時(shí)多抬抬頭，看看外面的世界，別人的做法，能給你很大的啟發(fā)；性能優(yōu)化——BrendanGregg；并發(fā)編程——JeffPreshing；......X：那么重視線上環(huán)境，為何卻對測試環(huán)境棄之如履？線上環(huán)境追求3個(gè)9，4個(gè)9的可用性；測試環(huán)境配置差；可用性幾乎沒有；二者這么