中小企業(yè)IT運維的互聯(lián)網(wǎng)之路

1、中小企業(yè)IT運維的互聯(lián)網(wǎng)之路技術(shù)創(chuàng)新，變革未來議程 一、運維成長的道、術(shù)、法 二、運維環(huán)境的 A、B、C、D 三、傳統(tǒng)運維 To 互聯(lián)網(wǎng)四、平安運維的一些實踐經(jīng)驗一、運維成長的道、術(shù)、法 運維&不完全定義 運維對象寬泛 數(shù)據(jù)中心存儲、計算、網(wǎng)絡(luò) 操作系統(tǒng)分布式中間件(平臺中間件)網(wǎng)絡(luò)出口CDN運維職能寬泛 管理 or 技術(shù)運維 or 研發(fā)運維&不完全定義 運維環(huán)境復(fù)雜：與產(chǎn)品息息相關(guān)（vmvare、kvm）與廠商息息相關(guān)（各種廠商、各種運營商） 與開發(fā)息息相關(guān)（面對開發(fā)，你有態(tài)度？） 與組織息息相關(guān)運維&不完全定義 Who r u？系統(tǒng)工程師、網(wǎng)絡(luò)工程師、運營商工程師、 云工程師、What r

2、 u doing？ 技術(shù)專家、管理專員運維的道、術(shù)、法 道 掌握基礎(chǔ)原理，不變應(yīng)萬變基礎(chǔ)原理在哪里？不變的，很少變的就是基 礎(chǔ)原理操作系統(tǒng)發(fā)行版在變，操作系統(tǒng)內(nèi)核卻穩(wěn)定 網(wǎng)絡(luò)設(shè)備型號層出不盡，以太網(wǎng)/tcp/ip/http 協(xié)議卻很穩(wěn)定道 大道隱于市而爛熟于心 不別隨意跟風(fēng)，專注于一類 redhat、centos、ubuntuvmvare、kvmcisco、juniper術(shù)術(shù) 術(shù)者多變而不濫取之 法 這個世界不僅僅只有道與術(shù)，還有法法枯燥乏味而不得其解 道、術(shù)、法，明白之后，下海 二、運維環(huán)境的A、B、C、D A，運維&運營 運營：業(yè)務(wù)相關(guān)，內(nèi)容運營、活動運營、用戶運 營，維持產(chǎn)品、服務(wù)生命力

3、?；ヂ?lián)網(wǎng)的運營屬于 IT，傳統(tǒng)的運營屬于業(yè)務(wù)。運維：偏重技術(shù)，服務(wù)交付、事件處理、監(jiān)控巡 檢，保障系統(tǒng)本身穩(wěn)定性。B，組織環(huán)境 小微組織：保姆式運維。所有與電腦相關(guān)的都與 你有關(guān)。亂術(shù)而無道法，上升空間狹窄。作為一 種業(yè)余興趣是的聊以慰藉。中小組織：創(chuàng)意式運維。抱團業(yè)務(wù)，承上啟下， 背鍋之最多，受屈之最冤。業(yè)務(wù)驅(qū)動-道術(shù)法， 管理重于技術(shù)。平臺級工具解決不了或者說無需 解決這些問題。大型組織：平臺級運維。業(yè)務(wù)解耦，平臺服務(wù)， 專注研發(fā)，術(shù)精道明而法嚴(yán)。C，開發(fā)標(biāo)準(zhǔn) 無統(tǒng)一標(biāo)準(zhǔn)：各種OS，各種中間件，各種配置信息。 例如：中小企業(yè)傳統(tǒng)應(yīng)用，互聯(lián)網(wǎng)游戲行業(yè)自動化運維難以一步到位抽象自動化運維平臺，

4、動態(tài)模塊交由小團隊定義。標(biāo)準(zhǔn)架構(gòu)組件：良好標(biāo)準(zhǔn)規(guī)范，從開發(fā)語言到架構(gòu)組件。 例如：大型金融公司，互聯(lián)網(wǎng)標(biāo)準(zhǔn)自動化運維較容易實現(xiàn)平臺級服務(wù)與組件（分布式數(shù)據(jù)庫、文件系統(tǒng)、負載均衡）D，傳統(tǒng)vs互聯(lián)網(wǎng)業(yè)務(wù) 傳統(tǒng)：ERP，柜面、交易系統(tǒng)，面向客戶特點：遺留系統(tǒng)、功能穩(wěn)定、監(jiān)管要求、影響面大，互聯(lián)網(wǎng)：2O（out of site），流量入口，渠道系統(tǒng)，面向 用戶如何將用戶轉(zhuǎn)化為客戶。特點：渠道類，新系統(tǒng)、需求多變、版本頻繁、故障影響 可控（分散）在截然不同的業(yè)務(wù)場景下產(chǎn)生了對運維不同的要求，傳統(tǒng)、 互聯(lián)網(wǎng)運維 ITIL vs Automation運維，共性 系統(tǒng)上線鼓掌的是開發(fā)，應(yīng)用宕機背鍋的是運維

5、不出問題的運維是好運維，好到老板不知道你存在業(yè)務(wù)運維 平臺運維 領(lǐng)域?qū)＜一ヂ?lián)網(wǎng)業(yè)務(wù)給運維帶來的變化 傳統(tǒng)運維方法已無法滿足互聯(lián)網(wǎng)業(yè)務(wù)飛速變 化要求互聯(lián)網(wǎng)應(yīng)用在傳統(tǒng)環(huán)境中快不起來 傳統(tǒng)應(yīng)用的穩(wěn)定性被互聯(lián)網(wǎng)打破三、傳統(tǒng)運維 To 互聯(lián)網(wǎng) Step1：識別渠道 互聯(lián)網(wǎng)化的是業(yè)務(wù)渠道變化讓渠道飛起來，讓核心固然金湯So. 互聯(lián)網(wǎng)化的應(yīng)用是沒包袱的/p/34c0d4ea007 2民主共和與君主立憲余何Rule2：隔離核心 Restful API 提供原子服務(wù) 隔離Message Queue 實現(xiàn)異步解耦 防護核心限速是受控的Rule3：Cloud-Native App 應(yīng)用是否適合在云上運行(cloud

6、-native App)？Factor12規(guī)范 平安APP8原則進程無狀態(tài)化，session保存在share pool中 日志是流式事件，而不是文件去中心化，管理進程一次性運行在復(fù)雜的事物上試圖通過不做任何改變的將 其管理標(biāo)準(zhǔn)化，實際上是另一個過程復(fù)雜化 的開始如果開發(fā)不接受遺留系統(tǒng)的任何改變，互聯(lián) 網(wǎng)運維將變成“偽”互聯(lián)網(wǎng)運維。 Rule4：Chicken Soup for the Soul我會給你一些工具，你來承擔(dān)一些責(zé)任，鋪墊。 Dangerous Rule5：Weaken ITIL by Automation 推薦-高效運維-“舍本求末的運維自動化技 術(shù)熱潮”。Shell、Python

7、編程能力是基礎(chǔ) Ansible 批量管理Docker 計算單元打包合適的工具比選擇無所不能的工具更重要四、平安運維的一些實踐經(jīng)驗 復(fù)雜度 多種類中間件及其海量的管理復(fù)雜度Weblogic、tomcat、apache、nginx、 keepalived無數(shù)種中間件（介質(zhì)） 2w+ instance （進程）OS. . . .OSOSABweblogicCDEweblogicFAnBnweblogicCnProcess different: Logfile ConfigBusiness logic Ip address Domain name Load banlace Fw policy Secu

8、riyinstance 遵循軟件的配置規(guī)范，上承應(yīng)用、下接軟件，將兩者融合進來。 未啟動、運行前，規(guī)范下的屬性配置文件規(guī)范易變而多樣，具有不可完全預(yù)知啟動后、運行時，獨立的進程或進程組OS. . . .OSmysqlOSerpABCDEFAnBnCnwlsredisphp libothersSoftware different: A need tomcat 7.0 B need weblogicC need other thing D install MQE install other C libmiddleware 軟件或強或弱的依賴于底層操作系統(tǒng)庫文件不同軟件對庫版本有不同要求，同一個OS

9、出現(xiàn)沖突軟件安裝無法簡單認(rèn)同為文件復(fù)制，看不到“安裝”做了什么軟件類型太多、安裝步驟太多、一次安裝，多次使用，還不沖突 怎么做？2014年前 方案 OSInstance A Instace XSoftware AOS Instance A Instace X Software ASoftware A Instance A Instance XSoftware BInstance A Instance X OS統(tǒng)一軟件使用標(biāo)準(zhǔn)，控制種類 weblogic、tomcat、apache、nginxOS Software A InstanceSoftware BInstance OSOS 統(tǒng)一軟件使用

10、標(biāo)準(zhǔn)，控制種類（ weblogic、tomcat、apache、nginx） 統(tǒng)一實例使用標(biāo)準(zhǔn)，管理方式一致，提高運維管理效率Software InstanceOS統(tǒng)一軟件使用標(biāo)準(zhǔn)，控制種類（ weblogic、tomcat、apache、nginx） 統(tǒng)一實例使用標(biāo)準(zhǔn)，管理方式一致，提高運維管理效率采用大物理機器，避免虛擬化，提高資源使用率，降低底層組件維護成本ServerAdminServerAdmin 規(guī)范安裝 統(tǒng)一界面 剖析馴化 解耦隔離software depositoryOSInstallWeb ConsoleCMDBdomesticateControlappOwneragentM

11、anagement InterfaceVFSstart/stopdisable/enableaddip/deleteipEXT3weblogicFATtomcatNFSapacheDeployDirDeployDirDeployDirdeployer ServerAdmin-規(guī)范安裝 僅僅是軟件介質(zhì)規(guī)范安裝目錄 建立軟件倉庫一次編譯多次使用(green) 統(tǒng)一安裝界面-prefix-g(thats is import)-x86 & x86_64-independent請相信，所有依賴全部在獨立目錄中ServerAdmin-統(tǒng)一界面 定義接口定義管理界面規(guī)范調(diào)用API(適用于一切)(環(huán)境變量、執(zhí)

12、行程序) 規(guī)范通用文件、目錄(配置、日志、應(yīng)用)審計方式-Return value-Input & output-Object Oriented,OO 封裝、繼承與多態(tài)所有軟件管理方式一致 ServerAdmin-剖析馴化 具體實現(xiàn)啟停腳本 執(zhí)行文件 環(huán)境變量引用庫(-prefix獨立) 配置目錄日志目錄 應(yīng)用目錄配置、使用、裸跑、lsof分析、拆分、link ServerAdmin-部署發(fā)布 開放目錄 制定規(guī)則ServerAdmin 操作系統(tǒng)層（解耦、隔離）IP 跟著應(yīng)用走CPU 資源受控IO 內(nèi)存替代磁盤NET/MEM 預(yù)知，未遇ServerAdmin-IP 跟著應(yīng)用走 Listen()

13、主動方式配置解決connect() 無法配置，hack systemCallDefault Route 降級處理，插入模塊，解決本 機訪問本機問題ServerAdmin-CPU 資源受控 Cpulimit 控制進程CPU使用率ServerAdmin-IO 內(nèi)存替代磁盤 Override fsync systemCall之后。犧牲了并不重要的數(shù)據(jù)一致性,解決IO問題內(nèi)存即磁盤，壓力測試報告印證，在930生產(chǎn) 正式環(huán)境業(yè)務(wù)高峰期，IO瓶頸不再是磁盤， 很可能是應(yīng)用程序的開源日志框架。2014后，下一站 Docker Docker輕易解決ServerAdmin馴化過程Mesos讓計算資源得到復(fù)用（價

14、值無法估量）當(dāng)然，偏地是坑 做什么 Anything isContainerAssign bySchedulerAutomate useAPI Analysis through PALog4ADemo 什么是APP8 互聯(lián)網(wǎng)興起的時代，APP作為一種服務(wù)發(fā)布，即APP as aService；APP8是將APP構(gòu)建成Service的方法論。遵循APP8規(guī)則的APP在Padis平臺上方可如魚得水。APP即純粹邏輯計算單元，與下層MW、OS解耦，單元間同 構(gòu)無差異。APP享受到云平臺帶來的彈性擴展、快速發(fā)布優(yōu)勢，亦即APP轉(zhuǎn)化為Service。APP8（1） 去中心APP由單個或多個Process組成，其中沒有獨立于業(yè)務(wù)邏輯的中心管理進程。管 理類工作通過配置文件同構(gòu)或一次性配置動作解決。配置配置信息不含有底層資源信息，例如主機名、IP；配置信息按環(huán)境類型（STG/PRD)管理，拒絕嵌入代碼。容器配置與容器介質(zhì)分離，跟著應(yīng)用走。日志流日志輸出是一條一條的消息輸出流，而不是寫文件；日志輸出盡量與文件系統(tǒng)解 耦，可重定向到遠程日志管理服務(wù)中。無狀態(tài)APP盡量做到無狀態(tài)化，將狀態(tài)信息記錄到back-service中，例如將session信 息記錄到集中的cache ser