構(gòu)建高效的研發(fā)與自動(dòng)化運(yùn)維體系

1、 構(gòu)建高效的研發(fā)與自動(dòng)化運(yùn)維體系為什么IT運(yùn)維需要自動(dòng)化？所謂IT運(yùn)維管理的自動(dòng)化是指通過(guò)將日常IT運(yùn)維中大量的重復(fù)性工作，小到簡(jiǎn)單的日常檢查、配置變更和軟件安裝，大到整個(gè)變更流程的組織調(diào)度，由過(guò)去的手工執(zhí)行轉(zhuǎn)為自動(dòng)化操作，從而減少乃至消除運(yùn)維中的延遲，實(shí)現(xiàn)“零延時(shí)”的IT運(yùn)維。簡(jiǎn)單的說(shuō)，IT運(yùn)維自動(dòng)化是指基于流程化的框架，將事件與IT流程相關(guān)聯(lián)，一旦被監(jiān)控系統(tǒng)發(fā)生性能超標(biāo)或宕機(jī)，會(huì)觸發(fā)相關(guān)事件以及事先定義好的流程，可自動(dòng)啟動(dòng)故障響應(yīng)和恢復(fù)機(jī)制。自動(dòng)化工作平臺(tái)還可幫助IT運(yùn)維人員完成日常的重復(fù)性工作(如備份，殺毒等)，提高IT運(yùn)維效率。同時(shí)，IT運(yùn)維的自動(dòng)化還要求能夠預(yù)測(cè)故障、在故障發(fā)生前能夠

2、報(bào)警，讓IT運(yùn)維人員把故障消除在發(fā)生前，將所產(chǎn)生損失減到最低。運(yùn)維應(yīng)包括如下：環(huán)境定義：開(kāi)發(fā)環(huán)境、測(cè)試環(huán)境、類生產(chǎn)環(huán)境、生產(chǎn)環(huán)境等。部署：能夠?qū)⒉渴鸢行У牟渴鸬讲煌沫h(huán)境。監(jiān)控：能夠監(jiān)控部署后的系統(tǒng)和應(yīng)用。告警：出現(xiàn)問(wèn)題時(shí)的響應(yīng)和處理機(jī)制。性能優(yōu)化：系統(tǒng)各個(gè)服務(wù)如Nginx/Java/PHP/DB/網(wǎng)絡(luò)的優(yōu)化。SLA保障：通常要和業(yè)務(wù)相關(guān)部門討論確定。服務(wù)治理、任務(wù)調(diào)度、集群協(xié)同、調(diào)用鏈分析、接口質(zhì)量、SQL質(zhì)量、實(shí)時(shí)日志等打包、自動(dòng)化測(cè)試、檢測(cè)、灰度發(fā)布、分區(qū)上線、運(yùn)維自動(dòng)化、配置標(biāo)準(zhǔn)化、指令標(biāo)準(zhǔn)化等分布式框架、存儲(chǔ)&緩存中間件、自動(dòng)化測(cè)試、云搜索、開(kāi)放平臺(tái)、營(yíng)銷平臺(tái)等基礎(chǔ)設(shè)施自建技術(shù)基礎(chǔ)

3、設(shè)施（開(kāi)源+自研）自動(dòng)化發(fā)布系統(tǒng)灰度發(fā)布、分區(qū)發(fā)布運(yùn)維配置自動(dòng)化系統(tǒng)運(yùn)維系統(tǒng)自動(dòng)發(fā)現(xiàn)、標(biāo)準(zhǔn)化配置原子指令系統(tǒng)支持?jǐn)?shù)百臺(tái)服務(wù)器、數(shù)百個(gè)原子腳本操作搜索平臺(tái)支持?jǐn)?shù)百個(gè)索引、上億條數(shù)據(jù)推薦計(jì)算平臺(tái)支持?jǐn)?shù)億用戶數(shù)據(jù)計(jì)算API自動(dòng)化測(cè)試系統(tǒng)、Mock模擬測(cè)試系統(tǒng)支持接口的自動(dòng)化測(cè)試、模擬測(cè)試、Web自動(dòng)化測(cè)試API放水系統(tǒng)、SQL防水系統(tǒng)治理系統(tǒng)不合理調(diào)用實(shí)時(shí)日志系統(tǒng)支持Nginx、Tomcat、BI實(shí)時(shí)日志和離線跟蹤分布式開(kāi)發(fā)框架統(tǒng)一分布式通信配置分發(fā)系統(tǒng)支持配置項(xiàng)、集群服務(wù)發(fā)現(xiàn)MQ分布式消息中間件（推模式IDP、拉模式Kafka）1500w/周一周五，600w/周六日KV分布式緩存系統(tǒng)中間件（Mem

4、cached、Redis、Tair）億級(jí)數(shù)據(jù)緩存、95%命中率LPFS分布式文件中間件（MongoDB）MongoDB、圖片、文件DB數(shù)據(jù)庫(kù)分庫(kù)分表中間件（MySQL）無(wú)限數(shù)據(jù)量擴(kuò)展分布式任務(wù)調(diào)度中間件（Schedule）支持100+服務(wù)、200+/日個(gè)分布式任務(wù)調(diào)度Push統(tǒng)一消息推送平臺(tái)每日100w+推送量，推送至Android、iOS、Email、SMS、微信、Comet依賴開(kāi)源的技術(shù)棧語(yǔ)言：Java(Tomcat/Spring) Shell(運(yùn)維) Nodejs(前端) Android iOS分布式：ActiveMQ Kafka Zookeeper Router服務(wù)發(fā)現(xiàn) Cat存儲(chǔ)：M

5、ysql Mongodb Tair Memcached Redis計(jì)算：Solr ElasticSearch Hadoop HBase Storm Spark運(yùn)維：Linux Nginx Puppet Zabbix OpenStack項(xiàng)目管理：Eclipse Git Maven構(gòu)建 Hudson持續(xù)集成 Confluence知識(shí)分享 DMS項(xiàng)目管理開(kāi)發(fā)階段Code/build開(kāi)發(fā)框架|-web開(kāi)發(fā)框架Swift|-nodejs前端開(kāi)發(fā)框架|-ios移動(dòng)開(kāi)發(fā)框架|-android開(kāi)發(fā)框架|-shell腳本自動(dòng)化分布式中間件|-分布式調(diào)用RPC|-實(shí)時(shí)推送comet|-推消息隊(duì)列IDP|-拉消息隊(duì)

6、列Kafka|-配置系統(tǒng)Zookeeper|-調(diào)度系統(tǒng)Scheduler存儲(chǔ)中間件|-關(guān)系存儲(chǔ)mysql|-文件存儲(chǔ)mongodb|-KV存儲(chǔ)tair|-二級(jí)緩存redis|-一級(jí)緩存memcached計(jì)算平臺(tái)|-云搜索|-推薦|-大數(shù)據(jù)計(jì)算|-網(wǎng)頁(yè)解析|-文本解析|-Word預(yù)覽測(cè)試階段Test/ci|-API自動(dòng)化測(cè)試|-API模擬測(cè)試Mock|-Web自動(dòng)化測(cè)試Selenium|-微信測(cè)試WXTest|-Open測(cè)試KATest|-測(cè)試環(huán)境發(fā)布上線階段Release/deploy|-發(fā)布系統(tǒng)|-運(yùn)維系統(tǒng)|-代碼檢測(cè)Builder運(yùn)維階段運(yùn)維系統(tǒng)Monitor|-自動(dòng)化系統(tǒng)|-監(jiān)控系統(tǒng)Za

7、bbix|-雷達(dá)日志系統(tǒng)|-Puppet/Mco服務(wù)治理Service|-API放水系統(tǒng)APIWater|-SQL放水系統(tǒng)MonyogSQL|-Router服務(wù)中心|-配置分發(fā)系統(tǒng)|-調(diào)度系統(tǒng)Scheduler|-調(diào)用鏈系統(tǒng)Cat運(yùn)營(yíng)階段開(kāi)放平臺(tái)|-微信平臺(tái)Weixin|-微博平臺(tái)Weibo|-電話平臺(tái)Jiya|-支付平臺(tái)Pay|-開(kāi)放平臺(tái)API|-SEO平臺(tái)Resource運(yùn)營(yíng)平臺(tái)Channel|-推送平臺(tái)Push|-短信平臺(tái)Push|-郵件平臺(tái)Mail|-微信平臺(tái)Open|-私信平臺(tái)MessageCode1、分布式服務(wù)架構(gòu)服務(wù)發(fā)現(xiàn)、通信、控制分布式注冊(cè)中心Router：同步調(diào)用RPC服務(wù)協(xié)

8、議：HTTP協(xié)議/心跳檢測(cè)服務(wù)發(fā)現(xiàn)：集群信息統(tǒng)一文件Router.conf負(fù)載均衡異步調(diào)用MQ推模式：開(kāi)發(fā)快、穩(wěn)定、實(shí)時(shí)快拉模式：可回溯、日志收集、數(shù)據(jù)同步分布式任務(wù)調(diào)度Schedule調(diào)度系統(tǒng)分布式事務(wù)控制Swift開(kāi)發(fā)框架：交易型事務(wù)的一致性2、運(yùn)維研發(fā)的自動(dòng)化體系運(yùn)維配置標(biāo)準(zhǔn)化3大層次2.1、硬件標(biāo)準(zhǔn)化：-機(jī)器標(biāo)準(zhǔn)化：機(jī)房、機(jī)架位、交換機(jī)、機(jī)器-資源標(biāo)準(zhǔn)化：IP、DNS-配置標(biāo)準(zhǔn)化：機(jī)器配置自動(dòng)化采集、標(biāo)準(zhǔn)化檢測(cè)，KVM化2.2、軟件標(biāo)準(zhǔn)化：-軟件安裝標(biāo)準(zhǔn)化：tomcat jdkmemcachedredis.-Nginx標(biāo)準(zhǔn)化：域名、配置、發(fā)布2.3、項(xiàng)目標(biāo)準(zhǔn)化：-項(xiàng)目配置標(biāo)準(zhǔn)化：S區(qū)、

9、A區(qū)、B區(qū)、C區(qū)-支持多種項(xiàng)目：tomcat、java、nodejs、Python、iosAndroid2.1、硬件標(biāo)準(zhǔn)化自動(dòng)化采集2.2、軟件標(biāo)準(zhǔn)化統(tǒng)一軟件規(guī)格2.2、軟件標(biāo)準(zhǔn)化自動(dòng)化安裝卸載2.2、軟件標(biāo)準(zhǔn)化服務(wù)自動(dòng)管理2.2、Nginx標(biāo)準(zhǔn)化自動(dòng)配置300域名3、項(xiàng)目發(fā)布自動(dòng)化體系3.1、代碼發(fā)布系統(tǒng)-灰度發(fā)布-分區(qū)發(fā)布：泳道發(fā)布3.2、配置發(fā)布系統(tǒng)-發(fā)布配置信息-集群協(xié)作：Solr、Kafka3.3、原子指令-系統(tǒng)級(jí)操作-系統(tǒng)操作日志4、服務(wù)治理體系服務(wù)健康狀態(tài)檢測(cè)分布式任務(wù)調(diào)度（Schedule）調(diào)用鏈分析（Cat）實(shí)時(shí)日志監(jiān)測(cè)（雷達(dá)系統(tǒng)）API質(zhì)量治理（APIWater)SQL質(zhì)量治理（Monyog）4.1、服務(wù)健康狀態(tài)檢測(cè)4.2、分布式任務(wù)調(diào)度Schedule分布式調(diào)度中心：基于Mina分布式協(xié)調(diào)選擇服務(wù)的單點(diǎn)調(diào)度多點(diǎn)服務(wù)failover長(zhǎng)時(shí)間任務(wù)斷點(diǎn)續(xù)傳任務(wù)依賴調(diào)度4.3、調(diào)用鏈分析Cat4.4、實(shí)時(shí)日志監(jiān)測(cè)（雷達(dá)系統(tǒng)）實(shí)時(shí)日志查看歷史日志分析用戶或IP追蹤日志統(tǒng)計(jì)4.4