魅族基礎(chǔ)系統(tǒng)架構(gòu)運(yùn)維之路

1、魅族基礎(chǔ)系統(tǒng)架構(gòu)運(yùn)維之路運(yùn)營現(xiàn)狀0102發(fā)展歷程目錄03前言04系統(tǒng)運(yùn)維的未來前言2015年應(yīng)用商店現(xiàn)有超過100萬款 應(yīng)用應(yīng)用總下載量超過100億營收能力同比增長12倍服務(wù)器規(guī)模數(shù)百到數(shù)千2016年游戲平臺(tái)累積超過3000 萬用戶，同比增長150%月活躍程度超過1200萬58004000600005000100002011201420152016魅族服務(wù)器發(fā)展歷程發(fā)展歷程運(yùn)營現(xiàn)狀目錄010203前言04系統(tǒng)運(yùn)維的未來發(fā)展歷程2011啟程第一個(gè)IDC在廣 州亞太建立，系 統(tǒng)運(yùn)維之路開啟2014.6質(zhì)量CMDB、告警平臺(tái)、 RSA Token-堡壘機(jī)、 機(jī)型配置標(biāo)準(zhǔn)、OS標(biāo)準(zhǔn)、供應(yīng)商管理標(biāo)準(zhǔn)等2

2、015.12效率變更管理 巡檢平臺(tái)自動(dòng)化管理平臺(tái)2016.6流程生命流程閉環(huán)、利舊、 改造，打造運(yùn)營平臺(tái) 工單系統(tǒng)實(shí)現(xiàn)流程聯(lián) 動(dòng)、事件系統(tǒng)成本服務(wù)器運(yùn)營 容量系統(tǒng) 營收平臺(tái)Flyme內(nèi)部結(jié)算填坑、標(biāo)準(zhǔn)化自動(dòng)化未來混合云運(yùn)營數(shù)據(jù)化流程化遠(yuǎn)古時(shí)代 2011-2011.12機(jī)房規(guī)模機(jī)柜：1個(gè)機(jī)房穩(wěn)定性服務(wù)器：5臺(tái)監(jiān)控缺失業(yè)務(wù)：2個(gè)人力：開發(fā)兼職運(yùn)維問題架構(gòu)單點(diǎn)石器時(shí)代 2012.1-2014.6APPDR LVSPHP、Java、Cmysql、mongodb、 MFS服務(wù)器/VM網(wǎng)絡(luò)V1.0業(yè)務(wù)架構(gòu)接入層邏輯/展示層數(shù)據(jù)存儲(chǔ)層IDC基礎(chǔ)VPN運(yùn)維架構(gòu)Nagios,Cacti監(jiān)控腳本工具實(shí)現(xiàn) 自動(dòng)化運(yùn)

3、維KS+CobbleriDRACExcel資產(chǎn)管 理運(yùn)維管理IDC管理石器時(shí)代 2012.1-2014.6IDC：1個(gè) 機(jī)柜：30個(gè)服務(wù)器/vm：800臺(tái) 業(yè)務(wù)：100個(gè)人力：運(yùn)維12個(gè)機(jī)房規(guī)模問題和解決 方案去IOE、建立云平臺(tái)遷移機(jī)房、資源冗余、 CMDB新網(wǎng)絡(luò)架構(gòu)、帶寬冗余IBM、EMC、Vmware機(jī)房資源不足、擴(kuò)容難、 資源管理問題網(wǎng)絡(luò)不穩(wěn)定 活動(dòng)日流量突增DB壓力手工部署操作、監(jiān)控 不完善、監(jiān)控覆蓋率低安全性低使用SSDansible、zabbix 監(jiān)控定時(shí)巡檢RSA、WAF、DDoS流量清洗青銅時(shí)代 2014.7-2015.12APPPHP、Java、C、 C+、GolangMy

4、sql、redis、mongodb、MFS、FastDFS、HDFS服務(wù)器/KVM網(wǎng)絡(luò)V2.0業(yè)務(wù)架構(gòu)接入層邏輯/展示層數(shù)據(jù)存儲(chǔ)層IDC基礎(chǔ)VPN+多機(jī)房運(yùn)維架構(gòu)Zabbix監(jiān)控 BI監(jiān)控發(fā)布平臺(tái)裝機(jī)平臺(tái)RSA 堡壘機(jī)CMDB資產(chǎn) 管理IDC管理DR LVSHAProxy告警系統(tǒng)自動(dòng)化工具 Ansible域名平臺(tái)云管理平臺(tái)運(yùn)維管理WAF青銅時(shí)代 2014.7-2015.12IDC：多個(gè)機(jī)柜：150個(gè)服務(wù)器/vm：4000臺(tái)業(yè)務(wù)：200個(gè)人力：運(yùn)維平臺(tái)35個(gè)機(jī)房規(guī)模問題和解決 方案標(biāo)準(zhǔn)化率低、維護(hù)成本高部分業(yè)務(wù)架構(gòu)單點(diǎn)， 業(yè)務(wù)可用性供應(yīng)商單一標(biāo)準(zhǔn)化巡檢梳理單點(diǎn)業(yè)務(wù)、 統(tǒng)一高可用架構(gòu)引入多廠商，建

5、立標(biāo)準(zhǔn)配置管理、準(zhǔn)確性低規(guī)模突增、資源擴(kuò)容率低故障多樣性流程化管理資源冗余、裝機(jī)平臺(tái)、 容量管理故障分析、 建立知識(shí)庫鐵器時(shí)代 2016.1APPPHP、Java、C、 C+、GolangMysql、redis、mongodb、MFS、FastDFS、HDFS服務(wù)器/KVM/Docker網(wǎng)絡(luò)V3.0業(yè)務(wù)架構(gòu)接入層邏輯/展示層數(shù)據(jù)存儲(chǔ)層IDC基礎(chǔ)VPN+專線多機(jī)房運(yùn)維架構(gòu)Zabbix監(jiān)控BI監(jiān)控發(fā)布平臺(tái)裝機(jī)平臺(tái)RSA 堡壘機(jī)CMDB資產(chǎn) 管理運(yùn)維管理IDC管理告警系統(tǒng)域名平臺(tái)云管理平臺(tái)Fullnat LVSrouter工單平臺(tái)容量系統(tǒng)營收系統(tǒng)巡檢平臺(tái)WAF事件系統(tǒng)鐵器時(shí)代 2016.1IDC：多

6、個(gè)機(jī)柜：200個(gè)服務(wù)器/vm：6000臺(tái)業(yè)務(wù)：200個(gè)人力：運(yùn)維平臺(tái)43個(gè)機(jī)房規(guī)模問題和解決 方案統(tǒng)一告警平臺(tái)監(jiān)控指標(biāo)量化、 可視化機(jī)型套餐多、 業(yè)務(wù)需求個(gè)性化業(yè)務(wù)成本高， 各業(yè)務(wù)ROI量化工作流程化根據(jù)業(yè)務(wù)特性 整合同類機(jī)型資源使用考核， 建立內(nèi)部營收體系工單平臺(tái)資源利用率低容量平臺(tái)預(yù)案管理定時(shí)演練回顧總結(jié)標(biāo)準(zhǔn)化：OS標(biāo)準(zhǔn)化、硬件標(biāo)準(zhǔn)化、軟件標(biāo)準(zhǔn)化、 架構(gòu)標(biāo)準(zhǔn)化、組件標(biāo)準(zhǔn)化、協(xié)議標(biāo)準(zhǔn)化規(guī)范：日志規(guī)范、部署規(guī)范運(yùn)維自動(dòng)化、平臺(tái)化達(dá)到快速交付要求 上線流程+標(biāo)準(zhǔn)化打包+自助發(fā)布+灰度發(fā) 布（持續(xù)交付）異地雙活+快速切換措施 專線切換演練告警分級(jí)：郵件、短信、釘釘自動(dòng)化添加監(jiān)控設(shè)備，根據(jù)CMDB業(yè)

7、務(wù) 樹進(jìn)行巡檢，保證監(jiān)控覆蓋率BI告警，度量系統(tǒng)提高資源使用率：監(jiān)控系統(tǒng)+容量管理平臺(tái) 容器服務(wù)化供應(yīng)商管理，引入多家廠商Flyme內(nèi)部結(jié)算，建立內(nèi)部營收體系監(jiān)控告警與定 位（及時(shí)發(fā)現(xiàn) 與定位）成本控制IDC遷移，一個(gè)變多個(gè)資源冗余，保證快速部署需求。去IOE，建設(shè)以KVM為基礎(chǔ)的魅族云平臺(tái)，引入Docker容器平臺(tái)，實(shí)現(xiàn)微服務(wù)基礎(chǔ)設(shè)施規(guī)劃業(yè)務(wù)同質(zhì)化（業(yè)務(wù)爆發(fā)式 與差異性 增長）手工重復(fù) 操作（效率）預(yù)案發(fā)展歷程運(yùn)營現(xiàn)狀目錄010203前言04系統(tǒng)運(yùn)維的未來魅族運(yùn)維整體架構(gòu)服務(wù)目錄質(zhì)量管理度量系統(tǒng)框架支撐用戶視圖SaaS 運(yùn)維 服務(wù)化PaaS 運(yùn)維 平臺(tái)化業(yè)務(wù)監(jiān)控 預(yù)警系統(tǒng)自動(dòng)發(fā)布 業(yè)務(wù)模型子

8、機(jī)管理 Logserver預(yù)算系統(tǒng) 需求系統(tǒng)容量管理監(jiān)控平臺(tái)發(fā)布平臺(tái)云平臺(tái)流程平臺(tái)IaaS計(jì)算網(wǎng)絡(luò)存儲(chǔ)其他計(jì)算服務(wù)統(tǒng)一調(diào)度數(shù)據(jù)存儲(chǔ)糅合配置收斂事件管理SACMDB安全管理資源層API監(jiān)控系統(tǒng)分布式部署88%100 %105%100%95%90%85%80%基礎(chǔ)監(jiān)控覆蓋率基礎(chǔ)監(jiān)控覆蓋率Q3Q4監(jiān)控模板標(biāo)準(zhǔn)化 監(jiān)控自動(dòng)添加監(jiān)控的精細(xì)化甄別Zabbix server Zabbix serverZabbix proxyZabbix proxyZabbix proxyDatabaseDatabaseDatabaseZabbix agentWeb 服務(wù)器Database統(tǒng)一告警平臺(tái)告警收斂效果： 每個(gè)業(yè)務(wù)

9、運(yùn)維每天 少接收322條告警 短信，提高了運(yùn)維 效率。監(jiān)控分級(jí)告警機(jī)制，提高故障定位效率告警分級(jí)告警策略優(yōu)化 告警信息收斂 告警統(tǒng)計(jì)統(tǒng)一告警平臺(tái)工單平臺(tái)目標(biāo)：減少人為溝通成本服務(wù)器生命周期管理自動(dòng)化 工單流程可視化工單流程自定義 工單流程可追蹤業(yè)務(wù)需求多樣化 溝通成本較高 流程無法跟蹤日志平臺(tái)目標(biāo)：日志集中管理和分析 減少溝通成本日志搜索準(zhǔn)確定位，提高故 障排查速度日志可視化日志種類多，難以尋找因權(quán)限問題，開發(fā)需要找業(yè)務(wù)運(yùn)維索要日志，溝通成本較高。 日志級(jí)別較多，查找困難VMLogstash- shipperVMLogstash- shipperVMLogstash- shipperVMLog

10、stash- shipperBroker Redis（cache）Logstash Indexer過濾、數(shù)據(jù)寫入Elasticsearch存儲(chǔ)、索引搜索Kibana日志分析web界 面Web BrowerHTTP巡檢平臺(tái)系統(tǒng)初始化檢測(cè)系統(tǒng) 常規(guī)檢測(cè)系統(tǒng) 內(nèi)核檢測(cè)系統(tǒng) 安全檢測(cè)下線檢測(cè)Bond模式、yum源配置文件、MFS掛載檢測(cè)、selinux狀態(tài) 等等宿主機(jī)上報(bào)狀態(tài)、交換分區(qū) 大小、初始化磁盤raid配置 等等空口令賬戶、passwd文件讀 寫權(quán)限、shadow文件讀寫權(quán) 限、 拒絕.rhosts文件存在、 防止syn攻擊優(yōu)化等等Kernel版本檢測(cè)、nf_conntrack檢測(cè)等等服務(wù)器回

11、收進(jìn)程檢測(cè)、磁盤 數(shù)據(jù)檢測(cè)等等巡檢平臺(tái)目標(biāo)：建立標(biāo)準(zhǔn)體系，提升工作效率，規(guī)范運(yùn)維工作，考核供應(yīng)商服務(wù)，保證業(yè)務(wù)穩(wěn)定性、可用性。梳理15個(gè)組件的標(biāo)準(zhǔn)化，發(fā)現(xiàn)問題96個(gè)，整改服務(wù)器項(xiàng)目4000+次，有效的避免了因非標(biāo)準(zhǔn)因素導(dǎo)致的風(fēng)險(xiǎn)。更安全的堡壘機(jī)用戶軟件硬件RSA-Token模式原因openssh key認(rèn)證登陸機(jī)房：南沙堡壘機(jī) 狀態(tài)：主機(jī)房：無錫堡壘機(jī) 狀態(tài)：備RSA認(rèn)證堡壘機(jī) 堡壘機(jī) 堡壘機(jī) 堡壘機(jī)IDC賬號(hào)管理平臺(tái)分權(quán)分配用戶管理 登陸記錄 操作記錄功能摘要審計(jì)把控052013201420152016非法訪問IDC事故非法訪問IDC事故用戶中心數(shù)據(jù)庫被拖走win堡壘機(jī)密碼失竊JW郵箱被盜流程管理生命周期流程管理資源交付類流程資源采購、日常申請(qǐng)、 領(lǐng)用、上下線、自動(dòng)驗(yàn) 收檢查、自動(dòng)部署、預(yù) 置環(huán)境調(diào)整資源調(diào)度類流程服務(wù)器搬遷、改造、回收、備件調(diào) 撥等生命周期末端流程服務(wù)器退役、利舊拆解、 報(bào)廢處理、硬盤消磁等2倍100%節(jié)省溝通時(shí)間資產(chǎn)準(zhǔn)確性資產(chǎn)歸屬權(quán)明確 資產(chǎn)數(shù)據(jù)質(zhì)量高容量系