全球運(yùn)維大會(huì)策劃方案模板課件PPT

1、海量運(yùn)維、運(yùn)營(yíng)規(guī)劃之道 v2質(zhì)量、效率、成本經(jīng)歷：唐文，在騰訊、百度工作近十年。曾負(fù)責(zé)騰訊四大平臺(tái)之一騰訊網(wǎng)整體運(yùn)維、運(yùn)營(yíng)規(guī)劃，協(xié)助將騰訊網(wǎng)速度優(yōu)化到門戶最快，反超sina、sohu等競(jìng)品，獲得騰訊最高技術(shù)獎(jiǎng)；百度架構(gòu)師、負(fù)責(zé)百度訪問速度TOPIC、百度UAQ、APM平臺(tái)負(fù)責(zé)人，協(xié)助將百度網(wǎng)頁搜索、移動(dòng)搜索、多個(gè)商業(yè)產(chǎn)品及社區(qū)產(chǎn)品速度優(yōu)化到業(yè)界最快。著作：海量運(yùn)維、運(yùn)營(yíng)規(guī)劃之道、大型網(wǎng)站性能監(jiān)測(cè)、分析與優(yōu)化個(gè)人介紹個(gè)人微信運(yùn)維簡(jiǎn)史及行業(yè)、職業(yè)紅利海量運(yùn)維、運(yùn)營(yíng)規(guī)劃實(shí)踐2.0運(yùn)維的趨勢(shì)及職業(yè)發(fā)展建議There are a thousand Hamlets in a thousand people

2、s eyes.莎士比亞譯：一千個(gè)人心中有一千個(gè)哈姆雷特。關(guān)于運(yùn)維1,000,00075,00050,00025,0000 1994 1997 2000 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 201660% 50% 40% 30% 20% 10% 0%網(wǎng)民數(shù)增長(zhǎng)率互聯(lián)網(wǎng)與運(yùn)維人口紅利行業(yè)紅利職業(yè)紅利 OP人力時(shí)代 OP工具時(shí)代 OP小平臺(tái)時(shí)代 OP大平臺(tái)時(shí)代 OP云時(shí)代94001110013700210002980038400457005131056400617586487568826729557.2%18%23.

3、4%53.3%41.9%28.8%19.1%12.2%9.9%9.5%5%6.1%6%3G4G、美股5G金融危機(jī)、奧運(yùn)、汶川地震互聯(lián)網(wǎng)泡沫、非典Web2.0、新媒體Web1.0、資訊數(shù)據(jù)來源：中國(guó)互聯(lián)網(wǎng)信息中心數(shù)據(jù)來源：中國(guó)互聯(lián)網(wǎng)信息中心CNNICCNNIC人才通道 產(chǎn)品設(shè)計(jì)軟件開發(fā)技術(shù)支撐質(zhì)量管理產(chǎn)品策劃產(chǎn)品運(yùn)營(yíng)網(wǎng)頁美術(shù)策劃與制作用戶研究頁面構(gòu)建UI交互游戲UI美術(shù)游戲2D游戲3D運(yùn)營(yíng)開發(fā)工程師后臺(tái)開發(fā)工程師前臺(tái)開發(fā)工程師移動(dòng)終端開發(fā)工程師IT應(yīng)用開發(fā)工程師測(cè)試開發(fā)工程師應(yīng)用運(yùn)維工程師運(yùn)營(yíng)管理工程師系統(tǒng)管理工程師網(wǎng)絡(luò)管理工程師應(yīng)用安全工程師運(yùn)維安全工程師IDC服務(wù)工程師桌面支持工程師系統(tǒng)測(cè)試

4、工程師QA工程師配置管理工程師游戲測(cè)試工程師運(yùn)維定位橫向運(yùn)維模式，靜態(tài)、動(dòng)態(tài)、邏輯、DBA、存儲(chǔ)、容器、云等運(yùn)維技能ChefHaProxyFabricCloudStackZStackPerlOpenNebulaZabbixtcpdumpNginxNagiosAnsibleHadoopOpenStackMemcachedRedis LVSTomcatVarnishHBaseDockerElasticSearchPuppetZookeeperHeartbeatSaltStackKafkaMesosKeepalivediOSMongoDBAndroidMapReduceHiveSplunkStorm

5、YARNKylin內(nèi)外兼修、由外向內(nèi)，人 機(jī)器PMRDQAOPSYS基礎(chǔ)網(wǎng)絡(luò)/平臺(tái) 提升服務(wù)核心價(jià)值 質(zhì) 量 效 率 成 本穩(wěn)定性提升（MMTRMTBF）用戶訪問速度提升資源利用效率提升服務(wù)變更效率提升運(yùn)維價(jià)值優(yōu)秀團(tuán)隊(duì)：技術(shù)領(lǐng)域深厚積累、人才、硬件、OS、網(wǎng)絡(luò)、文化、組織保障運(yùn)維簡(jiǎn)史及行業(yè)、職業(yè)紅利海量運(yùn)維、運(yùn)營(yíng)規(guī)劃實(shí)踐2.0運(yùn)維的趨勢(shì)及職業(yè)發(fā)展建議PC & 瀏覽器移動(dòng)終端設(shè)備運(yùn)營(yíng)商終端應(yīng)用安全應(yīng)用中間件質(zhì)量&測(cè)試日志&分析平臺(tái)即服務(wù)PaaS軟件即服務(wù)SaaS終端產(chǎn)品互聯(lián)網(wǎng)基礎(chǔ)設(shè)施即服務(wù)IaaS基礎(chǔ)架構(gòu)行業(yè)教育金融電商保險(xiǎn)游戲視頻科技應(yīng)用性能評(píng)測(cè) 性能監(jiān)測(cè)性能優(yōu)化性能告警數(shù)據(jù)中心IDC開發(fā)&部

6、署互聯(lián)網(wǎng)云主機(jī)&物理主機(jī)云存儲(chǔ)云數(shù)據(jù)庫CDN負(fù)載均衡行業(yè)數(shù)據(jù)數(shù)據(jù)管理租用、自建IDC定制機(jī)柜定制、自研萬兆交換機(jī)定制服務(wù)器自研服務(wù)器定制、自研配件運(yùn)維環(huán)境質(zhì)量成本效率實(shí)踐2.0規(guī)劃（架構(gòu)、IDC、硬件、預(yù)算）意識(shí)（柔性、灰度、自動(dòng)、立體）優(yōu)化（性能、速度、架構(gòu)、成本）安全（漏洞、劫持、攻擊）告警（故障、性能、亞健康）準(zhǔn)入（運(yùn)維、性能）培訓(xùn)（調(diào)研、分享、述職）推廣（平臺(tái)、規(guī)范、意識(shí)）管理（配置、監(jiān)控、發(fā)布、容量、事件、問題、成本、需求）平臺(tái)（運(yùn)維平臺(tái)、應(yīng)用平臺(tái)）流程（研發(fā)、運(yùn)維、測(cè)試）規(guī)范（變更、環(huán)境、性能）考核（架構(gòu)、質(zhì)量、預(yù)算）預(yù)案（故障、突發(fā)和重大件）演習(xí)（網(wǎng)絡(luò)、架構(gòu)、模塊）成本（架構(gòu)、硬

7、件、帶寬）規(guī)劃 - 架構(gòu)、IDC、硬件、預(yù)算管理 - 事件、問題、成本、需求優(yōu)化 - 速度、成本平臺(tái) - 運(yùn)維平臺(tái)、應(yīng)用平臺(tái)安全 - 漏洞、劫持、攻擊成本 - 架構(gòu)、硬件、帶寬告警 - 故障、性能、亞健康監(jiān)控管理資源管理發(fā)布管理容量管理配置管理CMDB意識(shí) - 柔性、灰度、自動(dòng)、立體流程 - 研發(fā)、運(yùn)維、測(cè)試規(guī)范 - 變更、環(huán)境、性能準(zhǔn)入 - 運(yùn)維、發(fā)布培訓(xùn) - 調(diào)研、分享、述職推廣 - 平臺(tái)、規(guī)范、意識(shí)推廣考核 - 架構(gòu)、質(zhì)量、預(yù)算預(yù)案 - 故障、突發(fā)和重大件演習(xí) - 網(wǎng)絡(luò)、架構(gòu)、模塊效率質(zhì)量成本實(shí)踐2.0建立商業(yè)級(jí)云服務(wù) 變更管理串聯(lián)變更原因、過程、結(jié)果，讓所有變化有序、有記錄，可追蹤監(jiān)測(cè)

8、管理端及端到端立體監(jiān)測(cè)用戶、網(wǎng)絡(luò)、物理及云環(huán)境操作系統(tǒng)、應(yīng)用性能配置管理將所有資源和屬性標(biāo)識(shí)并記錄在冊(cè)，關(guān)聯(lián)能關(guān)聯(lián)的一切，運(yùn)維基礎(chǔ)，運(yùn)營(yíng)基石成本管理科學(xué)合理使用“兵馬錢糧”，特別規(guī)模化之后是上乘武功資源管理管理資源生命周期，從上架、調(diào)度使用到下架事件管理記錄、診斷、解決、杜絕問題，一切良性發(fā)展，運(yùn)維過度到運(yùn)營(yíng)的必然階段應(yīng)用變更 網(wǎng)絡(luò)變更 硬件變更 機(jī)房變更 系統(tǒng)變更服務(wù)器 虛擬機(jī) 網(wǎng)絡(luò)設(shè)備 域名 內(nèi)核 網(wǎng)段 IP IDC 系統(tǒng)監(jiān)控 用戶監(jiān)控 網(wǎng)絡(luò)監(jiān)控 可用性監(jiān)控 應(yīng)用監(jiān)控 預(yù)算管理 設(shè)備數(shù)量 帶寬數(shù)量 采購(gòu)管理 套餐管理告警管理 故障管理 工單管理 值班中心 重大事件 演習(xí)管理資源利用 交付池

9、 備機(jī)管理 Docker設(shè)備遷出訪問控制設(shè)備遷入設(shè)備升級(jí)專線變更內(nèi)網(wǎng)變更域名變更建立商業(yè)級(jí)云服務(wù) 設(shè)備容量網(wǎng)絡(luò)容量應(yīng)用容量預(yù)算核算執(zhí)行率考核預(yù)案發(fā)布管理模板管理操作管理批量執(zhí)行文件分發(fā)定時(shí)任務(wù)設(shè)備開電設(shè)備遷出硬件擴(kuò)容故障替換授權(quán)變更安全變更系統(tǒng)升級(jí)初始變更系統(tǒng)監(jiān)控端口監(jiān)控模塊監(jiān)控進(jìn)程監(jiān)控自定義PC移動(dòng)流媒體第三方HTTPTCPAPI語義PING TRACERTIDCCDMJava/PHP/.NET/Node.js/Docker/Redis/MySQL/MongoDB/重點(diǎn)實(shí)踐WPODevOpsBig DataAPMCDN/2 Mobile Desktop/Browser Network Sys

10、tem App logServicesApplicationsInternetSOAPhttpRESTCoAPSSLJSONWSDLThrift TMRPC監(jiān)測(cè)分析優(yōu)化管理監(jiān)控效率-監(jiān)控監(jiān)控移動(dòng)端到端真機(jī)監(jiān)測(cè)Mobile監(jiān)測(cè) Web監(jiān)測(cè) System監(jiān)測(cè) Server監(jiān)測(cè)移動(dòng)SDK監(jiān)測(cè)移動(dòng)WEB監(jiān)測(cè)平臺(tái)類Apache/Nginx/Docker/Redis/MySQL/MongoDB/語言類Java/PHP/.NET/Node.js/Ruby/Python/主機(jī)監(jiān)測(cè)公有云、私有云網(wǎng)絡(luò)監(jiān)測(cè)IDC/CDNPC JS監(jiān)測(cè)PC端到端真機(jī)監(jiān)測(cè)移動(dòng)JS監(jiān)測(cè)網(wǎng)頁監(jiān)測(cè)/文件監(jiān)測(cè)/事務(wù)監(jiān)測(cè)/API監(jiān)測(cè)/流媒體監(jiān)測(cè)

11、/可用性監(jiān)測(cè)等效率-監(jiān)控端口監(jiān)控/模塊監(jiān)控/進(jìn)程監(jiān)控/自定義監(jiān)測(cè)等測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù) 硬件 軟件 網(wǎng)絡(luò)/通信 位置/范圍 狀態(tài) 負(fù)責(zé)人 資產(chǎn)管理發(fā)布管理事件管理變更管理容量管理生命周期管理可持續(xù)性管理CMDB，Configuration Management Database效率-配置數(shù)據(jù)源消費(fèi)者服務(wù)器虛擬機(jī)網(wǎng)絡(luò)設(shè)備系統(tǒng)&內(nèi)核VIP/IP域名管理資源中心IDC資源網(wǎng)絡(luò)配置應(yīng)用發(fā)布 系統(tǒng)配置SLA配置應(yīng)用配置其它OP平臺(tái)SyslogDNS管理網(wǎng)絡(luò)工具部署平臺(tái)防火墻外帶管理Agent日志管理負(fù)載均

12、衡安全工具IDC管理巡檢工具采購(gòu)管理OS安裝預(yù)算管理網(wǎng)管工具發(fā)布工具其它資源管理配置、關(guān)聯(lián)關(guān)系 ToolsCMDBAPI & 流程效率-配置資產(chǎn)及校驗(yàn) 測(cè)試環(huán)境數(shù)據(jù)混合資源池M1S1S2S3CPU Mem Rack TypeCPU Mem Rack TypeCPU Mem Rack TypeMnSm-1SmM2S4S5S6Resource: 類型 + 數(shù)量 + OS +權(quán)限(配置文件、部署策略、狀態(tài)檢測(cè))Package: Image-xxACBC資源分配包管理、發(fā)布資源申請(qǐng)資源描述效率-資源按季度上、下架實(shí)時(shí)交付電子流Octopus（自研）初始化、資源調(diào)度、資源利用率Jenkins核心用戶群發(fā)

13、布小流量發(fā)布全流量發(fā)布集群3集群1集群2集群4用戶測(cè)試用戶反饋功能測(cè)試性能測(cè)試線上debug異常監(jiān)控業(yè)務(wù)監(jiān)控效果監(jiān)控效果評(píng)估核心用戶群發(fā)布小流量發(fā)布全流量發(fā)布效率-發(fā)布.0tvplay_1.0.2.apktvplay_1.1.3.apktvplay_2.0.1.apk加載性能優(yōu)化實(shí)驗(yàn)官網(wǎng)改版實(shí)驗(yàn)query標(biāo)注任務(wù)相關(guān)性評(píng)估任務(wù)用戶流量地域機(jī)型用戶群（內(nèi)部用戶、活躍用戶、普通用戶）分辨率瀏覽器類型流量區(qū)間（n-m%）性別年齡職業(yè)興趣server版本：app版本：實(shí)驗(yàn)：用戶測(cè)試：其他接入應(yīng)用：策略集：效率-發(fā)布效率-發(fā)布測(cè)試環(huán)境數(shù)據(jù)測(cè)試環(huán)境數(shù)據(jù)眾多成功例服務(wù)器及云環(huán)境硬件老化、硬件

14、故障、配置差、云不穩(wěn)定、云 性能弱、成本考慮、未優(yōu)化操作系統(tǒng)產(chǎn)品邏輯及用戶行為產(chǎn)品邏輯復(fù)雜、用戶秒殺、大規(guī)模推廣、高 峰期訪問、用戶產(chǎn)生內(nèi)容基礎(chǔ)網(wǎng)絡(luò)世界最復(fù)雜基礎(chǔ)網(wǎng)絡(luò)、多網(wǎng)割據(jù)、南北互通、國(guó)內(nèi)國(guó)際互通、用戶分布屬性明顯、黑帶寬、云數(shù)據(jù)中心分布局限PC用戶端硬件配置、瀏覽器屬性、系統(tǒng)環(huán)境干擾、 接入網(wǎng)絡(luò)復(fù)雜、客戶端劫持、惡意競(jìng)爭(zhēng)移動(dòng)廠商和機(jī)型豐富、操作系統(tǒng)高度定制、網(wǎng)絡(luò)復(fù)雜、信號(hào)隨移動(dòng)變化、跨網(wǎng)交互普遍、移動(dòng)性 能優(yōu)化意識(shí)和技術(shù)缺乏代碼及應(yīng)用開發(fā)語言瓶頸、研發(fā)底蘊(yùn)、代碼質(zhì)量、迭代進(jìn) 程、第三方應(yīng)用性能、團(tuán)隊(duì)成熟度和追求性能問題所有互聯(lián)網(wǎng)從業(yè)人員、所有資源環(huán)境、所有產(chǎn)品邏輯、所喲用戶行為都會(huì)產(chǎn)生性

15、能問題質(zhì)量-性能 網(wǎng)絡(luò)優(yōu)化IDC優(yōu)化ISP優(yōu)化CDN優(yōu)化BGP優(yōu)化DNS優(yōu)化系統(tǒng)優(yōu)化壓縮優(yōu)化緩存優(yōu)化分離優(yōu)化內(nèi)核優(yōu)化傳輸優(yōu)化并發(fā)優(yōu)化隔離優(yōu)化網(wǎng)卡優(yōu)化硬件優(yōu)化前端優(yōu)化首屏優(yōu)化內(nèi)容優(yōu)化請(qǐng)求優(yōu)化加載優(yōu)化HTML優(yōu)化Cookie優(yōu)化CSS優(yōu)化JavaScript優(yōu)化圖片優(yōu)化后端優(yōu)化架構(gòu)優(yōu)化并行優(yōu)化異步優(yōu)化基礎(chǔ)優(yōu)化算法優(yōu)化程序優(yōu)化緩存優(yōu)化移動(dòng)優(yōu)化網(wǎng)絡(luò)優(yōu)化請(qǐng)求優(yōu)化緩存優(yōu)化策略優(yōu)化啟動(dòng)優(yōu)化交互優(yōu)化內(nèi)存優(yōu)化SPDY、HTTP/2、ESI、SDCH、BigPipe、DNS Prefetch、HHVM防止過早和過渡優(yōu)化防止優(yōu)化后性能退化質(zhì)量-性能 質(zhì)量效率成本Q1Q2Q3Q4UAQ1.0上線12級(jí)產(chǎn)品覆蓋率20%

16、12級(jí)產(chǎn)品覆蓋率30%UAQ2.0上線12級(jí)產(chǎn)品覆蓋率60%12級(jí)產(chǎn)品覆蓋率80%www提速5%10%成本縮減約100萬/年hao123提速15%drmc提速40%反越競(jìng)爭(zhēng)對(duì)手cnzz20%+，成本縮減2000萬/年beike提速10%25%成本縮減約100萬/年tieba提速10%15%大圖全國(guó)提速30%，減少成本200W/年fengchao提速100%200%columbus提速30%40%，成本縮減約50萬/年 map提速度30%，反超競(jìng)爭(zhēng)對(duì) music提速28%、 iknow提速度37% holmes提速90% video提速19% ting提速15%20%，成本縮減約55萬/年Q1Q

17、2UAQ3.0上線12級(jí)產(chǎn)品覆蓋率95% www搜索結(jié)果頁提速度22% wise搜索結(jié)果頁提速13% 網(wǎng)盤網(wǎng)頁提速20%，下載速度提升15%，達(dá)到業(yè)界最快 百度云首頁提速47% news提速45%圖片優(yōu)化接入百度CMS以及FE發(fā)布流程，累計(jì)優(yōu)化圖片2500萬+張，優(yōu)化后圖片體積減少25.35%，減少25%的圖片帶寬，約1500萬/年帶寬成本。質(zhì)量-性能 成本測(cè)試環(huán)境數(shù)據(jù)端到端監(jiān)測(cè)服務(wù)端監(jiān)測(cè)日志分析正常接入異常接入Haproxy/Nginx防火墻均衡負(fù)載頻率控制身份認(rèn)證服務(wù)分級(jí)業(yè)務(wù)框架任務(wù)調(diào)度數(shù)據(jù)管道RPC服務(wù)數(shù)據(jù)聚合數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)過濾數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)去噪緩存/消息隊(duì)列NoSQL/大數(shù)據(jù)存儲(chǔ)云存儲(chǔ)數(shù)據(jù)

18、庫集群報(bào)警中間結(jié)果/分析數(shù)據(jù)數(shù)據(jù)流可視化監(jiān)控警報(bào)觸發(fā)器私有資源云資源虛擬化持續(xù)集成自動(dòng)化測(cè)試服務(wù)發(fā)現(xiàn)秒級(jí)內(nèi)存數(shù)據(jù)處理質(zhì)量-平臺(tái)Plugin監(jiān)控Kafka監(jiān)控HiveHBaseMySQLRedis Cluster (Codis)KafkaZookeeper OS監(jiān)控 鏈路監(jiān)控 Hadoop監(jiān)控 Storm監(jiān)控 Spark MapReduce Zeus Platform YAEN TopSubmmiter Storm Kylin Spark Streaming 服務(wù)監(jiān)控統(tǒng)一告警Rlttime Qer Speed Qer TSD TSD Query JOB 離線計(jì)算在線計(jì)算質(zhì)量-平臺(tái)運(yùn)維簡(jiǎn)史及行業(yè)、職業(yè)紅利海量運(yùn)維、運(yùn)營(yíng)規(guī)劃實(shí)踐2.0運(yùn)維的趨勢(shì)及職業(yè)發(fā)展建議百萬、千P、T、全球化是常態(tài)成為業(yè)務(wù)或一部分才能持久通過平臺(tái)化、云化具備侵略性商業(yè)級(jí)運(yùn)維能力才是真價(jià)值1、百萬服務(wù)器、千P級(jí)數(shù)據(jù)、T級(jí)