快速發(fā)展中公司研發(fā)與運(yùn)維自動(dòng)化技術(shù)體系

快速發(fā)展中公司研發(fā)與運(yùn)維自動(dòng)化技術(shù)體系第一頁(yè)，共51頁(yè)。內(nèi)容概要?

第一部分：要解決什么問(wèn)題？?

快速發(fā)展中公司的業(yè)務(wù)特點(diǎn)，如何自建技術(shù)設(shè)施?

技術(shù)架構(gòu)體系?

運(yùn)維研發(fā)過(guò)程的生命周期?

第二部分：分布式架構(gòu)&運(yùn)維研發(fā)解決方案?

1、分布式服務(wù)架構(gòu)

（雨燕/MQ/Schedule）?

2、運(yùn)維自動(dòng)化&標(biāo)準(zhǔn)化

（龍?zhí)叮?

3、項(xiàng)目發(fā)布自動(dòng)化體系

（青龍/閃電/變色龍）?

4、服務(wù)治理體系&健康監(jiān)測(cè)

（雷達(dá)/Cat/質(zhì)量系統(tǒng)）?

5、測(cè)試環(huán)境的自動(dòng)化構(gòu)建

（青龍/龍?zhí)叮?

6、自動(dòng)化測(cè)試系統(tǒng)

（Mock/Selenium）第二頁(yè)，共51頁(yè)。快速公司技術(shù)人員第三頁(yè)，共51頁(yè)?？焖侔l(fā)展公司

對(duì)

技術(shù)需求點(diǎn)業(yè)務(wù)邊開(kāi)飛機(jī)技術(shù)邊修飛機(jī)業(yè)務(wù)驅(qū)動(dòng)、快速試錯(cuò)既要統(tǒng)一、又要高效第四頁(yè)，共51頁(yè)。打造高效的研發(fā)&運(yùn)維自動(dòng)化技術(shù)體系DevOps運(yùn)維研發(fā)

自動(dòng)化

Service服務(wù)多維

度治理

持續(xù)交付能力

PaaS基礎(chǔ)服務(wù)設(shè)施

快速開(kāi)發(fā)能力服務(wù)治理能力服務(wù)治理、任務(wù)調(diào)度、集群協(xié)同、調(diào)用鏈分析、接口質(zhì)量、SQL質(zhì)量、實(shí)時(shí)日志等打包、自動(dòng)化測(cè)試、檢測(cè)、灰度發(fā)布、分區(qū)上線、運(yùn)維自動(dòng)化、配置標(biāo)準(zhǔn)化、指令標(biāo)準(zhǔn)化等

分布式框架、存儲(chǔ)&緩存中間件、

自動(dòng)化測(cè)試、云搜索、開(kāi)放平臺(tái)、

營(yíng)銷(xiāo)平臺(tái)等基礎(chǔ)設(shè)施第五頁(yè)，共51頁(yè)。

自建技術(shù)基礎(chǔ)設(shè)施（開(kāi)源+自研）?

青龍自動(dòng)化發(fā)布系統(tǒng)——灰度發(fā)布、分區(qū)發(fā)布?

龍?zhí)哆\(yùn)維配置自動(dòng)化系統(tǒng)——運(yùn)維系統(tǒng)自動(dòng)發(fā)現(xiàn)、標(biāo)準(zhǔn)化配置?

變色龍?jiān)又噶钕到y(tǒng)——支持?jǐn)?shù)百臺(tái)服務(wù)器、數(shù)百個(gè)原子腳本操作?

龍貓?jiān)扑阉髌脚_(tái)——支持?jǐn)?shù)百個(gè)索引、上億條數(shù)據(jù)?

藍(lán)鯨推薦計(jì)算平臺(tái)——支持?jǐn)?shù)億用戶數(shù)據(jù)計(jì)算?

白虎API自動(dòng)化測(cè)試系統(tǒng)、Mock模擬測(cè)試系統(tǒng)——支持接口的自動(dòng)化測(cè)試、模擬測(cè)試、Web自動(dòng)化測(cè)試?API放水系統(tǒng)、SQL防水系統(tǒng)——治理系統(tǒng)不合理調(diào)用?

雷達(dá)實(shí)時(shí)日志系統(tǒng)——支持Nginx、Tomcat、BI實(shí)時(shí)日志和離線跟蹤?

雨燕分布式開(kāi)發(fā)框架——統(tǒng)一分布式通信?

閃電配置分發(fā)系統(tǒng)——支持配置項(xiàng)、集群服務(wù)發(fā)現(xiàn)???????MQ分布式消息中間件（推模式IDP、拉模式Kafka）——1500w/周一~周五，600w/周六日KV分布式緩存系統(tǒng)中間件（Memcached、Redis、Tair）——億級(jí)數(shù)據(jù)緩存、

95%命中率LPFS分布式文件中間件（MongoDB）——MongoDB、圖片、文件DB數(shù)據(jù)庫(kù)分庫(kù)分表中間件（MySQL）——無(wú)限數(shù)據(jù)量擴(kuò)展分布式任務(wù)調(diào)度中間件（Schedule）——支持100+服務(wù)、200+/日個(gè)分布式任務(wù)調(diào)度Push統(tǒng)一消息推送平臺(tái)——每日100w+推送量，推送至Android、iOS、Email、SMS、微信、Comet。。。第六頁(yè)，共51頁(yè)。依賴開(kāi)源的技術(shù)棧?

語(yǔ)言：Java(Tomcat/Spring)

Shell(運(yùn)維)

Nodejs(前端)

Android

iOS?

分布式：ActiveMQ

Kafka

Zookeeper

Router服務(wù)發(fā)現(xiàn)

Cat?

存儲(chǔ)：Mysql

Mongodb

Tair

Memcached

Redis?

計(jì)算：Solr

ElasticSearch

Hadoop

HBase

Storm

Spark?

運(yùn)維：Linux

Nginx

Puppet

Zabbix

OpenStack?

項(xiàng)目管理：Eclipse

SVN

Maven構(gòu)建

Hudson持續(xù)集成

Confluence知識(shí)分享

DMS項(xiàng)目管理第七頁(yè)，共51頁(yè)。道

運(yùn)營(yíng)平

iOS

：短信

|

郵件

|

微信

|私信|臺(tái)技術(shù)架構(gòu)體系業(yè)務(wù)線API

：微信

|

微博

SEO

|

運(yùn)營(yíng)推廣運(yùn)

開(kāi)放平臺(tái)

運(yùn)營(yíng)推廣|

QQ

|

支付

|

電話

|營(yíng)渠

Android|

測(cè)試/部署/運(yùn)維/服務(wù)治理C端：求職

|

校招

|

H5

|

微信

|

APP

B端：獵聘通

|

面試快|

微站

|

企業(yè)服務(wù)

|

微信H端：誠(chéng)列通

|

面試快

|

微信

|

APPERP：網(wǎng)站運(yùn)營(yíng)

|

用戶管理

|

銷(xiāo)售

|

客服體系

開(kāi)發(fā)階段框架Test：API

|

Mock|

Web

|

測(cè)試環(huán)境Deploy：灰度

|分區(qū)上線

|

配置標(biāo)準(zhǔn)化

|系統(tǒng)自動(dòng)化Op：報(bào)警監(jiān)控

|

日志追蹤

|

流量監(jiān)控Service：API質(zhì)量

|

SQL質(zhì)量

|

服務(wù)發(fā)現(xiàn)

|配置

|調(diào)度|

調(diào)用鏈中

Storage：關(guān)系

|

文件

|

KV

|

緩存

|

一級(jí)間件

Compute：搜索

|

推薦

|

BI

|

解析

|

轉(zhuǎn)換開(kāi)發(fā)框架：Spring|

HTTP通信

|

腳本自動(dòng)化分布式：RPC調(diào)用

|

MQ

|

Zookeeper

|

調(diào)度第八頁(yè)，共51頁(yè)。運(yùn)維研發(fā)過(guò)程的生命周期?

|-分布式調(diào)用RPC?

|-實(shí)時(shí)推送comet?

|-推消息隊(duì)列IDP?

|-拉消息隊(duì)列Kafka?

|-配置系統(tǒng)Zookeeper?

|-調(diào)度系統(tǒng)Scheduler?存儲(chǔ)中間件?

|-關(guān)系存儲(chǔ)mysql?

|-文件存儲(chǔ)mongodb?

|-KV存儲(chǔ)tair?

|-二級(jí)緩存redis?

|-一級(jí)緩存memcached?計(jì)算平臺(tái)?

|-龍貓?jiān)扑阉?

|-藍(lán)鯨推薦?

|-大數(shù)據(jù)計(jì)算?

|-網(wǎng)頁(yè)解析?

|-文本解析?

|-Word預(yù)覽?運(yùn)營(yíng)平臺(tái)?

|-推送平臺(tái)Push?

|-短信平臺(tái)Push?

|-郵件平臺(tái)Mail?

|-微信平臺(tái)Open?

|-私信平臺(tái)Message

Code/build

開(kāi)發(fā)階段?開(kāi)發(fā)框架?

|-web開(kāi)發(fā)框架Swift?

|-nodejs前端開(kāi)發(fā)框架?

|-ios移動(dòng)開(kāi)發(fā)框架?

|-android開(kāi)發(fā)框架?

|-shell腳本自動(dòng)化?分布式中間件

Test/ci

測(cè)試階段?|-API自動(dòng)化測(cè)試?|-API模擬測(cè)試Mock?|-Web自動(dòng)化測(cè)試

Selenium?|-微信測(cè)試WXTest?|-Open測(cè)試KATest?|-測(cè)試環(huán)境發(fā)布

Release/deploy

上線階段?|-青龍發(fā)布系統(tǒng)?|-龍?zhí)哆\(yùn)維系統(tǒng)?|-代碼檢測(cè)Builder

Monitor

運(yùn)維階段?|-龍?zhí)哆\(yùn)維系統(tǒng)?|-變色龍自動(dòng)化系統(tǒng)?|-報(bào)警監(jiān)控系統(tǒng)Zabbix?|-雷達(dá)日志系統(tǒng)?|-Puppet/Mco

Service

服務(wù)治理?|-API放水系統(tǒng)APIWater?|-SQL放水系統(tǒng)

MonyogSQL?|-Router服務(wù)中心?|-閃電配置分發(fā)系統(tǒng)?|-調(diào)度系統(tǒng)Scheduler?|-調(diào)用鏈系統(tǒng)Cat

Channel

運(yùn)營(yíng)階段?開(kāi)放平臺(tái)?

|-微信平臺(tái)Weixin?

|-微博平臺(tái)Weibo?

|-電話平臺(tái)Jiya?

|-支付平臺(tái)Pay?

|-開(kāi)放平臺(tái)API?

|-SEO平臺(tái)Resource第九頁(yè)，共51頁(yè)。所有事&重要事=架構(gòu)+運(yùn)維

開(kāi)發(fā)階段

PaaS化測(cè)試階段

自動(dòng)化上線階段

工具化

架構(gòu)

┼

運(yùn)維運(yùn)維階段

標(biāo)準(zhǔn)化運(yùn)營(yíng)階段

通道化服務(wù)治理

監(jiān)控化第十頁(yè)，共51頁(yè)。??????

第二部分：分布式架構(gòu)

&運(yùn)維研發(fā)解決方案1、分布式服務(wù)架構(gòu)

（雨燕/MQ/Schedule）2、運(yùn)維自動(dòng)化&標(biāo)準(zhǔn)化

（龍?zhí)叮?、項(xiàng)目發(fā)布自動(dòng)化體系

（青龍/閃電/變色龍）4、服務(wù)治理體系&健康監(jiān)測(cè)

（雷達(dá)/Cat/質(zhì)量系統(tǒng)）5、測(cè)試環(huán)境的自動(dòng)化構(gòu)建6、自動(dòng)化測(cè)試系統(tǒng)

（Mock/Selenium）第十一頁(yè)，共51頁(yè)。1、分布式服務(wù)架構(gòu)DB/Cache/IndexUser1User2CV1CV2QA區(qū)

HWeb3

User3BWeb3

CV3Dev區(qū)

HWeb4

User4ScheduleMQDB/Cache/IndexDB/Cache/IndexBWeb4

CV4同步線上分區(qū)（A區(qū)/B區(qū)/C區(qū)），線上灰度區(qū)

Nginx

HWeb1

BWeb1

CWeb1

HWeb2

BWeb2

CWeb2

異步分布式事務(wù)

Feed1

Feed2任務(wù)調(diào)度

Job1

Job2Swift/etc/router.confrouter

ins-user-platformautoloading

{

http

:7133;

http

:7133;

memcached

4:10014;

memcached

5:10014;

memcached

6:10014;tair

1:6036;tair

2:6036;redis

4:6003;redis

5:6003;redis

6:6003;}第十二頁(yè)，共51頁(yè)。服務(wù)發(fā)現(xiàn)、通信、控制分布式注冊(cè)中心Router：?

同步調(diào)用RPC?

服務(wù)協(xié)議：HTTP協(xié)議/心跳檢測(cè)?

服務(wù)發(fā)現(xiàn)：集群信息統(tǒng)一文件Router.conf?

負(fù)載均衡?

異步調(diào)用MQ?

推模式：開(kāi)發(fā)快、穩(wěn)定、實(shí)時(shí)快?

拉模式：可回溯、日志收集、數(shù)據(jù)同步?

分布式任務(wù)調(diào)度?

Schedule調(diào)度系統(tǒng)?

分布式事務(wù)控制?

Swift開(kāi)發(fā)框架：交易型事務(wù)的一致性第十三頁(yè)，共51頁(yè)。QA2QAnQA1

2、運(yùn)維研發(fā)的自動(dòng)化體系

線上IDC/IDC2線下測(cè)試環(huán)境SVN

庫(kù)A區(qū)B區(qū)C區(qū)

S區(qū)MVN庫(kù)變色龍指令系統(tǒng)

Builder構(gòu)建系統(tǒng)線下發(fā)布系統(tǒng)…

青龍發(fā)布系統(tǒng)龍?zhí)哆\(yùn)維配置自動(dòng)化系統(tǒng)第十四頁(yè)，共51頁(yè)。

線上區(qū)Nginx

ABC

A區(qū)64網(wǎng)段

B區(qū)68網(wǎng)段

C區(qū)72網(wǎng)段灰度區(qū)

Nginx

S區(qū)32網(wǎng)段青龍發(fā)布系統(tǒng)配置采集生成

SVN庫(kù)MVN庫(kù)龍?zhí)杜渲孟到y(tǒng)

發(fā)布先配置，再發(fā)布

推送Tomcat+App配置

分發(fā)War

分發(fā)war

存儲(chǔ)區(qū)kafka

redis

memcache

mongodb

mysql

hadoop第十五頁(yè)，共51頁(yè)。A區(qū)A區(qū)C區(qū)C

區(qū)B區(qū)B區(qū)

/data/apps/{project}

/bin/start.sh,stop.sh

/bin/JAVA_OPTS

/conf/server.xml

/webapps/wars

/logs/catalina.log

/temp

/work

Nginx

jdk

tomcat

rsync

Svn

mvn

agent---------------------------------

Ip

net

disk

mem

dns

…APPs巢位機(jī)器/系統(tǒng)/軟件

運(yùn)維配置標(biāo)準(zhǔn)化分區(qū)

機(jī)器&系統(tǒng)&軟件

APPs巢位第十六頁(yè)，共51頁(yè)。運(yùn)維配置標(biāo)準(zhǔn)化3大層次?

2.1、硬件標(biāo)準(zhǔn)化：?

-

機(jī)器標(biāo)準(zhǔn)化：機(jī)房、機(jī)架位、交換機(jī)、機(jī)器?

-

資源標(biāo)準(zhǔn)化：IP、DNS?

-

配置標(biāo)準(zhǔn)化：機(jī)器配置自動(dòng)化采集、標(biāo)準(zhǔn)化檢測(cè)，KVM化?

2.2、軟件標(biāo)準(zhǔn)化：?

-

軟件安裝標(biāo)準(zhǔn)化：tomcat

jdk

memcached

redis

...?

-

Nginx標(biāo)準(zhǔn)化：域名、配置、發(fā)布?

2.3、項(xiàng)目標(biāo)準(zhǔn)化：?

-

項(xiàng)目配置標(biāo)準(zhǔn)化：S區(qū)、A區(qū)、B區(qū)、C區(qū)?

-

支持多種項(xiàng)目：tomcat、java、nodejs、Python、ios\Android第十七頁(yè)，共51頁(yè)。2.1、硬件標(biāo)準(zhǔn)化—標(biāo)準(zhǔn)化管理第十八頁(yè)，共51頁(yè)。2.1、硬件標(biāo)準(zhǔn)化—自動(dòng)化采集第十九頁(yè)，共51頁(yè)。2.1、硬件標(biāo)準(zhǔn)化—標(biāo)準(zhǔn)化校驗(yàn)?

多套服務(wù)器模板?

標(biāo)準(zhǔn)化配置項(xiàng)(上百配置項(xiàng))?

每日自動(dòng)化校驗(yàn)第二十頁(yè)，共51頁(yè)。運(yùn)維配置標(biāo)準(zhǔn)化3大層次?

2.1、硬件標(biāo)準(zhǔn)化：?

-

機(jī)器標(biāo)準(zhǔn)化：機(jī)房、機(jī)架位、交換機(jī)、機(jī)器?

-

資源標(biāo)準(zhǔn)化：IP、DNS?

-

配置標(biāo)準(zhǔn)化：機(jī)器配置自動(dòng)化采集、標(biāo)準(zhǔn)化檢測(cè)，KVM化?

2.2、軟件標(biāo)準(zhǔn)化：?

-

軟件安裝標(biāo)準(zhǔn)化：tomcat

jdk

memcached

redis

...?

-

Nginx標(biāo)準(zhǔn)化：域名、配置、發(fā)布?

2.3、項(xiàng)目標(biāo)準(zhǔn)化：?

-

項(xiàng)目配置標(biāo)準(zhǔn)化：S區(qū)、A區(qū)、B區(qū)、C區(qū)?

-

支持多種項(xiàng)目：tomcat、java、nodejs、Python、ios\Android第二十一頁(yè)，共51頁(yè)。2.2、軟件標(biāo)準(zhǔn)化—統(tǒng)一軟件規(guī)格第二十二頁(yè)，共51頁(yè)。2.2、軟件標(biāo)準(zhǔn)化—自動(dòng)化安裝卸載?

23個(gè)標(biāo)準(zhǔn)軟件?

200個(gè)原子指令第二十三頁(yè)，共51頁(yè)。2.2、軟件標(biāo)準(zhǔn)化—服務(wù)自動(dòng)管理第二十四頁(yè)，共51頁(yè)。2.2、Nginx標(biāo)準(zhǔn)化—自動(dòng)配置300域名

?

自動(dòng)化生成?

自動(dòng)化配置第二十五頁(yè)，共51頁(yè)。運(yùn)維配置標(biāo)準(zhǔn)化3大層次?

2.1、硬件標(biāo)準(zhǔn)化：?

-

機(jī)器標(biāo)準(zhǔn)化：機(jī)房、機(jī)架位、交換機(jī)、機(jī)器?

-

資源標(biāo)準(zhǔn)化：IP、DNS?

-

配置標(biāo)準(zhǔn)化：機(jī)器配置自動(dòng)化采集、標(biāo)準(zhǔn)化檢測(cè)，KVM化?

2.2、軟件標(biāo)準(zhǔn)化：?

-

軟件安裝標(biāo)準(zhǔn)化：tomcat

jdk

memcached

redis

...?

-

Nginx標(biāo)準(zhǔn)化：域名、配置、發(fā)布?

2.3、項(xiàng)目標(biāo)準(zhǔn)化：?

-

項(xiàng)目配置標(biāo)準(zhǔn)化：S區(qū)、A區(qū)、B區(qū)、C區(qū)?

-

支持多種項(xiàng)目：tomcat、java、nodejs、Python、ios\Android第二十六頁(yè)，共51頁(yè)。Nginx

C區(qū)

Nginx.conf

全站配置Router服務(wù)配置

/etc/router.conf

APP配置文件

/data/apps/{project}

/bin/start.sh,stop.sh

/bin/JAVA_OPTS

/conf/server.xml

/webapps/wars

/logs/catalina.log

/temp

/work2.3、項(xiàng)目標(biāo)準(zhǔn)化—配置&生成&發(fā)布

Nginx配置文件龍?zhí)杜渲孟到y(tǒng)

生成

配置龍?zhí)杜渲孟到y(tǒng)

發(fā)布第二十七頁(yè)，共51頁(yè)。2.3、項(xiàng)目標(biāo)準(zhǔn)化—項(xiàng)目配置中心?

1、配置?

2、生成（基于模板Freemarker）?

3、推送第二十八頁(yè)，共51頁(yè)。2.3、項(xiàng)目標(biāo)準(zhǔn)化—推送中心?

1、配置?

2、生成（基于模板Freemarker）?

3、推送第二十九頁(yè)，共51頁(yè)。共務(wù)

SandboxDB/Cache周同步

OnlineDB/CacheC區(qū)

QADB/Cache

DevDB/CacheMock環(huán)境生產(chǎn)環(huán)境3、項(xiàng)目發(fā)布自動(dòng)化（青龍系統(tǒng)）

SVN資源庫(kù)

龍?zhí)杜渲米詣?dòng)化系統(tǒng)

Mock區(qū)模擬測(cè)試拷貝warssh

ip:dirrestart

tomcat

A區(qū)

B區(qū)

青龍自動(dòng)化發(fā)布平臺(tái)開(kāi)發(fā)環(huán)境

測(cè)試環(huán)境

灰度環(huán)境

svn

up

分支

zip

war

ssh

ip:dir

restart

tomcat

Dev1公

Dev2服

…Devn公共服務(wù)QAn

變色龍指令系統(tǒng)svn

up

測(cè)試分支

svn

up

主干zip

war

zip

warssh

ip:dir

ssh

ip:dirrestart

tomcat

restart

tomcat

QA1

QA2

…

灰度區(qū)第三十頁(yè)，共51頁(yè)。3、項(xiàng)目發(fā)布自動(dòng)化體系?

3.1、青龍代碼發(fā)布系統(tǒng)?

-

灰度發(fā)布?

-

分區(qū)發(fā)布：泳道發(fā)布?

3.2、閃電配置發(fā)布系統(tǒng)?

-

發(fā)布配置信息?

-

集群協(xié)作：Solr、Kafka?

3.3、變色龍?jiān)又噶?

-

系統(tǒng)級(jí)操作?

-

系統(tǒng)操作日志第三十一頁(yè)，共51頁(yè)。3.1、青龍發(fā)布系統(tǒng)—灰度發(fā)布?

支持多個(gè)灰度區(qū)同時(shí)測(cè)試?

支持基于trunk、tags的發(fā)布?

測(cè)試班車(chē)批量發(fā)布第三十二頁(yè)，共51頁(yè)。3.1、青龍發(fā)布系統(tǒng)—分區(qū)發(fā)布?

關(guān)閉Nginx流量，分區(qū)發(fā)布，對(duì)用戶無(wú)影響第三十三頁(yè)，共51頁(yè)。3.1、青龍發(fā)布系統(tǒng)—隨時(shí)上線?

支持每周數(shù)百次上線，上線時(shí)關(guān)閉服務(wù)調(diào)用第三十四頁(yè)，共51頁(yè)。3.1、青龍發(fā)布系統(tǒng)—實(shí)時(shí)發(fā)布日志第三十五頁(yè)，共51頁(yè)。3.2、閃電配置分發(fā)系統(tǒng)第三十六頁(yè)，共51頁(yè)。3.3、變色龍指令自動(dòng)化A區(qū)C區(qū)B區(qū)變色龍指令系統(tǒng)發(fā)布平臺(tái)運(yùn)維平臺(tái)搜索平臺(tái)統(tǒng)計(jì)平臺(tái)執(zhí)行指令A(yù)PIPuppetMcollective

日志回寫(xiě)M

c

o日志API指令系統(tǒng)GUI第三十七頁(yè)，共51頁(yè)。3.3、變色龍指令自動(dòng)化?

300+指令集：軟件安裝、卸載、啟動(dòng)、停止、項(xiàng)目發(fā)布、系統(tǒng)操作…#!/bin/shPATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/binJAVA_HOME=/usr/local/java/jdk1.7export

JAVA_HOME="/usr/local/java/jdk1.7"export

TOMCAT_BASE="/usr/local/tomcat"export

CATALINA_BASE="/data/apps/${PROJECT_NAME}"export

JAVA_OPTS=$JAVA_OPTS"...#啟動(dòng)Tomcatsu

tomcat

-s

$TOMCAT_BASE/bin/catalina.sh

start

&第三十八頁(yè)，共51頁(yè)。4、服務(wù)治理體系?

服務(wù)健康狀態(tài)檢測(cè)?

分布式任務(wù)調(diào)度（Schedule）?

調(diào)用鏈分析（Cat）?

實(shí)時(shí)日志監(jiān)測(cè)（雷達(dá)系統(tǒng)）?

API質(zhì)量治理（APIWater)?

SQL質(zhì)量治理（Monyog）第三十九頁(yè)，共51頁(yè)。4.1、服務(wù)健康狀態(tài)檢測(cè)第四十頁(yè)，共51頁(yè)。4.2、分布式任務(wù)調(diào)度ScheduleNginxCWeb1CWeb2BWeb1BWeb2User1User2CV1CV2Job1Job2Feed1Feed2ScheduleMQ同步HWeb1HWeb2

異步任務(wù)調(diào)度Swift分布式調(diào)度中心：?

基于Mina分布式協(xié)調(diào)

?

選擇服務(wù)的單點(diǎn)調(diào)度

?

多點(diǎn)服務(wù)failover?

長(zhǎng)時(shí)間任務(wù)斷點(diǎn)續(xù)傳?

任務(wù)依賴調(diào)度第四十一頁(yè)，共51頁(yè)。4.3、調(diào)用鏈分析Cat第四十二頁(yè)，共51頁(yè)。agentdogServerapp/nginx/tom

4.4、實(shí)時(shí)日志監(jiān)測(cè)（雷達(dá)系統(tǒng)）?

實(shí)時(shí)日志查看?

歷史日志分析?

用戶或IP追蹤?

日志統(tǒng)計(jì)

Serverapp