jfrog-企業(yè)落地devops方法和實踐

主講人介紹JFrog中國首席架構(gòu)師（11年研發(fā)老兵，曾就職IBM、HPE、愛奇藝）?主導(dǎo)了J

F

r

o

g國內(nèi)大型客戶的包管理平臺主導(dǎo)HPE

Cloud云平臺的架構(gòu)和研發(fā)主導(dǎo)

Rational

生命周期管理平臺的開發(fā)Info

Q

特約社區(qū)編輯，文章多次

在InfoQ，DBAPlus，高效運維，Docker社區(qū)等技術(shù)社區(qū)GIAC全球架構(gòu)師大會金牌講師Dev

Ops

國際

金牌講師日程DevOps？方法為什么要DevOpsQ&A強依賴

IT系統(tǒng)的非IT企業(yè)非互聯(lián)網(wǎng)企業(yè)遇到的發(fā)布頻率低巨石應(yīng)用的更新速度無法跟上市場變化發(fā)布難依賴手工發(fā)布，錯誤質(zhì)量差?CICD流程不標(biāo)準(zhǔn)，導(dǎo)致質(zhì)量不可控信息孤島煙囪式CICD工具鏈D

e

v

O

p

s從何而來Patrick

Debois

2009

年DevOpsDays

大會中形成：DevOps集文化理念、實踐和工具于一身，可以提高企業(yè)高速交付應(yīng)用程序和服務(wù)的能力，與使用傳統(tǒng)

開發(fā)和基礎(chǔ)設(shè)施管理流程相比，能夠幫助企業(yè)更快地發(fā)展和改進產(chǎn)品。D

e

v

O

p

s的發(fā)展趨勢D

e

v

O

p

s的收益D

e

v

O

p

s會得到什么收益？實現(xiàn)100%自動化發(fā)布部署頻率加快6倍部署時間縮短63%部署成本降低每年節(jié)省40日程DevOps？方法為什么要DevOpsQ&A持續(xù)交付過程中浪費的時間需求拆分應(yīng)用架構(gòu)…準(zhǔn)備/測試環(huán)境…制品管理部署文檔…配置環(huán)境人工部署…持續(xù)安全

安全需求設(shè)計:n

TFS

/

ALM

Octane安全靜態(tài)掃描分析n

Sonarcube

&

Fortify掃描分析n

JFrog

Xray

&

BlackDuck

&

WebInspect

&

AppScan掃描分析n

AppDefender&

JFrog

Xray持續(xù)協(xié)作Software

Tools:n

UFTn

AppScann

JFrog

Xraynn

Jmeter

/

LoadRunner

n

Selenium

/

Appnium

n

TestLink持續(xù)計劃&定義需求管理項目管理發(fā)布管理資源管理消耗管理缺陷管理敏捷過程管理架構(gòu)設(shè)計安全設(shè)計測試計劃項目經(jīng)理持續(xù)集成前后端開發(fā)需求和代碼關(guān)聯(lián)缺陷和代碼關(guān)聯(lián)代碼單元測試覆蓋率代碼靜態(tài)掃描構(gòu)建/打包自動化測試代碼評審容器鏡像構(gòu)建制品庫管理質(zhì)量元數(shù)據(jù)收集持續(xù)發(fā)布虛擬機發(fā)布容器發(fā)布CMDB自動化發(fā)布工具Software

Tools:OpenStackDocker

/

Kubernetes

/

OpenshiftDevice42JenkinsAnsible

/

Chef

/Puppet持續(xù)運維自動擴容/縮容故障自愈?服務(wù)治理藍綠發(fā)布日志分析告警Software

Tools:Kubernetes

/

OpenshiftZabbixSpring

CloudELKSpinnakerPrometheusGrafanaIstio持續(xù)測試測試功能性測試安全

測試開源組件接口測試集成測試性能測試UI自動化測試Software

Tools:In

liJ,

Eclipse,

VSGitlab

/

SVNSonarCube/FortifyJenkinsArtifactoryGerritJunit

/

TestNGSoftware

Tools:Jira/禪道ConfluenceVisoAxureTFS/RTC/PolarionJira

Zephyr

/

TestLink發(fā)布速度KPI發(fā)布質(zhì)量KPI研發(fā)生產(chǎn)力KPI安全KPISoftware

Toolsn

Grafana/

Hygieia

/

Artifactory

metadata持續(xù)評估項目管理協(xié)作工具故障告警機器人代碼提交機器人自動化部署機器人Software

Toolsn

DialogFlow

/

Slack

/

HipChat企業(yè)級DevOps知識體系產(chǎn)品經(jīng)理業(yè)務(wù)部門架構(gòu)師測試團隊開發(fā)測試運維Dev

EnvFTSITUATProd運維需求設(shè)計發(fā)布項目管理GitlabConfluenceJira微服務(wù)服注務(wù)冊組與件發(fā)化現(xiàn)Restful熔斷器FlywayDbSpring

Cloud

ConfigConsulSpring

BootSpring

Cloud持續(xù)集成精

益

思

想構(gòu)建

測試持續(xù)部署持續(xù)運維策略需變?nèi)钡椒ㄇ蟾荽夹g(shù)管管管管理

理

理

理工具過程管理持續(xù)反饋服配版自單功倉自容配監(jiān)日容故運漏務(wù)置本動元能庫動器置控志量障營洞治管控構(gòu)測測管部集編安分規(guī)恢反法理

理制建試試?yán)硎鹑号湃鰟潖?fù)饋務(wù)協(xié)作通知Service

MeshGrafanaPrometheusELKHygieiaSlackXRayDevOps 門戶&可視化一期計劃兩期計劃DevOps建設(shè)的目標(biāo)（示例）ApolloAnsibleKubernetesArtifactoryOpenshiftJenkinsSeleniumJUnitTestLinkTestNG項目管理–敏捷至精益敏捷模式->項目開發(fā)從瀑布式開發(fā)（項目開發(fā)模式->產(chǎn)品開發(fā)模式）需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化需求管理–Jira/禪道需求條目化管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化架構(gòu)管理

–巨石應(yīng)用

微服務(wù)巨石應(yīng)用痛點：項目變大后部署，

難即使細(xì)微的變更也需要全量發(fā)布模塊緊耦合，無法獨立上線開發(fā)框架，語言單一，難以接觸新的技術(shù)棧和框架需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化架構(gòu)管理

–巨石應(yīng)用

微服務(wù)Martin

Fowler:Strangler絞殺者模式

/bliki/StranglerApplication.html需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化架構(gòu)管理

–巨石應(yīng)用

微服務(wù)數(shù)據(jù)庫拆分Source

from:Thoughtworks’s

blog需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化組織架構(gòu)管理（Netflix）扁平化敏捷團隊（2Pizza）自運維區(qū)分關(guān)注點架構(gòu)管理–功能開關(guān)原理https:/bliki/FeatureToggle.html種類需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線元數(shù)據(jù)管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線管理-Jira和Jenkins集成Jira創(chuàng)建任務(wù)Git–Git

commit

–m

“#JIRA-101

add

fix

for

login

form”ChangeSets

in

Jenkins需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線管理–集中管理流水線分散式管理集中式管理ING荷蘭國際需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線管理–ING荷蘭國際需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化支持了500種應(yīng)用交付TTM

小于6周減少50%的線上發(fā)布事故發(fā)布次數(shù)12,000次/月持續(xù)交付流水線管理–管理流水收益需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化制品管理問題：不同團隊各自或FTP，不能，沒有接口開發(fā)團隊GitlabJenkinsMaven庫Nexus開發(fā)團隊GitlabJenkins開發(fā)團隊GitlabJenkins開發(fā)團隊SVNJenkins開發(fā)團隊GitlabJenkins開發(fā)團隊SVNJenkins開發(fā)團隊GitlabJenkins開發(fā)團隊SVNBambooDocker庫DockerRegistryNPM庫NPMC#,.Net庫Nuget開發(fā)團隊SVNMSbuild開發(fā)團隊GitlabJenkinsFTP/SVNAnsibleKubernetesS發(fā)布流程制品庫管理容易宕機不支持高可用工具碎片化不支持多地不支持容災(zāi)需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化制品管理–管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化開發(fā)團隊Gitlab開發(fā)團隊Gitlab開發(fā)團隊Gitlab開發(fā)團隊SVN開發(fā)團隊Gitlab開發(fā)團隊SVN開發(fā)團隊Gitlab開發(fā)團隊SVN開發(fā)團隊SVN開發(fā)團隊GitlabS制品庫管理管理發(fā)布流程0宕機高可用工具異地一鍵容災(zāi)持續(xù)集成，自動化測試制品管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化制品管理-記錄發(fā)布元數(shù)據(jù)需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化測試管理

– 質(zhì)量關(guān)卡第

開源組件掃描通過率靜態(tài)代碼覆蓋率部署頻率發(fā)布時長QA驗證時長部署成功率需求覆蓋率功能的使用頻率反饋故障修復(fù)時間部署機器信息配置信息CapitalOne

銀行需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理-基于元數(shù)據(jù)的部署將部署信息可視化我要部署的

如何實現(xiàn)？含了什么需求？從Ar

t

i

f

a

c

t

o

r

y獲取所有的關(guān)聯(lián)文件的元數(shù)據(jù)遍歷每個文件元數(shù)據(jù)的信息聚合，并生成可視化文件關(guān)聯(lián)圖

譜。12345需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化配置管理

–

復(fù)雜配置管理

Artifactory

+

Ivy應(yīng)用配置文件描述依賴信息Ivy

描述C++依賴進行

部署需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化Dev

Repo

1PreFlightDev

Repo

nSynchronous

Dev

InitiatedPromotion

–

TaggingSynchronous

Dev

InitiatedPromotion

–

TaggingAsynchronous

RM

Initiated

Promotion

–

StagesMultiple

Times

a

DayMultiple

Times

a

DayBuildPublish

to

ArtifactoryCheckinCodeBuildPublish

to

ArtifactoryCheckin

CodeContinuous

Builds

in

HudsonSCMPreProdSCM發(fā)布管理–多團隊協(xié)作模型需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理-讓機器自動化找到部署包Art

i

f

a

ct

or

y

AQL/

C

LIAn

sible

Pla

ybook需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理

-

網(wǎng)絡(luò)

下發(fā)布國內(nèi)某商業(yè)銀行案例對接

系統(tǒng)自動化推送到生產(chǎn)環(huán)境，無需人工拷貝權(quán)限可控掃描需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化交付管理?多地二進制倉庫高可用容災(zāi)備份發(fā)布管理-某商業(yè)銀行發(fā)布管理案例需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理–騰訊的流水線需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化Dynamic

control

over

your

application’s

deployment●Helmis

the

package

manager

for

Kubernetes.Like

‘yum’

for

CentOS/RedHatYour

whole

application

described

in

a

singlepackage

-

helm

chart

(template

yamls)Default

configuration

values

(values.yaml)Single

version

fo