archsummit北京經(jīng)驗大眾點評私有云平臺之ker實踐盛延敏

1、Docker在點評私有云平臺的應(yīng)用大眾點評網(wǎng)盛延敏主要內(nèi)容 用戶場景和設(shè)計理念 點評的PAAS平臺 碰到的問題和解決方案 總結(jié)與展望用戶場景機器的管理包括，新機器的安裝，初始化和上線應(yīng)用的管理包括動態(tài)申請docker實例，下線docker實例等Application Deploy應(yīng)用部署和升級包括升級中間件版本，部署應(yīng)用新版本等Container & Host ManagementMonitor metricsOpsImage PullImage Push(tomcat/nodejs/redis)Docker RegistryDocker HostDocker HostCATDocker Ho

2、st幾個設(shè)計理念 Docker container實例一旦創(chuàng)建，需要運行很長時間， 表現(xiàn)出一個虛擬機的特性。(can we not put all into docker image?) Docker container和KVM一樣，擁有一個唯一的內(nèi)部IP. 根據(jù)內(nèi)部VLAN規(guī)劃，IPAM需要 Docker container可以被ssh登陸只讀等。實現(xiàn)，賬號分為管理和PAAS vs DOCKER主要組件App Version ManagementMessagingnApp LifecycleService FindingController調(diào)度請求落到集群中根據(jù)物理機器的資源動態(tài)狀況， 請求

3、的CPU/內(nèi)存等大小進行動態(tài)調(diào)度考慮物理機房的AZ概念，將應(yīng)用在物理上盡量離散可以進行按tag的混布或者不混布Agent接收controller的指令，創(chuàng)建和回收docker instance。為docker rootfs準(zhǔn)備mount目錄，應(yīng)用對應(yīng)的程序包和中間件包通過mount掛載，方便升級和維護 (Can we put them into dockerfile?)對管理的docker container做健康檢查和資源上報。接收中間件管控中心調(diào)用，完成中間件包的升級和應(yīng)用重啟。應(yīng)用版本升級離線備份3.Upload app war1.Allocate Repository and Depl

4、oy app7.1add router entrySLZK7.ADD_ROUTE_REQUEST2.ALLOCATE_REPOSITORY_REQUEST5.Download app warApp tracker8.INSTANCE_DEPLOYED4.NEW_INSTANCE_AND_DEPLOY_WAR_REQUESTANCE_DEPLOYE- nats- httpdocker的定制網(wǎng)絡(luò)使用bridge的方式內(nèi)網(wǎng)VLAN的IPIP使用增強實現(xiàn)的管理和分配模塊功能，文件的自動基于VLAN的網(wǎng)絡(luò)定制VLAN XVLAN YDocker Host 2Container A1/

5、241/24br0eth0Container B2/24Docker Host 1Container A1/241/24Container B2/24數(shù)據(jù)收集到CAT(Central Application Tracking)Dockerfile的維護問題：多種Runtime誰負(fù)責(zé)來寫Dockerfile? 我們的經(jīng)驗是建立基礎(chǔ)鏡像各種Runtime在基礎(chǔ)鏡像上增加由開發(fā)和PaaS運維一起來做定期更新鏡像，修改bug獨有的東西物理機批量上線問題：初始化和配置是一件非常耗時的事我們的經(jīng)驗是 使用A

6、nsible完成批量安裝和配置工作 ControllerAPI完成物理機的入庫操作 集成到界面，可以隨時查看升級和安裝的log等Problem Docker VM 的磁盤I/O較慢 centOS 使用了devicemapper作為Solution Device mapper 使用，而不是loop device上。Problem 在Docker VM內(nèi)使用top/vmstat/的資源監(jiān)測有問題等cpu/memory Docker VM和 Docker Host共享 cpu/memory等資源， 不能有效的分辨出Docker VM的資源Solution 給內(nèi)核打補丁, 使得在Docker VM內(nèi)部

7、執(zhí)行的操作只統(tǒng)計當(dāng)前Docker VM所在的 cpuset/memory等。 小插曲: nodejs npm crash問題ProblemDocker Host物理機隨機打開Vmcore-dmesg可以看到是dm_thin mappder的操作引起了crashdeviceSolution，設(shè)置blk discard為false。規(guī)避該問題的docker d -storage-driver=devicemapper -storage- opt dm.mountopt=nodiscard -storage-opt dm.blkdiscard=falseProblem Puppet 不能更新Docker VM里的配置。 Docker VM的rootfs主要來自 Layed image produced by Dockerfile Volumes produced in host machine by PaaS agent (dynamically generated at create time) Puppet更新的原理是先刪除舊的再創(chuàng)建一個新的。而Docker VM里的掛載卷是不能刪除文件的(文件在mounted