Linux平臺軟件管理系統(tǒng)設(shè)計與規(guī)劃

1、Linux平臺軟件管理系統(tǒng)設(shè)計與規(guī)劃Duanjigang 內(nèi)容和目標內(nèi)容:1） RPM 和 YUM 介紹 （15分鐘）2） 管理平臺設(shè)計 （25分鐘）3） 規(guī)范化管理 （10分鐘）目標：1) 認識 linux 平臺軟件管理系統(tǒng)2) 從軟件管理系統(tǒng)的改進體會架構(gòu)設(shè)計3) 企業(yè)內(nèi)部軟件管理系統(tǒng)規(guī)范概述autumn summerspring1 RPM和YUM介紹-從程序員說起Coding is interestingCoding is all my lifeBoring , but I like it winterTired, striving I am happy, I am a coding m

2、onkey 1 YUM和RPM介紹-程序員遇見運維One day.終于開發(fā)完鳥親，我該怎么使用和部署你的軟件呢？哇呀呀！這些不要問我！功能已經(jīng)開發(fā)完成了！你自己用吧Coding is not all of the software engineering，There are more work after the development1 Rpm與yum介紹-程序開發(fā)完成之后常見的軟件包組織方式:(1):目錄文件方式軟件包(2):壓縮包方式 zip , tgz , rar(3):更高級封裝,RPM, DEB, SLP, PKG用軟件包的方式組織你的程序我們的故事就是從RPM這種軟件包講起的1

3、Rpm與yum介紹-軟件包的特征壓縮存儲文件安裝依賴檢查服務(wù)注冊配置產(chǎn)生各種格式軟件包的一般特征:壓縮存儲數(shù)據(jù)文件安裝指定位置配置文件產(chǎn)生注冊系統(tǒng)服務(wù)軟件依賴檢查RPM文件What is an RPM ?How is an RPM file produced?1 Rpm與yum介紹-RPM文件的組成格式The lead1: 存儲rpm內(nèi)部信息2: 標識一個特定的RPM包3: name不靈活-lead要被廢棄Name長度改變后:A:新版本的RPM命令不能讀取老版本的RPM信息B:老版本RPM命令不能安裝新版本包The Header Structure1: The Header Structure

4、 Header存儲頭的起始位置和大小，存儲數(shù)據(jù)的大小2: The Index Entry每個index存儲每個數(shù)據(jù)段的信息，大小和位置,會存在多個index3: store 存儲header的實際數(shù)據(jù)The signature-RPM完整性檢查等自身特征信息The Header-包含包的所有信息，名稱，版本，文件列表等等The Archive-包中所有文件，gun zip 方式存儲1 Rpm與yum介紹- RPM 是怎樣產(chǎn)生的？RPM包的產(chǎn)生過程:(1):產(chǎn)生安裝包需要的文件(或者代碼)(2):描述軟件包生成規(guī)則的文件-spec文件(3):按照規(guī)則文件生成軟件包的工具-rpmbuild1 Rp

5、m與yum介紹-YUM的出現(xiàn)自動處理依賴包的安裝問題(權(quán)值最重)軟件包管理集中化，方便大規(guī)模安裝用戶界面更簡易，靈活YUM系統(tǒng)構(gòu)成要素:1 服務(wù)器端安裝包倉庫(包含倉庫中的RPM文件和RPM的索引文件)2 服務(wù)器端提供文件下載的網(wǎng)絡(luò)服務(wù)(HTTP,FTP等)3 客戶端yum命令集合(實現(xiàn)server端包下載和信息查詢)4 客戶端配置文件(服務(wù)端地址和軟件倉庫的配置，還有YUM的擴展模塊，比如插件等)YUM出現(xiàn)的原因:1 Rpm與yum介紹-yum系統(tǒng)構(gòu)成 RPM文件createrepo索引文件網(wǎng)絡(luò)服務(wù)(http/ftp)Yum服務(wù)器1源配置文件6插件3全局配置4本地cache5YUM命令Yum

6、 list/install/search/info安裝客戶端2本地RPM數(shù)據(jù)庫1:/etc/yum.repos.d/*.repo2:/var/lib/rpm/_db.*3:/etc/yum.conf4:/var/cache/yum/*5:/usr/bin/yum6:/usr/lib/yum-plugins/*.py和/etc/yum/pluginconf.d/*.conf步驟:制作好RPM包：testrpm-1.1.2-20.i386.rpm把testrpm-1.1.2-20.i386.rpm拷貝到00的/var/www/html/yum目錄下進入00的/var/www/html/yum目錄下

7、執(zhí)行:sudo createrepo -update -d -p .生成索引目錄repodata在01上配置/etc/yum.repos.d/yumtest.repo內(nèi)容為: yumname=yumbaseurl=00/yumenabled=1gpgcheck=0在客戶端執(zhí)行 sudo yum clean all, yum list, yum install cmeguard進行驗證1 Rpm與yum介紹-yum搭建和使用實例Yumserver為00，一個客戶端為01，其中yumserver機器提供http服務(wù)，web根目錄為/var/www/html，兩臺機器都安裝是32位linux系統(tǒng)1

8、Rpm與yum介紹-大規(guī)模應(yīng)用時遇到的問題1 跨機房安裝，影響出口帶寬2 同機房內(nèi)server節(jié)點網(wǎng)卡流量打滿，TCP連接過高3 單點問題4 同一倉庫下RPM過多，更新索引慢，生效時間長5 應(yīng)用增加，不同應(yīng)用的軟件包沖突6 不同RHEL小版本引起軟件差異7 不同階段的軟件如何管理(測試版，穩(wěn)定版)8 不同機房之間容災(zāi)多機房應(yīng)用-接近10個服務(wù)器節(jié)點增加-10萬臺以上RPM 文件個數(shù)劇增-10萬個左右OS (RHEL)多個版本-5U的5個，6U的3個，4u,3u.1 Rpm與yum介紹-問題解決方案1 跨機房網(wǎng)絡(luò)影響2 同機房單臺節(jié)點壓力3 單點問題4 新發(fā)布軟件生效時間8 不同機房之間備份5

9、不同應(yīng)用軟件沖突6 RHEL版本帶來的差異7 不同階段的軟件管理解決方案運維平臺管理規(guī)范解決方案：平臺+規(guī)范2 平臺設(shè)計平臺設(shè)計的原則：穩(wěn)定-YUM服務(wù)長期可用安全-RPM文件可信高效-軟件包生成，發(fā)布時效性高2平臺設(shè)計-第一步：讀寫分離讀寫分離讀寫分離:索引服務(wù)器和下載服務(wù)器獨立，保障下載服務(wù)，為下載擴展做準備2平臺設(shè)計-第二步：多機房mirror多機房部署mirror,減少跨機房訪問2平臺設(shè)計-第三步：機房內(nèi)擴展單機房內(nèi)擴展:解決單點問題，單server負載過高問題實現(xiàn):1 LVS綁定VIP的方式2 同域名DNS輪轉(zhuǎn)問題:1 多個mirror的同步一致2 LVS/DNS輪轉(zhuǎn)健康檢查2平臺設(shè)

10、計-第四步：不同機房之間互相備份本機房yum服務(wù)故障時，暫時訪問別的機房的yum服務(wù)(網(wǎng)絡(luò)條件)實現(xiàn):主要借助智能DNS系統(tǒng): DNSPod Bind + 自實現(xiàn)健康檢查Yum.idc1故障2平臺設(shè)計-第五步：squid/ts替代rsyncRsync同步+ http帶來的問題:新發(fā)布包生效需要同步周期Mirror服務(wù)器需要和發(fā)布服務(wù)一樣大的空間Squid的特點:生效時間快，索引更新完成即可用，沒有同步過程占用磁盤空間小2平臺設(shè)計-第六步：squid遺留的問題索引服務(wù)器對于squid是個單點問題，http掛掉，mirror即不可用解決辦法:索引服務(wù)器增加備份，做雙機備份2平臺設(shè)計-第七步：包制作

11、與發(fā)布需求:單機 rpm 制作工具，簡單，易用(封裝rpbmuild)多平臺 rpm 制作工具(i386/noarch/x86_64, rhel4/5/6)Rpm 發(fā)布到源的工具，實現(xiàn)規(guī)范檢查，審計等功能2平臺設(shè)計-最終結(jié)構(gòu)2平臺設(shè)計-再回首rsync+http與squid軟件選型優(yōu)勢特點個人建議Rsync+http簡單，穩(wěn)定，自成系統(tǒng)磁盤空間要求存在同步周期，生效慢實時性要求不高，硬件資源足，可以選用squid生效時間快，磁盤空間少依賴于上級http，配置和穩(wěn)定性準實時生效，硬件資源緊缺，只有虛機可用時沒有萬能的結(jié)構(gòu)；具體場景，具體選擇！3 規(guī)范管理-總領(lǐng)對yum系統(tǒng)的各個組成部分進行管理(

12、標注黃色) RPM文件createrepo索引文件網(wǎng)絡(luò)服務(wù)(http/ftp)Yum服務(wù)器1源配置文件6插件3全局配置4本地cache5YUM命令2本地RPM數(shù)據(jù)庫3 規(guī)范管理-倉庫管理倉庫進行合理劃分系統(tǒng)倉庫(rhel)應(yīng)用倉庫(app)應(yīng)用基礎(chǔ)倉庫(app_base)倉庫劃分的好處方便分拆化維護(基礎(chǔ)軟件/應(yīng)用開發(fā)-，分角色維護)Yum源索引更新更高效方便對應(yīng)用軟件源做高級處理(yum插件)3 規(guī)范管理-插件管理Yum plugin 主要作用:對源/客戶端配置做更高級應(yīng)用最常見:源的選擇上進行擴展開發(fā)手冊:/wiki/WritingYumPluginsYum plugin 應(yīng)用舉例:1）

13、Priority 插件:通過優(yōu)先級調(diào)整，優(yōu)先安裝app源中的包2）branch 插件:根據(jù)軟件所處階段，選擇從test/current/stable開始查找3 規(guī)范管理-軟件命名/內(nèi)容管理2 安裝路徑方便OS/磁盤分區(qū)等管理基礎(chǔ)包: /app_base/xxoo應(yīng)用包:/app/xxoo1 軟件命名固定前綴，方便區(qū)分來源，標識企業(yè)/部門/產(chǎn)品線/yum源等比如:corp-app1-mysql,coprp-app2-named等3 規(guī)范管理-全局配置/源配置/插件配置管理/etc/yum.conf -全局配置cachedir,log,obsolete等/etc/yum.repos.d/*.rep

14、o-多個源，路徑，GPG配置/etc/yum/plugin.d/*.conf -擴展插件功能支持3 規(guī)范管理-常見問題與解決方法Yum域名不可訪問:ping,telnet索引文件不可用:wget,zcat,sqlite找不到期望的包:wget,lynx -dumpYum/rpm阻塞住:rpmdb清除, killall yum rpm rpmq, rm fr /va/lib/rpm/_db*新包沒有及時更新:yum clean all; rm fr /var/cache/yum/*多個源沖突/指定源安裝: yum install disablerepo=* -enablerepo=test插件引起問題: yum install nopluginsYum不可用:檢查python版本，yum相關(guān)包的安裝情況參考資料Maximum RPM/max-rpm/index.htmlPackaging software with RPM, Part 1: Building and distributing packages/developerworks/library/l-rpm1/Packaging software with RPM, Part 2: Upgrading and uninstalling software/developerwork