Ceph分布式存儲實踐指南

1、Ceph 分布式存儲實踐指南技術(shù)創(chuàng)新，變革未來Ceph 分布式存儲實踐指南概述版本 1.0.02 / 20本文檔針對 Ceph 分布式存儲實踐過程進(jìn)行說明。讀者對象本文檔適合以下工程師閱讀：運維工程師測試工程師存儲工程師預(yù)研工程師術(shù)語定義術(shù)語概念管理節(jié)點安裝Mevoco系統(tǒng)的物理主機(jī)，提供UI管理、云系統(tǒng)部署功能計算節(jié)點也稱之為物理主機(jī)，為云主機(jī)實例提供計算、內(nèi)存、網(wǎng)絡(luò)、存儲的 物理主機(jī)。運行KVM虛擬化的物理主機(jī)，簡稱“KVM主機(jī)”云主機(jī)Mevoco 特制虛擬機(jī)，即運行在物理機(jī)上的虛擬機(jī)實例，具有獨立 的IP地址，可以安裝部署應(yīng)用服務(wù)鏡像云主機(jī)所使用的鏡像模板文件，包含了云主機(jī)的操作系統(tǒng)，也

2、可以 定制安裝相應(yīng)的軟件鏡像服務(wù)器也稱之為備份存儲服務(wù)器，存儲云主機(jī)鏡像文件的物理主機(jī)。雖然 可以和管理節(jié)點或其他計算節(jié)點共享同一臺物理服務(wù)器，但不建議 在生產(chǎn)環(huán)境中這么部署云盤云主機(jī)的數(shù)據(jù)盤，給云主機(jī)提供額外的存儲空間，一塊云盤在同一 時刻只能掛載到一個云主機(jī)。一個云主機(jī)最多可以掛載24塊云盤計算規(guī)格啟動云主機(jī)涉及到的CPU數(shù)量、內(nèi)存大小、網(wǎng)絡(luò)設(shè)置等規(guī)格定義云盤規(guī)格創(chuàng)建云盤容量大小的規(guī)格定義安全組針對云主機(jī)進(jìn)行第三層網(wǎng)絡(luò)的防火墻控制，對IP地址、網(wǎng)絡(luò)包類型版本 1.0.03 / 20Ceph 分布式存儲實踐指南或網(wǎng)絡(luò)包流向等可以設(shè)置不同的安全規(guī)則L2NoVlanNetwork物理主機(jī)的網(wǎng)絡(luò)連

3、接不采用Vlan設(shè)置L2VlanNetwork物理主機(jī)節(jié)點的網(wǎng)絡(luò)連接采用Vlan設(shè)置，Vlan需要在交換機(jī)端提前 進(jìn)行設(shè)置二層網(wǎng)絡(luò)計算節(jié)點的物理網(wǎng)卡設(shè)備名稱，例如eth0三層網(wǎng)絡(luò)云主機(jī)需要使用的網(wǎng)絡(luò)配置，包括IP地址范圍，網(wǎng)關(guān)，DNS等管理網(wǎng)絡(luò)Mevoco管理物理機(jī)和其他云資源的網(wǎng)絡(luò)公有網(wǎng)絡(luò)云主機(jī)連接和使用的網(wǎng)絡(luò)中英文術(shù)語對照管理節(jié)點Management Node物理機(jī)Host云主機(jī)VM Instance鏡像服務(wù)器（備份服務(wù)器）Backup Storage主存儲Primary Storage鏡像Image云盤Volume集群Cluster區(qū)域Zone二層網(wǎng)絡(luò)L2 Network三層網(wǎng)絡(luò)L3 N

4、etwork安全組Security Group計算規(guī)格Instance Offering云盤規(guī)格Disk Offering扁平網(wǎng)絡(luò)模式Flat Network Mode本地存儲Local StorageCeph 分布式存儲實踐指南目錄版本 1.0.04 / 20第一章 部署實踐. 71.1 基礎(chǔ)環(huán)境準(zhǔn)備. 71.2 磁盤初始化.101.2 安 裝 Ceph.13第二章 運維管理.182.1 刪 除 OSD.182.2 增 加 OSD.182.3 刪 除 MON .192.4 增 加 MON .19Ceph 分布式存儲實踐指南第一章部署實踐Ceph 是開源的分布式存儲解決方案，支持對象存儲、塊存

5、儲和文件存儲訪問類型。2014 年 4 月，Redhat 收購 Inktank。Ceph 成為 Redhat 的開源項目，并提供商業(yè)支持服 務(wù)。Ceph 開源項目發(fā)布遵循 GPL 和 LGPL 協(xié)議。1.1 基礎(chǔ)環(huán)境準(zhǔn)備目前，ZStack Community DVD ISO 1.2（下載）集成 Ceph 社區(qū)版 Hammer 0.94.5。本文 假設(shè)以下實施環(huán)境：版本 1.0.05 / 20服務(wù)器配置IP 地址數(shù)據(jù)磁盤ceph-14 核, 內(nèi)存 4GB172.20.12.154固態(tài)硬盤: /dev/vdb機(jī)械硬盤: /dev/vdc, /dev/vddceph-24 核, 內(nèi)存 4GB172.

6、20.12.99固態(tài)硬盤: /dev/vdb機(jī)械硬盤: /dev/vdc, /dev/vddceph-34 核, 內(nèi)存 4GB172.20.12.21固態(tài)硬盤: /dev/vdb機(jī)械硬盤: /dev/vdc, /dev/vdd其中，每個節(jié)點配置 1 塊固態(tài)硬盤 40GB 存儲日志，配置 2 塊機(jī)械硬盤 200G 存儲數(shù)據(jù)。通過 ZStack 定制 ISO 安裝 3 個節(jié)點操作系統(tǒng)。安裝后配置服務(wù)器的主機(jī)名和網(wǎng)絡(luò)。配置3 個節(jié)點的主機(jī)名：網(wǎng)絡(luò)的配置方式如下：配置網(wǎng)橋的命令：zs-network-setting -b 172.20.12.21 255.255.0.0 172.20.0.1 eth0

7、IP 地址掩碼網(wǎng)關(guān)接口rootlocalhost # hostnamectl set-hostname ceph-1rootlocalhost # hostnamectl set-hostname ceph-2 rootlocalhost # hostnamectl set-hostname ceph-3Ceph 分布式存儲實踐指南配置 3 個節(jié)點的主機(jī)名：在 ceph-1 節(jié)點設(shè)置主機(jī)解析：配置 ceph-1、ceph-2 和 ceph-3 防火墻，允許互相訪問：配置 ceph-1、ceph-2 和 ceph-3 時間同步：rootceph-1 # zs-network-setting -b

8、 172.20.12.154 255.255.0.0 172.20.0.1 eth0rootceph-2 # zs-network-setting -b 172.20.12.99 255.255.0.0 172.20.0.1 eth0rootceph-3 # zs-network-setting -b 172.20.12.21 255.255.0.0 172.20.0.1 eth0在 ceph-1 節(jié)點創(chuàng)建 ssh 密鑰配對，并配置 ceph-1、ceph-2 和 ceph-3 無密碼登陸：rootceph-1 # ssh-keygen -t rsa# 執(zhí)行后保持默認(rèn)設(shè)定，直接回車rootce

9、ph-1 # ssh-copy-id ceph-1 # 執(zhí)行后提示輸入 ceph-1 的 root 密碼 rootceph-2 # ssh-copy-id ceph-2 # 執(zhí)行后提示輸入 ceph-2 的 root 密碼 rootceph-3 # ssh-copy-id ceph-3 # 執(zhí)行后提示輸入 ceph-3 的 root 密碼無密碼配置完成后，傳輸/etc/hosts 文件：版本 1.0.06 / 20rootceph-1 # vim /etc/hosts172.20.12.154ceph-1172.20.12.99ceph-2172.20.12.21ceph-3rootceph-

10、1 # scp /etc/hosts ceph-2:/etc/rootceph-1 # scp /etc/hosts ceph-3:/etc/rootceph-1 # iptables -I INPUT -s 172.20.0.0/16 -j ACCEPT & service iptables save rootceph-2 # iptables -I INPUT -s 172.20.0.0/16 -j ACCEPT & service iptables save rootceph-3 # iptables -I INPUT -s 172.20.0.0/16 -j ACCEPT & servi

11、ce iptables saverootceph-1 # yum -disablerepo=* -enablerepo=zstack-local,ceph-hammer install ntp rootceph-1 # systemctl restart ntpdrootceph-1 # systemctl enable ntpd.serviceCeph 分布式存儲實踐指南rootceph-2 # yum -disablerepo=* -enablerepo=zstack-local,ceph-hammer install ntp rootceph-2 # systemctl restart

12、ntpdrootceph-2 # systemctl enable ntpd.servicerootceph-3 # yum -disablerepo=* -enablerepo=zstack-local,ceph-hammer install ntp rootceph-3 # systemctl restart ntpdrootceph-3 # systemctl enable ntpd.service至此，3 個節(jié)點的主機(jī)名與網(wǎng)絡(luò)配置完成。版本 1.0.07 / 20Ceph 分布式存儲實踐指南1.2 磁盤初始化根據(jù)上一節(jié)服務(wù)器環(huán)境描述，每個節(jié)點配置 1 塊固態(tài)硬盤和 2 塊機(jī)械硬盤，所以

13、對固態(tài)硬盤執(zhí)行分區(qū)，分 2 個日志分區(qū)。操作如下：版本 1.0.08 / 20對 ceph-1 節(jié)點的機(jī)械硬盤操作格式化操作如下：對 ceph-2 節(jié)點的機(jī)械硬盤操作格式化操作如下：rootceph-1 # parted /dev/vdb mklabel gptrootceph-1 # parted /dev/vdb mkpart journal-1 10% 40% rootceph-1 # parted /dev/vdb mkpart journal-2 60% 90%rootceph-2 # parted /dev/vdb mklabel gptrootceph-2 # parted /d

14、ev/vdb mkpart journal-1 10% 40% rootceph-2 # parted /dev/vdb mkpart journal-2 60% 90%rootceph-3 # parted /dev/vdb mklabel gptrootceph-3 # parted /dev/vdb mkpart journal-1 10% 40% rootceph-3 # parted /dev/vdb mkpart journal-2 60% 90%rootceph-1 # mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 /dev/

15、vdc rootceph-1 # mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 /dev/vdd rootceph-1 # mkdir -p /data/disk1/rootceph-1 # mkdir -p /data/disk2/# 查看機(jī)械硬盤的 UUIDrootceph-1 # ll /dev/disk/by-uuid/total 0lrwxrwxrwx 1 root root 10 May 5 13:10 7ea42029-e99a-4d8a-a837-d27c647ff74e - ././vda2lrwxrwxrwx 1 roo

16、t root 10 May 5 13:10 84d27c03-98b6-4fc4-8126-eac83015d786 - ././vda1lrwxrwxrwx 1 root root 9 May 5 13:56 9bdfeb51-95c2-4018-93dc-69256ab789f3 - ././vddlrwxrwxrwx 1 root root 9 May 5 13:55 da461bde-2aef-4f49-8634-89564317559e - ././vdc# 通過 UUID 掛載數(shù)據(jù)目錄，/dev/vdc 掛載/data/disk1，依次類推 rootceph-1 # mount -

17、t xfs -o noatime,nodiratime,nobarrier /dev/disk/by-uuid/da461bde-2aef-4f49-8634-89564317559e /data/disk1 rootceph-1 # mount -t xfs -o noatime,nodiratime,nobarrier /dev/disk/by-uuid/9bdfeb51-95c2-4018-93dc-69256ab789f3 /data/disk2Ceph 分布式存儲實踐指南對 ceph-3 節(jié)點的機(jī)械硬盤操作格式化操作如下：版本 1.0.09 / 20上述關(guān)于機(jī)械硬盤通過手動掛載，服務(wù)

18、器重啟后將會失去，建議放到/etc/rc.local：rootceph-2 # mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 /dev/vdc rootceph-2 # mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 /dev/vdd rootceph-2 # mkdir -p /data/disk1/rootceph-2 # mkdir -p /data/disk2/# 查看機(jī)械硬盤的 UUIDrootceph-2 # ll /dev/disk/by-uuid/total 0lrwxrw

19、xrwx 1 root root 9 May 5 14:03 62996e0d-0f7f-4e10-99fa-f87686cc0c05 - ././vdclrwxrwxrwx 1 root root 10 May 5 13:10 7ea42029-e99a-4d8a-a837-d27c647ff74e - ././vda2lrwxrwxrwx 1 root root 10 May 5 13:10 84d27c03-98b6-4fc4-8126-eac83015d786 - ././vda1lrwxrwxrwx 1 root root 9 May 5 14:03 ba29e5ea-81af-4a

20、e9-859a-cdeae84ba466 - ././vdd# 通過 UUID 掛載數(shù)據(jù)目錄，/dev/vdc 掛載/data/disk1，依次類推 rootceph-2 # mount -t xfs -o noatime,nodiratime,nobarrier /dev/disk/by-uuid/62996e0d-0f7f-4e10-99fa-f87686cc0c05 /data/disk1 rootceph-2 # mount -t xfs -o noatime,nodiratime,nobarrier /dev/disk/by-uuid/ba29e5ea-81af-4ae9-859a-

21、cdeae84ba466 /data/disk2rootceph-3 # mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 /dev/vdc rootceph-3 # mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 /dev/vdd rootceph-3 # mkdir -p /data/disk1/rootceph-3 # mkdir -p /data/disk2/# 查看機(jī)械硬盤的 UUIDrootceph-3 # ll /dev/disk/by-uuid/total 0lrwxrwxrw

22、x 1 root root 9 May 5 14:17 1efee887-ed2f-4c3e-8e77-717f15b19662 - ././vddlrwxrwxrwx 1 root root 10 May 5 13:10 7ea42029-e99a-4d8a-a837-d27c647ff74e - ././vda2lrwxrwxrwx 1 root root 10 May 5 13:10 84d27c03-98b6-4fc4-8126-eac83015d786 - ././vda1lrwxrwxrwx 1 root root 9 May 5 14:17 cb07fe55-afba-4ce6-

23、aae1-a65c596d8899 - ././vdc# 通過 UUID 掛載數(shù)據(jù)目錄，/dev/vdc 掛載/data/disk1，依次類推 rootceph-3 # mount -t xfs -o noatime,nodiratime,nobarrier /dev/disk/by-uuid/cb07fe55-afba-4ce6-aae1-a65c596d8899 /data/disk1 rootceph-3 # mount -t xfs -o noatime,nodiratime,nobarrier /dev/disk/by-uuid/1efee887-ed2f-4c3e-8e77-717

24、f15b19662 /data/disk2版本 1.0.010 / 20Ceph 分布式存儲實踐指南至此，3 個節(jié)點的磁盤初始化完成。rootceph-1 # chmod +x /etc/rc.localrootceph-1 # vim /etc/rc.localmount -t xfs -o noatime,nodiratime,nobarrier /dev/disk/by-uuid/da461bde-2aef-4f49-8634-89564317559e /data/disk1mount -t xfs -o noatime,nodiratime,nobarrier /dev/disk/by

25、-uuid/9bdfeb51-95c2-4018-93dc-69256ab789f3 /data/disk2rootceph-2 # chmod +x /etc/rc.localrootceph-2 # vim /etc/rc.localmount -t xfs -o noatime,nodiratime,nobarrier/dev/disk/by-uuid/62996e0d-0f7f-4e10-99fa-f87686cc0c05 /data/disk1mount -t xfs -o noatime,nodiratime,nobarrier/dev/disk/by-uuid/ba29e5ea-

26、81af-4ae9-859a-cdeae84ba466 /data/disk2rootceph-3 # chmod +x /etc/rc.localrootceph-3 # vim /etc/rc.localmount -t xfs -o noatime,nodiratime,nobarrier/dev/disk/by-uuid/cb07fe55-afba-4ce6-aae1-a65c596d8899 /data/disk1mount -t xfs -o noatime,nodiratime,nobarrier/dev/disk/by-uuid/1efee887-ed2f-4c3e-8e77-

27、717f15b19662 /data/disk2Ceph 分布式存儲實踐指南1.2 安 裝 Ceph在 ceph-1、ceph-2 和 ceph-3 節(jié)點安裝 Ceph Hammer 0.94.5：版本 1.0.011 / 20在 ceph-1 節(jié)點安裝 ceph-deploy，用于自動化部署。在 ceph-1 創(chuàng)建 Ceph 集群：rootceph-1 # yum -disablerepo=* -enablerepo=zstack-local,ceph-hammer install ceph ceph-deployrootceph-2 # yum -disablerepo=* -enable

28、repo=zstack-local,ceph-hammer install ceph rootceph-3 # yum -disablerepo=* -enablerepo=zstack-local,ceph-hammer install cephrootceph-1 # mkdir ceph-config rootceph-1 # cd ceph-configrootceph-1 ceph-config# ceph-deploy new ceph-1 ceph-2 ceph-3#修改 ceph.conf 文件rootceph-1 ceph-config# vim ceph.conf glob

29、alfsid = 392106b4-e3ab-4f51-ac0e-a4e26c8abd82 mon_initial_members = ceph-1, ceph-2, ceph-3 mon_host = 172.20.12.154,172.20.12.99,172.20.12.21auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx filestore_xattr_use_omap = trueosd_pool_default_size = 3osd_pool_defau

30、lt_min_size = 2osd_pool_default_pg_num = 128osd_pool_default_pgp_num = 128osd_max_backfills = 1osd_recovery_max_active = 1 osd crush update on start = 0debug_ms = 0debug_osd = 0osd_recovery_max_single_start = 1filestore_max_sync_interval = 15filestore_min_sync_interval = 10filestore_queue_max_ops =

31、65536Ceph 分布式存儲實踐指南filestore_queue_max_bytes = 536870912filestore_queue_committing_max_bytes = 536870912filestore_queue_committing_max_ops = 65536filestore_wbthrottle_xfs_bytes_start_flusher = 419430400filestore_wbthrottle_xfs_bytes_hard_limit = 4194304000filestore_wbthrottle_xfs_ios_start_flusher =

32、 5000filestore_wbthrottle_xfs_ios_hard_limit = 50000filestore_wbthrottle_xfs_inodes_start_flusher = 5000filestore_wbthrottle_xfs_inodes_hard_limit = 50000journal_max_write_bytes = 1073714824journal_max_write_entries = 5000journal_queue_max_ops = 65536journal_queue_max_bytes = 536870912osd_client_mes

33、sage_cap = 65536osd_client_message_size_cap = 524288000ms_dispatch_throttle_bytes = 536870912filestore_fd_cache_size = 4096osd_op_threads = 10osd_disk_threads = 2filestore_op_threads = 6osd_client_op_priority = 100osd_recovery_op_priority = 5修改 ceph.conf 后保存，執(zhí)行以下操作：版本 1.0.012 / 20Ceph 分布式存儲實踐指南rootc

34、eph-1 ceph-config# ceph-deploy -overwrite-conf mon create ceph-1 ceph-2 ceph-3rootceph-1 ceph-config# ceph-deploy -overwrite-conf config push ceph-1 ceph-2 ceph-3rootceph-1 ceph-config# ceph-deploy gatherkeys ceph-1 ceph-2 ceph-3rootceph-1 ceph-config# ceph-deploy -overwrite-conf osd create ceph-1:/

35、data/disk1:/dev/disk/by-partlabel/journal-1 ceph-1:/data/disk2:/dev/disk/by-partlabel/journal-2 ceph-2:/data/disk1:/dev/disk/by-partlabel/journal-1 ceph-2:/data/disk2:/dev/disk/by-partlabel/journal-2 ceph-3:/data/disk1:/dev/disk/by-partlabel/journal-1 ceph-3:/data/disk2:/dev/disk/by-partlabel/journa

36、l-2rootceph-1 ceph-config# ceph-deploy -overwrite-conf osd activate ceph-1:/data/disk1:/dev/disk/by-partlabel/journal-1 ceph-1:/data/disk2:/dev/disk/by-partlabel/journal-2 ceph-2:/data/disk1:/dev/disk/by-partlabel/journal-1 ceph-2:/data/disk2:/dev/disk/by-partlabel/journal-2 ceph-3:/data/disk1:/dev/

37、disk/by-partlabel/journal-1 ceph-3:/data/disk2:/dev/disk/by-partlabel/journal-2rootceph-1 ceph-config# ceph-deploy -overwrite-conf config push ceph-1 ceph-2 ceph-3Ceph 集群初始化結(jié)束后，看查看當(dāng)且運行狀態(tài)：版本 1.0.013 / 20rootceph-1 ceph-config# ceph -scluster 392106b4-e3ab-4f51-ac0e-a4e26c8abd82 health HEALTH_WARN64 p

38、gs stuck inactive 64 pgs stuck uncleantoo few PGs per OSD (10 min 30)monmape1:3monsatceph-1=172.20.12.154:6789/0,ceph- 2=172.20.12.99:6789/0,ceph-3=172.20.12.21:6789/0election epoch 4, quorum 0,1,2 ceph-3,ceph-2,ceph-1osdmap e13: 6 osds: 6 up, 6 inpgmap v25: 64 pgs, 1 pools, 0 bytes data, 0 objects1

39、95 MB used, 1199 GB / 1199 GB avail64 creating查看 OSD ID 號：根據(jù) OSD ID 號，建立 CRUSH 結(jié)構(gòu)樹：創(chuàng)建后，CRUSH 結(jié)構(gòu)樹如下：Ceph 分布式存儲實踐指南rootceph-1 ceph-config# ceph osd treeID WEIGHT TYPE NAMEUP/DOWN REWEIGHT PRIMARY-AFFINITY版本 1.0.014 / 20-10 root default00 osd.0up1.000001.0000010 osd.1up1.000001.0000020 osd.2up1.000001.

40、0000030 osd.3up1.000001.0000040 osd.4up1.000001.0000050 osd.5up1.000001.00000# 查 看 OSD IDrootceph-1 # cat /data/disk1-2/whoami 01rootceph-2 # cat /data/disk1-2/whoami 23rootceph-3 # cat /data/disk1-2/whoami 45rootceph-1 # ceph osd crush add-bucket ceph-1 host rootceph-1 # ceph osd crush add-bucket c

41、eph-2 host rootceph-1 # ceph osd crush add-bucket ceph-3 hostrootceph-1 # ceph osd crush move ceph-1 root=default rootceph-1 # ceph osd crush move ceph-2 root=default rootceph-1 # ceph osd crush move ceph-3 root=defaultrootceph-1 # ceph osd crush create-or-move osd.0 0.2 root=default host=ceph-1 roo

42、tceph-1 # ceph osd crush create-or-move osd.1 0.2 root=default host=ceph-1rootceph-1 # ceph osd crush create-or-move osd.2 0.2 root=default host=ceph-2 rootceph-1 # ceph osd crush create-or-move osd.3 0.2 root=default host=ceph-2rootceph-1 # ceph osd crush create-or-move osd.4 0.2 root=default host=

43、ceph-3 rootceph-1 # ceph osd crush create-or-move osd.5 0.2 root=default host=ceph-3版本 1.0.015 / 20Ceph 分布式存儲實踐指南至此，Ceph 集群初始化結(jié)束。通過 Mevoco 初始化界面，在主存儲和備份存儲步驟中，添加 Ceph 集群 MON 節(jié)點。rootceph-1 # ceph osd treeID WEIGHTTYPE NAMEUP/DOWN REWEIGHT PRIMARY-AFFINITY-1 1.19998 root default-2 0.39999host ceph-10 0

44、.20000osd.0up1.000001.000001 0.20000osd.1up1.000001.00000-3 0.39999host ceph-22 0.20000osd.2up1.000001.000003 0.20000osd.3up1.000001.00000-4 0.39999host ceph-34 0.20000osd.4up1.000001.000005 0.20000osd.5up1.000001.00000# 查看 Ceph 集群狀態(tài)rootceph-1 # ceph -scluster 392106b4-e3ab-4f51-ac0e-a4e26c8abd82hea

45、lth HEALTH_OKmonmape1:3monsatceph-1=172.20.12.154:6789/0,ceph-2=172.20.12.99:6789/0,ceph-3=172.20.12.21:6789/0election epoch 4, quorum 0,1,2 ceph-3,ceph-2,ceph-1osdmap e29: 6 osds: 6 up, 6 inpgmap v53: 64 pgs, 1 pools, 0 bytes data, 0 objects197 MB used, 1199 GB / 1199 GB avail64 active+cleanCeph 分布式存儲實踐指南第二章運維管理2.1 刪 除 OSD版本 1.0.016 / 20例如，需要移除故障的數(shù)據(jù)盤 OSD.5，執(zhí)行以下步驟：2.2 增 加 OSD例如，需要增加 ceph-3 節(jié)點的/data/disk2/（必須為純凈目錄），執(zhí)行以下步驟：rootceph-1 # ceph osd out 5# 登陸到 OSD.5 的服務(wù)器，關(guān)閉 OSD.5 服務(wù) rootceph-3 # service ceph stop osd.5rootceph