正式惠州tcl配置

1、1.登陸信息為了保障云的安全性，采用了兩種機(jī)制確保云的安全：1、public 作為進(jìn)入云的唯一，且只有控制節(jié)點(diǎn)有；2. 云中的所有主機(jī)禁用登陸，使用秘鑰認(rèn)證方式，且只能通過 roller 作為跳板機(jī)作為登陸，如下是登陸的示意圖：登陸認(rèn)證信息如下：類別登陸 IP認(rèn)證信息dashboard10.68.28.80adminexample./adminroller(跳板機(jī))10.68.28.87root/passw0rdnode-1(控制節(jié)點(diǎn))10.68.28.81root/passw0rdnode-2(控制節(jié)點(diǎn))10.68.28.82root/passw0rdnode-3(控制節(jié)點(diǎn))10.68.28

2、.83root/passw0rd云機(jī)器的網(wǎng)絡(luò)分配信息如下：2.鏡像制作Openstack 創(chuàng)建 instance 時(shí)，需要請(qǐng)求 glance 獲取 images 服務(wù)，需要根據(jù)應(yīng)用的情況制定虛擬機(jī)鏡像，由于 TCL 而且云程的流程一般為:從 glance 獲取鏡環(huán)境中需要使用靜態(tài) IP 地址，instance 在啟動(dòng)的過ceph 層面基于鏡像快照做 copy-on-write節(jié)點(diǎn)名稱角色publicPXEmgmt.storageroller部署服務(wù)器10.68.28.87172.16.1.2/RollerKVM 物理機(jī)10.68.28.86172.16.1.1172.16.2.200/zabb

3、ix服務(wù)器10.68.28.88/172.16.2.201/node-1控制節(jié)點(diǎn)集群10.68.28.81172.16.1.3172.16.2.3172.16.3.2node-210.68.28.82172.16.1.4172.16.2.4172.16.3.3node-310.68.28.83172.16.1.5172.16.2.5172.16.3.4node-4DMZ 區(qū)計(jì)算/172.16.1.6172.16.2.6172.16.3.5node-5/172.16.1.7172.16.2.7172.16.3.6node-6/172.16.1.8172.16.2.8172.16.3.7node-

4、7內(nèi)網(wǎng)區(qū)計(jì)算(M 類型)/172.16.1.9172.16.2.9172.16.3.8node-8/172.16.1.10172.16.2.10172.16.3.9node-9/172.16.1.11172.16.2.11172.16.3.10node-10內(nèi)網(wǎng)區(qū)計(jì)算(C 類型)/172.16.1.12172.16.2.12172.16.3.11node-11/172.16.1.13172.16.2.13172.16.3.12node-12/172.16.1.14172.16.2.14172.16.3.13node-13/172.16.1.15172.16.2.15172.16.3.14nod

5、e-14節(jié)點(diǎn)/172.16.1.16172.16.2.16172.16.3.15node-15/172.16.1.17172.16.2.17172.16.3.16node-16/172.16.1.18172.16.2.18172.16.3.17node-17/172.16.1.19172.16.2.19172.16.3.18node-18/172.16.1.24172.16.2.24172.16.3.23node-19/172.16.1.20172.16.2.20172.16.3.19node-20/172.16.1.21172.16.2.21172.16.3.20node-21/172.16

6、.1.22172.16.2.22172.16.3.21node-22/172.16.1.23172.16.2.23172.16.3.22zabbix dashboardAdmin/zabbixzabbix10.68.28.88root/passw0rdroller 所在的物理機(jī)10.68.28.86root/passw0rd啟動(dòng) instance擴(kuò)展 root 分區(qū)(需要安裝 root_resize)從 DHCP 中獲取 IP 地址從 metadata 中獲取元數(shù)據(jù)信息其中，當(dāng)使用了靜態(tài)獲取 IP 地址之后(創(chuàng)建 subnet 的時(shí)候 disable dhcp 啟動(dòng))，命名空間中將不會(huì)有 dh

7、cp 存在，instance 也無法獲取 IP 地址，從而會(huì)導(dǎo)致 metadata 獲取失敗， metadata 將會(huì)持續(xù)循環(huán)直到超時(shí)，為了保障 instance 能夠快速啟動(dòng)，在 TCL 二期云 的環(huán)境中，將不啟動(dòng) cloudinit 的功能。2.1 制作過程鏡像的制作以 roller 所在的物理機(jī)(10.68.28.86)安裝 KVM 鏡像，KVM 所需的包均已經(jīng)部署好，已配置了兩個(gè)網(wǎng)橋：br-rollXE)和 br-public(辦公網(wǎng)互通)，如下是創(chuàng)建centos1.6.5 鏡像的過程：創(chuàng)建映像文件2.創(chuàng)建虛擬機(jī)3.查看虛擬機(jī) VNC 端4. vncviewer 打開安裝界面，從步驟三

8、可以獲知虛擬機(jī)的 vnc 端碼，通過 vncviewer登陸至 10.68.28.86:3 即可看到安裝界面， 在界面中選擇語言為 English 、鍵盤為U.S.English、時(shí)區(qū)選擇 AsiaShanghai、root設(shè)置為 passw0rd(metadata 不可用，密碼注入功能也無法實(shí)現(xiàn))、自定義分區(qū)，分區(qū)設(shè)定為：(/boot 200G、剩余空間劃分為 LVM，其中 vg 的名字為 VolGroup，swap 和/分區(qū)基于 LVM 劃分空間、swap 2G、/ 剩余空間(由于需要安裝 root resize，后續(xù)根據(jù) flavor 大小而定，flavor 最小需要 10G 空間)，參

9、考如下：rootESRoller # virsh vncdisplay centos_6.5:3rootESRoller # virt-install -name centos_6.5 -ram 8192 -vcpu4 -disk path=/var/lib/libvirt/images/centos_6.5_img.qocw2,format=qcow2,size=10-network bridge=br-roller,m=virtio-graphics vnc,listen=0.0.0.0 -noautoconsole -cdrom /var/lib/libvirt/images/CentO

10、S-6.5-x86_64-bin-DVD1.iso包選擇：Minimal，并選擇 Development Tools 和 Base 組件,等待安裝結(jié)束，登陸至虛擬機(jī)。5安裝 rootresize，路徑 /flegmatik/linux-rootfs-resize6.自定義設(shè)置1、設(shè)置 SSHsed -i /GSSAPIAuthenticatio/ s/yes/no/g /etc/ssh/sshd_config sed -i /UseDNS/ s/#UseDNS yes/UseDNS no/g /etc/ssh/sshd_config2、刪除 MAC 地址sed -i /HWADDR/ d /e

11、tc/sysconfig/network-scripts/ifcfg-eth0 sed -i /UUID/ d /etc/sysconfig/network-scripts/ifcfg-eth0sed -i /NM_CONTROLLED/ d /etc/sysconfig/network-scripts/ifcfg-eth0 sed -i /ONBOOT/ s/no/yes/g /etc/sysconfig/network-scripts/ifcfg-eth0 rm -f /etc/udev/rules.d/70-persistent-net.rulesrm -f /etc/udev/rule

12、s.d/70-persistent-cd.rules3、關(guān)閉 SELINUXsed -i / s/enforcing/disabled/g /etc/selinux/configrootlocalhost # rpm -ivh cloud-utils-grort-0.27-10.el6.x86_64.rpm() rootlocalhost # unzip linux-rootfs-resize-master.ziprootlocalhost # cd linux-rootfs-resize-master rootlocalhost linux-rootfs-resize-master# ./i

13、nstall 96404 blocks/usr/bin/grort - bin/grort/sbin/sfdisk - bin/sfdisk/sbin/e2fsck - bin/e2fsck/lib64/libext2fs.so.2 - /tmp/initrd/lib64/libext2fs.so.2_err.so.2 - /tmp/i_err.so.2/lib64/libe2p.so.2 - /tmp/initrd/lib64/libe2p.so.2/sbin/resize2fs - bin/resize2fs/bin/sed - bin/sed/bin/awk - bin/awk/sbin

14、/partprobe - bin/partprobe/lib64/libparted-2.1.so.0 - /tmp/initrd/lib64/libparted-2.1.so.0 99218 blocks7.將虛擬機(jī)關(guān)機(jī)，并清除網(wǎng)卡等硬件信息2.2 測(cè)試鏡像1、 將鏡像上傳至 node-1 節(jié)點(diǎn)2、 將 qcow2 格式轉(zhuǎn)換為 raw 格式3、 將鏡像上傳至 glance 服務(wù)中4.基于鏡像創(chuàng)建 instance，并測(cè)試，通過選擇不同 flavor 大小的 disk，校驗(yàn) instance啟動(dòng)后，根目錄是否能夠自動(dòng)擴(kuò)展。說明：通過上述方式制作的鏡像能夠支持根目錄彈性擴(kuò)展，但不具備 cloud

15、init 的功能特性，從而將散失元數(shù)據(jù)注入和注入功能。如果需要該功能則安裝 coudinit。另外instance 啟動(dòng)過程中等待獲取 IP 地址時(shí)間較長(zhǎng)，可以通過修改 BOOTPROTO=none 解決(適用主機(jī)不需要 dhcp 場(chǎng)景)。rootnode-1 # glance image-create -name centos_6.5_minimal-disk-format raw -container-format bare -file centos_6.5_img.raw -is-public True -human-readable-progress可通過 glance image-l

16、ist 和 glance image-show 的方式查看鏡像的情況首先需要登錄至 node-1 節(jié)點(diǎn)，然后執(zhí)行如下命令：rootnode-1 # qemu-img convert -f qcow2 -O raw centos_6.5_img.qocw2 centos_6.5_img.rawrootESRoller # rsync -avrP /var/lib/libvirt/images/centos_6.5_img.qocw2 rootnode-1:/rootrootESRoller # virt-sysprep -d centos_6.54、設(shè)置 kernel 參數(shù)，使 console.

17、log 能夠輸出到頁面sed -i /rd_NO_DM/ s/rd_NO_DM/rd_NO_DM console=tty0 console=ttyS0,115200/g/boot/grub/grub.conf5、設(shè)置 zero 路由(獲取 metadata 的時(shí)使用)echo NOZEROCONF=yes /etc/sysconfig/network3.配置變更3.1 劃分 zone 區(qū)域按照需求和資源類型的不同，將計(jì)算節(jié)點(diǎn)類型分為三類：DMZ 區(qū)域、內(nèi)網(wǎng) M 類型(E5-2650)、內(nèi)網(wǎng) C 類型(CPU E7-4850)，如下是劃分的過程：1.創(chuàng)建 zone2.將計(jì)算節(jié)點(diǎn)加入到 zone3

18、.查看 zone 的主機(jī)情況3.2 DMZ 網(wǎng)絡(luò)調(diào)整由于 roller 默認(rèn)安裝時(shí)只支持選擇一個(gè) private 網(wǎng)絡(luò)，該 private 網(wǎng)絡(luò)已分配給內(nèi)網(wǎng)a、DMZ 區(qū)域：nova aggregate-add-host DMZ node-4. .tld nova aggregate-add-host DMZ node-5. .tld nova aggregate-add-host DMZ node-6. .tldb、內(nèi)網(wǎng)M 區(qū)域nova aggregate-add-host M 類型 node-7. .tld nova aggregate-add-host M 類型 node-8. .tld

19、 nova aggregate-add-host M 類型 node-9. .tld nova aggregate-add-host M 類型 node-10. .tldc、內(nèi)網(wǎng)C 區(qū)域nova aggregate-add-host C 類型 node-11. .tld nova aggregate-add-host C 類型 node-12. .tld nova aggregate-add-host C 類型 node-13. .tldnova aggregate-create DMZ DMZ nova aggregate-create M 類型 M 類型 nova aggregate-cr

20、eate C 類型 C 類型區(qū)與的網(wǎng)絡(luò)使用，而 DMZ 區(qū)域的 private 并未有設(shè)置，所以需要手動(dòng)調(diào)整 DMZ 區(qū)域的 private網(wǎng)絡(luò)(可選：同理 dmz 區(qū)域的 public，如果有使用的話)，如下是調(diào)整的操作過程： 1、 配置 DMZ private 所使用的的 tap 設(shè)備(控制節(jié)點(diǎn))控制節(jié)點(diǎn)上執(zhí)行，控制節(jié)點(diǎn)的 bond3 接口所對(duì)應(yīng)的交換機(jī)上有 dmz 區(qū)域 private 的 vlan信息，范圍為:101 至 104),dmz 區(qū)域的節(jié)點(diǎn)需要添加一個(gè) br-prv-dmz 的網(wǎng)橋(其他區(qū)域的節(jié)點(diǎn)沒有 DMZ 區(qū)域的網(wǎng)絡(luò)流量；2、 DMZ 區(qū)域所在的 compute 節(jié)點(diǎn)上，

21、添加 br-prv-dmz 網(wǎng)橋的信息由于在安裝過程中，設(shè)定了 bond1 為 private-inside，默認(rèn)會(huì)創(chuàng)建 br-prv 網(wǎng)橋，不需要變更，在原有的 bond1 基礎(chǔ)上創(chuàng)建 peer 即可，如下是自動(dòng)配置：cat configure_dmz_bridge.sh #!/bin/bashovs-vsctl add-br br-prv-dmzovs-vsctl add-port br-prv-dmz br-prv-dmz-br-ovs-bond3 ovs-vsctl seterface br-prv-dmz-br-ovs-bond3 type=patch options:peer=br

22、-ovs-bond3-br-prv-dmzovs-vsctl add-port br-ovs-bond3 br-ovs-bond3-br-prv-dmz ovs-vsctl seterface br-ovs-bond3-br-prv-dmz type=patch options:peer=br-prv-dmz-br-ovs-bond3執(zhí)行配置校驗(yàn)：rootnode-1 # ovs-vsctl show 59f39889-fea5-43a9-bd21-671277633a7bBridge br-prv-dmz Port br-prv-dmzerface br-prv-dmz type:ernal

23、Port br-prv-dmz-br-ovs-bond3erface br-prv-dmz-br-ovs-bond3 type: patchoptions: peer=br-ovs-bond3-br-prv-dmz Bridge br-ovs-bond3Port ovs-bond3erface eth9 erface eth1Port br-ovs-bond3erface br-ovs-bond3 type:ernalPort br-ovs-bond3-br-prv-dmzerface br-ovs-bond3-br-prv-dmz type: patchoptions: peer=br-pr

24、v-dmz-br-ovs-bond3 ovs_ver: 2.5.0#:hai#Copyright EasyStack Inc#use to create network bridge in DMZ zone,and configure DMZ vlan information#計(jì)算節(jié)點(diǎn)安裝/擴(kuò)容過程中，需要將 4 個(gè)千兆網(wǎng)卡所在的交換機(jī)設(shè)定 vlan 號(hào)信息，并bonding 在一起，名字為 bond1,否則無法執(zhí)行br_prv_dmz=br-prv-dmz br_ovs_bond1=br-ovs-bond1function pr_info()echo -e 03332m=0330mecho

25、-e 03332mDebug: $10330mecho -e 03332m=0330mnfunction pr_error()echo -e 03331m=0330mecho -e 03331mError: $10330mecho -e 03331m=0330mnexit 1function create_dmz_bridge_attach_bond1()ovs-vsctl br-exists $br_ovs_bond1 | pr_error bond1 hast foundovs-vsctl br-exists $br_prv_dmz if $? -ne 0 ;thenovs-vsctl a

26、dd-br $br_prv_dmzovs-vsctl add-port $br_prv_dmz $br_prv_dmz-$br_ovs_bond12/dev/nullovs-vsctl seterface $br_prv_dmz-$br_ovs_bond1 type=patch options:peer=$br_ovs_bond1-$br_prv_dmzovs-vsctladd-port$br_ovs_bond1$br_ovs_bond1-$br_prv_dmz 2/dev/nullovs-vsctl seterface $br_ovs_bond1-$br_prv_dmz type=patch

27、 options:peer=$br_prv_dmz-$br_ovs_bond1fibond1_port_count=ovs-vsctllist-ports$br_ovs_bond1|grep $br_ovs_bond1-$br_prv_dmz | wc -ldmz_port_count=ovs-vsctllist-ports$br_prv_dmz|grep $br_prv_dmz-$br_ovs_bond1 | wc -l3、 設(shè)定 dmz 區(qū)域 private 網(wǎng)絡(luò) vlan 號(hào)范圍(僅需要在 3 臺(tái)控制節(jié)點(diǎn)執(zhí)行即可)4、 設(shè)定 physnet 和網(wǎng)橋進(jìn)行關(guān)聯(lián)5、 重啟 neutron-se

28、rver 服務(wù)，確保生效（3 臺(tái)控制節(jié)點(diǎn)）systemctl restart neutron-serversystemctl restart neutron-openvswitch-agent.service驗(yàn)證驗(yàn)證 vlan 配置，校驗(yàn)配置信息，由于并未有接口可以查看 vlan 的信息，所以需要到DB 中查詢，查詢結(jié)果如下： select * from ml2_vlan_allocations;openstack-config -set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_maps physnet1:br-ex,

29、physnet2:br-prv,physnet3:br-prv-dmzopenstack-config -set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges physnet2:201:204,physnet3:101:104if $bond1_port_count -ne 0 & $dmz_port_count -ne 0 ;then pr_info create dmz bridge suscsfully!elsepr_error create dmz bridge error,please

30、contact with Happy orcheck manuallyfifunction modify_dmz_vlan_map()openstack-config-set/etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges physnet3:101:104openstack-config -set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_maps physnet3:$br_prv_dmzsystemctl restart ne

31、utron-openvswitch-agent.service 2/dev/null & pr_info configure dmz vlan mapsucsfullyfunction main()create_dmz_bridge_attach_bond1 modify_dmz_vlan_mapmain3.3 創(chuàng)建網(wǎng)絡(luò)目前云中的網(wǎng)絡(luò)按照功能劃分主要有兩類：public 和 private 網(wǎng)絡(luò)，其中 public網(wǎng)絡(luò)按照區(qū)域的不同，分為內(nèi)網(wǎng)區(qū)域的 public 和 dmz 區(qū)域的 public；private 網(wǎng)絡(luò)按照功能的不同可以分為內(nèi)網(wǎng)區(qū)域的 private 和 dmz 區(qū)域的 priv

32、ate，其中內(nèi)網(wǎng)區(qū)域 private 按照功能的不同可以分為生產(chǎn)網(wǎng)絡(luò) private 和測(cè)試網(wǎng)絡(luò) private，創(chuàng)建網(wǎng)絡(luò)的時(shí)候需要 vlan 于特定的 physnet 關(guān)聯(lián)。當(dāng)前云配置情況如下：備注： 創(chuàng)建網(wǎng)絡(luò)的時(shí)候通過 providhysical_network 指定 physnet ，通過provider:segmenion_id 指定 vlan 號(hào)碼；按照所創(chuàng)建網(wǎng)絡(luò)功能的不同，需要 physnet 和vlan 號(hào)碼相互對(duì)應(yīng)，否則二層無法互通！3.3.1 內(nèi)網(wǎng)網(wǎng)絡(luò)內(nèi)網(wǎng)區(qū)域的計(jì)算節(jié)點(diǎn)按照 CPU 的類型的不同分為兩個(gè) zone：C 類型和M 類型，起 private 網(wǎng)絡(luò)均有4 個(gè)1G 網(wǎng)

33、卡通過lacp 協(xié)議bond 構(gòu)建而成，private 均是基于bond1 所創(chuàng)建的bridge，如下是以創(chuàng)建 net8 為例，演示內(nèi)網(wǎng)創(chuàng)建網(wǎng)絡(luò)的過程：1、 創(chuàng)建網(wǎng)絡(luò)，指定使用的 physnet 和 vlan 號(hào)neutron net-create -provider:network_type=vlan -providhysical_network=physnet2 -provider:segmenion_id=201 -shared private_inside_net8功能范疇vlan 號(hào)范圍physnet 名稱使用 bridge內(nèi)網(wǎng)區(qū)生產(chǎn)網(wǎng)絡(luò)201-204physnet2br-prv內(nèi)網(wǎng)

34、區(qū)測(cè)試網(wǎng)絡(luò)501-504physnet2br-prvDMZ 區(qū)生產(chǎn)網(wǎng)絡(luò)101-104physnet3br-prv-dmz內(nèi)網(wǎng)區(qū) public 網(wǎng)601-604physnet1br-exDMZ 區(qū) public 網(wǎng)/+| physical_network | vlan_id | allocated |+| physnet2|204 |0 | physnet2|201 |1 | physnet2|202 |1 | physnet2|203 |1 | physnet3|101 |0 | physnet3|102 |0 | physnet3|103 |0 | physnet3|104 |0 |+8 r

35、ows in set (0.00 sec)2、 創(chuàng)建子網(wǎng)，指定地址起始范圍，并和網(wǎng)絡(luò)關(guān)聯(lián)(需關(guān)閉 dhcp)3、 校驗(yàn)配置，查看網(wǎng)絡(luò)和子網(wǎng)的配置，可通過 net-list、net-show 校驗(yàn)網(wǎng)絡(luò)的配置，同理 subnet-list、subnet-show 校驗(yàn)子網(wǎng)的配置；子網(wǎng)信息校驗(yàn)：3.3.2 DMZ 網(wǎng)絡(luò)創(chuàng)建 DMZ 網(wǎng)絡(luò)和創(chuàng)建內(nèi)網(wǎng)private 網(wǎng)絡(luò)相類似， 需要在創(chuàng)建的過程中通過neutron subnet-create -name private_inside_subnet8 -allocation-pool start=10.68.8.1,end=10.68.8.253 -ho

36、st-routedestination=0.0.0.0/0,nexthop=10.68.8.254 -no-gateway -disable-dhcp-ip-ver4 bfb0fbb1-bc6d-4f32-a14e-2c97f7521ed1 10.68.8.0/24providhysical_network 指定為 physnet3,同時(shí)關(guān)聯(lián) DMZ 所定義的 private 網(wǎng)絡(luò) vlan號(hào)范圍，范圍為：101-104。用戶在使用的過程中，需要配合 zone 一起使用，即當(dāng)選擇 DMZ區(qū)域所在計(jì)算節(jié)點(diǎn)的 zone 時(shí)，需要選擇 dmz 所定義的 private 網(wǎng)絡(luò)，否則會(huì)創(chuàng)建失敗或者網(wǎng)絡(luò)不

37、通。如下是已經(jīng)創(chuàng)建的 DMZprivate 網(wǎng)絡(luò)：3.3.3 測(cè)試網(wǎng)絡(luò)參考創(chuàng)建 DMZ 網(wǎng)絡(luò)，在內(nèi)網(wǎng)的 private 中定義了一段測(cè)試 vlan 號(hào)范圍用于網(wǎng)絡(luò)測(cè)試使用，其 vlan 號(hào)碼范圍是：501 至 504，其 physnets 為 physnet2，具體不贅述，如下是已創(chuàng)建好的測(cè)試網(wǎng)絡(luò)：3.4 參數(shù)優(yōu)化1.配置 ntp server，所有節(jié)點(diǎn)的 ntp 需要指向 node-1 節(jié)點(diǎn)(172.16.2.3)2.移除 roller 安裝過程中的 agent(當(dāng)需要擴(kuò)容節(jié)點(diǎn)的時(shí)候，需要還原)3.設(shè)置 CPU 和內(nèi)存超售比，原則上 CPU 按照 1:4，內(nèi)存不設(shè)置超分，按照 1:1 的原則設(shè)置(僅限計(jì)算節(jié)點(diǎn)需要設(shè)置，其他節(jié)點(diǎn)不需要)4.設(shè)置預(yù)留內(nèi)存，給予操作系統(tǒng)使用，防止 vm 分配過多的內(nèi)存資源，造成計(jì)算節(jié)點(diǎn)異常5.調(diào)整系統(tǒng)最小內(nèi)存空間，設(shè)置為 5G，防止發(fā)生 OOMvim /etc/sysctl.conf vm.min_free_kbytes=52428