中山證券私有云平臺驗收報告v

1、目錄文檔修訂歷史.2項目基本情況4項目進度審核4項目實施進度情況4項目變更情況7項目內容變更情況7項目需求變更情況93項目驗收計劃93.1項目驗收原則93.2項目驗收方式93.3項目驗收內容104.1項目驗收情況匯總表114.2項目驗收附件明細115項目驗收資料125.1開發(fā)項目實施總結125.2意見13使用6附件146.1附件一：云功能驗收單146.2附件二：ldap 對接驗收單錯誤!未定義書簽。6.3附件三：文檔驗收單141項目基本情況2項目進度審核2.1項目實施進度情況日期工作內容 劉海平/遠1. 調整部署服務器、控制節(jié)點和計算節(jié)點(區(qū)+業(yè)務區(qū))的網卡啟動順序、網卡啟動模式和設定系統(tǒng)盤

2、RAID1； 2、安裝和配置 roller 部署節(jié)點，并將三臺控制節(jié)點注冊到 roller 部署服務器中； 劉海平/遠1、調整剩余節(jié)點的 BIOS 設定和 RAID 設置，包括各區(qū)域的計算節(jié)點和節(jié)點；2、檢查各個服務器的 iLO 設定情況，與網絡工程師一同排查無法登陸的節(jié)點(現已全部完畢); 劉海平/遠1，配合網絡工程師將部署節(jié)點的千兆口，安裝個光電轉換口跳到萬兆交換機上，并將服務節(jié)點所在端口配置 native vlan 15，現部署節(jié)點根萬兆交換機完成。 劉海平/遠1，解決了萬兆網卡無法使用2，pxe 成功切到萬兆上，并按照文演網絡規(guī)劃對網絡進行了調整。3，控制節(jié)點和節(jié)點成功加入到部署服務器

3、中，目前正在部署 劉海平/遠1，調通交易區(qū)和業(yè)務區(qū) private 網絡2，基礎環(huán)境部署完成，目前將交易區(qū)和業(yè)務區(qū)計算節(jié)點已經加入到集群。 劉海平/遠1，劃分兩個區(qū)、業(yè)務區(qū)兩個nova availability zone并將對應的計算節(jié)點加入了這兩個 zone。2，劃分兩個 neutron availability zone，并進行配置。項目名稱：中山私有云項目開工時間：2017-04-14項目竣工時間：2017-09-29項目驗收日期：2017-11-213，在上創(chuàng)建以下網絡，并一個個網絡進試。 劉海平/遠1，由于上周前 4房大部分機器除交易區(qū)和業(yè)務區(qū)外其他區(qū)都還在布線，所以進度基本上是停滯

4、的。今網絡工程師一起將已經布好的服務器進行網絡一臺臺檢查。2，完成互聯(lián)網交易區(qū)-接入和-接入區(qū)的安裝部署。 劉海平/遠1，配置好多級權限2，配置好 nova az 和 neutron az 至 劉海平/遠1，測試控制節(jié)點高可用情況：將一臺控制節(jié)點，通過 ipmi 直接斷電，觀察對 的影響時間和浮動 ip 的切換情況。2，測試計算節(jié)點高可用情況:在每個 availability zone中創(chuàng)建 20 臺虛機，并在虛機內寫文件，將虛機遷到 az內一臺計算節(jié)點。將這臺計算節(jié)點通過 ipmi 直接斷電，觀察虛機的自動遷移，并檢查數據是否有丟失。3，測試節(jié)點的高可用，直接同時關閉多臺臺節(jié)點觀察整個集群的

5、狀態(tài)。 劉海平/遠1. 排查分布式性能抖動問題，關閉陣列卡 cache 的 ceph 性能測試2，修復多級權限一些報錯，今天測試中發(fā)現改項目和刪除項目時有報錯，經排查發(fā)現是在開啟多級權限時，有部分操作沒有執(zhí)行導致。后修復此問題。 劉海平/遠排查分布式性能抖動問題，包含以下幾點：將原有的ssd 做盤的 journal 分離，將 journal 就放置將剝離的 ssd 重新組成一個新的集群做性能型存 劉海平/遠1，因網絡波動導致 vnc 不可 。原因為網絡波動導致連接數據庫服務失敗，多次重連數據庫失敗后為防止過度消耗資源進程不在重連。2，在虛機內安裝性能測試工具創(chuàng)建云硬盤，掛載云硬盤，在掛載的云硬

6、盤上測試 iops 劉海平/遠1，通過對比虛擬化層的配置，版本等信息一層層排查導致虛機 IOPS 變低的原因。解決以下問題：1，虛機內測試 IOPS 時，IOPS 數值始終在 300500 的問題，目前虛機內 IOPS 能達到一個正常的值。 劉海平/遠1,對華僑城所有虛機，進行硬重啟，的配置，來提高虛機 iops。2，對華僑城 ceph 集群進行性能測試，測試項如下sas + ssd journal 測試 10 分鐘(16 線程+32隊列深度)將 ssd 從集群中剝出純 SAS 測試 10 分鐘(16 線程+32 隊列深度)測試純 SSD 的性能測試 10 分鐘(16 線程+32 隊列深度)3

7、,對華僑城的測試環(huán)境進行了一個包的升級，并進行了對應的測試。 劉海平/遠1，對剩余的業(yè)務區(qū)和內聯(lián)區(qū)的全部虛機進行硬重啟，目前都以重啟完沒有發(fā)現問題。2，對 windows 虛機重啟會出現偶發(fā)性掛載的云硬盤成脫機狀態(tài)問題進行了調研，并解決此問題，解決方法為 windows 開啟自動硬盤自動聯(lián)機。3，修復了 dhcp-agent 的因為使用中文 availability zone 名的偶發(fā)性無法正常獲取 ip。 劉海平/遠1，小融通、IB 有以下四臺虛為 ERROR 狀態(tài)，UUID 為 6b8d497e-c7c2-4046-987e-b79fbd6f3b80， f35ec166-a4b0-4fc1

8、-a984-d6ac63d9591f，78038f8c-abe3-4f84-ad15-87e5bcabbe13 ， 7e93f442-91ff-430a-b8ba-570fd99bef2d，經過排查發(fā)現這四臺云主機在 2017 年 7 月 15 日 22:29:46 執(zhí)行過重建云主機操作后 get image 錯，導致重建報錯 劉海平/遠進行條帶化調整調整項目如下非現場、寶、中山APP、同花順網上交易、呼叫中心、大智慧、思迪*、行情系統(tǒng)、藍* 劉海平/遠1，進行 條帶化調整調整項目如下慧點合規(guī)、 風控、恒生凈資本、 財務、 人力、恒生 墻、恒生資管、恒生 PB、 存管、協(xié)同辦公系統(tǒng)操作步驟：(

9、1) 獲取云主機的 uuid 和云硬盤的 uuid，并關機；2，3 個節(jié)點不同大小 journal 測試，測試 隨機寫 IOPS 穩(wěn)定為 16000 時，journal 大小擴大為 20G 時 IO 抖動情況。 劉海平/遠1，進行 條帶化調整調整項目如下恒生股轉、恒生云 TA、 訂單路由、 管理、萬得資訊、百旺稅控、贏時勝估值、今日科技、明動固定收益、思迪展業(yè)寶、網絡輔助系統(tǒng)、自動化運 礎服務、分布式 系統(tǒng)、防 、報表系統(tǒng)及老版官網、公司 系統(tǒng)、投行底稿系統(tǒng)、運維審計、思迪小融通。操作步驟：2.2項目變更情況2.2.1項目內容變更情況變更日期執(zhí)行人變更內容2017-07-01劉海平修改/etc

10、/ceph/ceph.conf 文件，添加 rbd_default_features = 3,確保 ceph 的性能能夠達到理想的效果，并重啟mon 和 osd 服務2017-07-07遠添加 node-4 和 node-5 為 ceph mon 節(jié)點，當前 ceph 的 mon 節(jié)點數為 5 個，且 ceph.conf 同步至所有節(jié)點，并重啟mon 和 osd 服務2017-07-08劉海平將 SSD 從 journal 中剝離，恢復 SAS池文件 journal 方式，將SSD 資源池加入到 ceph 集群中，并通過 crushmap 的方式(1) 獲取云主機的 uuid 和云硬盤的 uu

11、id，并關機； 2，3 個節(jié)點不同大小 journal 測試，測試 隨機寫 IOPS 穩(wěn)定為 16000 時，journal 大小擴大為 40G 時 IO 抖動情況。 劉海平/遠1，協(xié)助佘工處理控制節(jié)點陣列卡更換。 2，還原生產環(huán)境的 ssd journal 分區(qū)。 (5)刪除曾經的 local journal 軟建立 ssd 分區(qū)到 osd journal 的軟重建 journal。 劉海平/遠1，完成華僑城測試環(huán)境集易和融資融券兩個項目的條帶化處理。2，完成生產環(huán)境的穩(wěn)定 IOPS 值的測試，詳情看附件修復以下問題：1，vnc 超時時間太短問題，現修改超時時間為 5 分鐘。 。 遠云項目上

12、線保障 遠控制節(jié)點,節(jié)點 RAID 卡固件升級 劉海平排查網絡環(huán)路的原因，定位到交換機有環(huán)路，ospf鄰居路由翻滾；調研 RAID 卡導致機器重啟的原因；處理云主機緩慢，無法，機器無故重啟問題2017-07-10劉海平修改/etc/cinder/cinder.conf 文件，增加了 sas 資源池和 ssd 資源池，并設置 cinder type，修改 ceph 中 compute 用戶權限ssd 池2017-07-11劉海平修改/etc/ceph/ceph.conf 文件， 添加 rbd_cache = false 和osd_crush_update_on_start = false 配置，

13、并重啟 mon 和 osd 服務2017-07-11遠修改/etc/ceph/ceph.conf 文件，添加 rbd_default_stripe_unit =128K 和 rbd_default_stripe_count = 16，重啟 mon 和 osd 服務(條帶化)2017-07-13劉海平修改/usr/bin/clean-system-cache.sh內容的 23 行，將$7 修改為$6，并同步到所有節(jié)點上，確保 cache功能能夠正?？捎?017-07-21劉海平修改控制節(jié)點+ 計算節(jié)點的 /etc/neutron/neutron.conf ，將 kombu_reconnect_d

14、elay=5.0 修改為 kombu_reconnect_delay=1.0，重啟 neutron-metadata-agent 服務2017-07-25劉海平將所有節(jié)點的 osd journal 調整為 20G，刪除之前創(chuàng)建的 ssd ceph 集群和 cinder 配置的 ssd type，并刪除 crushmap 中關于 ssd的配置2017-07-25劉海平修改/etc/ceph/ceph.conf,將 rbd_cache = false 修改為 true，重啟所有 mon 和 osd 節(jié)點進程2017-07-26劉海平修改/etc/haproxy/haproxy.cfg，將 time

15、ont 時長，由 1m修改為 5m(VNC 超時時間過快)，重啟 haproxy 服務，resource restart p_haproxy2017-07-26劉海平修改了服務的 worker 數量，包括 keystone、nova、neutron、cinder2017-07-26遠遠修改 neutron dhcp 分配的 rslove.conf 的 search 默認為不分配，：1. 修改 dhcp 的-dhcp，修改 neutron.conf 內的dns_= “”，2. 修改 dhcp-agent.ini內的dhcp_doamin = “”，并重啟 node-24 到 node-64 的

16、neutron-dhcp-agent；2017-07-26劉海平2017-07-26劉海平修改/etc/ceph/ceph.conf 文件，將 osd_crush_update_on_start = false 刪除，并重啟 mon 和 osd 服務(相關自定義的 crushmap 已經刪除，恢復 ceph 原始的現狀)2.2.2項目需求變更情況無3項目驗收計劃3.1項目驗收原則1、提供驗收的各類文檔的正確性、完整性和性，文檔是否齊全、合理；2、3、4、項目功能是否達到了規(guī)定的要求；項目有關服務指標是否達到了要求；項目投資以及實施進度的情況；5、對項目的技術水平做出評價，并得出項目的驗收結論。

17、3.2項目驗收方式驗收所屬所屬角色相關職責演中山公司項目經理項目進度、架構、需求中山公司項目成員協(xié)助項目、技術市神州動力數碼項目經理跟進項目進度和項目驗收劉海平思達科技發(fā)展實施項目經理把控項目進度和需求遠思達科技發(fā)展實施工程師項目實施、配置、測試,保障2017-07-28劉海平2017-07-28劉海平修改/etc/glance/glance-api.conf 文件，將 flavor=keystone+cachemanagement 修改為 flavor=keystone,重啟 glance-api 服務，防止rbd 的 image 鏡像 cache3.3項目驗收內容1、云功能驗收；計算(多區(qū)

18、域)、網絡(多分區(qū))、2、項目文檔驗收；技術實施方案、運維手冊和用戶使用手冊、鏡像、認證等相關功能3、項目服務響應（如、問題響應等方面）驗收?？蛻粜枨髥栴}優(yōu)化、技術故障處理等和問題響應。4項目驗收情況匯總4.1項目驗收情況匯總表4.2項目驗收附件明細1、云驗收單（見附件一）。3、項目文檔驗收單（見附件二）。驗收項驗收意見備注通過不通過云功能服務響應相關文檔總體意見：項目驗收組長（簽字）未通過理由：項目驗收組長（簽字）5項目驗收資料5.1 開發(fā)項目實施總結中山私有云項目一期共包含 9 個物理分區(qū)，分區(qū)之間相互以實現安全要求，為業(yè)務提供計算、網絡功能，符合預期。開發(fā)（簽章）5.2 使用意見使用（簽字或簽章）服務及響應滿意度：543216附件6.1