2023超融合平臺技術方案

作者：職場人超融合平臺技術方案一、總體技術要求要求超融合系統(tǒng)需提供計算虛擬化、網(wǎng)絡虛擬化、存儲虛擬化能力。提供虛擬交換機、分布式虛擬路由器、虛擬機容災備份等功能模塊。配置與超融合服務器對應的計算虛擬化軟件授權、存儲虛擬化軟件授權。所有超融合節(jié)點不限制虛擬機數(shù)量，不限制虛擬路由器、虛擬交換機數(shù)量。管理平臺即可實現(xiàn)對計算、存儲、網(wǎng)絡等資源進行統(tǒng)一管理，所有功能無需界面跳轉即可實現(xiàn)全部操作，真正融合、簡化管理。統(tǒng)一運維要求：針對超融合整體軟硬件故障問題，提供統(tǒng)一的可視的監(jiān)控管理中心，可視化實時監(jiān)控中心從硬件可靠性、系統(tǒng)可靠性、服務可靠性三大層面進行實時監(jiān)控、分層展示，運維人員可以直觀查看集群的整體運行情況，可以快速診斷集群的健康狀態(tài)，同時支持對無需關注的檢測異常啟用屏蔽功能，啟用屏蔽功能的檢測異常將不會上報顯示，現(xiàn)實可視、可控、可管，簡化運維。資源擴容要求：能提供同一品牌的計算、存儲、網(wǎng)絡虛擬化軟件，可支持從三節(jié)點起步橫向彈性擴容。集群規(guī)模要求：集群節(jié)點數(shù)≥3節(jié)點，并支持超融合節(jié)點數(shù)為3節(jié)點時，最少擴容節(jié)點數(shù)為1，擴容時要求原有集群業(yè)務不停機，以滿足依不同業(yè)務分區(qū)分域部署需求，最小化配置集群規(guī)模，以降低初始投入，并滿足資源無縫、按需擴展。拓撲管理要求：支持對整個平臺虛擬設備實現(xiàn)統(tǒng)一的管理，虛擬化WEB管理平臺可以完成網(wǎng)絡拓撲的構建，完成各類虛擬設備的自助邏輯編排，支持在管理平臺上連接、開啟、關閉各類虛擬設備，拓撲呈現(xiàn)業(yè)務流量信息，所畫即所得，方便運維管理；配備滿足當?shù)仉娋W(wǎng)要求的國產(chǎn)主流操作系統(tǒng)。二、詳細分項技術要求1.超融合設備技術要求通過X86架構的服務器構建可靠的計算、存儲節(jié)點。基于平臺對可用性的要求，本次總共配置9臺計算存儲節(jié)點（其中生產(chǎn)控制大區(qū)2區(qū)3臺），2臺計算存儲節(jié)點（GPU），3臺分布式存儲設備，滿足平臺計算、存儲、網(wǎng)絡資源的承載。各節(jié)點設備配置要求如下：標準X86服務器設計，2U機架式安裝，支持計算存儲超融合架構，硬件虛擬化，在線擴容的靈活性以及支持服務器智能管理等新特征，易用易維護，模塊化與熱拔插部件設計，支持在線不停機系統(tǒng)維護。具備卓越的可靠性、可用性和可維護性（RAS）。1）9臺計算存儲節(jié)點具體參數(shù)要求如下：項目技術指標要求高性能服務器外觀采用2U機架式服務器CPU配置2顆X86架構CPU，每顆≥16核，主頻≥2.9GHz。內(nèi)存配置內(nèi)存≥16*32GBDDR4，單根內(nèi)存條要求≥32GDDR42933，服務器專用內(nèi)存，含ECC糾錯功能；硬盤配置系統(tǒng)盤≥2*240GSSD（企業(yè)級），配置緩存盤≥2*1.92TSSD（企業(yè)級），配置數(shù)據(jù)盤容量≥4*6THDD；磁盤槽位≥12個3.5寸硬盤插槽；網(wǎng)口配備≥4個10GE端口（包含4個萬兆多模光模塊），配備≥4個GE端口。帶外管理標配BMC診斷模塊，可實現(xiàn)對CPU/內(nèi)存/硬盤/網(wǎng)卡/風扇/溫度/電源等關鍵部件的故障診斷；電源配置雙電源冗余。服務包含3年硬件保修和3年軟件升級服務。2）2臺計算存儲節(jié)點（GPU）具體參數(shù)要求如下：項目技術指標要求GPU服務器外觀采用2U機架式服務器；CPU配置2顆X86架構CPU，每顆≥16核，主頻≥2.9GHz。GPU配置≥2*NVIDIARTXa6000GPU卡內(nèi)存配置內(nèi)存≥16*32GBDDR4，單根內(nèi)存條要求≥32GDDR42933，服務器專用內(nèi)存，含ECC糾錯功能；硬盤配置系統(tǒng)盤≥240GSSD（讀寫混合型），配置緩存盤≥2*1.92TSSD（讀寫混合型），配置數(shù)據(jù)盤容量≥4*6T；磁盤槽位≥8個2.5/3.5寸硬盤插槽；網(wǎng)口配備≥4個10GE端口（包含4個萬兆多模光模塊），配備≥2個GE端口。帶外管理標配BMC診斷模塊，可實現(xiàn)對CPU/內(nèi)存/硬盤/網(wǎng)卡/風扇/溫度/電源等關鍵部件的故障診斷；電源配置雙電源冗余。3）3臺分布式存儲設備技術要求技術指標指標要求硬件配置采用通用X86架構服務器，提供12個熱插拔驅動器位，配置一顆2.4GHz/10核IntelXeonSilverCPU，配置>=32GB內(nèi)存，6塊960GB固態(tài)硬盤，24塊12TBSATA機械硬盤；配置2*1GbEthernet+2*10GbEthernet，標配1塊240GB存儲容量的SSD系統(tǒng)盤，冗余電源?；疽髧鴥?nèi)知名廠商，非OEM產(chǎn)品，非聯(lián)合產(chǎn)品。存儲分為硬件和軟件兩個部分，硬件使用通用X86服務器，軟硬件解耦。軟件部分按容量進行統(tǒng)一授權，同時提供塊、文件、對象、大數(shù)據(jù)存儲服務，軟件一次授權終身使用，快照、緩存加速池等高級功能全部免費開放，無需重復付費。系統(tǒng)架構采用全對稱分布式架構，元數(shù)據(jù)和數(shù)據(jù)的融合部署到存儲節(jié)點上，不需要使用獨立管理節(jié)點（元數(shù)據(jù)節(jié)點或索引節(jié)點）；元數(shù)據(jù)、數(shù)據(jù)均采用集群方式部署，任何一個節(jié)點出現(xiàn)故障，不影響數(shù)據(jù)的正常訪問在不停機情況下，既能夠通過向集群中添加存儲節(jié)點，也能夠向節(jié)點內(nèi)添加硬盤的方式，在業(yè)務不中斷情況下實現(xiàn)靈活擴容對象存儲對象存儲桶提供多版本能力，開啟多版本后，桶中的對象都以多版本形式存儲。同時，可自定策略刪除多版本數(shù)據(jù)，從而清理過期數(shù)據(jù)，釋放被占用空間。對象存儲支持SSL訪問加密，通過購買受信任CA認證中心頒發(fā)的數(shù)字證書，然后應用在對象存儲，可將HTTP訪問轉換成HTTPS，提供認證加密功能。在客戶端和服務器端之間建立加密通道，保證數(shù)據(jù)在傳輸過程中不被竊取或篡改。配置對象存儲Qos功能，可以設置不同用戶訪問某個bucket的帶寬/請求數(shù)上限，從而防止邊緣業(yè)務的過多資源占用。管理平臺內(nèi)置數(shù)據(jù)檢索功能，支持通過對象名稱前綴對海量數(shù)據(jù)進行秒級快速檢索，在5秒內(nèi)能返回檢索結果。文件存儲同時提供NFS、CIFS、FTP以及原生HDFS四種存儲接口，無須在應用層安裝插件，減少業(yè)務系統(tǒng)改造成本，滿足不同應用系統(tǒng)對存儲接口的要求提供一個統(tǒng)一的全局命名空間，系統(tǒng)內(nèi)所有節(jié)點的存儲資源被整合為一個超大容量的文件存儲空間，資源完全共享，避免存儲空間因為提前劃分造成浪費，文件系統(tǒng)內(nèi)任意數(shù)據(jù)可通過任意節(jié)點進行讀寫訪問。配置目錄級快照功能，可按時間點策略進行快照，支持快照數(shù)≥1024個。快照重命名，刪除快照鏈上任意快照點，以及快照點任意文件數(shù)據(jù)回滾，以達到數(shù)據(jù)的精準恢復。塊存儲支持FCSCSI、iSCSI兩種塊存儲接口支持配置Chap認證，支持單向認證、雙向認證和不認證多種認證方式提供定時快照保護，支持按照時間點、時間段為LUN或一致性組設置定時快照策略，實現(xiàn)數(shù)據(jù)的本地定時備份提供一致性組快照，支持將多個LUN加入一致性組，并支持創(chuàng)建一致性組快照，對數(shù)據(jù)庫進行數(shù)據(jù)保護。兼容性提供原生HDFS協(xié)議，無需使用專用客戶端即可無縫對接HADOOP平臺，從而確保存儲性能，以及降低運維部署復雜度。應用集成插件，支持VMware等集群軟件，支持虛擬存儲API接口，使得虛擬機的部分操作能通過存儲控制器來完成；支持VAAI；可靠性支持硬盤亞健康預測、檢測和故障自動處理，靜默錯誤檢測，能夠提前預判硬盤故障風險，做好硬件更換準備，并在界面上做出提示支持多副本冗余功能，支持2個或以上副本，副本互斥地保存在集群的不同節(jié)點，當1個或多個主機或者磁盤故障，確保數(shù)據(jù)依舊正常訪問。性能緩存層采用通用SATASSD，文件和對象存儲可實現(xiàn)單節(jié)點4k小文件隨機讀寫不低于1萬OPS，3節(jié)點不低于3萬OPS塊存儲單節(jié)點混合配置（緩存層采用SATA接口SSD，容量層采用SATA接口HDD）提供至少10萬IOPS。集群可實現(xiàn)線性增長，三節(jié)點滿足30萬以上IOPS處理能力（4KB隨機讀模型）運維管理支持塊存儲LUN和主機間拓撲展示功能，當前授權服務器和LUN之間的對應關系方便用戶查看以及故障定位。支持查看對象存儲bucket的訪問性能，支持查看bucket最近一周內(nèi)的性能訪問趨勢（帶寬、OPS、時延），便于管理員掌握業(yè)務訪問情況及快速定位業(yè)務訪問故障。支持對硬件平臺的CPU、內(nèi)存、磁盤、網(wǎng)卡狀態(tài)進行監(jiān)控和頁面展示，并模擬實物服務器，硬件的故障亮燈展示在監(jiān)控界面上，比如硬盤故障亮燈2.超融合計算虛擬化技術要求項目技術指標要求計算虛擬化產(chǎn)品要求虛擬化軟件非OEM或貼牌產(chǎn)品，禁止借用第三方軟件的整合，以保證功能的可靠性和安全性。平臺架構采用分布式管理架構，去中心化，管理平臺不依賴于某一個虛擬機或物理機部署，采用分布式架構保障平臺更可靠虛擬化軟件應基于KVM開發(fā)，可維護性好，部署時無需綁定安裝OpenStack相關軟件基本要求虛擬機可以實現(xiàn)物理機的全部功能，如具有自己的資源（內(nèi)存、CPU、網(wǎng)卡、存儲），可以指定單獨的IP地址、MAC地址等兼容性要求：支持現(xiàn)有市場上主要國內(nèi)外操作系統(tǒng)，包括Windows、CentOS、RedHat、Ubuntu等。提供虛擬機啟動、暫停、恢復、休眠、重啟、關閉、克隆、遷移、刪除、快照等功能的批量操作提供集群HA（高可用），DRS（動態(tài)資源調度）功能性要求支持集群動態(tài)資源調度功能DRS，可以查看集群資源調度信息，可以通過CPU和內(nèi)存查看物理主機的負載情況，可以通過特定虛擬機調度配置展示物理主機負載過高時，自動將該物理主機上的虛擬機遷移到其他負載較低的主機上具有合理的內(nèi)存調度機制，支持內(nèi)存回收機制，實現(xiàn)虛擬化平臺內(nèi)存資源的動態(tài)復用，并支持手動設置內(nèi)存超配機制，能夠實現(xiàn)內(nèi)存的過量使用，保證內(nèi)存資源的充分利用支持虛擬機跨集群的虛擬機遷移，支持在不停機的狀態(tài)下跨集群遷移支持設置告警類型（緊急和普通）、告警內(nèi)容（集群、主機、虛擬機、CPU、內(nèi)存、磁盤），針對告警信息平臺可自動給出告警處理建議，同時支持將告警信息以短信和郵件方式發(fā)送給管理員創(chuàng)建或編輯虛擬機時，支持對磁盤IO進行限制，從而保障集群的QoS在超融合管理平臺界面上提供虛擬機刪除、開關機、掛起與恢復、重啟、關閉、關閉電源、克隆、遷移、備份、模板導出、快照、標簽管理等功能，并支持批量操作。支持在控制臺和CLI提供基礎的命令行功能，通過命令行可以進行基礎的排障操作，簡化用戶運維操作平臺監(jiān)控告警基本資源監(jiān)控功能，查看CPU、網(wǎng)絡和磁盤已使用實時數(shù)據(jù)信息，可以點擊告警設置對CPU、網(wǎng)絡和磁盤進行占用閾值設置操作，可以以告警通知維護管理自動收集所有的相關的軟件的日志，告警，提供告警合并和日志審計功能虛擬機調度策略支持互斥和親和策略，可指定虛擬機運行到指定主機組，提供基于主機組的調度策略支持對超融合平臺的硬件進行監(jiān)控和大屏展示，包含CPU、內(nèi)存、網(wǎng)卡、硬盤、存儲等硬件健康檢測，便于及時發(fā)現(xiàn)問題并提供相應異常檢測項的恢復指導建議支持修改虛擬機的配置參數(shù)，包括：存儲策略、運行位置、是否重要虛擬機、是否高性能虛擬機、CPU個數(shù)、內(nèi)存大小、自動啟動等；支持彈性伸縮，可設置一組相同角色的虛擬機，按照CPU或內(nèi)存的平均使用率指標，通過預訂的伸縮策略，自動的創(chuàng)建/刪除云主機.顯卡虛擬化支持在編輯虛擬機時進行顯卡設置操作，可選擇顯卡的使用方式，包括直通和切分，查看顯卡的直通使用方式詳情，包括數(shù)量和顯卡型號、最大分辨率和單核心vGPU數(shù)，查看顯卡的切分使用方式詳情，包括顯卡型號、切分方式、顯存容量、最大分辨率和單核心vGPU數(shù)支持修改虛擬機綁定的顯卡切片類型，虛擬機重啟后生效，例如：將T4-1Q更改為T4-2Q支持顯卡直通和顯卡虛擬化2種方案，兼容T4、V100、A40等專業(yè)顯卡支持基于KVM開源虛擬化平臺的顯卡虛擬化切片技術，能將顯卡切片后直接綁定給某個虛擬機使用，虛擬機關機后自動釋放顯卡資源3.超融合存儲虛擬化技術要求項目技術指標要求存儲虛擬化產(chǎn)品要求存儲虛擬化軟件非OEM或貼牌產(chǎn)品，禁止借用第三方軟件的整合，以保證功能的可靠性和安全性。架構要求采用分布式的軟件定義存儲架構，在通用服務器部署，把所有服務器硬盤組織成一個虛擬存儲資源池，提供分布式存儲服務，無需獨立的元數(shù)據(jù)及控制器節(jié)點，使用超融合管理平臺統(tǒng)一管理，無需在計算虛擬化平臺上部署存儲控制器，同個管理平臺支持≥256個節(jié)點。平臺架構采用分布式的軟件定義存儲架構，在通用x86服務器部署，把所有服務器硬盤組織成一個虛擬存儲資源池，提供分布式存儲服務，無需獨立的元數(shù)據(jù)及控制器節(jié)點；通過新增物理服務器可以實現(xiàn)存儲容量和性能的橫向擴展（Scale-Out架構），擴容過程保證業(yè)務零中斷。支持存儲虛擬化功能，無需安裝額外的軟件，存儲虛擬化與計算虛擬化為緊耦合架構，減少底層開銷，提升性能功能要求可以根據(jù)業(yè)務需求分配固定的物理存儲空間、支持精簡配置，可以根據(jù)應用實際寫需要時才分配相應的物理存儲空間。支持通過智能小文件合并技術，對海量小文件場景下的性能進行優(yōu)化，有效提升數(shù)據(jù)寫入效率。支持卷快照，支持可寫快照、定時快照，一致性組快照；支持鏈接克隆、完整克隆。具有存儲緩存機制提供冷熱數(shù)據(jù)分層能力，將熱數(shù)據(jù)存儲在高速緩存層（如SATA固態(tài)硬盤、PCIe固態(tài)硬盤等），以保證訪問熱數(shù)據(jù)時能夠快速返回成功。定期將緩存層上的冷數(shù)據(jù)回刷至底層機械硬盤（HDD），騰出空間使得業(yè)務數(shù)據(jù)寫入時無需等待即可快速寫入緩存層。支持通過延伸集群的方式實現(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)雙活，每個數(shù)據(jù)中心均保存完整的數(shù)據(jù)副本，數(shù)據(jù)同時寫入到兩個數(shù)據(jù)中心，任何一個數(shù)據(jù)中心故障，數(shù)據(jù)零丟失，業(yè)務分鐘級別恢復，實現(xiàn)RPO=0、RTO分鐘級支持對虛擬磁盤設置不同的分層QoS能力，區(qū)分出高性能虛擬機、普通性能虛擬機和低性能虛擬機副本機制要求：支持多副本保護機制，支持依據(jù)業(yè)務數(shù)據(jù)重要性進行靈活設置副本數(shù)量機制。支持2個或以上多副本冗余功能，且多副本支持副本聚合策略，數(shù)據(jù)以性能優(yōu)先為原則進行存儲，將虛擬機的一份完整數(shù)據(jù)副本自動放在運行的物理機上，提高讀寫性能。軟件支持副本散列策略，數(shù)據(jù)以分布均勻為原則，實現(xiàn)數(shù)據(jù)存儲勻化分布。數(shù)據(jù)自動重建要求：磁盤或者節(jié)點故障之后無需人工干預，數(shù)據(jù)在集群內(nèi)硬盤的剩余空間中自動重構。支持對虛擬機業(yè)務按照小時/天/周自定義設置定時快照策略，以便業(yè)務發(fā)生故障時可以快速回滾覆蓋原虛擬機或者通過對快照進行克隆的方式生成全新虛擬機，進而恢復至業(yè)務健康狀態(tài)。塊存儲支持多種存儲配置；磁盤精簡分配根據(jù)應用實際寫需要時才分配相應的物理存儲空間，磁盤動態(tài)分配機制根據(jù)業(yè)務動態(tài)需求分配存儲資源，實現(xiàn)預分配的高性能和提高磁盤利用率支持數(shù)據(jù)重建智能保護業(yè)務性能，可以對數(shù)據(jù)重建速度進行智能限速，避免數(shù)據(jù)重建過程中IO性能占用導致對業(yè)務的性能造成影響支持數(shù)據(jù)分層，提供好的讀寫性能，并支持對重要虛擬機提供性能保護支持選擇多種克隆方式，包括快速全量克隆、全量克隆和鏈接克隆，可查看通過鏈接克隆的虛擬機是否運行正常支持存儲分卷功能，以物理主機為單位劃分為不同的存儲卷，可將集群內(nèi)全閃存的節(jié)點組成一個高性能存儲池，滿足高性能應用需求，將混閃節(jié)點組成一個大容量存儲池，滿足低性能大容量的應用需求；所有類型不同性能磁盤均可支持分區(qū)，包含SSD、SAS、SATA、NL-SAS等為保證集群業(yè)務或者oraclerac數(shù)據(jù)庫業(yè)務的快照一致性，以便故障時業(yè)務可通過快照恢復，支持對虛擬機配置一致性組，對整個一致性組進行快照

3臺起步即可組建集群，支持在同一個存儲池（卷）內(nèi)，針對不同的虛擬機，靈活地滿足用戶的可靠性需求故障運維支持對虛擬機或虛擬磁盤設置數(shù)據(jù)分布策略，當采用副本散列策略時，可以保證虛擬機以分布均勻優(yōu)先為原則，打散分布均勻在各物理主機上支持磁盤健康狀態(tài)監(jiān)測，包括CPU、內(nèi)存、SSD、HDD、網(wǎng)卡、外置存儲等健康狀況，支持郵件和短信告警4.超融合網(wǎng)絡虛擬化技術要求項目技術指標要求網(wǎng)絡虛擬化產(chǎn)品要求產(chǎn)品完全自研，非OEM?；A功能在管理平臺上可以通過拖拽虛擬設備圖標和連線就能完成網(wǎng)絡拓撲的構建，快速的實現(xiàn)整個業(yè)務邏輯，并且可以連接、開啟、關閉虛擬網(wǎng)絡設備，支持對整個平臺虛擬設備實現(xiàn)統(tǒng)一的管理，提升運維管理的工作效率.可通過License激活的方式，實現(xiàn)網(wǎng)絡虛擬化功能（分布式虛擬交換機、虛擬路由器、虛擬應用防火墻、虛擬應用負載均衡）超融合能夠提供端口鏡像功能，支持將超融合內(nèi)部網(wǎng)絡流量鏡像到內(nèi)部虛擬機實現(xiàn)網(wǎng)絡虛擬化功能（分布式虛擬交換機、虛擬路由器、分布式防火墻），支持網(wǎng)絡虛擬化網(wǎng)絡和現(xiàn)有的Vlan網(wǎng)絡對接。為滿足用戶使用IPv6地址的需求，支持為虛擬機配置IPv6地址，并可通過IPv6地址訪問該業(yè)務5.云計算管理平臺技術要求項目技術指標要求云計算管理平臺產(chǎn)品要求產(chǎn)品完全自研，非OEM基礎要求云計算管理平臺，和底層資源池部分的（計算虛擬化、存儲虛擬化、網(wǎng)絡虛擬化）均為同一廠商品牌提供，并可以支持擴展同一品牌的網(wǎng)絡和安全虛擬化（虛擬應用防火墻、虛擬應用負載均衡等）功能軟件，以保障平臺的擴展性和兼容性云管平臺應具備大規(guī)模資源池的納管能力，可支持跨地域的多集群管理，多集群的物理節(jié)點納管規(guī)模應超過1000臺大屏展示支持大屏展示便于客戶直觀查看虛擬化資源池的使用情況和健康狀態(tài)，包括集群資源情況，各主機資源使用情況，包括內(nèi)存/CPU/磁盤使用趨勢，以及集群故障與告警等鏡像管理支持上傳或利用現(xiàn)有云主機創(chuàng)建鏡像，可對鏡像進行管理、關聯(lián)資源池等操作，可通過鏡像實現(xiàn)一鍵快速創(chuàng)建云主機及安全軟件支持管理公共鏡像（ISO、內(nèi)置鏡像），資源池可見范圍，并通過鏡像直接創(chuàng)建云主機，支持管理租戶的私有鏡像（上傳、刪除），支持上傳admin私有鏡像，并可以選擇分享給指定租戶。支持將私有鏡像轉為公共鏡像。云資源支持添加、管理超融合HCI、VMware類型的集群，并