版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、最新資料推薦 PAGE 5 / 60XXXX 人 民 醫(yī) 院數(shù) 據(jù)中心建設(shè)方案目 錄 、 需求分析 3目前數(shù)據(jù)中心現(xiàn)狀 3需求匯總 4二 、 數(shù)據(jù)中心建設(shè)規(guī)劃技術(shù)方案 5第一階段數(shù)據(jù)中心建設(shè)基礎(chǔ)架構(gòu)規(guī)劃 6、建設(shè)超融合架構(gòu)數(shù)據(jù)中心 7現(xiàn)有業(yè)務(wù)系統(tǒng)分類 8中心機(jī)房超融合虛擬化平臺(tái)建設(shè) 9超融合虛擬化平臺(tái)實(shí)施規(guī)劃 11機(jī)柜冗余設(shè)計(jì) 11NTP 時(shí)間服務(wù) 12命名規(guī)則 12虛擬化主機(jī)配置表 15物理主機(jī)網(wǎng)絡(luò)端口規(guī)劃 16虛擬機(jī)創(chuàng)建規(guī)劃 17模板配置 17數(shù)據(jù)副本數(shù)量選擇 17超融合架構(gòu)介紹18虛擬化軟件的選擇23虛擬化平臺(tái)虛擬機(jī)安全24業(yè)務(wù)系統(tǒng)遷移方法28系統(tǒng)培訓(xùn)及知識(shí)轉(zhuǎn)移29、業(yè)務(wù)系統(tǒng)整合31中心
2、機(jī)房業(yè)務(wù)系統(tǒng)整合31東區(qū)機(jī)房業(yè)務(wù)系統(tǒng)整合32腦科機(jī)房 HIS 系統(tǒng)整合32腦科機(jī)房其他系統(tǒng)整合33 2.3、虛擬化平臺(tái)災(zāi)備系統(tǒng)建設(shè) 33容災(zāi)系統(tǒng)基本概念和指標(biāo) 33容災(zāi)建設(shè)的工作內(nèi)容 35災(zāi)難備份/恢復(fù)方案應(yīng)該具備的特點(diǎn) 37現(xiàn)有系統(tǒng)環(huán)境分析 38容災(zāi)系統(tǒng)設(shè)計(jì) 38、建設(shè)數(shù)據(jù)中心統(tǒng)一備份平臺(tái)40利用超融合平臺(tái)的優(yōu)勢進(jìn)行本地備份 40使用備份一體機(jī)進(jìn)行統(tǒng)一冷備份 41、超融合系統(tǒng)的技術(shù)優(yōu)勢 50橫 向 擴(kuò) 展 優(yōu) 勢 52性 能 優(yōu) 勢 53可 靠 性 54易 于 部 署 55集 中 管 理 55自 動(dòng) 故 障 恢 復(fù) 57、建設(shè)數(shù)據(jù)中心統(tǒng)一云管理平臺(tái)582.8、項(xiàng)目預(yù)算清單60首先非常感謝XX
3、X 人民醫(yī)院對的信任。也希望憑借自身多年在各個(gè)行業(yè)的云平臺(tái)建設(shè)以及容災(zāi)項(xiàng)目實(shí)施中的項(xiàng)目管理、基礎(chǔ)架構(gòu)咨 詢、技術(shù)實(shí)現(xiàn)的經(jīng)驗(yàn),協(xié)助XXX 人民醫(yī)院建設(shè)高效可靠的IT 基礎(chǔ)架構(gòu)系統(tǒng),成功地完成新建數(shù)據(jù)中心的咨詢和實(shí)施,降低XXX 人民醫(yī)院業(yè)務(wù)系統(tǒng)的運(yùn)營風(fēng)險(xiǎn)。一、需求分析在“互聯(lián)網(wǎng)+”時(shí)代,傳統(tǒng)行業(yè)模式被極大顛覆,極致、高效的客戶體驗(yàn)成為各行業(yè)關(guān)注的焦點(diǎn);堅(jiān)持以人為本,全面提升醫(yī)療信息化水平,增強(qiáng)醫(yī)院綜合就醫(yī)能 力,建立以患者為中心的醫(yī)院診療服務(wù)系統(tǒng)和管理系統(tǒng)成,為開展智慧醫(yī)療和智 慧醫(yī)院建設(shè)的重大挑戰(zhàn)!隨著XXX 市人民醫(yī)院業(yè)務(wù)的增長,對于IT 信息系統(tǒng)的要求不僅僅是 滿 足 業(yè)務(wù)系統(tǒng)的正 常要求
4、。而且 在數(shù)據(jù)的安 全性 ,數(shù)據(jù)的分層 管理、備份 、遠(yuǎn)程 災(zāi)備等 方 面也提出更 高的要求。目前 數(shù)據(jù)中心現(xiàn)狀XXX 人民醫(yī)院目前共有三 個(gè)機(jī)房 ,分別是 中心機(jī)房 、東區(qū)機(jī)房 和腦科機(jī)房 。其 中中心機(jī) 房 規(guī) 模最大,共 有 45臺(tái)服務(wù)器 設(shè)備 ,東 區(qū) 機(jī) 房 共 有 7臺(tái)設(shè)備 ,腦 科 機(jī) 房共有11 臺(tái)設(shè)備。中心機(jī)房已經(jīng)建立了比較完整的數(shù)據(jù)中心基礎(chǔ)架構(gòu)支撐平臺(tái), HIS 核心數(shù)據(jù)庫部署在中心機(jī)房,采用東軟的解決方案,數(shù)據(jù)庫運(yùn)行環(huán)境是Oracle 10g,運(yùn)行在安騰架構(gòu)的Rx9800上,中心機(jī)房其他服務(wù)器設(shè)備以HP 388和580,以及LenovoRD 630為主。PACS 系統(tǒng)一套
5、6節(jié)點(diǎn)的Isilon 存儲(chǔ)和3節(jié)點(diǎn)容災(zāi)存儲(chǔ),專門存放非結(jié)構(gòu)化的影像數(shù)據(jù)。東區(qū)機(jī)房是中心機(jī)房的災(zāi)備機(jī)房,包括2臺(tái)HP 388G7、2臺(tái)HP 580G7、1臺(tái)HP rx2600和2臺(tái)Lenovo RD 630,其中rx2600是核心HIS 數(shù)據(jù)庫的備機(jī)。腦科機(jī)房是較為獨(dú)立的系統(tǒng),擁有獨(dú)立的HIS 系統(tǒng),采用東華的解決方案,以HP DL388G7和DL580G7為主。三個(gè)機(jī)房中設(shè)備啟用時(shí)間在2007-2013年左右,大部分已經(jīng)不在質(zhì)保期 ,并且除關(guān)鍵業(yè)務(wù)外,其余業(yè)務(wù)系統(tǒng)無本地高可用和容災(zāi)保護(hù)。同時(shí)各個(gè)業(yè)務(wù)系統(tǒng)相對獨(dú)立,各自具備單獨(dú)的服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)資源,部分服務(wù)器和存儲(chǔ)系統(tǒng)已經(jīng)不在保修范圍或停產(chǎn),
6、原有平臺(tái)豎井式架構(gòu)搭建,隨著時(shí)間的累計(jì),架構(gòu)越 來越復(fù)雜,且存在資源浪費(fèi)的現(xiàn)象,運(yùn)維和管理的難度也逐漸增 大。需求匯總 對此 次 數(shù)據(jù)中心建設(shè),我 們 仔 細(xì) 分析 了醫(yī) 院 三個(gè)機(jī)房現(xiàn)有業(yè)務(wù)系統(tǒng)的IT 架構(gòu),結(jié)合 新建院 區(qū)數(shù)據(jù)中心建設(shè),概 括匯 總 需 求 如 下 : 大部分業(yè)務(wù)系統(tǒng)設(shè)備啟用時(shí)間在2007-2013年左右,大部分已經(jīng)不在質(zhì)保期,且很 多 設(shè)備已經(jīng)快 達(dá) 到 設(shè)備壽 命 ,軟件 版 本過 低 ,存在版 本更 新的需求 ,系統(tǒng)運(yùn)維依 賴 第 三方廠 商 ,系統(tǒng)運(yùn)維存在隱 患 ,因 此 存在系統(tǒng)更 新?lián)Q代 的需 求 。數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)相互 獨(dú)立,當(dāng) 系統(tǒng)規(guī) 模 大時(shí),一旦 出
7、現(xiàn)業(yè)務(wù)系統(tǒng)需 要 更 新的情 況 ,每 個(gè)業(yè)務(wù)系統(tǒng)均 需 要 進(jìn) 行更 新操 作 ,中心機(jī)房現(xiàn)有40多 個(gè)業(yè)務(wù)系統(tǒng),將 會(huì) 產(chǎn)生 大量 的操 作 ,給 運(yùn)維人 員 帶 來巨 大的壓 力 ,增 加 系統(tǒng)風(fēng)險(xiǎn) ,因 此 存在系統(tǒng)加 快 業(yè) 務(wù)更 新響 應(yīng) 速 度的需 求 。由 于 在系統(tǒng)層 面 現(xiàn)有數(shù)據(jù)采用豎井式架構(gòu),在存儲(chǔ)層 面 ,采用統(tǒng)一存儲(chǔ)架構(gòu) , 系統(tǒng)橫向擴(kuò)展性已經(jīng)快接近瓶頸 , 隨著新業(yè)務(wù)的上線 , 系統(tǒng)復(fù)雜度大幅增加 。 即使繼續(xù)采用豎井式架構(gòu)也將面臨如何整合數(shù)據(jù)的難題 , 因此存在降低系統(tǒng)復(fù)雜度的需求。 各 業(yè) 務(wù) 系 統(tǒng) 獨(dú) 立 的 設(shè) 計(jì) 導(dǎo) 致 在 設(shè) 計(jì) 容 災(zāi) 系 統(tǒng) 時(shí)
8、需 要 對 各 業(yè) 務(wù) 系 統(tǒng) 分 別 考 慮 , 如 果 采 用 軟 件 層 的 解 決 方 案 , 會(huì) 造 成 系 統(tǒng) 復(fù) 雜 度 提 升 , 如 果 采 用 存 儲(chǔ)層 的 解 決 方 案 , 會(huì) 大 幅 提 升 系 統(tǒng) 建 設(shè) 成 本 , 因 此 存 在 全 系 統(tǒng) 保 護(hù) 的 需 求 。 現(xiàn) 有 中 心 機(jī) 房 和 腦 科 機(jī) 房 的 HIS 系 統(tǒng) 存 在 整 合 需 求 。 醫(yī) 院 新 的 數(shù) 據(jù) 中 心 將 在 一 年 后 開 始 建 設(shè) , 存 在 統(tǒng) 一 規(guī) 劃 分 步 分 批 建 設(shè) 的 需 求 。 目 前 絕 大 部 分 系 統(tǒng) 都 采 用 傳 統(tǒng) 豎 井 式 架 構(gòu) ,
9、亟需 更加 靈活、擴(kuò) 展 能力強(qiáng)的架 構(gòu) 。 能夠滿足核心 業(yè) 務(wù) 系 統(tǒng) 數(shù) 據(jù) 本 地高可用 , 無論發(fā)生計(jì) 劃 內(nèi)或計(jì) 劃 外異常情況, 業(yè) 務(wù) 不中 斷, 最 大 化確保 業(yè) 務(wù) 持續(xù) 運(yùn)行, 同時(shí) 保 證數(shù) 據(jù) 安全 。 本 地分 級存 儲(chǔ) :實(shí)現(xiàn) 數(shù) 據(jù) 分 級管理, 使 存 儲(chǔ) 資 源得到最 有 效的 利用 , 不同級別 不同成 本 的 資 源為不同價(jià)值和 要 求 的 數(shù) 據(jù) 服務(wù) , 提 高資 源的 利用 率。構(gòu) 建 統(tǒng) 一 、合 理的 、高可擴(kuò) 展 的 基礎(chǔ)架 構(gòu) 。 目 前 核心 HIS 數(shù) 據(jù) 庫尚無數(shù) 據(jù) 備份,因此系 統(tǒng) 存 在 本 地?cái)?shù) 據(jù) 備份需 求 。 在 本
10、地高可用 建 設(shè) 的 基礎(chǔ)上 , 建 設(shè) 跨機(jī) 房 的 容 災(zāi) 系 統(tǒng) , 實(shí)現(xiàn) 同城應(yīng)用 級別災(zāi) 備;能夠?qū)崿F(xiàn) “從無到有 、從有 到優(yōu)、統(tǒng) 籌規(guī)劃 、分步 實(shí)施”, 不僅僅考慮 防止物理災(zāi)難 風(fēng)險(xiǎn), 同時(shí)要 能夠防止邏輯災(zāi)難 風(fēng)險(xiǎn);災(zāi) 備系統(tǒng) 盡可能采 取簡單、成 熟、高效的 技術(shù)實(shí)現(xiàn) 手段;最大 化程度 利舊原有數(shù)據(jù)中心 服務(wù) 器、存儲(chǔ) 等資 產(chǎn),保護(hù)已有 投資。 二、數(shù) 據(jù) 中 心 建 設(shè) 規(guī) 劃 技術(shù)方 案 綜合 以上 現(xiàn) 狀分 析, 結(jié)合 數(shù) 據(jù) 中 心 建 設(shè) 方 法論及最 佳實(shí)踐, 建 議采 用 分 步 分批 的 建 設(shè) 方 式 , 使 用 擴(kuò) 展 能力強(qiáng), 功能豐富的 超融合
11、 基礎(chǔ)架 構(gòu) 方 案 , 來滿足醫(yī) 院 最新資料推薦 PAGE 7 / 60業(yè)務(wù)系統(tǒng)高可靠性、高可用性、業(yè)務(wù)連續(xù)性、數(shù)據(jù)安全、數(shù)據(jù)備份、數(shù)據(jù)及應(yīng)用容災(zāi)需求。建議 XXX 人民醫(yī)院的數(shù)據(jù)中心建設(shè)采用三步走的設(shè)計(jì)建設(shè)思路,數(shù)據(jù)中心第一期建設(shè)超融合架構(gòu)數(shù)據(jù)中心,進(jìn)行業(yè)務(wù)系統(tǒng)的整合,并對核心業(yè)務(wù)的應(yīng)用系統(tǒng)也進(jìn)行整合,可選同時(shí)搭建災(zāi)備系統(tǒng)平臺(tái)。第二期建設(shè)多種類型的虛擬化平臺(tái)并通過統(tǒng)一的云管理平臺(tái)進(jìn)行管理,并建設(shè)多站點(diǎn)之間的災(zāi)備系統(tǒng)。第三期建設(shè)醫(yī)院大數(shù)據(jù)平臺(tái),并在云平臺(tái)上搭建 SDN 軟件定義網(wǎng)絡(luò)解決方案。第一階段數(shù)據(jù)中心建設(shè)基礎(chǔ)架構(gòu)規(guī)劃本次數(shù)據(jù)中心建設(shè)基礎(chǔ)架構(gòu)規(guī)劃如下:圖1:基礎(chǔ)架構(gòu)規(guī)劃拓?fù)?1)建設(shè)超
12、融合基礎(chǔ)架構(gòu)平臺(tái),在中心機(jī)房建設(shè)一套超融合集群,并對現(xiàn)有系統(tǒng)進(jìn)行評估,將除 HIS、PACS 等核心業(yè)務(wù)系統(tǒng)外的其他系統(tǒng)都遷移至超融合平臺(tái),打破原有豎井式架構(gòu)的束縛,并將原來運(yùn)行這些業(yè)務(wù)系統(tǒng)的設(shè)備進(jìn)行淘汰, 解決現(xiàn)有機(jī)房設(shè)備達(dá)到使用壽命而存在的潛在隱患,降低整體 能 耗 成 本。進(jìn)行業(yè)務(wù)系統(tǒng)集中整合,目 前 XXX 人民醫(yī)院核心 HIS 數(shù)據(jù)庫仍然 運(yùn)行在安騰 架構(gòu)的 rx9800小 型機(jī)環(huán)境 中,并使用 Oracle 10g 的 RAC 方案,由于 Oracle最 新 資 料 推 薦 PAGE 10 / 60和 Redhat 早已停止了對安騰架構(gòu)的支持,現(xiàn)有的核心 HIS 數(shù)據(jù)庫面臨極大的隱
13、患 , 同時(shí)不同機(jī)房中的 HIS 系統(tǒng)采用不同的軟件解決方案 , 因此建議新數(shù)據(jù)中心的建設(shè)規(guī)劃中 , 將 HIS 系 統(tǒng) 進(jìn) 行 整 合 遷 移 測 試 , 此 部 分 工 作 量 比 較 大 , 可 以 分 階段 實(shí) 施 。 搭 建 災(zāi) 備 系 統(tǒng) , 在 腦 科 機(jī) 房 搭 建 超 融 合 災(zāi) 備 平 臺(tái) , 與 中 心 機(jī) 房 超 融 合 平 臺(tái) 共 同 構(gòu) 建 互 備 的 虛 擬 化 災(zāi) 備 系 統(tǒng) ,兩 個(gè) 機(jī) 房 超 融 合 平 臺(tái) 上 運(yùn) 行 的 系 統(tǒng) 數(shù) 據(jù) 以 主備 方 式 進(jìn) 行 讀 寫 , 當(dāng) 一 個(gè) 機(jī) 房 存 儲(chǔ) 設(shè) 備 發(fā) 生 故 障 時(shí) , 數(shù) 據(jù) 存 儲(chǔ) 動(dòng)
14、態(tài) 切 換 到 災(zāi) 備 機(jī)房 , 確 保 核 心 數(shù) 據(jù) 安 全 性 和 業(yè) 務(wù) 連 續(xù) 性 。 建 設(shè) 統(tǒng) 一 的 數(shù) 據(jù) 備 份 平 臺(tái) , 目 前中 心 機(jī) 房 的 核 心 HIS 數(shù) 據(jù) 庫 尚沒有 數(shù) 據(jù)備 份 , 在 進(jìn) 行 HIS 系 統(tǒng) 整 合 后, 建 立統(tǒng) 一 的 核 心 業(yè) 務(wù) 系 統(tǒng) 數(shù) 據(jù) 備 份 平 臺(tái) , 使核 心業(yè) 務(wù) 系 統(tǒng) 不 僅有 本地高可 用 保 護(hù), 還有 數(shù) 據(jù) 備 份 保 護(hù)能夠在 故 障 時(shí) 實(shí) 現(xiàn) 快速的 數(shù)據(jù) 恢復(fù)。以 下分 別闡述各部 分 的 技術(shù)方 案 。 、建 設(shè) 超 融 合 架 構(gòu) 數(shù) 據(jù) 中 心設(shè) 計(jì)原則在方案設(shè) 計(jì)中 我們將 遵循
15、 以 下總體 原則:以 業(yè) 務(wù) 需 求 為 導(dǎo) 向 技術(shù)架構(gòu)最 終是為 業(yè)務(wù) 服 務(wù)的 , 因此 技術(shù)架構(gòu)的設(shè) 計(jì)一 定要 以業(yè)務(wù)的 需求為導(dǎo)向 , 充 分 考慮非功 能需求 , 例如 系統(tǒng)的 重要程度 、安全要求 、業(yè)務(wù)連續(xù)性 等 。提 高資 源 利 用 率現(xiàn) 已 經(jīng) 部 署 了 大 量 的 服 務(wù) 器 , 資 源 使用 率 低 是 較 突 出 的 一 個(gè) 問題 ,因此在 項(xiàng) 目中, 提 高資 源利 用 率成為 一個(gè) 重要 的 任 務(wù)。 動(dòng)態(tài)擴(kuò)展性在IT 發(fā)展趨勢中,動(dòng)態(tài)基礎(chǔ)架構(gòu)已經(jīng)成為IT 基礎(chǔ)架構(gòu)的發(fā)展方向。使IT 基礎(chǔ)架構(gòu)成為一個(gè)動(dòng)態(tài)、靈活、具有彈性的IT 基礎(chǔ)架構(gòu), 同時(shí)在IT 實(shí)時(shí)
16、地運(yùn)營過程可進(jìn)行靈活的資源動(dòng)態(tài)調(diào)整。資源擴(kuò)展要體現(xiàn)在計(jì)算資源和存儲(chǔ)資源的同時(shí)擴(kuò)展。高可用性應(yīng)用系統(tǒng)的高可用性是保障服務(wù)等級的重要因素,在架構(gòu)設(shè)計(jì)中應(yīng)該以軟件定義為主,借助軟件的分布式架構(gòu)滿足高可用性要求,實(shí)現(xiàn)系統(tǒng)架構(gòu)和平臺(tái)架構(gòu)的無單點(diǎn)故障、無單點(diǎn)瓶頸問題,保障新一代的業(yè)務(wù)系統(tǒng)健壯性。安全性在系統(tǒng)設(shè)計(jì)中,安全性是一個(gè)非常重要的問題。在架構(gòu)中需要考慮到虛擬化架構(gòu)內(nèi)外部的安全,包括數(shù)據(jù)安全等問題,以保證整個(gè)系統(tǒng)長期安全穩(wěn)定的運(yùn)行?,F(xiàn)有業(yè)務(wù)系統(tǒng)分類建議數(shù)據(jù)中心所有服務(wù)器分區(qū)分域部署,并在用戶網(wǎng)絡(luò)和數(shù)據(jù)中心網(wǎng)絡(luò)中間實(shí)施合理的安全防護(hù),例如部署硬件的防火墻并設(shè)置相應(yīng)的安全策略。針對現(xiàn)有醫(yī)院系統(tǒng)進(jìn)行梳理,可
17、以將 醫(yī)院系統(tǒng)分為六大 類,分別 是核 心業(yè)務(wù)系統(tǒng)應(yīng)用、核 心HIS 數(shù)據(jù)庫 、醫(yī)療 信 息 系統(tǒng)、行政 后 勤 系統(tǒng)、安全運(yùn)維 系統(tǒng)和PACS 系統(tǒng),其 中PACS 系統(tǒng)由 于 新購 Isilon,將 保持 原 有架構(gòu)以避 免 投 資浪 費(fèi) 。除 核 心HIS 數(shù)據(jù)庫 外,其 他 四 大 類系統(tǒng)都 將 遷 移 至 超 融 合平臺(tái),以最大 程度提 高系統(tǒng)的使用率 。目前 中心機(jī)房 現(xiàn)有系統(tǒng)共 45 個(gè),除核 心HIS 數(shù)據(jù)庫 和 PACS外,其他業(yè)務(wù)系統(tǒng)共有 37 個(gè)左右,為提高系統(tǒng)可用性,設(shè)計(jì) 4-5 個(gè)業(yè)務(wù)系統(tǒng)運(yùn)行在一臺(tái)超融合節(jié)點(diǎn)上 , 因此如果所有非核心業(yè)務(wù)系統(tǒng)遷移 , 建 議 配 置
18、8 個(gè) 超 融合 節(jié) 點(diǎn) 滿 足 需 求 。 同 時(shí) 東 區(qū) 機(jī) 房 的 業(yè) 務(wù) 系 統(tǒng) 也 遷 移 至 中 心 機(jī) 房 超 融 合 平 臺(tái) 上 , 由于 東 區(qū) 機(jī) 房 系 統(tǒng) 體 量 較 小 , 因 此 不 需 額 外 添 加 超 融 合 節(jié) 點(diǎn) 。 從 存 儲(chǔ) 容 量 上 看 , 除 核 心 HIS 數(shù) 據(jù) 庫 和 PACS 系 統(tǒng) 外 , 其 余 系 統(tǒng) 數(shù) 據(jù) 量 約 為14TB,因此可選擇 8 個(gè) HX5510 超融合節(jié)點(diǎn), 96TB 裸容量,整個(gè)集群可用容量為 48TB(RF2),每增加一個(gè)節(jié)點(diǎn)相應(yīng)增加計(jì)算資源和存儲(chǔ)資源 , 不同類型的節(jié)點(diǎn)可以并存在同一集群 。 系統(tǒng)遷移至超融合
19、平臺(tái)后的數(shù)據(jù)中心耗電量大幅下降 , 超融合集群每年的耗電量約為 3 萬度,每年將節(jié)省 20 多萬電費(fèi)。 中心機(jī)房超融合虛擬化平臺(tái)建設(shè) 超融合架構(gòu)在數(shù)據(jù)中心中承擔(dān)著計(jì)算資源 池和 分布式存儲(chǔ)資源 池的 作用 , 極大 地簡化 了數(shù)據(jù)中心的 基礎(chǔ)架構(gòu) , 而且通過軟件定義的計(jì)算資源虛擬化和分布式存儲(chǔ)架構(gòu) 實(shí)現(xiàn)無單點(diǎn)故障、無單點(diǎn)瓶頸、彈性擴(kuò)展、性能線性增長等能力;在虛擬 化 層 可 以 自 由 選 擇Hypervisor 的 品 牌 , 包 括VMware vSphere、MicroSoft Hyper-v 和 KVM; 而且通過簡單、方 便 的 管 理 界 面 , 實(shí)現(xiàn)對 數(shù) 據(jù) 中 心 基礎(chǔ)架
20、構(gòu) 層的計(jì)算 、存儲(chǔ) 、虛擬化 等 資源 進(jìn) 行統(tǒng)一的 監(jiān)控 、管理 和運(yùn) 維 。超融合 基礎(chǔ)架構(gòu) 形成 的 計(jì) 算 資 源 池和 存 儲(chǔ) 資 源 池直 接 可 以 被 云 計(jì) 算 平 臺(tái) 進(jìn) 行 調(diào) 配 , 服 務(wù) 于OpenSta c、kClou dFound r、y Docke、r Hadoo p等 IAA S、PAA S平 臺(tái) , 對 上 層 的 業(yè) 務(wù) 系 統(tǒng) 等 進(jìn) 行 支 撐 同。 時(shí) , 分布式存 儲(chǔ) 架 構(gòu) 簡化 容 災(zāi) 方 式實(shí), 現(xiàn)同 城 數(shù) 據(jù) 雙 活 和異 地容 災(zāi) ?,F(xiàn)有 的 超 融 合 基礎(chǔ)架 構(gòu) 可 以 延 伸 到 公 有 可云 以, 輕 松 將 私 有 云 業(yè)
21、 務(wù) 遷 到 公 有 云 服 務(wù) 。 新 的 中 心 機(jī) 房 拓 撲 圖 如 下 所 示 : 最新資料推薦 PAGE 12 / 60圖3:超融合基礎(chǔ)架構(gòu)圖基于超融合技術(shù)搭建虛擬化集群,用于承載核心業(yè)務(wù)系統(tǒng)和支撐系統(tǒng)。方案超融合節(jié)點(diǎn)配置如下:Lenovo HX 5510 超融合系統(tǒng),軟硬件一體出廠預(yù)裝,三年原廠服務(wù),每節(jié)點(diǎn)配置2 顆E5 2630 V4 處理器,256 GB DDR4 內(nèi)存,可擴(kuò)展到768GB,配置1塊64GB SSD 作為虛擬化層安裝部署空間,2 塊480GB SSD 硬盤作為讀寫緩存及熱點(diǎn)數(shù)據(jù)存儲(chǔ)空間,6 塊2TB 熱插拔硬盤,8 個(gè)節(jié)點(diǎn)可用容量48TB(兩份副本存儲(chǔ)),12
22、Gb SAS RAID 卡,2 塊雙端口萬兆光口,冗余電源;支持?jǐn)?shù)據(jù)本地化、熱點(diǎn)數(shù)據(jù)自動(dòng)分層、在線重刪、壓縮、快照、克隆、支持多種虛擬化平臺(tái)。通過軟件方式自動(dòng)將本計(jì)算存儲(chǔ)一體化服務(wù)器及其它計(jì)算存儲(chǔ)一體化服務(wù)器 中的所有節(jié)點(diǎn)的本地磁盤空間整合成一個(gè)整體存儲(chǔ)空間提供給虛擬化軟件使用 (實(shí)現(xiàn)傳統(tǒng)架構(gòu)中集中存儲(chǔ)的功能),單節(jié)點(diǎn)故障時(shí)不 會(huì) 影 響 整個(gè) 存儲(chǔ)空間的 使用且 數(shù)據(jù)不 會(huì) 發(fā) 生 錯(cuò) 誤 或 丟 失 。軟件自動(dòng)將經(jīng) 常 訪 問 的數(shù)據(jù)放 在SSD 磁盤上 ,而 將不 常 用的數(shù)據(jù)放 在SATA 磁盤上 ,無 需 手 工 干 預(yù);節(jié)點(diǎn)優(yōu) 先 使用本地SSD 磁盤進(jìn) 行 IO 吞 吐 ,多數(shù)據(jù)
23、副本:可以 實(shí)現(xiàn)數(shù)據(jù)保 留 2 份甚 至 3 份,充分保 護(hù) 數(shù)據(jù),當(dāng) 發(fā) 生 硬件失 效 時(shí)不 會(huì) 影 響 數(shù)據(jù)正 常 訪 問 ;不 使用Raid 技術(shù):不 使用傳統(tǒng)的Raid 技術(shù)保 護(hù) 數(shù)據(jù),避 免 由 于磁盤故障導(dǎo)致整個(gè)Raid 組性能降級,從而影響業(yè)務(wù)正常運(yùn)行。提供內(nèi)存、SSD、SATA 不同性能層面的重復(fù)數(shù)據(jù)刪除功能,并且使用幾 k 到十幾 k 的粒度保證重復(fù)數(shù)據(jù)刪除的效率和效果。具備跨地域的遠(yuǎn)程數(shù)據(jù)容災(zāi)能力。支持同步、異步等多種容災(zāi)方式,在線集群伸縮,一鍵升級。超融合系統(tǒng)對網(wǎng)絡(luò)設(shè)備的要求:每個(gè)節(jié)點(diǎn)提供2 個(gè)或 4 個(gè)萬兆以太網(wǎng)光纖接口,每節(jié)點(diǎn)同時(shí)標(biāo)配 4 個(gè)千兆以太網(wǎng)接口,后端萬
24、兆和千兆網(wǎng)絡(luò)冗余配置,建議千兆網(wǎng)絡(luò)用于管理網(wǎng)絡(luò),網(wǎng)絡(luò)采用兩層架構(gòu),下圖為推薦的網(wǎng)絡(luò)拓?fù)鋱D:超融合虛擬化平臺(tái)實(shí)施規(guī)劃機(jī)柜冗余設(shè)計(jì)推薦將8個(gè)超融合節(jié)點(diǎn)分別部署到4個(gè)機(jī)柜中,每個(gè)機(jī)柜部署兩個(gè)節(jié)點(diǎn),最大最 新 資 料 推 薦 PAGE 18 / 60化做到故障域的隔離。每個(gè)機(jī)柜雙路供電,實(shí)現(xiàn)真正的供電冗余。NTP 時(shí) 間 服 務(wù) 對 于 虛 擬 化 平 臺(tái) , 時(shí) 鐘 同 步 是 容 易 被 忽 略 的 一 個(gè) 問 題 , 嚴(yán) 重 的 可 能 會(huì) 影 響 業(yè)務(wù) 系 統(tǒng) 操 作 系 統(tǒng) 及 數(shù) 據(jù) 層 面 的 一 致 性 , 因 此 建 議 在 此 次 項(xiàng) 目 中 配 置 時(shí) 鐘 服 務(wù) 器 , 一 般
25、 有 兩 種 做 法 , 第 一 種 是 在 超 融 合 系 統(tǒng) 或 集 群 之 外 部 署 一 套 基 于 Redhat linux 的 NTP 服 務(wù) 器 , 作 為 整 個(gè) 集 群 的 時(shí) 間 源 , 第 二 種 是 部 署 單 獨(dú) 的 NTP 網(wǎng) 絡(luò) 服 務(wù) 器 設(shè) 備 。 命 名 規(guī) 則 創(chuàng) 建 數(shù) 據(jù) 中 心 , 并 在 數(shù) 據(jù) 中 心 中 創(chuàng) 建 文 件 夾 , 在 文 件 夾 中 創(chuàng) 建 群 集 , 將 ESXi主 機(jī) 加 入 到 群 集 中 , 在 群 集 中 根 據(jù) 應(yīng) 用需求創(chuàng) 建 各種 應(yīng) 用池, 該應(yīng) 用的 虛 擬 機(jī) 運(yùn)行在 這個(gè) 池中 。 項(xiàng) 目 命 名 規(guī) 則
26、實(shí) 例命 名 數(shù) 據(jù) 中 心lcrm+ “-”+“內(nèi)容 ”lcrm-DataCenter文 件 夾 qdrbs +“-”+“內(nèi)容 ”lcrm-“”集 群 “內(nèi)容 ”+“-”+“數(shù) 字”HCI Cluster 1ESXiESXi+“數(shù) 字”虛 擬 機(jī) “資 源 池名 稱”+“-”+“虛 擬 機(jī) 名 稱”O(jiān)A- xxx數(shù) 據(jù) 中 心 命 名 規(guī) 劃vCenter 中 的 數(shù) 據(jù) 中 心 架構(gòu)的 規(guī) 劃數(shù) 據(jù) 中 心 架構(gòu)以下可 以劃分多個(gè) 文 件 夾 , 文 件 夾 可 以包括多個(gè) 群 集 , 每 個(gè) 群 集 可 以包括多臺(tái) 虛 擬 化 主 機(jī) , 根 據(jù) 應(yīng) 用的 實(shí) 際需求, 來劃分資 源 池
27、, 每 個(gè) 資 源 池可 以包括多個(gè) 虛 擬 機(jī) 。數(shù)據(jù)群 集ESXi主中 心機(jī)虛 擬 機(jī)備 注 Lcrm-DataC enterHCI-cluster1esxi01.vmware.c om esxi02.vmware.c omvCenterServeerVMware vCenter 可以將所有VMware ESX 主機(jī)及其虛擬機(jī)組織到群集和資源池中,從而大大簡化了資源管理工作。群集是虛擬基礎(chǔ)架構(gòu)管理中的一個(gè)新概 念,它不僅具有多個(gè)主機(jī)服務(wù)器的強(qiáng)大功能,還可以方便地管理單個(gè)實(shí)體。由多臺(tái)獨(dú)立主機(jī)聚合形成的群集將資源集中在一起,具有內(nèi)在的高可用性,可顯著降低管理工作的復(fù)雜性?,F(xiàn)在,虛擬機(jī)部署可從單
28、個(gè) VMware ESX 主機(jī)擴(kuò)大到群集范圍,這樣虛擬機(jī)便可使用群集中的所有資源。vCenter 可以為虛擬機(jī)選擇最適合的主機(jī),并可以在情況發(fā)生變化時(shí)在群集內(nèi)部移動(dòng)虛擬機(jī)。根據(jù) VMware vSphere 技術(shù)白皮書的建議,由于本虛擬化服務(wù)器平臺(tái) vCenter Server 監(jiān)控的主機(jī)的個(gè)數(shù)是三臺(tái),所以配置 vCenter Server 的規(guī)格如下。虛 擬 機(jī) 名 稱 vCPU內(nèi)存硬 盤 /存 儲(chǔ) 網(wǎng) 卡 vCenter Server4vCPU8GC:50G/(OS)1 塊千兆網(wǎng)卡(VMnetwork1)C:50G/(OS)VC-SQL4vCPU8GD:100G/ (數(shù)據(jù)1 塊千兆網(wǎng)卡(V
29、Mnetwork)1庫)vCenter/SQL 服務(wù)器規(guī)格vCenter Server 的安裝部署,需要安裝部署在 windows Server 2008 R2 的操作系統(tǒng)上,并且安裝部署 VMware vCenter Server5.1 和SQL Server 2008 R2 版本。vCenter/SQL 服務(wù)器安裝虛擬機(jī)服 務(wù) 器名稱IP 地址操作系統(tǒng)軟件主機(jī)名用戶名口令winWinSQLVC-SQLx.x.x.x2008 R2Server2008VC-SQLadministratorPssword企業(yè)版R2vCenterx.x.x.xServerwin2008 R2VMwarevCent
30、ervCenteradministratorPssword企業(yè)版Server5.1用戶角色權(quán)限管理(可選)通過對管理員的角色分類,讓不同角色的管理員只賦予他們管理自己職責(zé)內(nèi)環(huán)境的權(quán)限。建議將虛擬平臺(tái)的管理員分為以下幾個(gè)等級:類別權(quán)限人員為所有vCenter Server 用戶和vSphere 環(huán)境中的所有虛擬對象添加、移除和設(shè)置訪問權(quán)限管理員和特權(quán)用作青島報(bào)業(yè)傳媒集團(tuán)虛擬服務(wù)器系統(tǒng)總管理員允許用戶與虛擬機(jī)進(jìn)行交互、更改虛擬機(jī)硬件和執(zhí)行快照操作的一組特權(quán)。授予的特權(quán)包括:虛擬機(jī)超級用已調(diào)度任務(wù)特權(quán)組的所有特權(quán)。戶虛擬機(jī)用戶全局項(xiàng)目、數(shù)據(jù)存儲(chǔ)和虛擬機(jī)特權(quán)組的選定特權(quán)。沒有文件夾、數(shù)據(jù)中心、網(wǎng)絡(luò)、主
31、機(jī)、資源、警報(bào)、會(huì)話、性能和權(quán)限特權(quán)組的特權(quán)。 允許用戶與虛擬機(jī)的控制臺(tái)進(jìn)行交互、插入媒體和執(zhí)行電源操作的一組特權(quán)。不要授予允許更改虛擬機(jī)的虛擬硬件的特權(quán)。授予的特權(quán)包括:已調(diào)度任務(wù)特權(quán)組的所有特權(quán)。全局項(xiàng)目和虛擬機(jī)特權(quán)組的選定特權(quán)。 沒有文件夾、數(shù)據(jù)中心、數(shù)據(jù)存儲(chǔ)、網(wǎng)絡(luò)、主機(jī)、資源、警報(bào)、會(huì)話、性能和權(quán)限特權(quán)組的特權(quán)資源池管理員允許用戶創(chuàng)建子資源池、修改子資源池的配置數(shù)據(jù)存儲(chǔ)用戶網(wǎng)絡(luò)用戶但無法修改在其上授予了角色的池或群集的資源配置的一組特權(quán)。還允許用戶將權(quán)限授予子資源池并將虛擬機(jī)分配給父或子資源池。授予的特權(quán)包括:文件夾、虛擬機(jī)、警報(bào)和已調(diào)度任務(wù)特權(quán)組的所有特權(quán)。資源和權(quán)限特權(quán)組的選定特權(quán)
32、。沒有數(shù)據(jù)中心、網(wǎng)絡(luò)、主機(jī)、會(huì)話或性能特權(quán)組的特權(quán)。必須在虛擬機(jī)和數(shù)據(jù)存儲(chǔ)上授予其他特權(quán)以允許置備新虛擬機(jī)允許用戶消耗數(shù)據(jù)存儲(chǔ)上的空間的一組特權(quán), 數(shù)據(jù)存儲(chǔ)上授予了此角色。要執(zhí)行空間消耗操作(如創(chuàng)建虛擬磁盤或執(zhí)行快照),用戶還必須為這些操作授予適當(dāng)?shù)奶摂M機(jī)特權(quán)如果同時(shí)也在虛擬機(jī)或主機(jī)上授予了分配的適當(dāng)權(quán)限, 則將允許用戶將虛擬機(jī)或主機(jī)分配給網(wǎng)絡(luò)的一組特權(quán)ESXi 主機(jī)命名規(guī)范esxi+“數(shù)字”.“域名”,如; ESXi 主機(jī)的本地?cái)?shù)據(jù)存儲(chǔ)命名規(guī)范:esxi+“數(shù)字”+local,如esxi01local; ESXi 主機(jī)用戶名口令:每臺(tái)虛擬主機(jī),在安裝vSphere 的過程中都需要?jiǎng)?chuàng)建密碼,用
33、戶名是root初始口令為:Pssword. 虛擬化主機(jī)配置表以下是每臺(tái)虛擬化主機(jī)的配置信息,包括主機(jī)的名稱,根用戶名為root,口令 Pssword,主機(jī)的服務(wù)編號,物理機(jī)所屬的群集,本地磁盤的命名,物理服務(wù)器在機(jī)柜的位置;假設(shè)每臺(tái)主機(jī)有4個(gè)千 兆 網(wǎng)口,4個(gè)萬 兆 網(wǎng)口,八 塊 網(wǎng)卡 命名為vmnic0 vmnic1 vmnic2 vmnic3 vmnic4 vmnic5 vmnic6vmnic7,并在這,八塊網(wǎng)卡組成的標(biāo)準(zhǔn)虛擬交換機(jī)上創(chuàng)建PortGroup :Management Network 、 VMnetwork、VMotion。主機(jī)項(xiàng)目內(nèi)容網(wǎng)段備注網(wǎng)卡主機(jī)名稱密碼:Pssword服
34、務(wù)器位置機(jī)柜 1 自下而上HX01服務(wù)編號: 所屬集群Server本地?cái)?shù)據(jù)存儲(chǔ)ESXi-01-LocalManagement Networkx.x.x.xvmnicvSwithc0vSwithc1vMotionx.x.x.xPrivate-Lanx.x.0 x.x.x.xPrivate-Lanx.x.1 x.x.x.x Private-Lanx.x.4 x.x.x.x Private-Lanx.x.6 x.x.x.x Private-Lanx.x.12 x.x.x.x Private-Lan10.10.21 x.x.x.x Private-Lan10.10.24 x.x.x.x0vmnic 1
35、vmnic 2vmnic3vmnic 4對應(yīng)交換機(jī)端口為Access 模式對應(yīng)交換機(jī)端口為Trunk 模式vSwithc2Public-Lan-x.x.x.xx.x.x.xvSwithc3Public-Lan-x.x.x.xx.x.x.xvmnic 5vmnic 6vmnic 7物理主機(jī)網(wǎng)絡(luò)端口規(guī)劃主機(jī)名物理主機(jī)的網(wǎng)絡(luò)端口實(shí)施情況如下:管理網(wǎng)絡(luò)Vmotion 網(wǎng)絡(luò)業(yè)務(wù)網(wǎng)絡(luò)IP 地址網(wǎng)絡(luò)端口IP 地址 網(wǎng)絡(luò)端口網(wǎng)絡(luò)端口虛擬機(jī)創(chuàng)建規(guī)劃虛擬機(jī)創(chuàng)建根據(jù)業(yè)務(wù)需求,合理分配資源:CPU 數(shù)量滿足需求的前提下越少越好內(nèi)存可以根據(jù)需求自動(dòng)調(diào)整,建議設(shè)定預(yù)留值磁盤選擇Thin 模式,集群可以掛載共享裸設(shè)備,但會(huì)
36、影響快照功能網(wǎng)絡(luò)盡量選擇萬兆交換機(jī)接口每臺(tái)虛擬機(jī)都要安裝VMware tools。由于虛擬機(jī)數(shù)量多,為提供運(yùn)維的效率,建議醫(yī)院對所有虛擬機(jī)進(jìn)行統(tǒng)一管理,包括虛擬機(jī)名稱,CPU、內(nèi)存資源,磁盤容量,網(wǎng)絡(luò)標(biāo)簽等信息,建議如下:業(yè)務(wù)名VM 名稱主機(jī)名稱CPU內(nèi)存磁盤網(wǎng)絡(luò)說明XX 業(yè)務(wù)Ip 地址-系統(tǒng)LCRM-HX-2*24GBx GBVlan-業(yè)務(wù)名稱 01x模板配置根據(jù)業(yè)務(wù)系統(tǒng)所使用的操作系統(tǒng)版本,在虛擬化平臺(tái)中配置幾個(gè)常規(guī)典型模板配置,包括Windows、Linux 等,實(shí)現(xiàn)虛擬機(jī)的快速部署。模板編 號 模板名稱操作系統(tǒng)密 碼 應(yīng) 用程 序 數(shù)據(jù)副本數(shù)量選擇根據(jù)預(yù)先定義好的業(yè)務(wù)系統(tǒng)的關(guān)鍵級別,可
37、以基 于超 融 合系統(tǒng)continer 級別實(shí)現(xiàn)可選兩 副本或 三 副本的數(shù)據(jù)安全 保 護(hù) 。最新資料推薦 PAGE 23 / 60超融合架構(gòu)介紹超融合基礎(chǔ)架構(gòu)(Hyper-Converged Infrastructure,或簡稱“HCI”)是指在同一套單元設(shè)備中不僅僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技 術(shù),而且還包括備份軟件、快照技術(shù)、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮等元素,而多套單元設(shè)備可以通過網(wǎng)絡(luò)聚合起來,實(shí)現(xiàn)模塊化的無縫橫向擴(kuò)展(scale-out ),形成統(tǒng)一的資源池。HCI 是實(shí)現(xiàn)“軟件定義數(shù)據(jù)中心”的終極技術(shù)途徑。 HCI 類似 Google、Facebook 等互聯(lián)網(wǎng)數(shù)據(jù)中
38、心的大規(guī)模基礎(chǔ)架構(gòu)模式,可以為數(shù)據(jù)中心帶來最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)。使用計(jì)算存儲(chǔ)超融合的一體化平臺(tái),替代了傳統(tǒng)的服務(wù)器加集中存儲(chǔ)的架構(gòu),使得整個(gè)架構(gòu)更清晰簡單。圖4:數(shù)據(jù)中心4.0新一代數(shù)據(jù)中心建設(shè)包含眾多信息化應(yīng)用的實(shí)施,與此相對應(yīng),機(jī)房服務(wù)器 和存儲(chǔ)設(shè)備也必將大量使用,并 且隨 著 后 期 應(yīng)用擴(kuò)充 和服務(wù)擴(kuò)容 ,服務(wù)器和存儲(chǔ)設(shè)備的投 入 必然 越 來越 龐 大。一方 面 ,管 理 硬 件基礎(chǔ)設(shè)施的壓力 和成本會(huì) 不斷 增大;另 一方面 ,由于 應(yīng)用的多樣 性,服務(wù)器和存儲(chǔ)難于有 效整合,服務(wù)器的資源使用都遠(yuǎn)低于其 實(shí)際 的處理能力 ,計(jì)算能力 和存儲(chǔ)容 量難 以充分利 用
39、。實(shí)施虛擬化/云 計(jì)算數(shù)據(jù)中心,可以有 效整合服務(wù)器及 存儲(chǔ)資源,形成計(jì)算資源池,根 據(jù)新一代數(shù)據(jù)中心各 項(xiàng) 應(yīng)用的實(shí)際 需 要 動(dòng) 態(tài) 分 配 計(jì)算資源,最大效率的利 用現(xiàn)有 服務(wù)器及 存儲(chǔ)設(shè)備,并 對數(shù)據(jù)中心硬 件設(shè)備進(jìn) 行 有 效管 理 和監(jiān) 控 。超融合架構(gòu)在數(shù)據(jù)中心中承擔(dān)著計(jì)算資源池和分布式存儲(chǔ)資源池的作用,極 大地簡化了數(shù)據(jù)中心的基礎(chǔ)架構(gòu),而且通過軟件定義的計(jì)算資源虛擬化和分布式存儲(chǔ)架 構(gòu)實(shí)現(xiàn)無單點(diǎn)故障、無單點(diǎn)瓶頸、彈性擴(kuò)展、性能線性增長等能力;在虛擬化層可以自由選擇 Hypervisor 的品牌,包括 VMware vSphere、MicroSoft Hyper-v 和KVM;
40、而且通過簡單、方便的管理界面,實(shí)現(xiàn)對數(shù)據(jù)中心基礎(chǔ)架構(gòu)層的計(jì)算、存儲(chǔ)、虛擬化 等資源進(jìn)行統(tǒng)一的監(jiān)控、管理和運(yùn)維。超融合基礎(chǔ)架構(gòu)形成的計(jì)算資源池和存儲(chǔ)資源池直接可以被云計(jì)算平臺(tái)進(jìn)行調(diào)配,服務(wù)于OpenSta c、kClou dFound r、y Docke、r Hadoo p等 IAA S、PAA S平臺(tái)。同時(shí),分布式存儲(chǔ)架構(gòu)簡化容災(zāi)方式實(shí),現(xiàn)同城數(shù)據(jù)雙活和異地容災(zāi)現(xiàn)。有的超融合基礎(chǔ)架 構(gòu)可以延伸到公有云,可以輕松將私有云業(yè)務(wù)遷到公有云服務(wù)。圖5:超融合市場領(lǐng)導(dǎo)者計(jì)算資源層面:超融合系統(tǒng)的計(jì)算資源池是通過x86 服務(wù)器虛擬化來實(shí)現(xiàn)的,可以支持VMware vSphere 和Nutanix Acro
41、polis 平臺(tái)提供的KVM 等 Hypervisor,如圖6。在虛擬化Hypervisor 層形成計(jì)算資源池,為業(yè)務(wù)系統(tǒng)的虛擬機(jī)提供不同的服務(wù)質(zhì)量和能力,包括了高可用(High Availability)、容錯(cuò)(Fault Tolerant)、在線遷移(Live Migration/vMotion)、資源動(dòng)態(tài)負(fù)載均衡 (Distributed Resource Scheduler)等虛擬化的特 性。同時(shí)可以支持業(yè)務(wù)虛擬機(jī)在不同的Hypervisor 之前進(jìn)行遷移,也就是V2V 的能力,例如從vSphere 遷移到KVM 等。圖 6: 超 融 合 架 構(gòu) 計(jì) 算 資 源 池 (x86 服 務(wù)
42、器 虛 擬 化 ) 存儲(chǔ)資源層面:超融合系統(tǒng)提供的分布式文件系統(tǒng)(NDFS)可以將一組集群內(nèi)的節(jié)點(diǎn)組成一個(gè)統(tǒng)一的分布式存儲(chǔ)平臺(tái)。NDFS 對于x86 虛擬化平臺(tái)軟件而言就是一個(gè)集中的共享式存儲(chǔ),與任何其他集中式存儲(chǔ)陣列一樣工作,且提供更為簡單便捷的存儲(chǔ) 管理,無需像傳統(tǒng)集中存儲(chǔ)那樣再配置LUN、卷、或者 Raid 組。圖 7: 分 布 式 存 儲(chǔ) 架 構(gòu) 和 功 能 超融合分布式存儲(chǔ)架構(gòu)不僅同樣提供傳統(tǒng)存儲(chǔ)的能力外,還提供更多的能 力。針對于虛擬化方面提供快照、克隆等機(jī)制,數(shù)據(jù)層實(shí)現(xiàn)本地優(yōu)先訪問、存儲(chǔ) 分層等性能機(jī)制,對數(shù)據(jù)進(jìn)行壓縮和去重提高存儲(chǔ)可用容量,借助兩份以上冗余數(shù)據(jù)提供存儲(chǔ)的可靠性,
43、增加或減少節(jié)點(diǎn)數(shù)據(jù)分布會(huì)自動(dòng)平臺(tái),當(dāng)節(jié)點(diǎn)宕機(jī)或磁盤損壞后具備數(shù)據(jù)自恢復(fù)能力等。超融合系統(tǒng)HX 系列每個(gè)節(jié)點(diǎn)提供兩種磁盤,標(biāo)準(zhǔn)配置為 2 塊 SSD,單盤容量分200GB、400GB;6 塊 SATA 的HDD,容量為 1TB、2TB 、4TB、6TB 的HDD)。圖 8 分布式存儲(chǔ)系統(tǒng)邏輯架構(gòu)NDFS 被設(shè)計(jì)成為非常動(dòng)態(tài)的平臺(tái),可以適用于不同工作負(fù)載的應(yīng)用,并且允許混合節(jié)點(diǎn)類型:例如將計(jì)算密集型節(jié)點(diǎn)和存儲(chǔ)密集型節(jié)點(diǎn)混合在一個(gè)集群 中。對于集群內(nèi)部磁盤容量大小不同的,確保數(shù)據(jù)一致的分布非常重要。NDFS有 自帶 的稱 為磁盤平衡 的技 術(shù) ,用來 確保數(shù)據(jù)一致的分布在集群內(nèi)部各 節(jié)點(diǎn)上。磁盤平衡
44、 功 能與 各 節(jié)點(diǎn)的本地磁盤利 用率 和內(nèi)置的NDFS ILM( 數(shù)據(jù)生 命 周 期 管 理 ) 一同工作。它 的目 標(biāo)是 使 得 所 有 節(jié)點(diǎn)的磁盤利 用率 大致相 等。另 外,超融合節(jié)點(diǎn)通過 ILM(信息生命周期管理) 實(shí)現(xiàn) SSD 和 HDD 的數(shù)據(jù)熱分層。簡 單而 言 ,磁盤的熱 分層時(shí) 實(shí)現(xiàn)在集群內(nèi)所 有 節(jié)點(diǎn)的SSD 和 HDD 上,并且由 ILM 負(fù)責(zé) 觸 發(fā) 數(shù)據(jù)在熱 分層之 間 的遷 移 。本地節(jié)點(diǎn)的SSD 在熱 分層中是 最高優(yōu)先級 的,負(fù)責(zé) 所 有 本地虛擬機(jī) IO 的讀 寫 操 作。并且還可以使 用集群內(nèi)所 有 其 他節(jié)點(diǎn)的SSD,因 為 SSD 層總是 能提供最好
45、的讀寫 性能,并且在混合存儲(chǔ)環(huán)境 中尤為重要。最 新 資 料 推 薦 PAGE 25 / 60在 超 融 合 的 虛 擬 化 環(huán) 境 中 , 所 有 IO 操 作 都 將 由 本 地 節(jié) 點(diǎn) 上 的 Controler VM(CVM)接 管 , 以 提 供 極 高 的 性 能 。 據(jù) 以 往 經(jīng) 驗(yàn) 及 用 戶 習(xí) 慣 分 析 , 一 般 運(yùn) 行 服 務(wù)器 虛 擬 化 的 虛 擬 機(jī) 對 IO 性 能 要 求 在 200-300 IOPS 左 右 ,而 單 個(gè) 節(jié) 點(diǎn) 可 提 供 25000 上 的 IOPS, 3 節(jié) 點(diǎn) 集 群 可 提 供 將 近 75,000 的 IOPS??梢苑浅]p易的
46、滿足醫(yī)院業(yè)務(wù)的需求。 在 計(jì) 算 虛 擬 化 資 源 池 中 的 每 臺(tái) 虛 擬 化Hypervisor 節(jié) 點(diǎn) 上 會(huì) 運(yùn) 行 多 臺(tái) 虛 擬 機(jī) , 多 臺(tái) 虛 擬 機(jī) 之 間 共 享 網(wǎng) 絡(luò) ,為 了 方 便 管 理 建 議 采 用 虛 擬 交 換 機(jī) 來 配 置 和 管 理網(wǎng) 絡(luò) , 虛 擬 交 換 機(jī) 可 在 數(shù) 據(jù) 中 心 級 別 提 供 集 中 和 聚 合 的 虛 擬 網(wǎng) 絡(luò) ,從 而 簡 化 并 增強(qiáng) 虛 擬 機(jī) 網(wǎng) 絡(luò) 。 在 虛 擬 交 換 機(jī) 的 網(wǎng) 絡(luò) 劃 分 上 , 仍 然 可 以 采 用 VLAN 的 方 式 劃 分 不 同 的 子 網(wǎng) , 實(shí) 現(xiàn) 不 同 子 網(wǎng)
47、段的 安全和 隔離。在 網(wǎng) 絡(luò) 隔離上 ,也可 以 采 用 網(wǎng) 絡(luò) 虛 擬 化 VXLAN 技術(shù)。VXLAN 網(wǎng) 絡(luò) 協(xié)議 ,即VLAN 協(xié)議 的 擴(kuò)展版本 。 VXLAN 網(wǎng)絡(luò)可以 跨越物理 邊界,從而 跨不 連續(xù)的數(shù)據(jù)中心和集群 來 優(yōu)化 計(jì) 算 資 源 利用 率。 VXLAN 采 用 邏輯網(wǎng) 絡(luò) 與物理 拓?fù)湎嗷シ?離, 使用 IP 的 技術(shù), 所 以 無需 重新 配 置 底層物理 網(wǎng) 絡(luò) 設(shè)備即可 擴(kuò)展VXLAN 網(wǎng) 絡(luò) 。 正因如此, 也就無需 再花費(fèi)大量時(shí)間 來 規(guī)劃 如何調(diào)配 VLAN 及 管 理 VLAN 數(shù) 量劇增 問題。在 每 個(gè) Nutanix 物理 節(jié) 點(diǎn) 上 有 多
48、種網(wǎng) 絡(luò) 需 求 , 包括管 內(nèi)部通訊網(wǎng) 絡(luò) 、管 理 網(wǎng) 絡(luò) 、生產(chǎn)網(wǎng) 絡(luò) 等, 因此每 個(gè) Nutanix 節(jié) 點(diǎn) 建 議 配 置 2 塊網(wǎng) 卡, 網(wǎng) 絡(luò) 設(shè)計(jì) 建 議 如下:類型設(shè)計(jì)備注Nutanix 物理節(jié) 點(diǎn) 之 間 的內(nèi)部通訊網(wǎng) 絡(luò)10Gb 以 太網(wǎng)雙鏈路冗余每 個(gè) 節(jié) 點(diǎn) 通過兩條萬兆鏈路分 別 連接兩臺(tái) 萬兆交 換 機(jī) , 保證網(wǎng) 絡(luò) 設(shè)備和 鏈路的 冗余度。建 議 用 戶 使用 萬兆網(wǎng) 絡(luò) 互聯(lián)物理 節(jié)點(diǎn) , 當(dāng)發(fā)生密集的 寫IO 時(shí), 萬兆網(wǎng)絡(luò) 能保證提供足夠帶寬滿足節(jié)點(diǎn)之間的 IO 同步流量??蛻舳伺c服務(wù)器虛擬機(jī)每個(gè)節(jié)點(diǎn)通過兩條千/萬兆鏈路分別連接兩臺(tái)千/萬兆交換機(jī),保證
49、網(wǎng)絡(luò)設(shè)1Gb/10Gb 以之間的通訊太網(wǎng),雙鏈備和鏈路的冗余度。網(wǎng)絡(luò),虛擬化路冗余用戶訪問虛擬服務(wù)器對外提供服務(wù)服務(wù)器對外服務(wù)網(wǎng)絡(luò)時(shí),通過千/ 萬兆鏈路可以實(shí)現(xiàn)與后端 存儲(chǔ)流量隔離。硬件管理網(wǎng)每個(gè)節(jié)點(diǎn)都有獨(dú)立的千兆鏈路,用于絡(luò)(IPMI)1Gb 以太網(wǎng)連接專門的管理網(wǎng)絡(luò),實(shí)現(xiàn)管理網(wǎng)絡(luò)與業(yè) 務(wù)網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)分離??梢宰畲笙薅缺?證管理的靈活性和安全性。虛擬化軟件的選擇虛擬化Hypervisor 層的類型選擇,基于生產(chǎn)環(huán)境和災(zāi)備環(huán)境劃分,生產(chǎn)環(huán)境建議采用Vmware vsphere 商業(yè)化平臺(tái)軟件并購買原廠支持服務(wù),非生產(chǎn)環(huán)境容災(zāi)環(huán)境,建議采用平臺(tái)標(biāo)配的免費(fèi)的AHV 虛擬化軟件,具備高可用(Hig
50、hAvailability)、在線遷移(Live Migration/vMotion)等常用虛擬化層特性。Vmware vsphere 虛擬化軟 件版本對比,目前vsphere 保留了標(biāo)準(zhǔn)版、 企業(yè)增強(qiáng)版和企業(yè)增強(qiáng)版帶Operations Management(監(jiān)控、容量規(guī)劃),主要區(qū) 別在于分布 式 虛擬交換機(jī)支持、DRS 動(dòng) 態(tài) 資源 調(diào) 度、Qos、跨Vcenter 管理平臺(tái)和長 距 離虛擬機(jī)遷移,建議預(yù) 算 充 足考 慮 企業(yè)增強(qiáng)版帶Operations Management(監(jiān)控、容量規(guī)劃)版本。以下 為 版本間區(qū) 別:最 新 資 料 推 薦 PAGE 28 / 60虛擬化平臺(tái)虛擬機(jī)
51、安全 虛擬化在資源利用率 、 高可用性 、 高擴(kuò)展性上有著諸多優(yōu)勢 , 實(shí)現(xiàn)虛擬化后, 直觀的來看 , 是將多臺(tái)服務(wù)器集中到了一臺(tái)主機(jī)內(nèi) , 這一臺(tái)主機(jī)同時(shí)運(yùn)行了多個(gè)操作系統(tǒng) , 提供不同的應(yīng)用和服務(wù) ; 系統(tǒng)管理員根據(jù)需要可以非常方便的添加新的應(yīng)用服務(wù)器; 根據(jù)傳統(tǒng)的安全設(shè)計(jì)模型 , 需要在每個(gè)操作系統(tǒng)中安裝防毒軟件 , 在網(wǎng)絡(luò)層部署入防火墻、侵檢測或入侵防御系統(tǒng),但是在這種在傳統(tǒng)方式下合理的設(shè)計(jì), 在虛擬環(huán)境下會(huì)面臨一些新的問題: 未 激 活 的 虛 擬 機(jī) , 物 理 機(jī) 下 關(guān) 閉 計(jì) 算 機(jī) 后 CPU停止運(yùn) 行 , 網(wǎng) 絡(luò) 關(guān) 閉 , 理 論上 不 會(huì) 有 數(shù)據(jù) 的 交互,操作系
52、統(tǒng) 也就不 存在 被感染的 可 能; 但 是 在 虛 擬 環(huán) 境 下 , CPU, 網(wǎng) 絡(luò) , 底層 的 ESX都在 工作 中 , 關(guān) 閉 的 操 作 系 統(tǒng) 類似于物 理 環(huán) 境 下 的 一 個(gè) 應(yīng) 用 程序, 盡管 這 個(gè) “應(yīng) 用 程序”沒有 運(yùn) 行 , 但 仍然有 被病毒 感染的 可 能;資源的沖突,防毒軟件在啟用預(yù)設(shè)掃描后,當(dāng)?shù)搅酥付〞r(shí)間,會(huì)同時(shí)進(jìn)行文件掃描的動(dòng)作,這個(gè)時(shí)候防毒軟件對CPU和內(nèi)存的占用急劇增加,當(dāng)系統(tǒng)資源被耗盡的時(shí)候就會(huì)導(dǎo)致服務(wù)器down機(jī);管理復(fù)雜度,由于虛擬化的便利性,系統(tǒng)管理員可以非常方便的根據(jù)模板生成新的系統(tǒng),這些新系統(tǒng)要打補(bǔ)丁,進(jìn)行病毒代碼的更新,也會(huì)增加安
53、全管理的復(fù)雜度;虛擬化環(huán)境的動(dòng)態(tài)特性面臨入侵檢測/防御系統(tǒng)(IDS/IPS)的新挑戰(zhàn)。基于網(wǎng)絡(luò)的IDS/IPS,也無法監(jiān)測到同一臺(tái)ESX服務(wù)器上的虛擬機(jī)之間的通訊;由于虛擬機(jī)能夠迅速地恢復(fù)到之前的狀態(tài),利用VMware VMotion易于在物理服務(wù)器之間移動(dòng),所以難以獲得并維持整體一致的安全性。所以虛擬化已經(jīng)使“網(wǎng)絡(luò)邊界去除”的挑戰(zhàn)更加明顯,虛擬化對于安全的需求也更加迫切。VMware VShield Endpoint 程序使我們能夠部署專用安全虛擬機(jī)以及經(jīng)特別授權(quán)訪問管理程序的API。這使得創(chuàng)建獨(dú)特的安全控制虛擬機(jī)成為可能,如在Gartner的報(bào)告中所述,安全虛擬機(jī)技術(shù)在虛擬化的世界中從根本
54、上改變安全和 管理的概念。這種安全虛擬機(jī)是一種在虛擬環(huán)境中實(shí)現(xiàn)安全控制的新型方法。安全虛擬機(jī)利用API來訪問關(guān)于每一虛擬機(jī)的特權(quán)狀態(tài)信息,包括其內(nèi)存、狀態(tài)和網(wǎng)絡(luò)通信流量等。因?yàn)樵诓桓奶摂M網(wǎng)絡(luò)配置的情況下,服務(wù)器內(nèi)部的全部網(wǎng)絡(luò)通信流量是可見的。 包括防病毒、防火墻、IDS/IPS 和系統(tǒng)完整性監(jiān)控等在內(nèi)的安全功能均可以應(yīng)用于安全虛擬機(jī)中。Deep Security產(chǎn)品由三部分組成,管理控制平臺(tái)(以下簡稱DSM);安全虛擬機(jī)(以下簡稱DSVA);安全代理程序(以下簡稱DSA)。趨勢科技Deep Security安全防護(hù)系統(tǒng)管理控制中心(DSM),是管理員用來配置及管理安全策略的集中式管理組件,所
55、有的DSVA及DSA都會(huì)注冊到DSM,接受統(tǒng)一的管理。趨勢科技Deep Security 安全防護(hù)系統(tǒng)安全虛擬機(jī)(DSVA) 是針對VMware vSphere 環(huán)境構(gòu)建的安全虛擬計(jì)算機(jī),可提供防惡意軟件、 IDS/IPS 、 防火 墻、 Web 應(yīng)用程序防護(hù)和應(yīng)用程序控制防護(hù),數(shù)據(jù)完整性監(jiān)控等安全功能。趨勢科技Deep Security安全防護(hù)系統(tǒng)安全代理程序(DSA)是安全客戶端,直接部署在操作系統(tǒng)中,可提供IDS/IPS、防火墻、Web 應(yīng)用程序防護(hù)、應(yīng)用程序控制、完整性監(jiān)控和日志審查防護(hù)等安全功能。Deep Security通過vshield endpoint提供的實(shí)時(shí)掃描、預(yù)設(shè)掃描、
56、清除修復(fù)等數(shù)據(jù)接口,對虛擬機(jī)中的數(shù)據(jù)進(jìn)行病毒代碼的掃描和判斷,并結(jié)合防火墻、IDS 策略實(shí)時(shí)對進(jìn)出虛擬機(jī)的數(shù)據(jù)進(jìn)行安全過濾;在管理上需要vshield manager和vcenter的支持。趨勢科技Deep Security系統(tǒng)提供了對數(shù)據(jù)中心(范圍遍及虛擬桌面到物理、 虛擬或云服務(wù)器)的高級保護(hù),包括:防惡意軟件防火墻入侵檢測和阻止 (IDS/IPS)Web 應(yīng)用程序防護(hù)應(yīng)用程序控制最新資料推薦 PAGE 35 / 60完整性監(jiān)控日志審計(jì)VMw are 虛擬機(jī)的惡意軟件防護(hù)防惡意軟件模塊可提供趨勢科技防惡意軟件防護(hù),包括實(shí)時(shí)掃描、預(yù)設(shè)掃描 及手動(dòng)掃描功能,處理措施包含清除、刪除、拒絕訪問或隔
57、離惡意軟件。檢測到惡意軟件時(shí),可以生成警報(bào)日志。入侵檢測和阻止 (IDS/IPS)、Web 應(yīng)用程序防護(hù)和應(yīng)用程序控制DPI 規(guī)則通過保護(hù)漏洞不受已知和未知攻擊來提供入侵檢測和阻止(IDS/IPS) 防護(hù)。此類防護(hù)也稱為虛擬補(bǔ)丁,實(shí)現(xiàn)方式是每個(gè)規(guī)則定義預(yù)期的應(yīng)用程序數(shù)據(jù)并根據(jù)其內(nèi)容阻止惡意數(shù)據(jù)。此外,DPI 規(guī)則通過一組 Web 應(yīng)用程序防護(hù)規(guī)則來保護(hù)Web 應(yīng)用程序中的漏洞(如跨站點(diǎn)腳本 (XSS) 和 SQL 注入)。通過檢測已知的應(yīng)用程序流量(在企業(yè)環(huán)境中可能需要限制),DPI 規(guī)則還可以用于向計(jì)算機(jī)提供應(yīng)用程序控制。持續(xù)的趨勢科技Deep Security系統(tǒng)規(guī)則更新會(huì)自動(dòng)提供最新的全
58、面防護(hù),以抵御已知和未知攻擊。防火墻規(guī)則完善的雙向狀態(tài)防火墻為所有網(wǎng)絡(luò)通訊協(xié)議(包括TCP、UDP 和 ICMP) 提供全面支持。防火墻規(guī)則是完全可配置的,以每個(gè)網(wǎng)絡(luò)接口為基礎(chǔ)允許或拒絕網(wǎng)絡(luò)通信,以及限制對允許的IP 或 MAC 地址的通信。完整性監(jiān)控規(guī)則通過完整性監(jiān)控防護(hù)模塊,趨勢科技Deep Security系統(tǒng)可以掃描和檢測計(jì)算機(jī)系統(tǒng)文件、目錄、注冊表項(xiàng)和注冊表值以及已安裝軟件和運(yùn)行的服務(wù)中發(fā)生的更改。系統(tǒng)會(huì)將這些更改作為事件記錄在管理中心中,并且可以對其進(jìn)行配置,以生成警報(bào)。日志審計(jì)規(guī)則通過集成 OSSEC,趨勢科技Deep Security 系統(tǒng)可以審查由操作系統(tǒng)和應(yīng)用程序生成的日志
59、事件。日志審計(jì)事件保存在管理中心中,可以對其進(jìn)行配置,以生 成警報(bào)。此部分只給出建議,實(shí)際授權(quán)按照處理器數(shù)量收費(fèi)。業(yè)務(wù)系統(tǒng)遷移方法將現(xiàn)有生產(chǎn)系統(tǒng)利用Vmware Converter 工具遷移到vSphere 虛擬化平臺(tái)上, 保證業(yè)務(wù)的正常運(yùn)行?,F(xiàn)有生產(chǎn)環(huán)境中Windows Server 2000,需使用Converter4.0 遷移工具進(jìn)行遷移。此外,生產(chǎn)環(huán)境中以2003、2008 系統(tǒng)居多,使用Converter5.1 遷移工具進(jìn)行遷移。可以實(shí)現(xiàn)在線遷移服務(wù)器到虛擬機(jī)(P2V),根據(jù)用戶數(shù)據(jù)遷移前后的存儲(chǔ)位置不同,可以采用不同的數(shù)據(jù)遷移方案來進(jìn)行數(shù)據(jù)遷移:具體采用哪一種還需要到實(shí)際現(xiàn)場實(shí)際考
60、察和確認(rèn)。以下是對具體情況的分析:源服務(wù)器數(shù)據(jù)存放在本地,計(jì)劃遷移到虛擬機(jī)上可以實(shí)現(xiàn)在線遷移,遷移的需要網(wǎng)絡(luò)防火墻開通相關(guān)端口,遷移的時(shí)間取決于服務(wù)器數(shù)據(jù)量大小和網(wǎng)絡(luò)的速度。源服務(wù)器數(shù)據(jù)存放在共享磁盤柜上,計(jì)劃遷移到虛擬機(jī)上可以實(shí)現(xiàn)在線遷移,遷移的需要網(wǎng)絡(luò)防火墻開通相關(guān)端口。一般情況下,共享存儲(chǔ)上的數(shù)據(jù)量會(huì)非常大,所以這種應(yīng)用遷移時(shí)間會(huì)比較長。源服務(wù)器數(shù)據(jù)以Raw 方式存放在共享磁盤柜,計(jì)劃仍保留在磁盤柜不可以實(shí)現(xiàn)在線遷移,需要用戶備份數(shù)據(jù)。重新搭建環(huán)境,把磁盤柜 Raw掛載到虛擬機(jī)上,然后進(jìn)行數(shù)據(jù)恢復(fù)。源服務(wù)器數(shù)據(jù)以文件系統(tǒng)方式存放在共享磁盤柜,計(jì)劃仍保留在磁盤柜不可以實(shí)現(xiàn)在線遷移,需要用戶
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 醫(yī)院護(hù)士辭職報(bào)告(集合15篇)
- 2025年醫(yī)用空氣壓縮機(jī)(系統(tǒng))項(xiàng)目立項(xiàng)申請報(bào)告模范
- 2024-2025學(xué)年信豐縣三上數(shù)學(xué)期末質(zhì)量跟蹤監(jiān)視模擬試題含解析
- 公司原因的辭職報(bào)告模板七篇
- 2025年室內(nèi)清潔健康電器項(xiàng)目提案報(bào)告模板
- 設(shè)計(jì)類實(shí)習(xí)報(bào)告模板集合10篇
- 北京冬奧會(huì)冬殘奧會(huì)總結(jié)表彰大會(huì)觀后感(范文10篇)
- 小學(xué)生誠信勵(lì)志演講稿
- 四年級教學(xué)計(jì)劃集錦5篇
- 三八婦女節(jié)慰問信(15篇)
- 酒店宴會(huì)服務(wù)合同三篇
- 高一數(shù)學(xué)上學(xué)期期末模擬試卷03-【中職專用】2024-2025學(xué)年高一數(shù)學(xué)上學(xué)期(高教版2023基礎(chǔ)模塊)(解析版)
- 2024-2025學(xué)年上學(xué)期北京初中物理九年級期末培優(yōu)試卷
- 2024衛(wèi)星遙感應(yīng)用服務(wù)平臺(tái)建設(shè)與運(yùn)營合同
- 2023-2024學(xué)年北京海淀區(qū)初三(上)期中化學(xué)試題及答案
- 1、2024廣西專業(yè)技術(shù)人員繼續(xù)教育公需科目參考答案(98分)
- 醫(yī)院特殊管理藥品突發(fā)事件應(yīng)急預(yù)案例文(五篇)
- 醫(yī)生四頁簡歷10模版
- 律師行業(yè)職業(yè)操守與違紀(jì)警示發(fā)言稿
- 塑料污染與環(huán)境保護(hù)
- 2024年陜西榆林市神木市公共服務(wù)輔助人員招聘775人歷年高頻難、易錯(cuò)點(diǎn)500題模擬試題附帶答案詳解
評論
0/150
提交評論