


版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、桌面云解決方案技術(shù)建議書 目錄一、 項(xiàng)目概述1.1項(xiàng)目背景1.2項(xiàng)目需求1.3功能需求二、桌面云設(shè)計(jì)方案 2.1總體設(shè)計(jì)方案2.2部署方案完整復(fù)制桌面云方案說明 普通鏈接克隆桌面云方案說明 2.3典型應(yīng)用場景方案2.3.1 OA辦公場景方案會議室桌面云Pool解決方案員工輪班桌面云解決方案 2.4網(wǎng)絡(luò)設(shè)計(jì)方案桌面云邏輯組網(wǎng)圖 網(wǎng)絡(luò)帶寬需求2.5安全設(shè)計(jì)方案用戶名+域密碼認(rèn)證方案 2.6系統(tǒng)擴(kuò)容方案集群內(nèi)主機(jī)可擴(kuò)展性 虛擬桌面管理節(jié)點(diǎn)可擴(kuò)展性存儲擴(kuò)展性2.7備份容災(zāi)設(shè)計(jì)方案 概述本地存儲異構(gòu)虛擬化建設(shè) 20 本地存儲容災(zāi)建設(shè) 21三、四、本項(xiàng)目的優(yōu)勢23配置方案4.1桌面數(shù)量規(guī)劃4.2瘦終端4.
2、3服務(wù)器4.4存儲設(shè)備4.5配置清單一、 項(xiàng)目概述1.1項(xiàng)目背景業(yè)務(wù)終端一直使用功能全面的傳統(tǒng) PC。在大多數(shù)情況下,PC提供了價(jià)格、性 能與功能的最佳 組合。但同時(shí),在實(shí)際應(yīng)用過程中,需要在每臺PC上安裝業(yè)務(wù)所需的軟件程序及客戶端;同時(shí)所 有數(shù)據(jù)分散在各PC上,對PC無法方便 地進(jìn)行統(tǒng)一集中維護(hù)與管理,對數(shù)據(jù)無法進(jìn)行集中存儲與備份。主要體現(xiàn)在以下幾方面:?難以保證非法接入: PC本地有USB 口、串口、并口都可以外接設(shè)備,沒有有效的管理手段,禁止非法設(shè)備的接入,存在數(shù)據(jù)泄密的風(fēng)險(xiǎn)。? 難以保證數(shù)據(jù)的安全:PC通常是應(yīng)用系統(tǒng)的客戶端,可接收、處理、存儲應(yīng)用系統(tǒng)的數(shù)據(jù),若這些數(shù)據(jù)是企業(yè)的關(guān)鍵信息
3、資產(chǎn),容易使企業(yè)關(guān)鍵信息泄露。 另一方面,PC工作環(huán)境下,PC上保存著員工的智力數(shù)據(jù),也是企業(yè)資產(chǎn)的 一部分。這些數(shù)據(jù)如何能在 PC出現(xiàn)故障或文件丟失 時(shí)恢復(fù),是一個(gè)當(dāng)前IT 系統(tǒng)的一個(gè)巨大的挑戰(zhàn)。?難以管理:面對廣泛分布的 PC硬件,用戶日益要 求能在任何地方訪問其桌面環(huán)境,因此集中式PC管理極難實(shí)現(xiàn)。此外,眾所周知,由于PC硬件種類繁多,用戶修改桌面環(huán)境的需求 各有不同,因此PC 桌面標(biāo)準(zhǔn)化也是一個(gè)難題。?高能耗、高排放:一臺PC的能耗在200瓦左右,每臺PC個(gè)人電腦平均運(yùn)行12小時(shí)以上,一臺PC 一年耗電 800-1000度電左右,對于企業(yè)上萬臺規(guī)模的 PC工作環(huán)境,一年的耗電量是 一個(gè)
4、非常驚人的數(shù)字。這當(dāng)今提倡綠色環(huán)保、低碳經(jīng)濟(jì)的大環(huán)境下,確實(shí)是一 個(gè)巨大的挑戰(zhàn)。?資源未能充分利用:PC的分布式特性使人們難以通過集中 資源的方式提高利用率和降低成本。結(jié)果,PC的資源利用率通常低于 5%,遠(yuǎn) 程辦公室需要重復(fù)的桌面基礎(chǔ)架構(gòu),移動工作人員可能需要使用復(fù)雜的遠(yuǎn)程桌面解決方案。?總體擁有成本高(TCO) : PC硬件相對較低的成本優(yōu)勢,通常 無法抵消PC管理和支持工作的高昂成本。目前,PC管理工作包括部署軟件、更新和修補(bǔ)程序等,由于這些工 作需要對多種PC配 置的部署進(jìn)行測試和驗(yàn)證,因而會耗費(fèi)大量的人力。同時(shí), 由于標(biāo)準(zhǔn)化程度不高,支持人員經(jīng)常 需要親臨現(xiàn)場解決問題,這就進(jìn)一步增加
5、 了支持成本。 針對上述問題,建議使用桌面云技術(shù)取代傳統(tǒng)PC。具體而言,采用在服務(wù)器系統(tǒng)上承載桌面映像的方法,以集中資源并提高其桌面計(jì)算基礎(chǔ) 架構(gòu)的可管理性。1.2項(xiàng)目需求桌面云主要應(yīng)用場景有:日常辦公。應(yīng)用場景規(guī)模系統(tǒng)要求50 WINDOWSXP/Windows 7操作系統(tǒng)。 支持PC機(jī)、瘦客戶機(jī)訪問虛擬機(jī)桌面平臺; vCPU=2U,Memory=2GB, 系統(tǒng)盤=40GB,數(shù)據(jù)盤 虛機(jī)規(guī)格 日常辦公 軟件要 求=80GB MS OFFICE , Outlook, Project, VISIO ; In ternet Explorer,Acrobat Reader,視頻播放軟件,企業(yè) 通訊軟
6、件,常用輸入法,微星閱讀 器,金山詞霸; 支持USB打印機(jī)、掃描儀、USB鍵盤鼠標(biāo)等。部分 外設(shè)要求 身份認(rèn)證 打印機(jī)和掃描儀接口可能是串并口。域帳號+域密碼 主要需求配置1.3功能需求桌面云系統(tǒng)應(yīng)實(shí)現(xiàn)以下功能目標(biāo):1.虛擬桌面站點(diǎn)需接入互聯(lián)網(wǎng),允許進(jìn)行互聯(lián) 網(wǎng)的瀏覽、文件上下載等常見操作。2.系統(tǒng)要支持集中管理能力,如:對操作系統(tǒng)鏡像統(tǒng)一管理、軟件補(bǔ)丁統(tǒng)一分發(fā)、TC終端統(tǒng)一管理。3.系統(tǒng)要支持互 聯(lián)網(wǎng)終端接入桌面云需求。4.系統(tǒng)要支持安全架構(gòu)設(shè)計(jì),具有完善的安全防護(hù)能力。5.系統(tǒng)支持高可用性、動態(tài)遷移等可靠性設(shè)計(jì)。6.系統(tǒng)支持通過擴(kuò)容存儲與計(jì)算資源實(shí)現(xiàn)用戶平滑擴(kuò)容。二、桌面云設(shè)計(jì)方案2.1總
7、體設(shè)計(jì)方案日常辦公云終端日常辦公內(nèi)部網(wǎng)接入網(wǎng)關(guān)VRRP虛擬路由器冗余協(xié)議防火墻核心交換機(jī)接入網(wǎng)關(guān)傳輸管道接入交換機(jī) 業(yè)務(wù)網(wǎng)絡(luò) 管理網(wǎng)絡(luò)管理虛機(jī)FusionSphere) 辦公虛機(jī)ADFusionAcess高速局域網(wǎng)接入應(yīng)用虛擬化虛擬機(jī)VDI桌面集群應(yīng)用虛擬化集群XX應(yīng)用系統(tǒng)集群存儲網(wǎng)絡(luò)云數(shù)據(jù)中心存儲資源池本項(xiàng)目為了實(shí)現(xiàn)高安全、高可靠、高性能、易遠(yuǎn)程集中運(yùn)維、平滑擴(kuò)容的目標(biāo), 采用業(yè)界主 流成熟的虛擬化技術(shù),實(shí)現(xiàn)虛擬桌面、服務(wù)器虛擬化等要求。本項(xiàng) 目方案主要以下方面考慮:資源池設(shè)計(jì):根據(jù)本項(xiàng)目的需求,服務(wù)器上安裝華為的虛擬化軟件, 將服務(wù)器池 化。池化后VDI桌面、應(yīng)用虛擬化、服務(wù)器虛擬化的服務(wù)
8、器分別組成集群。池 化后服務(wù)器上運(yùn)行虛擬機(jī)便于管 理、監(jiān)控。虛擬機(jī)在集群里可以實(shí)現(xiàn)定制策略 遷移、手動熱遷移、故障熱遷移。資源池的設(shè)計(jì)具 有高可靠、平滑擴(kuò)容特性。桌 面虛擬化:華為虛擬桌面管理軟件 FusionAccess,提供高性能且可靠的桌面投 送。Fusi on Access桌面虛擬化以服務(wù)器虛擬化為基礎(chǔ),允許多個(gè)用戶桌面以 虛擬機(jī)的形式獨(dú)立運(yùn)行,同時(shí)共享CPU、內(nèi)存、網(wǎng)絡(luò)連接和存儲器等底層物理硬件資源。這種架構(gòu)將虛機(jī)彼此隔離開來,同時(shí)可以實(shí)現(xiàn)精確的資源分配,并能保護(hù)用戶免受由其他用戶活動所造成的應(yīng)用程序崩潰和操作系統(tǒng)故障的影響。FusionAccess采用業(yè)界領(lǐng)先的高清保真 HDP桌面
9、協(xié)議,并可將授權(quán)用 戶安全連接至集中式虛 擬桌面。它與FusionSphere協(xié)同工作,可提供一個(gè)完 整的端到端桌面虛擬化解決方案,此解決方 案不僅能增強(qiáng)控制能力和可管理性, 還可以提供與PC 一致的桌面體驗(yàn),F(xiàn)usionAccess能簡化虛擬桌面的管理、 調(diào)配和部署。用戶能夠通過 Fusio nAccess安全而方便地訪問虛擬桌面,升級 和修補(bǔ)工作都從單個(gè)控制臺集中進(jìn)行,因此可以有效地管理數(shù)百甚至數(shù)千個(gè)桌 面,從而節(jié)約時(shí)間和資源。配備FusionAccess桌面虛擬化方案具備下列優(yōu) 勢:?集控制能力和可管理性于一身:由于桌面在數(shù)據(jù)中心運(yùn)行,因此管理員 可以更輕松地對其進(jìn)行部署、管理和維護(hù)。?
10、桌面云把數(shù)據(jù)、信息和知識財(cái)產(chǎn) 將保留在數(shù)據(jù)中心內(nèi),而且永遠(yuǎn)不外流。?與PC 一致的體驗(yàn):用戶可以靈活訪問與普通PC桌面功能相同的個(gè)性化虛擬桌面。?降低總體擁有成本(TCO):桌面虛擬化可以減低其管理和資源成本。統(tǒng)一軟硬件管理:為了便于硬件設(shè)備(服務(wù)器、存儲、交換機(jī))、虛擬資源的集中管理,采用 華為的虛擬 化管理軟件FusionSphere。FusionSphere采用B/S架構(gòu),可以遠(yuǎn)程統(tǒng)一管理 本項(xiàng)目中VDI桌面、服務(wù)器虛擬化三個(gè)資源池。FusionSphere可管理、監(jiān)控 硬件資源、虛擬資源;支持虛 擬機(jī)的快速部署、定制化策略調(diào)度。?計(jì)算資源 池 計(jì)算資源池為用戶提供 CPU、內(nèi)存計(jì)算資源
11、。在服務(wù)器上安裝華為的虛擬 化軟件,可以在一臺 服務(wù)器上虛擬出多個(gè)臺虛擬機(jī),提供彈性規(guī)格的虛擬桌面。 這幾個(gè)資源池歸屬同一朵桌面云管理 系統(tǒng)。?存儲資源存儲資源主要為虛擬桌面提供系統(tǒng)空間和數(shù)據(jù)空間、還有桌面云管理系統(tǒng)所需要 的空間。這 些存儲都在主用存儲上。主存儲根據(jù)數(shù)據(jù)類型的不同,劃分不同的 數(shù)據(jù)LUN。這里的數(shù)據(jù)類型主要包括管理數(shù)據(jù)、Windows系統(tǒng)數(shù)據(jù)、用戶數(shù) 據(jù)。2.2部署方案完整復(fù)制桌面云方案說明完整復(fù)制桌面云桌面利用虛擬化技術(shù)與遠(yuǎn)程桌面投送技術(shù)。在桌面云中心,利用虛擬化技術(shù)把服務(wù)器與存儲虛擬成一臺臺彈性的虛擬主機(jī)。完完整復(fù)制虛擬桌 面在創(chuàng)建時(shí),系統(tǒng)會給這個(gè)虛 擬桌面分配一份獨(dú)立系
12、統(tǒng)盤空間,并將虛擬機(jī)模 板完整復(fù)制到系統(tǒng)盤上。這樣每個(gè)完整復(fù)制虛擬桌面都有單獨(dú)的系統(tǒng)盤與用戶數(shù)據(jù)盤?;谔摂M機(jī)級別的隔離、安全性高、個(gè)性化強(qiáng);外設(shè)支持類型豐富;用戶體驗(yàn)與傳統(tǒng)PC 一致,可以按照用戶的工作負(fù)荷彈性修改虛擬機(jī)規(guī)格。每個(gè) 用戶都有一個(gè)獨(dú)立的虛擬機(jī),虛擬機(jī)系統(tǒng)盤和數(shù)據(jù)盤都通過集中的存儲設(shè)備加 載。用戶通過本地瘦終端,或軟終端可以遠(yuǎn)程登錄虛擬機(jī)。虛擬機(jī)采用業(yè)界性 能領(lǐng)先、帶寬要求 低的HDP協(xié)議將虛擬機(jī)桌面顯示投送到用戶終端上。瘦終 端的無本地存儲、USB可管控,功耗低。 辦公環(huán)境相對PC環(huán)境更簡潔,無噪 音。普通鏈接克隆桌面云方案說明普通鏈接克隆桌面與完整復(fù)制桌面的區(qū)別主要在于系統(tǒng)盤
13、的存儲上。鏈接克隆桌面的虛機(jī)共享一個(gè)相同的系統(tǒng)母盤,每臺虛擬機(jī)系統(tǒng)盤的不同部分(如工作臨時(shí)緩存數(shù)據(jù)、個(gè)性化配置(C:User(在 Windows 7中)或C:Documents andSettings(在 Windows XP中)、臨時(shí)安裝的個(gè)性 化應(yīng)用程序(C:Program Files ) 等)都保存在差分盤中。并且通過將母盤和差分盤組合映射為一個(gè)鏈接克隆盤作為虛擬機(jī)的整個(gè)系統(tǒng)盤(即 C盤),提供給虛擬機(jī)使用。對于虛擬機(jī)的差分 盤,可以配置更新還原策略,還原策略可配置為手動還原與重啟還原。每次更 新系統(tǒng)母卷時(shí),差分盤 也會自動清除。由于系統(tǒng)母盤是很多桌面共用,所以對于系統(tǒng)母盤需要很高的讀性
14、能。華為虛擬化平臺對于鏈接克隆母盤提供iCache 加速功能??梢詫⑾到y(tǒng)母盤的熱點(diǎn)數(shù)據(jù)緩存到服務(wù)器本地磁盤、或本地內(nèi)存中。 這樣就減小了對共享存儲的性能沖擊。FusionAccess支持個(gè)人配置數(shù)據(jù)漫游和 統(tǒng)一用戶數(shù)據(jù)存儲。支持用戶登錄到不同的服務(wù)器上可使用相同的用戶配置文件。鏈接克隆桌面可以與 Windows個(gè)人配置數(shù)據(jù)漫游結(jié)合使用,來實(shí)現(xiàn)用 戶配 置信息的漫游設(shè)置。使用普通鏈接克隆桌面的每個(gè)用戶仍可以掛載不同的用戶 數(shù)據(jù)盤,用來保存數(shù)據(jù)。普通鏈接 克隆桌面除擁有完整復(fù)制桌面云的安全隔離、 外設(shè)兼容性、工作體驗(yàn)外,還有以下優(yōu)勢。普通鏈接克隆桌面的優(yōu)勢:管理員需要發(fā)布或升級軟件、系統(tǒng)升級與打補(bǔ)
15、丁,只要更新系統(tǒng)母卷就可以,對 IT系統(tǒng)運(yùn)維 和安全帶來極大便利,對IT系統(tǒng)穩(wěn)定性提供較好保障。由于共用系統(tǒng)母盤,創(chuàng)建虛擬桌面減少系統(tǒng)盤的復(fù)制過程,差分盤只有使用時(shí)才分配,所以 鏈接克隆桌面云具體創(chuàng)建速度快,占用戶空間小的優(yōu)勢;支持快速批量創(chuàng)建 和發(fā)放虛擬機(jī)。對于鏈接克隆的差分盤,保存用戶工作的臨時(shí)系統(tǒng)數(shù)據(jù),與臨時(shí)安裝的軟件。這就像一個(gè)沙 箱,任何不安全的程序、軟件都可以在這個(gè)沙箱 里充分演示,即使虛擬機(jī)中毒、或者中了木馬,只要把虛擬機(jī)重啟,差分盤就可以自動清除,保障了系統(tǒng)的安全。2.3典型應(yīng)用場景方案2.3.1OA 辦公場景方案OA辦公桌面云方案特點(diǎn):OA辦公桌面云是指企業(yè)使用桌面云來進(jìn)行正
16、常的辦 公活動。用戶的虛擬機(jī)運(yùn)行 Windows XP、Windows 7系統(tǒng),運(yùn)行各種文字辦 公軟件,女口 Office 編輯文檔、Project > Visio、In ternet Explorer 瀏覽網(wǎng)頁、 Outlook處理郵件、金山詞霸等。桌面云可對接入U(xiǎn)SB通道、打印設(shè)備、存儲設(shè)備進(jìn)行映射管理;虛擬機(jī)里可安裝監(jiān)控軟件,提供多種安全方案,保證辦公 環(huán)境的信息安全。華為桌面云利用虛擬化技術(shù)與遠(yuǎn)程桌面投送技術(shù)。在桌面云中心,利用虛擬化技術(shù)把服務(wù)器 與存儲虛擬成一臺臺彈性的虛擬主機(jī),基于虛 擬機(jī)級別的隔離,每個(gè)桌面都有單獨(dú)的系統(tǒng)盤,安全性高、個(gè)性化強(qiáng)、外設(shè)支持類型豐富;用戶體驗(yàn)與傳
17、統(tǒng) PC 一致。每個(gè)用戶都有一個(gè)獨(dú)立的虛擬機(jī),虛 擬機(jī)系統(tǒng)盤采用服務(wù)器的本地存儲,高度集成。用戶如果需要擴(kuò)展存儲空間,可 彈性增加SAN或NAS存儲。用戶通過本地瘦終端,或軟終端,采用 AD域帳 號+域密碼方式登錄虛擬機(jī)。虛擬機(jī)采用業(yè)界性 能最優(yōu)、高清保真的HDP協(xié)議 將虛擬機(jī)桌面顯示投送到用戶終端上。瘦終端的無本地存儲、 USB可 管控,功 耗低。辦公環(huán)境相對PC環(huán)境更簡潔,無噪音。232會議室桌面云 Pool解決方案會議室桌面的特點(diǎn):?典型用戶:所有使用會議室電腦資源的用戶?場景描述:會議開始前的共享資料準(zhǔn)備,會議中的材料共享和演示投影,會議結(jié)束清除 本地會議材料。?場景特點(diǎn):1.應(yīng)用場景
18、單一,主要是資料共享和投影。使 用時(shí)間短,一般是24個(gè)小時(shí)。2.本地員工一般有自已的私有辦公桌面, 自己 辦公點(diǎn)和會議室存在一定的物理距離。3.異地性,出差員工沒有辦公桌面,臨時(shí)使用,使用人頻繁,需要保證其使用的桌面不保留 前一個(gè)使用者的數(shù)據(jù)信息。 對于本地員工在會議室開會,通過會議室的本地TC可以直接登錄自已的私有桌 面;開完會直 接注銷后即可。 對于出差員工使用的桌面,采用普通鏈接克隆桌 面,建立一個(gè)會議室虛擬桌面資池,以動態(tài)多用戶方式(動態(tài)池)分配給用戶。 只需要會議室用戶組與會議室虛擬桌面池綁定。出差員工每次使用登錄時(shí),系統(tǒng)隨機(jī)分配一個(gè)可用的虛擬機(jī),用戶注銷后,虛擬機(jī)被資源池回收,清除
19、會議 使 用時(shí)殘留數(shù)據(jù)。233員工輪班桌面云解決方案員工輪班應(yīng)用場景的特點(diǎn):?獨(dú)立辦公環(huán)境場景:由于辦公位置有限,用戶根據(jù)安排在不同的時(shí)間段同一位置,使用同 一個(gè)TC辦公,各自需要使用獨(dú)立的 辦公環(huán)境,用于知識的積累和郵件的處理,如供應(yīng)鏈的工程人 員;?用戶分時(shí) 使用:TC數(shù)量有限,提供與用戶數(shù)量相同的虛擬機(jī),但是運(yùn)行的虛擬機(jī)只有, 保 障用戶有各自獨(dú)立的環(huán)境。 對于這種分時(shí)輪班的使用場景,虛擬桌面一對一 的分配使用,可以保證虛擬機(jī)級別的隔離;安 全性高;用戶使用戶個(gè)性化。在配 置方案時(shí),需要關(guān)注并發(fā)用戶與總用戶的差別。TC、服務(wù)器數(shù)量、虛擬桌面的License都按并發(fā)用戶數(shù)來配置;存儲資源按
20、總用戶來配置。這樣的配置可達(dá)到 最 優(yōu)的性價(jià)比。用戶在輪班時(shí),前一班的虛擬桌面可以休眠,啟動當(dāng)前上班用 戶虛擬桌面。2.4網(wǎng)絡(luò)設(shè)計(jì)方案桌面云邏輯組網(wǎng)圖云終端軟終端瘦終端內(nèi)部網(wǎng)防火墻VRRP客戶數(shù)通網(wǎng)絡(luò)核心交換機(jī)業(yè)務(wù)網(wǎng)絡(luò)管理網(wǎng)絡(luò)柜內(nèi)接入交換機(jī)存儲網(wǎng)絡(luò)桌面管理資源池桌面云服務(wù)器資源池桌面云網(wǎng)絡(luò)存儲資源池每個(gè)桌面云用戶可以在辦公位上使用 TC、或者PC接入到桌面云中心。瘦終端 放在每個(gè)用戶的 辦公位,每個(gè)位子提供百兆或千兆 GE網(wǎng)口就可以。桌面云部 署在客戶的數(shù)據(jù)中心機(jī)房中;需要與客戶的核心交換機(jī)對接??紤]后續(xù)擴(kuò)展性, 建議采用2*1GE上行到客戶核心交換機(jī)。桌面云網(wǎng)絡(luò)通信平面劃分為業(yè)務(wù)網(wǎng)、 存儲網(wǎng)
21、和管理網(wǎng)。三個(gè) 網(wǎng)絡(luò)之間是隔離的,保證最終用戶不能破壞基礎(chǔ)平臺。 存 儲網(wǎng)絡(luò):存儲網(wǎng)絡(luò)通過多路徑確保鏈路冗余, 服務(wù)器與存儲設(shè)備通過存儲網(wǎng)絡(luò)二 層直接互通。存儲設(shè)備為虛擬機(jī)提供存儲資源,但不直接與虛擬機(jī)通信,而通 過虛擬化平臺轉(zhuǎn)化。 業(yè)務(wù)網(wǎng)絡(luò):為用戶提供業(yè)務(wù)通道,為虛擬機(jī)虛擬網(wǎng)卡的通 信平面,對外提供業(yè)務(wù)應(yīng)用。HDP協(xié) 議與虛擬機(jī)訪問外部應(yīng)用系統(tǒng)都是經(jīng)過這 個(gè)網(wǎng)絡(luò)。各業(yè)務(wù)部門可以細(xì)分 VLAN進(jìn)行訪問隔離。管理網(wǎng)絡(luò):負(fù)責(zé)整個(gè)云計(jì) 算系統(tǒng)的管理、業(yè)務(wù)部署、系統(tǒng)加載等流量的通信。BMC平面主要負(fù)責(zé)服務(wù)器的管理,BMC平面可以和管理平面隔離,也可以不進(jìn)行隔離。整體網(wǎng)絡(luò)劃分為兩層,分別為接入層、核心層
22、。接入層:為了收斂服務(wù)器、存儲設(shè)備的網(wǎng)口,一般在機(jī)柜里放置接入交換機(jī),在接入交換機(jī)劃分 VLAN,將管理、業(yè)務(wù)、存 儲三個(gè)平面邏輯隔離。接入交換機(jī)再上行匯聚到核心交換機(jī)。核心層:華為云桌面通過內(nèi)部的接入交換機(jī)匯聚后,接到客戶核心交換機(jī)。 核心交換機(jī)配置VRRP協(xié)議,為管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)提供冗余網(wǎng)關(guān)。242網(wǎng)絡(luò)帶寬需求桌面云的網(wǎng)絡(luò)帶寬與用戶行為強(qiáng)相關(guān),幾種典型應(yīng)用帶寬需求情況如下:場景類別靜默場景無應(yīng)用靜默 Office打開靜默Office應(yīng)用 Word PPT視頻播 放標(biāo)清(480P)高清(1080P) GPU圖形桌面其它應(yīng)用GPU圖形桌面PDFIE 圖片瀏覽 帶寬參考值 4Kbps 20Kb
23、ps 45Kbps 829 Kbps 6.85Mbps15.8Mbps 20Mbps 499Kbps 150Kbps 123Kbps 場景百分比(可變)25% 25%15% 3% 1% 0.5% 0% 5% 20% 5.5%注:無應(yīng)用靜默25%表示統(tǒng)計(jì)平均同時(shí)有25%的用戶無應(yīng)用靜默。網(wǎng)絡(luò)帶寬利 用率按照80%計(jì)算,可得出各種應(yīng)用場景的帶寬要求。 每用戶平均帶寬需求=(4kbps*25%(無應(yīng)用靜默)+ 20kbps*25%(Office 打卡靜默)+ 45kbps*15% (Word ) + 829kbps*3% (PPT) + 6850kbps*1% (標(biāo)清視頻)+ 15800kbps*0
24、.5% (高清 視頻)+ 499kbps*5% ( PDF)+ 150kbps*20% (IE)+ 123kbps*5.5% (圖片瀏覽)/80% = 309kbps。2.5安全設(shè)計(jì)方案用戶名+域密碼認(rèn)證方案桌面云采用AD域帳號+域密碼方式進(jìn)行身份認(rèn)證。用戶輸入AD域帳號與密碼, 登錄時(shí)到AD服務(wù) 器進(jìn)行認(rèn)證。認(rèn)證成功即可以進(jìn)入用戶虛擬桌面。在虛擬機(jī) 里Ctrl+Alt+Del就可以鎖屏,輸入域 密碼解鎖。2.6系統(tǒng)擴(kuò)容方案集群內(nèi)主機(jī)可擴(kuò)展性桌面云平臺中每個(gè)FusionManager最大支持256個(gè)VRM集群,4096個(gè)主機(jī)服務(wù)器、8000個(gè)虛擬機(jī) 支持。每VRM集群支持的服務(wù)器數(shù)量最大可達(dá)到
25、 256臺, 每VRM集群支持32個(gè)HA資源池。每HA資源池 內(nèi)支持的服務(wù)器數(shù)量最多可 擴(kuò)展至128臺服務(wù)器,可輕松滿足未來桌面的平滑擴(kuò)容需求。單用戶可擴(kuò)展性設(shè)計(jì):單用戶支持vCPU個(gè)數(shù)最大可以擴(kuò)展到64個(gè),內(nèi)存可以擴(kuò)展到1024GB, 支持的虛擬網(wǎng)卡數(shù)最多可以支持 8個(gè),可充分滿足虛擬機(jī)規(guī)格的彈性伸縮。計(jì)算節(jié)點(diǎn)可以按照單個(gè)刀片進(jìn)行平滑擴(kuò)展,不影響業(yè)務(wù)運(yùn)行。當(dāng)服務(wù)器不足以容納現(xiàn)在業(yè)務(wù) 時(shí),可以擴(kuò)展服務(wù)器,服務(wù)器之間通過10GE網(wǎng)絡(luò)相連。虛擬桌面管理節(jié)點(diǎn)可擴(kuò)展性虛擬桌面管理節(jié)點(diǎn)可分布式平滑擴(kuò)展。一套虛擬桌面最大支持2000桌面用戶,當(dāng)超過2000用戶容量后,需要新增加一套虛擬桌面管理節(jié)點(diǎn),虛擬桌
26、面管理 節(jié)點(diǎn)之間屬于分布式,相互之間完全獨(dú)立。存儲擴(kuò)展性存儲節(jié)點(diǎn)可以按照單個(gè)服務(wù)器進(jìn)行平滑擴(kuò)展,不影響業(yè)務(wù)運(yùn)行。當(dāng)現(xiàn)有服務(wù)器文案大全上存儲不夠時(shí), 可以在原沒有插硬盤的服務(wù)器動態(tài)增加硬盤。所有服務(wù)器上硬 盤都插滿時(shí),可以增加帶磁盤的服 務(wù)器。2.7備份容災(zāi)設(shè)計(jì)方案云終端軟終端瘦終端內(nèi)部網(wǎng)防火墻VRRP客戶數(shù)通網(wǎng)絡(luò)核心交換機(jī)業(yè)務(wù)網(wǎng)絡(luò)管理網(wǎng)絡(luò)柜內(nèi)接入交換機(jī)存儲網(wǎng)絡(luò)桌面管理資源池桌面云服務(wù)器資源池桌面云網(wǎng)絡(luò)存儲資源池概述此次建設(shè)方案的備份容災(zāi)本從兩個(gè)維度系統(tǒng)進(jìn)行保護(hù):1)業(yè)務(wù)連續(xù)性;2)數(shù)據(jù)安全性。 在業(yè)務(wù)連續(xù)性方面,在存儲區(qū)部署兩臺華為高端存儲,通過存儲鏡 像功能,將生產(chǎn)站點(diǎn)的數(shù) 據(jù)寫入備份站點(diǎn),
27、保障了生產(chǎn)站點(diǎn)發(fā)生故障,備份站 點(diǎn)能接管生產(chǎn)站點(diǎn)的業(yè)務(wù),保障數(shù)據(jù)安全性和業(yè)務(wù)連續(xù)性,數(shù)據(jù)庫服務(wù)器可部署為Oracle RAC的Active-Active集群模式,可以實(shí)現(xiàn)業(yè)務(wù)負(fù)載 均衡以及節(jié)點(diǎn) 故障自動切換;應(yīng)用服務(wù)器部署為云平臺集群,以保證應(yīng)用主服務(wù)器故障時(shí),應(yīng) 用 可自動切換到備服務(wù)器上運(yùn)行。在數(shù)據(jù)安全性方面,通過存儲陣列的快照功能,可保留生產(chǎn)系統(tǒng)數(shù)據(jù)的部分歷史版本,保障了系統(tǒng)出現(xiàn)邏輯錯(cuò)誤或者數(shù)據(jù)遭病毒感染等,可以通過快照恢復(fù)到系統(tǒng)正常時(shí)刻的數(shù)據(jù),快速將業(yè)務(wù)恢復(fù)正常。為保障數(shù)據(jù)中心的信息安全,數(shù)據(jù)遠(yuǎn)程容災(zāi)備份必不可少。在數(shù)據(jù)中心部 署兩臺華為的高端的V3存儲。通過以下介紹的功能進(jìn)行容災(zāi)備份
28、,保障數(shù)據(jù)中 心的信息安全和業(yè)務(wù)流暢性。本地存儲異構(gòu)虛擬化建設(shè)考慮到本地?cái)?shù)據(jù)高可用性和業(yè)務(wù)的連續(xù)性,本期建設(shè)存儲區(qū)部署兩臺云存儲,并在其中一臺 存儲上采用先進(jìn)的異構(gòu)虛擬化功能,將另一臺存儲納入其管理下, 實(shí)現(xiàn)存儲的虛擬化,建立統(tǒng)一 的存儲池。在后期的存儲擴(kuò)充中,即使是異構(gòu)廠 商存儲也可以將其納入我們的主存儲的管理下,擴(kuò)大了用戶的選擇自由度,簡化用戶的管理復(fù)雜度。異構(gòu)虛擬化的工作原理就是把異構(gòu)陣列映射到本端陣列 的LUN,作為可為本端陣列提供存儲空間的邏輯盤LD,再在該邏輯盤LD上創(chuàng)建為可對主機(jī)映射的 eDevLun,邏輯盤 LD為eDevLun 的Data Volume 提供了全部的數(shù)據(jù)卷存儲
29、空間,eDevLun的元數(shù)據(jù)volume空間由本地存儲提供。異構(gòu)虛擬 化可保證外部LUN數(shù)據(jù)完整性不被破壞。異構(gòu)虛擬化化可以滿足各種場景的需求:1、異構(gòu)陣列接管用戶的數(shù)據(jù)中心通過長期的建設(shè),數(shù)據(jù) 中心可能存在來自不同異構(gòu)廠商的存儲陣列。如何很好的管理和應(yīng)用好來自不同廠商的異構(gòu)陣列給存儲管理員提出了很高的技術(shù)要求。存儲管理員可通過異構(gòu)虛擬化接管功能,可大大降低對管理異構(gòu)陣列的技術(shù)難度和復(fù)雜度。存儲管理 員只需要 管理好華為陣列就能達(dá)到管理好所有異構(gòu)陣列的目的,從而減輕了存儲管理員的工作負(fù)擔(dān)。其場 景特點(diǎn)就是簡化用戶管理。2、異構(gòu)數(shù)據(jù)搬遷 用戶 數(shù)據(jù)中心可能存在大量的存量異構(gòu)設(shè)備,有些設(shè)備可能即將
30、過?;蛐阅懿荒茉贊M 足業(yè)務(wù) 要求,在購買華為OceanStor V3存儲后,客戶可能希望把存量LUN上 的業(yè)務(wù)遷移到新購陣列中??蛻艨赏ㄟ^異構(gòu)虛擬化LUN在線遷移功能, 在線遷移異構(gòu)LUN數(shù)據(jù)到新購陣列中, 數(shù)據(jù)遷移過程中, 主機(jī)業(yè)務(wù)正常運(yùn)行,但 在進(jìn)行數(shù)據(jù)遷移前,需要對異構(gòu)LUN進(jìn)行接管。其場景特點(diǎn)就是異構(gòu)LUN數(shù)據(jù) 搬遷過程中,主機(jī)業(yè)務(wù)不中斷。3、異構(gòu)容災(zāi) 如果客戶業(yè)務(wù)數(shù)據(jù)分散在不同的站點(diǎn),且對業(yè)務(wù)的持續(xù)性要求較高時(shí),需要各業(yè)務(wù)站點(diǎn)的數(shù)據(jù)互為備份和業(yè)務(wù)切換。當(dāng)災(zāi)難發(fā)生時(shí),能夠通過互為備份的站點(diǎn)進(jìn)行業(yè)務(wù)數(shù)據(jù)的接管和數(shù)據(jù)恢 復(fù)。但是,可能由于數(shù)據(jù)站點(diǎn)的陣列來自于不同的異構(gòu)廠商,導(dǎo)致異構(gòu)陣列間的
31、數(shù)據(jù)無法做到互 為備份。異構(gòu)虛擬化提供的異構(gòu)同步和異步復(fù)制功能,可以使 異構(gòu)陣列間的LUN數(shù)據(jù)做到互相備份,做到站點(diǎn)間的數(shù)據(jù)容災(zāi)。4、異構(gòu)數(shù)據(jù)保護(hù) 客戶異構(gòu)陣列上的LUN數(shù)據(jù)可能受到病毒或其他原因?qū)е?LUN數(shù)據(jù)受 到破壞。異構(gòu)虛擬化提 供異構(gòu)快照技術(shù)可為異構(gòu)LUN提供快照備份,快照瞬 間完成,當(dāng)數(shù)據(jù)被破壞后,可通過快照迅速 的回滾到指定的快照時(shí)間點(diǎn)的數(shù)據(jù), 迅速恢復(fù)數(shù)據(jù)。本地存儲容災(zāi)建設(shè)為保障數(shù)據(jù)中心的信息安全,數(shù)據(jù)遠(yuǎn)程容災(zāi)備份必不可少。華為的遠(yuǎn)程容災(zāi)備份 解決方案符合政府的要求和數(shù)據(jù)保護(hù)技術(shù)發(fā)展的趨勢。采用基于標(biāo)準(zhǔn)化的遠(yuǎn)程 復(fù)制技術(shù)實(shí)現(xiàn)在現(xiàn)有網(wǎng)絡(luò)上的 數(shù)據(jù)異地存儲。通過在數(shù)據(jù)中心與災(zāi)備中心
32、之間 對關(guān)鍵業(yè)務(wù)數(shù)據(jù)進(jìn)行策略性遠(yuǎn)程復(fù)制,實(shí)現(xiàn)數(shù)據(jù)的異地備份,并在發(fā)生意外災(zāi)難時(shí)對數(shù)據(jù)進(jìn)行快速恢復(fù),確保數(shù)據(jù)中心的業(yè)務(wù)持續(xù)性。遠(yuǎn)程復(fù)制技術(shù)的一種,存儲間實(shí)時(shí)的同步數(shù)據(jù),最大限度保證數(shù)據(jù)的一致性,以減少災(zāi)難發(fā)生時(shí)數(shù)據(jù)的丟失量。HyperReplication /S工作原理:1.2. 3. 4.建立同步遠(yuǎn)程復(fù)制之初, 會啟動一個(gè)初始同步,也就是將主LUN數(shù)據(jù)全量拷貝到從LUN ;初始同步完 成以后,如果此時(shí)主LUN收到生產(chǎn)主機(jī)寫請求,按照如下流程進(jìn)行I/O處理;主站點(diǎn)接收生產(chǎn)主機(jī)寫請求,記錄這個(gè)I/O對應(yīng)數(shù)據(jù)塊的差異日志值為 有 差異”;主站點(diǎn)將寫請求的數(shù)據(jù)寫入主 LUN( LUN A),同時(shí)利用配
33、置好的 鏈路將寫請求發(fā)送到遠(yuǎn)端 從站點(diǎn);5.判斷寫LUN A和寫LUN B的執(zhí)行結(jié) 果,如果都成功,則將差異日志改為 無差異”,否則保留有差異”,在下一次啟動同步時(shí)重新拷貝這一個(gè)數(shù)據(jù)塊;6.向主機(jī)返回寫請求完成。優(yōu)勢和應(yīng)用場景:1.2. 3. 4.零數(shù)據(jù)丟失; 復(fù)制比可達(dá)32:1 (同步遠(yuǎn)程復(fù)制+ 異步遠(yuǎn)程復(fù)制之和);主從存儲可互為鏡像;適用于本地或同城數(shù)據(jù)容災(zāi)。HyperReplication/S 工作原理三、本項(xiàng)目的優(yōu)勢本項(xiàng)目采用桌面云建設(shè)辦公系統(tǒng), 具有以下優(yōu)勢:?總體擁有成本低 桌面云大 量使用瘦客戶機(jī)、低功耗計(jì)算、存儲資源,該建設(shè)模式改變了現(xiàn)有的建設(shè)、維護(hù)、 運(yùn)營模式,使得配套的電源
34、、制冷系統(tǒng)建設(shè)成本降低,并大量節(jié)省運(yùn)營和維護(hù)成 本,使得桌面系統(tǒng)的總體擁有成本大大降低。?數(shù)據(jù)安全所有數(shù)據(jù)和計(jì)算都 發(fā)生在中心機(jī)房,用戶通過網(wǎng)絡(luò)獲取的只是圖像信息,機(jī)密數(shù)據(jù)和信息不能通過網(wǎng)絡(luò)下載、存儲,大大提高了安全性。數(shù)據(jù)的集中存儲為數(shù)據(jù)的備份、恢復(fù)帶來了便利, 使得保護(hù)智力資產(chǎn)成為可能。?低能耗、低排放 傳統(tǒng)PC功率一般為150-200W,而瘦終端功率10w,耗電量5%左右。雖然計(jì)算中心相關(guān)服 務(wù)器系 統(tǒng)會占用一定的耗電量,但總耗電量仍低于 PC的五分之一,因此,每 年的耗電量會大幅下降。?易于管理,資源按需分配 所有桌面的管理和配置都 集中在中心機(jī)房進(jìn)行,管理員可對所有桌面和應(yīng)用進(jìn)行統(tǒng)一
35、配置和管理,如:系統(tǒng)升級、應(yīng)用安裝、快速業(yè)務(wù)發(fā)放等,避免了由于傳統(tǒng)桌面分布所造成的管理 運(yùn)維 復(fù)雜困難和成本高昂。 所有桌面環(huán)境對資源的要求不同,桌面云系統(tǒng)可以 根據(jù)用戶需求對資源進(jìn)行合理分配,達(dá)到資源的彈性管理,提高資源利用率??伸`活配置調(diào)度策略,實(shí)現(xiàn)負(fù)載均衡,重載分離、輕載合并,達(dá)到優(yōu)化系統(tǒng)性能和節(jié)能的目標(biāo)。?靈活接入和使用 用戶可以從任何網(wǎng)絡(luò)可達(dá)的地方訪問其應(yīng) 用和桌面,具有很強(qiáng)的移動性。作為云計(jì)算的一種服務(wù)方式,由于所有的計(jì)算都放在服務(wù)器上,終端設(shè)備的要求將大大降低,不需要傳統(tǒng)的臺式機(jī),筆記本; 而且智能手機(jī),上網(wǎng)本等設(shè)備都成為可用設(shè)備。從創(chuàng)建桌面到交付給用戶僅需要十分鐘左右,相比傳統(tǒng)
36、采購、運(yùn)輸、安裝物理PC所耗數(shù)天時(shí) 間,時(shí)間上更節(jié)約。?更穩(wěn)定可靠 傳統(tǒng)桌面分散在各個(gè)地方,且不具備服務(wù)器級別的冗余備 份,因此,一個(gè)停電事故、系數(shù)錯(cuò) 誤就可能導(dǎo)致傳統(tǒng)桌面崩潰。然而,虛擬桌 面集中在中心機(jī)房,各個(gè)方面均考慮了冗余備份,故障率更低,穩(wěn)定性更高。四、配置方案4.1桌面數(shù)量規(guī)劃本期規(guī)劃桌面配置規(guī)格與數(shù)量如下:推薦場景0A辦公規(guī)格(完整復(fù)制方式)VCPU=2 1G MEM=2G 系統(tǒng)盤=40G, 數(shù)據(jù)盤=80G 數(shù)據(jù)盤IOPS=3數(shù)量網(wǎng)絡(luò)=共享50系統(tǒng)盤IOPS=30推薦場景規(guī)格(鏈接克隆方式)VCPU=4 MEM=4G 系統(tǒng)母盤=40G,差分盤=10G,數(shù)據(jù)盤IOPS(系統(tǒng)母盤)=
37、6 IOPS(差分?jǐn)?shù)量50OA 辦公=80G網(wǎng)絡(luò)二共享1G盤)=11IOPS(數(shù)據(jù)盤)=3備注:由于Windows XP系統(tǒng)底層設(shè)計(jì)機(jī)制原因,導(dǎo)致虛擬機(jī)環(huán)境中,WindowsXP運(yùn)行于多vCPU性能不如單vCPU,建議Windows XP虛擬機(jī)配置為單vCPU4.2瘦終端本期桌面云終端建設(shè)數(shù)量為50個(gè),共需50臺瘦終端。4.3服務(wù)器用戶的應(yīng)用場景研發(fā)辦公,可選用重載 100%并發(fā)比例。采用機(jī)架服務(wù)器 (2*E5-2620 ),虛擬機(jī)密度為達(dá)到37,計(jì)算服務(wù)器共需要2臺。虛擬桌面管 理(FusionAccess )與云管理(FusionSphere)服務(wù)器需要兩臺服務(wù)器,一共需 要4臺服務(wù)器。每
38、服務(wù)器內(nèi)存條數(shù)=(虛擬機(jī)密度*虛擬內(nèi)存+16G (底層虛擬化 的消耗)”內(nèi)存條大小=(37*4+16) /16=11根(內(nèi)存條數(shù)量需為偶數(shù)),考 慮到冗余,每臺服務(wù)器配置12根16G內(nèi)存條。免責(zé)聲明:不同種類的應(yīng)用軟 件、應(yīng)用軟件使用方式(比如頻繁度、同時(shí)使用人數(shù))、以及虛擬機(jī)的配置 等, 都會影響使用體驗(yàn)。華為推薦的虛擬機(jī)配置密度,是典型應(yīng)用場景下的的參考配 置。為了獲取更為準(zhǔn)確的虛擬機(jī)密度配置,建議模擬實(shí)際應(yīng)用環(huán)境,進(jìn)行性能測試。在實(shí)際使用過程中,如果出現(xiàn)由于應(yīng)用負(fù)載變化等原因,導(dǎo)致用戶體驗(yàn)變 差情況。可以購買 新主機(jī)、存儲等資源進(jìn)行擴(kuò)容,降低虛擬機(jī)配置密度,來獲 取更良好的體驗(yàn)。4.4存儲設(shè)備本章存儲規(guī)劃以華為OceanStor V3存儲為例,下
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年高中英語寫作及特殊句型三年都有用
- 2024-2025學(xué)年高中化學(xué) 第1章 第2節(jié) 第1課時(shí) 原子結(jié)構(gòu)與元素周期表教學(xué)實(shí)錄 新人教版選修3
- 2024年六年級品社下冊《可怕的物種入侵》教學(xué)實(shí)錄2 蘇教版
- 建筑設(shè)計(jì)及可持續(xù)建筑作業(yè)指導(dǎo)書
- 稅務(wù)籌劃與申報(bào)手冊
- 2023-2024學(xué)年電子工業(yè)版(內(nèi)蒙古)小學(xué)信息技術(shù)五年級下冊 第14課 綜合實(shí)踐活動-(教學(xué)設(shè)計(jì))
- 2024年秋七年級地理上冊 第三章 世界的居民 3.3《世界的語言與宗教》教學(xué)實(shí)錄 (新版)湘教版
- DB3716-T 27-2023 鄉(xiāng)鎮(zhèn)級應(yīng)急物資配備指南
- 2024年四年級英語上冊 Unit 1 The Clothes We Wear Lesson 4 Shoes and Socks教學(xué)實(shí)錄 冀教版(三起)
- 高效率辦公技能培訓(xùn)教程
- 江蘇南京郵電大學(xué)教務(wù)處校內(nèi)招考聘用工作人員公開引進(jìn)高層次人才和急需緊缺人才筆試參考題庫(共500題)答案詳解版
- 社會實(shí)踐報(bào)告表格范本
- 統(tǒng)編版語文五年級下冊第一單元習(xí)作:那一刻我長大了 課件
- 老年人能力評估服務(wù)投標(biāo)方案(技術(shù)方案)
- 2024年“民用無人機(jī)及多旋翼無人機(jī)”駕駛員操控員技能與理論知識考試題庫含答案
- JJG 393-2018便攜式X、γ輻射周圍劑量當(dāng)量(率)儀和監(jiān)測儀
- 建筑物電子信息系統(tǒng)防雷技術(shù)規(guī)范(局部修訂條文)
- 蔗糖羥基氧化鐵咀嚼片-臨床用藥解讀
- 京劇臉譜(教案)2023-2024學(xué)年美術(shù)五年級下冊
- 《學(xué)會自律 成就未來》 課件小學(xué)主題班會
- 樂刻教練協(xié)議(場景多應(yīng)用版)
評論
0/150
提交評論