數(shù)據(jù)中心私有云解決方案_第1頁
數(shù)據(jù)中心私有云解決方案_第2頁
數(shù)據(jù)中心私有云解決方案_第3頁
數(shù)據(jù)中心私有云解決方案_第4頁
數(shù)據(jù)中心私有云解決方案_第5頁
已閱讀5頁,還剩77頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、數(shù)據(jù)中心私有云解決方案日期:七月 22密級:內(nèi)部公開杭州華三通信技術(shù)有限公司浙江省政務(wù)云案例介紹企業(yè)數(shù)據(jù)中心運營商數(shù)據(jù)中心傳統(tǒng)數(shù)據(jù)中心面臨的困境 管理策略分散缺乏統(tǒng)一的集中化IT構(gòu)建策略,無法對數(shù)據(jù)中心內(nèi)的基礎(chǔ)設(shè)施進行監(jiān)控、管理、報告和遠程訪問。 硬件利用率低CPU利用率:10% 25%一臺服務(wù)器、一個操作系統(tǒng)、一種業(yè)務(wù)應(yīng)用 運維成本上升服務(wù)器、存儲、網(wǎng)絡(luò)數(shù)量急劇膨脹占地空間、電力供應(yīng)、散熱制冷、維護管理成本上升 業(yè)務(wù)部署緩慢提交變更請求與進行運營變更之間存在較長延遲硬件選型、采購、上架安裝、操作系統(tǒng)和應(yīng)用程序安裝、網(wǎng)絡(luò)配置、數(shù)據(jù)中心的虛擬化云架構(gòu)資源調(diào)度網(wǎng)絡(luò)計算存儲基礎(chǔ)數(shù)據(jù)中心融合數(shù)據(jù)中心云

2、數(shù)據(jù)中心自適應(yīng)全虛擬化 融合010203IO融合硬件融合計算虛擬化網(wǎng)絡(luò)虛擬化存儲虛擬化彈性業(yè)務(wù)賡續(xù)多租戶接入層web層APP層DB層edge routersroutingswitchesauthentication, ,intrusion detect, web cache1st level firewall2nd level firewallload balancingswitchesweb serversweb page storage(NAS)databaseSQL serversstorage areanetwork(SAN)applicationserversfiles(NAS)sw

3、itchesswitchesinternetinternet網(wǎng)絡(luò)池化internetinternet存儲池化FW 資源池服務(wù)器池化IPS 資源池虛擬化環(huán)境下,原有分散部署的多層次設(shè)備將逐步資源池化并通過虛擬化技術(shù)實現(xiàn)多通道防護,因此在高性能、彈性可擴展、虛擬化等方面提出了新的要求實踐:從“多設(shè)備”到“資源池”大類小類特征舉例非硬件輔助虛擬化Container-based:基于容器的虛擬化VM無OS,共享系統(tǒng)OS,VMM駐留OS內(nèi)核OPEN VZ,思科NX-OSHost-based:基于主機的虛擬化VM有獨立OS,VMM作為系統(tǒng)OS一種應(yīng)用Vmware server and workstatio

4、nParavirtualization:準虛擬化VM有獨立os,VMM直接和硬件接口,但VM的OS需要修改XenFull virtualization:完全虛擬化VM有獨立OS,不做任何修改,VM的OS代碼仿真執(zhí)行/代碼轉(zhuǎn)換Vmware ESX、KVM硬件輔助虛擬化分CPU/內(nèi)存/IO等直接在硬件上提供虛擬化能力,簡化軟件的實現(xiàn)Intel的VT-x/VT-I:指令虛擬化/靈活遷移VT-d:VM的os直接處理中斷和DMAVT-c:VMDq,SR-IOV硬件分區(qū)虛擬化分為物理分區(qū)和邏輯分區(qū)主要用于大型機,硬件資源直接做物理或邏輯分區(qū),每個分區(qū)運行各自的OSIBM S/370 SI-PP & PP-

5、SIIBM system z LParHP nPartitions變革的起始服務(wù)器虛擬化服務(wù)器虛擬化技術(shù)發(fā)展階段實驗階段全面發(fā)展應(yīng)用階段服務(wù)器虛擬化對計算的影響AppOperating System未更改過的應(yīng)用未更改過的OS虛擬硬件每臺機器上只有單一的操作系統(tǒng)鏡像每個操作系統(tǒng)只有一個應(yīng)用程序軟件必須與硬件相結(jié)合每臺機器上有多個應(yīng)用軟件相對于硬件獨立虛擬化前虛擬化后vSwitchvSwitch遷移SwitchServerServer虛擬化前虛擬化后服務(wù)器所有流量均經(jīng)過網(wǎng)絡(luò)服務(wù)器與交換機互連端口固定策略分析VM部分流量在vSwitch內(nèi)部交換VM動態(tài)遷移服務(wù)器虛擬化對網(wǎng)絡(luò)接入層面的影響策略分析服

6、務(wù)器虛擬化對存儲設(shè)計的影響采用共享存儲設(shè)計方案,方案虛擬機在物理設(shè)備間的遷移池化存儲資源大量使用IP存儲浙江省政務(wù)云案例介紹企業(yè)數(shù)據(jù)中心運營商數(shù)據(jù)中心數(shù)據(jù)中心云平臺建設(shè)步驟評估規(guī)劃實施優(yōu)化任務(wù):全面盤點客戶IT資產(chǎn),評估基礎(chǔ)設(shè)施工作負載容量狀態(tài),確定業(yè)務(wù)、財務(wù)和技術(shù)需求。交付件:評估報告及針對客戶需求的H3C建議。任務(wù):根據(jù)客戶需求制定詳細的方案與計劃,確定項目角色與職責、關(guān)鍵日期與里程碑等。交付件:體系結(jié)構(gòu)設(shè)計報告、配置指南、驗收測試用例、關(guān)鍵內(nèi)部流程認定。任務(wù):依據(jù)規(guī)劃和方案設(shè)計安裝和配置,并按照規(guī)劃階段確定的驗收標準進行測試。交付件:正常運行的虛擬化和云計算環(huán)境、配置說明、規(guī)劃與實施之間

7、的差異性報告以及驗收負責人的驗收報告。任務(wù):售后服務(wù)支持。借助基于基準閾值異常檢測和警告功能,監(jiān)控虛擬資源利用率,不斷進行容量和業(yè)務(wù)流程優(yōu)化。交付件:優(yōu)化前后性能報告。云數(shù)據(jù)中心建設(shè)評估內(nèi)容完整的基礎(chǔ)設(shè)施資源清單型號、數(shù)量、性能指標、業(yè)務(wù)需求哪些業(yè)務(wù)不適合于虛擬化哪些業(yè)務(wù)需要HA和災(zāi)備保障服務(wù)器整合比是否可以利舊,如何利舊需要新購置的服務(wù)器硬件規(guī)格與數(shù)量項目實施計劃與建議項目實施路線圖與風險評估分批次遷移策略時間任務(wù)階段一項目開工需求收集容量與財務(wù)評估發(fā)布評估報告階段二階段三階段四階段五業(yè)務(wù)應(yīng)用虛擬化適應(yīng)性矩陣高中低中低適合虛擬化特別適合虛擬化 熱備環(huán)境的備機 防病毒服務(wù)器域控服務(wù)器 終端管理

8、服務(wù)器 辦公服務(wù)器 企業(yè)級文件服務(wù)器 數(shù)據(jù)庫主機(用戶量較大) 企業(yè)級Web服務(wù)器 企業(yè)級應(yīng)用服務(wù)器 企業(yè)級數(shù)據(jù)庫服務(wù)器 用戶較少使用用途單一的服務(wù)器 開發(fā)測試服務(wù)器 NT服務(wù)器(Windows 2000) 部門級文件服務(wù)器數(shù)據(jù)庫主機 (用戶數(shù)量較?。?支持并發(fā)方式部署的Web服務(wù)器 小型應(yīng)用服務(wù)器 小型數(shù)據(jù)庫服務(wù)器小型消息傳遞類服務(wù)器不適合虛擬化可以虛擬化系統(tǒng)資源利用率/需求并發(fā)用戶規(guī)模私有云建設(shè)關(guān)注四個方面計算資源池設(shè)計網(wǎng)絡(luò)資源池設(shè)計存儲資源池設(shè)計管理設(shè)計云數(shù)據(jù)中心方案規(guī)劃設(shè)計原則核心業(yè)務(wù)無法虛擬化業(yè)務(wù)(小機)非核心業(yè)務(wù)(X86)研發(fā)/生產(chǎn)系統(tǒng)物理機環(huán)境運行獨立雙機集群部署H3C CAS虛

9、擬化環(huán)境運行集群方式部署自助式服務(wù)部署專屬虛擬機模板預(yù)配置OS、應(yīng)用軟件云數(shù)據(jù)中心設(shè)計原則數(shù)據(jù)中心建設(shè)的IT資產(chǎn)盤點(例)業(yè)務(wù)分布IBM X336 8837 16CHP ProLiant DL380 G729IBM System x365011747郵件系統(tǒng)門戶網(wǎng)站人力資源會計管理視頻監(jiān)控影像資料ERP安全策略O(shè)A自動化辦公IT需求生產(chǎn)管理數(shù)據(jù)中心建設(shè)的IT資產(chǎn)分析(例)CPU大于15%僅有4種業(yè)務(wù)系統(tǒng)(財務(wù)管理系統(tǒng)、OA自動化辦公系統(tǒng)、微軟Lync即時通信系統(tǒng)、生產(chǎn)管理系統(tǒng))關(guān)鍵應(yīng)用系統(tǒng)業(yè)務(wù)增長較快,普通應(yīng)用系統(tǒng)相對平穩(wěn)數(shù)據(jù)中心建設(shè)的IT整合策略(例)IBM X336 8837 16CH3C

10、 R390已停產(chǎn)硬件配置低后期維護費用高IBM System x3650淘汰處理,降低空間、電力、運營成本新采購CPU支持Intel-VT技術(shù)5臺單獨安裝4種關(guān)鍵業(yè)務(wù)12臺虛擬化運行其余業(yè)務(wù)單獨管理機安裝CAS已停產(chǎn)計算資源池設(shè)計整合比服務(wù)器硬件配置CPU性能:核數(shù)越多,主頻越高,所能支持的虛擬機數(shù)量越多。內(nèi)存大?。簝?nèi)存容量越大,所能支持的虛擬機數(shù)量越多。HBA卡:建議采用4Gb或8Gb的HBA卡,以減少鏈路影響。本地磁盤:內(nèi)置的本地磁盤可用性和I/O吞吐能力都較弱,推薦使用外置高性能磁盤陣列。應(yīng)用負載大小與業(yè)務(wù)關(guān)鍵程度應(yīng)用負載越大,能同時運行的虛擬機數(shù)量越少。業(yè)務(wù)越關(guān)鍵,建議同時運行的虛擬機

11、數(shù)量越少??紤]到HA和DRS所要求的資源冗余,總體資源使用率不超過2/3較合適。經(jīng)驗數(shù)據(jù):雙路6核 6VM/服務(wù)器,四路6核 10VM/服務(wù)器。整合比(單臺服務(wù)器上虛擬機數(shù)量)的決定因素計算資源池設(shè)計物理集群部署業(yè)務(wù)網(wǎng)絡(luò)與虛機遷移網(wǎng)絡(luò)邏輯隔離虛擬化的物理主機集群常規(guī)部署小于32臺按每機柜8臺部署,同時考慮到跨機柜遷移冗余,建議以2個機柜構(gòu)成物理機集群在具體業(yè)務(wù)部署可以按照4-8臺服務(wù)器構(gòu)建集群資源池,提高整體健壯性物理主機集群物理主機集群計算資源池設(shè)計VM部署云管理平臺(物理服務(wù)器)云管理平臺(物理服務(wù)器)CPU/內(nèi)存/IOHypervisorVMVMCPU/內(nèi)存/IOHypervisorVM

12、VMCPU/內(nèi)存/IOHypervisorVMCPU/內(nèi)存/IOHypervisorVMVM雙機HA管理和監(jiān)控心跳信號VM共享存儲計算資源池設(shè)計高可靠性保障服務(wù)器集群存儲網(wǎng)絡(luò)共享存儲共享存儲RAID郵件系統(tǒng)門戶網(wǎng)站文件系統(tǒng)H3Cloud CVKDHCPDNS安全評估H3Cloud CVK銷存管理財務(wù)管理ERPH3Cloud CVK組播心跳計算資源池設(shè)計虛擬機高可用集群(HA)應(yīng)用場景適用于對業(yè)務(wù)運行連續(xù)性要求較高的場合。當服務(wù)器或VM故障時,能夠自動選擇空閑服務(wù)器,并將VM在空閑服務(wù)器上重啟。特性價值無需獨占專門的備用服務(wù)器資源,減少災(zāi)備方案中的冗余投資。無專業(yè)集群軟件的投入成本和應(yīng)用復(fù)雜度。

13、計算資源池設(shè)計動態(tài)資源調(diào)度(DRS+)支持虛擬機與主機親和性設(shè)置應(yīng)用場景適用于可能存在持續(xù)性突發(fā)業(yè)務(wù)負載的場合。特性價值動態(tài)調(diào)整業(yè)務(wù)負載的分布,提升系統(tǒng)可用性。計算資源池設(shè)計 DRX動態(tài)資源擴展面向用戶業(yè)務(wù)全面監(jiān)控基于負載的資源彈性無縫伸縮自動化免人工干預(yù)實現(xiàn)多業(yè)務(wù)整合DRX操作系統(tǒng)業(yè)務(wù)應(yīng)用操作系統(tǒng)業(yè)務(wù)應(yīng)用操作系統(tǒng)業(yè)務(wù)應(yīng)用計算資源池設(shè)計 DRX實現(xiàn)資源隨需而動DRX實現(xiàn)資源隨著業(yè)務(wù)負載的變化而變化提供應(yīng)用資源傳統(tǒng)部署DRX部署時間時間提供應(yīng)用資源負載負載操作系統(tǒng)業(yè)務(wù)應(yīng)用操作系統(tǒng)業(yè)務(wù)應(yīng)用操作系統(tǒng)業(yè)務(wù)應(yīng)用操作系統(tǒng)業(yè)務(wù)應(yīng)用傳統(tǒng)部署模式特點:部署單一應(yīng)用按照最大資源需求建設(shè)資源利用率低增加資源緩慢DR

14、X特點:多業(yè)務(wù)共享資源池資源利用率高應(yīng)用所需資源按需自動增加添加資源響應(yīng)時間分鐘級計算資源池設(shè)計 DRX擴展的對象WebApp/MiddlewareDatabase頁面展示,適合DRX業(yè)務(wù)邏輯,適合DRX數(shù)據(jù)存取,涉及到數(shù)據(jù)一致性,暫不適合DRX具體到實際部署方式:WebAPPDBDBAPPWebWebAPPWebAPPDBWebAPPDRX不涉及數(shù)據(jù)一致性問題,特別適合DRXAPPWebDBAPPWebDRXDRXAPPWebWeb層和APP層分別進行DRX,適合DRX【使用場景】高峰時期時Web應(yīng)用或單節(jié)點應(yīng)用突發(fā)訪問,例如:高校選課、稅務(wù)報稅等。H3C負載均衡設(shè)備H3C CVK虛擬化平臺

15、業(yè)務(wù)分發(fā)服務(wù)器服務(wù)器服務(wù)器服務(wù)器創(chuàng)建新虛擬機1資源動態(tài)擴展業(yè)務(wù)負載超限新增資源注冊2H3C CVM云管理平臺服務(wù)計算資源池設(shè)計快速響應(yīng)突發(fā)高峰業(yè)務(wù)負載超過門限后,云管理平臺自動創(chuàng)建新虛擬機為業(yè)務(wù)擴展資源,并與LB配合提供服務(wù)私有云建設(shè)關(guān)注四個方面計算資源池設(shè)計網(wǎng)絡(luò)資源池設(shè)計存儲資源池設(shè)計管理設(shè)計大型數(shù)據(jù)中心實踐管理中心H3C CASH3C iMC 骨干網(wǎng)計算資源池SAN災(zāi)備中心DCI鏈路網(wǎng)絡(luò)管理員SAN存儲開發(fā)測試區(qū)大數(shù)據(jù)區(qū)外聯(lián)區(qū)XX區(qū)存儲資源池開放服務(wù)器區(qū)計算資源池CallCenter主機區(qū)分布式存儲數(shù)據(jù)中心分區(qū)設(shè)計思想Intranet 服務(wù)器區(qū)數(shù)據(jù)交換&測試服務(wù)器區(qū)數(shù)據(jù)中心管理區(qū)Extra

16、net 服務(wù)器區(qū)本區(qū)主要放置由內(nèi)部用戶訪問的應(yīng)用和數(shù)據(jù)庫,是最重要的業(yè)務(wù)區(qū)域.本區(qū)主要放置為不同業(yè)務(wù)應(yīng)用之間進行數(shù)據(jù)交換的中間業(yè)務(wù)應(yīng)用.本區(qū)主要放置管理服務(wù)器,并可以連接到園區(qū)的管理系統(tǒng)里。本區(qū)主要放置被來自外聯(lián)網(wǎng)絡(luò)的合作方或通過VPN接入的合作方所訪問的應(yīng)用和數(shù)據(jù)庫.Internet 服務(wù)器區(qū)本區(qū)主要放置Internet DMZ架構(gòu)下的服務(wù)器如DNS等,也稱為DMZ區(qū).數(shù)據(jù)中心核心區(qū)Internet/VPN 接入?yún)^(qū)園區(qū)網(wǎng)本區(qū)部署網(wǎng)絡(luò)存儲設(shè)備: IP SAN或FC SAN。服務(wù)器通過高性能以太網(wǎng)交換機或FC交換機與磁盤柜聯(lián)接數(shù)據(jù)存儲功能區(qū)本區(qū)部署備份管理服務(wù)器及數(shù)據(jù)備份存儲與網(wǎng)絡(luò)系統(tǒng),提供近線

17、、遠程數(shù)據(jù)容災(zāi)與備份功能數(shù)據(jù)災(zāi)備功能區(qū)生產(chǎn)1區(qū)生產(chǎn)2區(qū)非生產(chǎn)區(qū)園區(qū)網(wǎng)核心區(qū)網(wǎng)絡(luò)資源池設(shè)計關(guān)鍵節(jié)點高可靠使用IRF2前VLAN路由路徑使用IRF2后配置文件IRF, N:1設(shè)備虛擬化技術(shù),在不改變物理拓撲連接條件下,通過將網(wǎng)絡(luò)同一層的多臺物理設(shè)備整合為一臺邏輯設(shè)備,從而實現(xiàn)多臺設(shè)備的協(xié)同工作,統(tǒng)一管理,從邏輯上簡化網(wǎng)絡(luò)結(jié)構(gòu),并提升網(wǎng)絡(luò)的整體效率:同層級多節(jié)點合一,通過跨設(shè)備鏈路捆綁,多鏈路被捆綁成單條邏輯鏈路;消除VLAN+MSTP/VRRP配置,配置簡單,網(wǎng)絡(luò)收斂時間大幅降低;單個物理節(jié)點、鏈路故障,不影響上層路由管理大幅降低網(wǎng)絡(luò)資源池設(shè)計簡化網(wǎng)絡(luò)層級IRF3,縱向融合架構(gòu),在縱向維度上支持設(shè)

18、備擴展,把遠端的盒式設(shè)備作為一塊遠距離接口板加入主設(shè)備系統(tǒng),以達到擴展端口能力和進行集中控制管理的目的:將接入設(shè)備作為核心設(shè)備的板卡管理,和傳統(tǒng)組網(wǎng)相比大大簡化了管理節(jié)點數(shù)量;VCF擴展模塊即插即用,通過在線增加VCF擴展模塊即可實現(xiàn)網(wǎng)絡(luò)擴展;將傳統(tǒng)的兩層物理架構(gòu)壓縮為邏輯上的一層,整個網(wǎng)絡(luò)架構(gòu)更為清晰簡單。MDC, 1:N設(shè)備虛擬化技術(shù),把一臺交換機虛擬成N臺互相獨立的虛擬交換機,不同于傳統(tǒng)的交換機虛擬化技術(shù),MDC虛擬出的每臺交換機之間物理隔離、安全隔離,擁有獨立的硬件資源和管理權(quán)限:復(fù)用,多臺MDC共用物理設(shè)備的資源,使物理資源能得到充分利用隔離, 同一臺物理設(shè)備上的多個MDC具有獨立的

19、軟硬件資源,獨立運行互不影響高伸縮性,可整合多個物理網(wǎng)絡(luò)到一個物理設(shè)備上,也可以將一個物理設(shè)備擴展為多個邏輯網(wǎng)絡(luò)缺省MDC 1非缺省MDC 3非缺省MDC 2非缺省MDC n缺省 MDC網(wǎng)絡(luò)資源池設(shè)計提升設(shè)備復(fù)用率制約機房服務(wù)器部署密度的主要問題是電力而不是機架的物理空間;低密度電源區(qū)(46KW)不太可能部署4U高度以上的高計算密度服務(wù)器和刀片服務(wù)器(按照供電能力只能部署不多于兩臺服務(wù)器),因此部署8臺以下的2U高度的機架式服務(wù)器會成為標準配置;高密度電源區(qū)會部署高計算密度服務(wù)器和刀片服務(wù)器,但數(shù)量在58臺以下(因服務(wù)器功率與高度而異);TOR布線考慮到將來業(yè)務(wù)量的增加及服務(wù)器的發(fā)展,10G接

20、入逐漸成為互聯(lián)網(wǎng)發(fā)展的主流網(wǎng)絡(luò)資源池設(shè)計物理機柜部署EOR布線網(wǎng)絡(luò)資源池設(shè)計POD方式擴展區(qū)域:對應(yīng)到一個服務(wù)器區(qū)域Pod:對應(yīng)到接入交換機(EOR) 大?。喝Q于間距與密度 服務(wù)器機柜到網(wǎng)絡(luò)機柜線纜長度:銅纜100m光纖200500m機架:服務(wù)器:受功率限制,每個機架630個服務(wù)器網(wǎng)絡(luò):取決于接入方式(TOR、EOR、Blade)存儲:專門的機柜POD是一種業(yè)務(wù)提供模式,體現(xiàn)了數(shù)據(jù)中心業(yè)務(wù)擴展的途徑網(wǎng)絡(luò)資源池設(shè)計TIA-942邏輯結(jié)構(gòu)圖接入室 RM總配線區(qū)MDA路由器、核心LAN /SAN交換機、PBX等接服務(wù)商網(wǎng)或園區(qū)接服務(wù)商網(wǎng)或園區(qū)水平配線區(qū)HDALAN/SAN/KVM交換機機 房水平配

21、線區(qū)HDALAN/SAN/KVM交換機水平配線區(qū)HDALAN/SAN/KVM交換機水平配線區(qū)HDALAN/SAN/KVM交換機設(shè)備配線區(qū) EDA機架/機柜設(shè)備配線區(qū) EDA機架/機柜設(shè)備配線區(qū) EDA機架/機柜設(shè)備配線區(qū) EDA機架/機柜通信室TR辦公&操作中心的LAN交換機運維辦公室、辦公、操作中心主干電纜主干電纜主干電纜主干電纜主干電纜主干電纜水平電纜水平電纜水平電纜區(qū)域配線區(qū) ZDA水平電纜水平電纜水平電纜唯一不可放置有源設(shè)備的區(qū)域網(wǎng)絡(luò)資源池設(shè)計服務(wù)器與網(wǎng)絡(luò)的連接*按每服務(wù)器2Gbps帶寬需求計算 刀片服務(wù)器刀片服務(wù)器采用網(wǎng)絡(luò)模塊連接網(wǎng)絡(luò),減少電纜數(shù)量,減化服務(wù)器連接,簡化網(wǎng)絡(luò)管理小型機

22、前端訪問HA心跳線服務(wù)器間訪問存儲訪問存儲訪問帶外管理帶外管理高端服務(wù)器根據(jù)具體應(yīng)用場景前端網(wǎng)口多個服務(wù)器間訪問網(wǎng)口多個一個管理網(wǎng)口一個或多個心跳互聯(lián)存儲網(wǎng)絡(luò)接口 機架服務(wù)器網(wǎng)絡(luò)接口需求:管理口:1x1GE業(yè)務(wù)口:2x1GE業(yè)務(wù) 2x1GE虛擬化存儲口:2x8G FC HBA部署:雙接口捆綁上行業(yè)務(wù)虛擬化遷移管理存儲網(wǎng)絡(luò)邏輯隔離網(wǎng)絡(luò)資源池設(shè)計網(wǎng)口規(guī)劃服務(wù)器 千兆網(wǎng)口萬兆網(wǎng)口外接IP存儲:建議至少3-4個網(wǎng)口1個用于管理網(wǎng)絡(luò);1個用于存儲網(wǎng)絡(luò);(如業(yè)務(wù)量大,推薦升級為萬兆網(wǎng)口)2個用于業(yè)務(wù)網(wǎng)絡(luò),雙上行鏈路捆綁,提高鏈路吞吐量和可靠性。注:H3C R系列服務(wù)器默認配有4個千兆網(wǎng)口;根據(jù)實際需要,可

23、擴容2個萬兆網(wǎng)口; iLO有專用網(wǎng)口,不需要占用服務(wù)器網(wǎng)口網(wǎng)絡(luò)資源池設(shè)計流量規(guī)劃一個vSwitch對應(yīng)一個物理網(wǎng)口虛擬機生成一個vNIC,會關(guān)聯(lián)到一個vSwitch上通過生成多個vNIC關(guān)聯(lián)到不同vSwitch上,實現(xiàn)虛擬機上不同流量的劃分可以為業(yè)務(wù)(存儲)規(guī)劃多個網(wǎng)口,來提升鏈路的傳輸率和可靠性vSwitch(管理)vSwitch(業(yè)務(wù))vSwitch(存儲)VMVM網(wǎng)絡(luò)資源池設(shè)計IP網(wǎng)段規(guī)劃服務(wù)器 #2服務(wù)器 #3業(yè)務(wù)網(wǎng)絡(luò)管理網(wǎng)絡(luò)iLO網(wǎng)絡(luò)存儲接入交換機鏈路聚合共享存儲服務(wù)器 #1核心交換機+ FW/IPS/LB0050252/23082/24648/24WAN路由器總部辦公PCPCPCP

24、C開發(fā)中心PCPCPCPC分支機構(gòu)PCPCPCPC外聯(lián)單位PCPCPCPC接入交換機H3Cloud CAS10112/2400共享存儲RAID網(wǎng)絡(luò)資源池設(shè)計基礎(chǔ)安全DDOS檢測防御SPAN/RSPAN/ERSPANNetStream高性能服務(wù)器低檔服務(wù)器應(yīng)用傳輸加密應(yīng)用防火墻IPSVPNLBLB+SSLVLAN ACLIngress ACLEgress ACLuRPFiMC Sec Center轉(zhuǎn)發(fā)數(shù)據(jù)流鏡像監(jiān)控流外部網(wǎng)絡(luò)設(shè)備加固傳輸加密防火墻入侵檢測與防御網(wǎng)絡(luò)實時監(jiān)控拒絕服務(wù)攻擊VPN技術(shù)網(wǎng)絡(luò)授權(quán)管理VLAN隔離雙向NATProxyFWLBIPSNetStreamFWLBIPSNetStre

25、am與核心環(huán)形連接,拓撲簡單適合安全和應(yīng)用優(yōu)化設(shè)備獨立設(shè)備互聯(lián)主備冗余設(shè)計2、業(yè)務(wù)設(shè)備旁掛3、業(yè)務(wù)交換集成網(wǎng)絡(luò)資源池設(shè)計安全架構(gòu)設(shè)計優(yōu)點缺點場景與核心之間不能運行動態(tài)路由協(xié)議,只能配置靜態(tài)路由Inline設(shè)備性能瓶頸強調(diào)安全隔離的業(yè)務(wù)區(qū)如網(wǎng)銀與核心即可以環(huán)形也可全交叉拓撲,可以運行動態(tài)路由協(xié)議,靈活方便適合獨立設(shè)備互聯(lián)靈活實現(xiàn)按需流量牽引易保證整網(wǎng)性能優(yōu)點缺點交換機策略復(fù)雜場景大型數(shù)據(jù)中心開放服務(wù)器區(qū)匯聚場景中小型數(shù)據(jù)中心開放服務(wù)器區(qū)匯聚與核心即可以環(huán)形也可全交叉拓撲,可以運行動態(tài)路由協(xié)議,靈活方便減少數(shù)據(jù)中心布線按需配置業(yè)務(wù)模塊易滿足高性能要求網(wǎng)絡(luò)架構(gòu)簡化易運維管理1、井字型方案FWIPSL

26、BIPSLBVLAN1VLAN2VLAN3核心層匯聚層接入層按需防護優(yōu)勢簡化整網(wǎng)安全策略按需引流,降低安全服務(wù)區(qū)負載對于不需安全處理的業(yè)務(wù),降低傳輸時延及被阻斷的風險安全服務(wù)區(qū)FWIPSLB安全服務(wù)區(qū)防火墻IPS服務(wù)器業(yè)務(wù)流交換機+SecBlade插卡,組成綜合多業(yè)務(wù)處理平臺對無須通過IPS的數(shù)據(jù)流直接Pass視頻數(shù)據(jù)流交換機網(wǎng)絡(luò)資源池設(shè)計按需防護主數(shù)據(jù)中心災(zāi)備中心存儲SANLayer 2Layer 2Layer 3Layer 3Layer 2Layer 2SANDWDMDWDMDWDMServerServer存儲 DCI核心網(wǎng)IP 網(wǎng)絡(luò)分支園區(qū)三層互聯(lián)二層互聯(lián)SAN互聯(lián)數(shù)據(jù)中心互聯(lián)三種形式也

27、稱為數(shù)據(jù)中心前端網(wǎng)絡(luò)互聯(lián)不同數(shù)據(jù)中心的前端網(wǎng)絡(luò)通過IP技術(shù)實現(xiàn)互聯(lián),園區(qū)或分支客戶端通過前端網(wǎng)絡(luò)訪問各數(shù)據(jù)中心。當主數(shù)據(jù)中心發(fā)生災(zāi)難時,通過前端網(wǎng)絡(luò)快速收斂,使得客戶端通過訪問災(zāi)備中心以保障業(yè)務(wù)連續(xù)也稱為數(shù)據(jù)中心后端服務(wù)器網(wǎng)絡(luò)互聯(lián)(以下簡稱DCI)。在不同的數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)接入層,構(gòu)建一個跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò),以滿足服務(wù)器集群或虛擬機動態(tài)遷移等場景對二層網(wǎng)絡(luò)接入的需求。也稱為后端存儲網(wǎng)絡(luò)互聯(lián)。通常借助傳輸技術(shù)(DWDM、SDH等)實現(xiàn)主中心和災(zāi)備中心間磁盤陣列的數(shù)據(jù)復(fù)制VXLAN 100vSwitch內(nèi)置VTEPL2 GW內(nèi)置VTEPL3 GW內(nèi)置VTEPVXLAN 200vSwitch內(nèi)

28、置VTEPL2 GW內(nèi)置VTEPL3 GW內(nèi)置VTEP網(wǎng)絡(luò)資源池設(shè)計 大二層VxLAN網(wǎng)絡(luò)物理網(wǎng)絡(luò)主機DB服務(wù)器1服務(wù)器VM1VM2L2 GW內(nèi)置VTEPL3 GW內(nèi)置VTEP主機VM1VM2DB服務(wù)器2vSwitchvSwitch內(nèi)置VTEPOverlay網(wǎng)絡(luò)vSwitch內(nèi)置VTEPL3 GW內(nèi)置VTEPL2 GW內(nèi)置VTEP私有云建設(shè)關(guān)注四個方面計算資源池設(shè)計網(wǎng)絡(luò)資源池設(shè)計存儲資源池設(shè)計管理設(shè)計存儲功能區(qū)部署存儲交換機SAN存儲陣列HBASAN存儲部署獨立的SAN存儲區(qū)域?qū)S玫拇鎯粨Q機,冗余部署服務(wù)器HBA卡選擇雙通道存儲服務(wù)器:足夠的磁盤槽位,CPU、內(nèi)存相對要求較低網(wǎng)絡(luò):10G以上

29、速率,延遲低的無損以太網(wǎng)考慮到性能要求,建議服務(wù)器配置獨立網(wǎng)卡與存儲網(wǎng)絡(luò)連接,按照方式二部署。分布式存儲部署分布式存儲機柜服務(wù)器機柜存儲交換機接入交換機零存儲部署應(yīng)用服務(wù)器除提供應(yīng)用服務(wù)以外,同時以自身存儲構(gòu)成分布式存儲,提供存儲服務(wù)獨立的網(wǎng)卡及交換設(shè)備用于存儲交換。服務(wù)器磁盤資源及CPU內(nèi)存等均要求較高共享存儲設(shè)備服務(wù)器服務(wù)器SAN網(wǎng)絡(luò)LAN網(wǎng)絡(luò)網(wǎng)絡(luò)機柜存儲機柜服務(wù)器機柜網(wǎng)絡(luò)機柜服務(wù)器機柜傳統(tǒng)的計算虛擬化部署方案:兩套系統(tǒng):服務(wù)器、存儲整列兩套網(wǎng)絡(luò):LAN、SAN兩套管理:虛機管理、磁盤管理服務(wù)器自帶磁盤的利用率低服務(wù)器Zstor服務(wù)器LAN網(wǎng)絡(luò)服務(wù)器機柜網(wǎng)絡(luò)機柜Zstor服務(wù)器機柜零存儲部

30、署方案:一套系統(tǒng),只有服務(wù)器系統(tǒng)一套網(wǎng)絡(luò),只有LAN服務(wù)器的硬盤通過分布式存儲技術(shù),實現(xiàn)一個虛擬存儲系統(tǒng)實現(xiàn)計算與存儲融合,提高資源利用率計算與存儲采用統(tǒng)一管理界面,簡化管理虛擬存儲系統(tǒng)存儲資源池設(shè)計“零存儲” 優(yōu)化方案“零存儲”方案即采用了分布式文件系統(tǒng)思路實現(xiàn)存儲資源共享VMVMVMVM服務(wù)器VMVMVMVM服務(wù)器VMVMVMVM服務(wù)器VMVMVMVM服務(wù)器VMVMVMVM服務(wù)器vStor存儲資源池設(shè)計“零存儲” 優(yōu)化方案存儲資源池設(shè)計存儲虛擬化拓撲結(jié)構(gòu)對外業(yè)務(wù)網(wǎng)絡(luò)集群數(shù)據(jù)交換網(wǎng)絡(luò)集群管理網(wǎng)絡(luò)云業(yè)務(wù)單元虛擬化虛擬化CVM云管理中心云業(yè)務(wù)單元云業(yè)務(wù)單元存儲資源池設(shè)計分布式的數(shù)據(jù)存儲模式Nod

31、e 2Node 3Node 1Data Module 2Data Module 1Data Module 3以三個節(jié)點、每個節(jié)點內(nèi)3塊磁盤為例集群節(jié)點4集群節(jié)點2集群節(jié)點3集群節(jié)點1 加入節(jié)點 集群節(jié)點4當新節(jié)點加入時已有數(shù)據(jù)自動重新均衡存儲資源池設(shè)計自動負載均衡VM2VM1123456123456123456123456123456123456存儲資源池設(shè)計高可用設(shè)計系統(tǒng)支持25個數(shù)據(jù)副本,副本跨節(jié)點、跨磁盤分布磁盤故障時,不影響虛擬機運行,數(shù)據(jù)自動重構(gòu)節(jié)點故障時,虛擬機自動遷移,數(shù)據(jù)自動重構(gòu)163624146能夠容忍多塊硬盤和節(jié)點故障Spare chunks存儲資源池設(shè)計故障恢復(fù)以空閑的硬

32、盤作為熱備,多對一重構(gòu),重構(gòu)時間長,重構(gòu)期間無保護,易造成數(shù)據(jù)丟失熱備盤任意一塊磁盤故障,剩余全部磁盤都參與重構(gòu),多對多重構(gòu),重構(gòu)時間短,可靠性高傳統(tǒng)RAID零存儲數(shù)據(jù)重構(gòu)的過程為:零存儲每10分鐘執(zhí)行一次掃瞄本地的數(shù)據(jù),如果發(fā)現(xiàn)數(shù)據(jù)丟失則立刻重構(gòu)數(shù)據(jù)。也可通過手工命令行方式執(zhí)行重構(gòu)操作。私有云建設(shè)關(guān)注四個方面計算資源池設(shè)計網(wǎng)絡(luò)資源池設(shè)計存儲資源池設(shè)計管理設(shè)計管理層概述虛擬化管理層(Controller)虛擬化層 虛擬計算資源池虛擬存儲資源池虛擬網(wǎng)絡(luò)資源池云應(yīng)用層業(yè)務(wù)編排自助服務(wù)門戶云業(yè)務(wù)流程管理API接口層硬件基礎(chǔ)設(shè)施層計算存儲網(wǎng)絡(luò)企業(yè)私有云業(yè)務(wù)云OpenStack帳務(wù)管理與報表虛擬存儲資源

33、管理虛擬計算資源管理物理網(wǎng)絡(luò)管理虛擬網(wǎng)絡(luò)管理云管理Hypervisor硬件資源管理監(jiān)控管理業(yè)務(wù)管理服務(wù)PortalAPI租戶管理員業(yè)務(wù)用戶A租戶B租戶D租戶使用人C租戶業(yè)務(wù)主管部門1部門2部門3部門4云管理員使用人業(yè)務(wù)主管使用人業(yè)務(wù)主管使用人業(yè)務(wù)主管云運營管理員流程管理設(shè)計流程管理運維管理員資源管理設(shè)計設(shè)備管理100多個廠商,6000多種類型網(wǎng)絡(luò)設(shè)備深入的設(shè)備管理,堆疊設(shè)備、板卡、模塊、風扇、電源等。支持設(shè)備仿真面板全面支持IPv6資源管理設(shè)計虛擬化管理CAS 、VMware、Hyper-V、KVM、等虛擬化全面支持集群、宿主機、vm等統(tǒng)一管理宿主機、vm資源分配情況,使用情況統(tǒng)一管理多虛擬化

34、平臺管理深入的虛擬化管理虛擬拓撲虛擬機的拓撲和監(jiān)控,能夠正確處理外部的物理拓撲與內(nèi)部的虛擬化拓撲虛擬化配置虛擬機創(chuàng)建、啟動、關(guān)閉等。資源管理設(shè)計機房管理應(yīng)用管理設(shè)計操作系統(tǒng)虛擬化數(shù)據(jù)庫中間件統(tǒng)一通信應(yīng)用MoreMoreLync應(yīng)用服務(wù)器Web服務(wù)器More100余種應(yīng)用。還在不斷豐富中!更可自定義監(jiān)控業(yè)務(wù)管理設(shè)計業(yè)務(wù)卡片實時反應(yīng)業(yè)務(wù)系統(tǒng)的健康度、繁忙度、可用性、業(yè)務(wù)告警。業(yè)務(wù)水晶球掌握業(yè)務(wù)系統(tǒng)健康情況分布,全局了解整體業(yè)務(wù)現(xiàn)狀。業(yè)務(wù)TOP N反應(yīng)當前健康度低、業(yè)務(wù)繁忙、可用性低的前10個系統(tǒng),提示管理者重點關(guān)注。IT工程師管理設(shè)計滿足各層面的管理需要IT主管直觀展現(xiàn)IT價值與業(yè)績量化IT投資分

35、析實現(xiàn)IT從業(yè)務(wù)支撐向深度參與轉(zhuǎn)變主動服務(wù),快速排錯?;跇I(yè)務(wù)影響范圍確定問題處理優(yōu)先級提高運維效率。IP拓撲全網(wǎng)拓撲管理設(shè)計監(jiān)控大屏浙江省政務(wù)云案例介紹企業(yè)數(shù)據(jù)中心運營商數(shù)據(jù)中心運營商大型IDC解決方案IPSec/SSL VPN遠程訪問運維支撐區(qū)交換+安全一體化移動核心路由器IDC內(nèi)外網(wǎng)分界平面流量清洗IPS后臺業(yè)務(wù)系統(tǒng)管理機柜1#機房:銀行客戶增值業(yè)務(wù)區(qū)網(wǎng)管監(jiān)控區(qū)應(yīng)用監(jiān)控流量分析3#機房:政企客戶5#機房:零租客戶4#機房:互聯(lián)網(wǎng)客戶核心交換區(qū)中國電信網(wǎng)絡(luò)中國聯(lián)通網(wǎng)絡(luò)2#機房:證券客戶10 GEGE帶寬整租模式面向互聯(lián)網(wǎng)公司、大型政企客戶租用整體機房空間或大量機架(甚至定制機架)租用出口層

36、設(shè)備多個高速端口帶寬客戶自帶網(wǎng)絡(luò)、安全、服務(wù)器等,整網(wǎng)接入面向中小客戶客戶自有服務(wù)器租用機架空間獨享或共享低帶寬運營商數(shù)據(jù)中心業(yè)務(wù)模式云資源出租模式運營商提供IaaS級服務(wù)對云資源采用計時計量收費提供安全增值業(yè)務(wù)提供自主服務(wù)平臺托管零租模式運營商IDC建設(shè)思路(一)依據(jù)客戶群需求,對客戶群進行行業(yè)分類政府辦公:政府辦公網(wǎng)絡(luò)和網(wǎng)站系統(tǒng),要求高度機密,穩(wěn)定的獨享帶寬,對信息內(nèi)容進行周期性的檢查;互聯(lián)網(wǎng)公司:高帶寬、高吞吐、高可靠性等要求,對線路質(zhì)量要求嚴格;網(wǎng)絡(luò)游戲:玩家的最近體驗,對安全性、可靠性、帶寬和時延要求非常高,客戶技術(shù)能力比較強,主要需求是帶寬和物理環(huán)境;大中型企業(yè):各種電子商務(wù)和在線

37、交易的平臺,訪問量和數(shù)據(jù)量大,主要需求網(wǎng)絡(luò)帶寬、后臺計算和數(shù)據(jù)庫等資源,安全性比較高,需要SSL加密,防御各種端口掃描和DDoS攻擊,保證各種在線交易等業(yè)務(wù)的安全。證券等金融業(yè)客戶有部署衛(wèi)星備份鏈路或容災(zāi)備份等要求;中小型企業(yè):虛擬主機、主機租賃業(yè)務(wù),作為中小型企業(yè)和個人用戶展示自己的窗口,同時存在Web、E-Mail、FTP服務(wù)器等需求,無獨立硬件資源。對業(yè)務(wù)進行整合,包裝特色業(yè)務(wù),滿足客戶需求虛擬主機:主要為中小型提供虛擬空間,如Web/Mail/DB;衡量指標主要為硬盤空間、數(shù)據(jù)庫、最大Session數(shù)、最大用戶數(shù)、最大TCP連接數(shù),通常采用共享帶寬;維護依靠FTP進行文件備份等操作;服

38、務(wù)器/機柜托管、租賃:根據(jù)客戶業(yè)務(wù)需求、技術(shù)能力、資金和人力投入進行選擇,采用用戶工作區(qū)或SSL VPN進行遠程監(jiān)控和維護;機房托管:主要為政府和大型企業(yè)等VIP客戶,資金和人力投入大;可在客戶工作區(qū)進行網(wǎng)絡(luò)監(jiān)控和維護,甚至?xí)虚T禁系統(tǒng);帶寬服務(wù):客戶可采用專線等保證網(wǎng)絡(luò)安全和業(yè)務(wù)的物理隔離,也可采用VPN或購買固定獨享來獲得安全高效的網(wǎng)絡(luò)服務(wù)。運營商IDC建設(shè)思路(二)提供高效運營和特色服務(wù)實現(xiàn)業(yè)務(wù)增值,彌補傳統(tǒng)業(yè)務(wù)盈利能力所有服務(wù)均可定制,滿足個性化需求內(nèi)容過濾防火墻防病毒防攻擊:DDoS、TCP Sync Flood應(yīng)用優(yōu)化:應(yīng)用加速、負載均衡安全訪問控制:SSL加密、VPN隔離P2P限

39、流:BT漏洞掃描與補丁修復(fù)資源性能監(jiān)控 運營商IDC建設(shè)思路(三)刀片機箱業(yè)務(wù)防火墻 網(wǎng)絡(luò)出口層核心層匯聚層接入層機架式服務(wù)器IDS維護終端GEGECE路由器負載均衡出口路由器DMZ服務(wù)器CMNETIP專網(wǎng)DMZ區(qū)接入維護區(qū)核心生產(chǎn)區(qū)、測試區(qū)CMNET防火墻 光纖 五類線 S12508S7608-XS5830-106SS7608-XS5120-52CS12508FC交換機S7608-XS7608-XS5120-52CS5120-52CS7606-SFC線 管理線 管理區(qū)存儲區(qū)VPN網(wǎng)關(guān)4*10GE4*10GE 4*10GE 4*10GE中國移動天津物流基地一級私有云湖南移動IDCKVM后臺匯聚

40、交換機防火墻負載均衡流量清洗防火墻IPS/IDSH3C S12500核心交換機后臺業(yè)務(wù)系統(tǒng)管理機柜基礎(chǔ)業(yè)務(wù)區(qū)增值業(yè)務(wù)區(qū)ADC-SI業(yè)務(wù)區(qū)KVM網(wǎng)管監(jiān)控區(qū)3*10 GE3*10 GE10 GE2*10 GE2*10 GE10 GEGESSL加速10 GE3*10 GE3*10 GE負載均衡防火墻IPS/IDSSSL加速10 GE10 GE10 GE10 GE10 GE2* GE2* GE2* GE2* GE10 GE10 GE10 GE10 GE2*10 GE2*10 GE2*10 GE2*10 GE2*10 GE2*10 GE2*10 GEGEGEGEGEGECMNET核心路由器浙江移動新一代

41、數(shù)據(jù)中心架構(gòu)S12500嘉興移動核心路由器流量清洗20GE檢測10GE清洗千兆接入交換機48GE+2X10GE后臺接入交換機48FE基礎(chǔ)業(yè)務(wù)用戶區(qū)增值業(yè)務(wù)用戶區(qū)網(wǎng)管監(jiān)控區(qū)漏洞掃描系統(tǒng)安全審計系統(tǒng)后臺匯聚交換機DCN網(wǎng)絡(luò)百兆防火墻服務(wù)器核心路由交換設(shè)備24X10GE+24GE+萬兆防火墻核心交換區(qū)計費接口區(qū)T1600互聯(lián)網(wǎng)接口區(qū)網(wǎng)管網(wǎng)接口區(qū)F5000山西移動數(shù)據(jù)業(yè)務(wù)網(wǎng)數(shù)據(jù)中心S12500+FW插卡+IPS插卡核心生產(chǎn)區(qū)CMNETSecCenter10GE WAN網(wǎng)管系統(tǒng)S5800-60C + FW計費系統(tǒng)各個業(yè)務(wù)系統(tǒng)S5800-60C + FW項目概述: 中國移動數(shù)據(jù)業(yè)務(wù)發(fā)展迅速,系統(tǒng)數(shù)量急劇增

42、加,規(guī)模不斷擴大,導(dǎo)致網(wǎng)絡(luò)互聯(lián)架構(gòu)日益復(fù)雜,安全威脅不斷升級。從整體上提高數(shù)據(jù)業(yè)務(wù)系統(tǒng)的安全防護能力。方案特點: 在設(shè)計方案上,更關(guān)注整體網(wǎng)絡(luò)的統(tǒng)一:將多個系統(tǒng)統(tǒng)一整合,建立數(shù)據(jù)中心的架構(gòu),既方便統(tǒng)一管理,也方便資源調(diào)整,改變長期以來的條帶化分割系統(tǒng)的做法,使整體網(wǎng)絡(luò)架構(gòu)更為高效。邏輯分區(qū)的網(wǎng)絡(luò)設(shè)計結(jié)構(gòu)清晰,有利于安全域的劃分,同時還保證了網(wǎng)絡(luò)的可擴展性。采用數(shù)據(jù)中心級交換機構(gòu)建高可靠、高性能核心交換區(qū)。并且采用安全與網(wǎng)絡(luò)的融合方案及高性能安全產(chǎn)品。二長IDC紅谷灘IDC8*10G接口4*10G接口IDC GSR12816-1S12500S12500ChinaNetChinaNet孺子路二長樓九江潯陽九江潯陽GSR12816-1GSR12816-1GSR12816-

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論