




版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、數(shù)據(jù)中心建設(shè)方案目錄第一章綜述2第二章IDC網(wǎng)絡(luò)建設(shè) 6第三章IDC基礎(chǔ)系統(tǒng)建設(shè)13第四章IDC應(yīng)用服務(wù)系統(tǒng)建設(shè) 25第五章IDC綜合管理系統(tǒng)33第六章IDC計(jì)費(fèi)系統(tǒng)38第五章IDC機(jī)房系統(tǒng)設(shè)計(jì)說(shuō)明41第六章一期實(shí)施內(nèi)容建議 49第一章 綜述IDC(Internet Data Center) - Internet數(shù)據(jù)中心,它是傳統(tǒng)的數(shù)據(jù)中心與 Internet 的結(jié)合,它除了具有傳統(tǒng)的數(shù)據(jù)中心所具有的特點(diǎn)外,如數(shù)據(jù)集中、主機(jī)運(yùn)行可靠等,還應(yīng)具有 訪問(wèn)方式的變化、要做到7x24服務(wù)、反應(yīng)速度快等。IDC是一個(gè)提供資源外包服務(wù)的基地, 它應(yīng)具有非常好的機(jī)房環(huán)境、安全保證、網(wǎng)絡(luò)帶寬、主機(jī)的數(shù)量和主機(jī)
2、的性能、大的存儲(chǔ)數(shù)據(jù) 空間、軟件環(huán)境以及優(yōu)秀的服務(wù)性能。IDC作為提供資源外包服務(wù)的基地,它可以為企業(yè)和各類(lèi)網(wǎng)站提供專(zhuān)業(yè)化的服務(wù)器托管、 空間租用、網(wǎng)絡(luò)批發(fā)帶寬甚至 ASP EC等業(yè)務(wù)。簡(jiǎn)單地理解,IDC是對(duì)入駐(Hosting)企業(yè)、 商戶(hù)或網(wǎng)站服務(wù)器群托管的場(chǎng)所; 是各種模式電子商務(wù)賴(lài)以安全運(yùn)作的基礎(chǔ)設(shè)施, 也是支持企 業(yè)及其商業(yè)聯(lián)盟(其分銷(xiāo)商、供應(yīng)商、客戶(hù)等)實(shí)施價(jià)值鏈管理的平臺(tái)。形象地說(shuō),IDC是個(gè)高 品質(zhì)機(jī)房,在其建設(shè)方面,對(duì)各個(gè)方面都有很高的要求。IDC 的總體結(jié)構(gòu)如圖 1-1 所示 :Upstream and Peeing ConnectionRouterswswFWEWSy S
3、tan MaragemotStileSy緯t扯Data EakupCustonisiM uml dWebSnrerFamUJZaflhla,iKr-JrApp-畑Applkitiui Stirk e Z suFWSWSMTP., etcB%kblXl4SwitchSwitchE i (tuhduKtb ucktcw Switchwifli VLAN圖1-1IDC系統(tǒng)結(jié)構(gòu)EWS皿bh Fr如 11 udBi blueWbaivi PubliSenrk ZoiCante Kt StorageZoneIDC的建設(shè)主要在如下幾個(gè)方面: 網(wǎng)絡(luò)建設(shè)IDC主要是靠其有一個(gè)高性能的網(wǎng)絡(luò)為其客戶(hù)提供服務(wù),這個(gè)高
4、性能的網(wǎng)絡(luò)包括其-AN、WAF和與In ternet 接入等方面。IDC的網(wǎng)絡(luò)建設(shè)主要有:-IDC的-AN的建設(shè),包括其-AN的基礎(chǔ)結(jié)構(gòu),-AN的層次,-AN的性能。-IDC的WAN勺建設(shè),即IDC的各分支機(jī)構(gòu)之間相互連接的廣域網(wǎng)的建設(shè)等。-IDC的用戶(hù)接入系統(tǒng)建設(shè),即如何保證IDC的用戶(hù)以安全、可靠的方式把數(shù)據(jù)傳到 IDC的數(shù) 據(jù)中心,或?qū)Υ娣旁贗DC的用戶(hù)自己的設(shè)備進(jìn)行維護(hù),這需要IDC為用戶(hù)提供相應(yīng)的接入方式,如撥號(hào)接入、專(zhuān)線接入及VPN等 - IDC 與 Internet 互聯(lián)的建設(shè)。- IDC 的網(wǎng)絡(luò)管理建設(shè),由于 IDC 的網(wǎng)絡(luò)結(jié)構(gòu)相當(dāng)龐大而且復(fù)雜,要保證其網(wǎng)絡(luò)不間斷對(duì)外服 務(wù),而
5、且高性能,必須有一高性能的網(wǎng)絡(luò)管理系統(tǒng)。服務(wù)器建設(shè)IDC的服務(wù)器建設(shè)可分為多個(gè)方面,總體上分為基礎(chǔ)服務(wù)系統(tǒng)服務(wù)器和應(yīng)用服務(wù)系統(tǒng)服務(wù) 器,主要有:-基礎(chǔ)系統(tǒng)服務(wù)器:這類(lèi)服務(wù)器是保障IDC為用戶(hù)提供各種服務(wù)的前提,這類(lèi)服務(wù)器有DNS! 務(wù)器、目錄服務(wù)器、網(wǎng)絡(luò)管理服務(wù)器、防火墻服務(wù)器、各類(lèi)安全服務(wù)器、 IDC系統(tǒng)性能監(jiān)控服-數(shù)據(jù)庫(kù)服務(wù)器:它是保證IDC可以為用戶(hù)提供各種應(yīng)用服務(wù)的基礎(chǔ),IDC的數(shù)據(jù)庫(kù)服務(wù)器必 須能支持大容量訪問(wèn)、多種數(shù)據(jù)庫(kù)等。-數(shù)據(jù)備份服務(wù)器:它是IDC為客戶(hù)提供安全服務(wù)的內(nèi)容之一,保證客戶(hù)的數(shù)據(jù)安全可靠。由于IDC的服務(wù)器種類(lèi)繁多、有多種數(shù)據(jù)庫(kù),所以數(shù)據(jù)備份要支持多機(jī)型、多種數(shù)據(jù)格
6、式等等, 而且容量要大。-應(yīng)用服務(wù)器:是IDC為用戶(hù)提供相關(guān)應(yīng)用服務(wù)的服務(wù)器。由于IDC的業(yè)務(wù)擴(kuò)展,所以應(yīng)用服 務(wù)器應(yīng)具有很好的擴(kuò)展性,以及支持各類(lèi)應(yīng)用軟件的數(shù)量要多。-服務(wù)器的負(fù)載均衡: 這是IDC提供高性能、高可靠性服務(wù)的重要方法之一,服務(wù)器的負(fù)載 均衡可由硬件設(shè)備(如網(wǎng)絡(luò)交換設(shè)備)或軟件的方法實(shí)現(xiàn)。存儲(chǔ)系統(tǒng)的建設(shè)存儲(chǔ)系統(tǒng)是 IDC 的重點(diǎn)建設(shè)內(nèi)容之一,作為一個(gè) IDC ,其存儲(chǔ)系統(tǒng)是相當(dāng)龐大的,特別是在現(xiàn)在的企 業(yè)中,數(shù)據(jù)的容量以由 GB 級(jí)增長(zhǎng)到 TB 級(jí),如此大的數(shù)據(jù)需要有一個(gè)更加安全、可靠的存儲(chǔ)系統(tǒng),由于訪 問(wèn)的數(shù)量也是相當(dāng)龐大的,所以對(duì)存儲(chǔ)系統(tǒng)的效率也有很高的要求;而且存儲(chǔ)系統(tǒng)應(yīng)
7、具有很好的擴(kuò)展性, 以滿(mǎn)足 IDC 的發(fā)展的需求。軟件系統(tǒng)的建設(shè)軟件系統(tǒng)的建設(shè)是 IDC 需要大量投入的方面, 它是在前面網(wǎng)絡(luò)、 服務(wù)器和存儲(chǔ)系統(tǒng)建設(shè)的 基礎(chǔ)上,IDC開(kāi)展對(duì)外服務(wù)的手段。IDC在軟件建設(shè)的主要有:-Web系統(tǒng):IDC開(kāi)展Web-Hosting服務(wù)內(nèi)容之一,Web系統(tǒng)軟件應(yīng)支持在一個(gè)系統(tǒng)上能建立 為多家企業(yè)服務(wù)的Web系統(tǒng)功能等。- 電子郵件系統(tǒng):電子郵件系統(tǒng)應(yīng)支持多種電子郵件協(xié)議,如SMTP、POP3、IMAP4、Web-Mai-和 Voice-Mai- 等,同時(shí)電子郵件系統(tǒng)應(yīng)有很好擴(kuò)展性等。- 數(shù)據(jù)庫(kù)系統(tǒng): IDC 應(yīng)建立多廠家的數(shù)據(jù)庫(kù)系統(tǒng),如應(yīng)有 Orac- e 、Inf
8、ormix 、SQ- Server 、 SyBase等廠家的數(shù)據(jù)庫(kù),以滿(mǎn)足不同用戶(hù)的需求。- 安全系統(tǒng):如防火墻軟件(硬件防火墻除外)、防黑客入侵、防病毒軟件等。這是保證 IDC 為用戶(hù)提供安全服務(wù)器的前提。- 數(shù)據(jù)備份軟件 : 支持多備份設(shè)備、多種廠家的機(jī)器、多種數(shù)據(jù)庫(kù)等等。-應(yīng)用開(kāi)發(fā)系統(tǒng):IDC應(yīng)提供相應(yīng)的開(kāi)發(fā)系統(tǒng)平臺(tái),提供相應(yīng)的開(kāi)發(fā)工具,滿(mǎn)足用戶(hù)或IDC開(kāi)發(fā)相應(yīng)應(yīng)用的需求。IDC自身服務(wù)系統(tǒng)建設(shè)IDC是靠其優(yōu)質(zhì)的服務(wù)來(lái)占有市場(chǎng)和贏得客戶(hù)的,為了做到優(yōu)質(zhì)高效服務(wù),IDC在其自身服務(wù)器系統(tǒng)的建設(shè)上也必須有大量的投入。IDC自身服務(wù)系統(tǒng)主要有:-客戶(hù)關(guān)系管理系統(tǒng)(CRM): CRM是IDC與客
9、戶(hù)建立良好關(guān)系的基礎(chǔ)服務(wù)系統(tǒng),它為 IDC提供 的用戶(hù)的發(fā)展動(dòng)態(tài)以及用戶(hù)的新的需求等。-計(jì)費(fèi)系統(tǒng):計(jì)費(fèi)系統(tǒng)是IDC收入的保證。-網(wǎng)絡(luò)與服務(wù)器管理系統(tǒng):IDC有龐大的網(wǎng)絡(luò)和服務(wù)器系統(tǒng),要管理好這些系統(tǒng),必須有一個(gè) 功能強(qiáng)大的網(wǎng)絡(luò)、服務(wù)器和應(yīng)用管理系統(tǒng),此能保證IDC對(duì)外的服務(wù)質(zhì)量。-IDC的內(nèi)部管理系統(tǒng):保證IDC內(nèi)部各部門(mén)能夠統(tǒng)一協(xié)調(diào)工作,完成高質(zhì)量的服務(wù)。 機(jī)房場(chǎng)地建設(shè)機(jī)房場(chǎng)地的建設(shè)是IDC前期建設(shè)投入最大的部分。由于IDC的用戶(hù)可能把其重要的數(shù)據(jù)和 應(yīng)用都存放在IDC的機(jī)房中,所以對(duì)IDC機(jī)房場(chǎng)地環(huán)境的要求是非常高的。IDC的機(jī)房場(chǎng)地建 設(shè)主要在如下幾個(gè)方面:- 機(jī)房裝修:機(jī)房裝修主要考慮
10、吊頂、隔斷墻、門(mén)窗、墻壁和活動(dòng)地板等。-供電系統(tǒng):供電系統(tǒng)是IDC的場(chǎng)地建設(shè)重點(diǎn)之一,由于IDC的大量設(shè)備需要極大的電力功率, 所以供電系統(tǒng)的可靠性建設(shè)、擴(kuò)展性是極其重要的。供電系統(tǒng)建設(shè)主要有:供電功率、UPS建設(shè)(n+1)、配電柜、電線、插座、照明系統(tǒng)、接地系統(tǒng)、防雷和自發(fā)電系統(tǒng)等。-空調(diào)系統(tǒng):機(jī)房的溫度、通風(fēng)方式和機(jī)房空氣環(huán)境等。-安全系統(tǒng):門(mén)禁系統(tǒng)、消防系統(tǒng)和監(jiān)控系統(tǒng)。-布線系統(tǒng):機(jī)房應(yīng)有完整的綜合布線系統(tǒng),布線系統(tǒng)包括數(shù)據(jù)布線、語(yǔ)音布線、終端布線。-通信系統(tǒng):包括數(shù)據(jù)線帶寬、語(yǔ)音線路數(shù)目等。第二章IDC網(wǎng)絡(luò)建設(shè)IDC網(wǎng)絡(luò)功能結(jié)構(gòu)我們建議的IDC網(wǎng)絡(luò)結(jié)構(gòu)如圖2-1所示:M&intane
11、Acc$LtyerBackend LaytrNMDB/MkJL Server S to ragtEtc.WEB SeiviFamServer AccessLaj/?r0 DNS/Mail RehyEtc.IntemrtTo o therIf st r A c e riaLaytrU$er2User NTDSL圖2-1IDC網(wǎng)絡(luò)功能結(jié)構(gòu)圖核心交換層:由兩臺(tái)CISCO650哆層交換機(jī)構(gòu)成,實(shí)現(xiàn)雙機(jī)容錯(cuò)工作,保證數(shù)據(jù)的高速、無(wú) 阻塞的交換。策略分布層:可以由一組 CSS11000系列內(nèi)容交換機(jī)組成,負(fù)責(zé)完成服務(wù)器負(fù)載均衡和策略 分布任務(wù)。服務(wù)器訪問(wèn)層:由一組 Cat3524交換機(jī)組成,完成托管服務(wù)器
12、的高速接入工作。后端網(wǎng)絡(luò):由兩臺(tái)CISCO6509勾成,實(shí)現(xiàn)雙機(jī)容錯(cuò)工作,實(shí)現(xiàn)IDC管理中心,數(shù)據(jù)庫(kù)、郵件、 應(yīng)用等服務(wù)器和存儲(chǔ)系統(tǒng)的連接,托管服務(wù)器通過(guò)第二塊網(wǎng)卡和后端網(wǎng)絡(luò)相連, 保證獨(dú)立和高 速的數(shù)據(jù)訪問(wèn)。同時(shí),后端網(wǎng)絡(luò)通過(guò)防火墻和前端的核心網(wǎng)絡(luò)連接, 實(shí)現(xiàn)IDC管理中心對(duì)前端 網(wǎng)絡(luò)的管理,防火墻則為后端網(wǎng)絡(luò)提供更嚴(yán)格的保護(hù)。用戶(hù)訪問(wèn)層:由若干臺(tái) Cat4000和一組Cat2924組成,提供企業(yè)和個(gè)人用戶(hù)接入,提供 INTERNE上網(wǎng),企業(yè)用戶(hù)還可以通過(guò) VLAN和自己的托管服務(wù)器連接實(shí)現(xiàn)日常的維護(hù)工作。方案設(shè)計(jì)描述1. Internet 接入網(wǎng)絡(luò)結(jié)構(gòu)由于本系統(tǒng)In ternet接入服務(wù)用
13、戶(hù)主要來(lái)自于各寫(xiě)字樓內(nèi)的公司和高級(jí)酒店、公寓內(nèi)的客人 和住戶(hù),且各寫(xiě)字樓相距較近,所以全部采用LAN結(jié)構(gòu)為這些用戶(hù)提供接入服務(wù),如圖2-2所示:Interne VT 4 other siis嚴(yán)I口口圖2-2 In ternet接入網(wǎng)絡(luò)結(jié)構(gòu)LAN采用流行的以太網(wǎng)絡(luò)結(jié)構(gòu), 核心交換:Cat6509多層交換機(jī) 分布層交換或周邊建筑物內(nèi)主干:Cat4006交換機(jī)接入層交換機(jī):Cat2924XL交換機(jī)由于考慮到在酒店和寫(xiě)字樓內(nèi)重新進(jìn)行數(shù)據(jù)布線有一定困難,所以采用TDSL技術(shù)實(shí)現(xiàn)樓內(nèi)的數(shù)據(jù)傳輸,所有數(shù)據(jù)交換設(shè)備都集中在中央機(jī)房?jī)?nèi),但網(wǎng)絡(luò)的總體結(jié)構(gòu)不變。核心交換使用兩臺(tái)Catalyst 6509構(gòu)成,形成全
14、冗余的高速網(wǎng)絡(luò)核心。分布層交換機(jī) Catalyst 4006 使用兩條千兆線路分別與兩臺(tái) 6509相連,形成冗余的千兆主干。樓層交換機(jī) 使用Catalyst 2924XL 交換機(jī)。Cat6509 上的千兆端口還用來(lái)連接其他的節(jié)點(diǎn),與其他節(jié)點(diǎn)的LAN起構(gòu)成一個(gè)分布式的城域范圍的數(shù)據(jù)中心的結(jié)構(gòu)。2.用CACH加速I(mǎi)NTERNE訪問(wèn)In ternet的發(fā)展趨勢(shì)是盡可能地將內(nèi)容在地理上靠近用戶(hù),由于本方案中INTERNE接入用戶(hù)的大都來(lái)自與商務(wù)寫(xiě)字樓和酒店公寓,其對(duì)INTERNET勺訪問(wèn)具有很大的重復(fù)性,所以有效地部署CACH可以大大地降低INTERNE接入的帶寬負(fù)荷,提高內(nèi)容的相應(yīng)速度。另外,由于現(xiàn)
15、在INTERNE上出現(xiàn)越來(lái)越多的多媒體形式的內(nèi)容, 指望拓寬INTERNET口 帶寬來(lái)提高用戶(hù)對(duì)這些內(nèi)容的訪問(wèn)速度是根本不現(xiàn)實(shí)的,而使用CACH技術(shù)對(duì)INTERNE上的這些內(nèi)容進(jìn)行緩存,不但可以使這些內(nèi)容對(duì)用戶(hù)變得現(xiàn)實(shí)可用,提高用戶(hù)的忠誠(chéng)度,而且還可 以通過(guò)定期定制一些多媒體節(jié)目在 CACH中,以有償?shù)姆绞较蛴脩?hù)提供,這就演化成了一種增 值服務(wù)。總之,CACHE寸IDC以及ISP都是必不可少的,經(jīng)營(yíng)者可以通過(guò)靈活地使用 CACH來(lái)最大 限度地降低成本,提升利潤(rùn)。我們建議使用NETAP公司的NetCache C1105來(lái)提供緩存服務(wù),將其連接在 INTERNE接 入路由器上提供服務(wù)。NetCac
16、he C1105 的特點(diǎn):可靠性/可用性/可擴(kuò)展性專(zhuān)用的體系結(jié)構(gòu)專(zhuān)注于內(nèi)容可用性的提供 微碼的核心系統(tǒng),在增加數(shù)據(jù)可用性的前提下達(dá)到最小的開(kāi)銷(xiāo)WAFL( Write Any where File System ) NetApp專(zhuān)利的文件系統(tǒng)優(yōu)化了磁盤(pán)到網(wǎng)絡(luò)的傳輸 冗余的熱插拔電源ECC內(nèi)存保護(hù)OS的冗余拷貝簡(jiǎn)化的管理專(zhuān)用的內(nèi)容管理和送達(dá)軟件 大型部署時(shí)的多系統(tǒng)管理 應(yīng)用分析與報(bào)告的日志快速的安裝與啟動(dòng) 企業(yè)框架軟件集成提供集中的應(yīng)用管理 基于WEBf CLI的管理 溫度、電源監(jiān)控提供可預(yù)測(cè)的系統(tǒng)管理安全 加固了的 TCP/IP 協(xié)議棧在沒(méi)有防火墻的保護(hù)下也能抵御一般的網(wǎng)絡(luò)攻擊 Icap-ena
17、bled 過(guò)濾和病毒檢測(cè) 本地支持的第三方過(guò)濾表NTLM LDAP與 RADIUS認(rèn)證支持ACL多協(xié)議支持 HTTP、FTP、NNTP支持主要的流技術(shù) (M M S, RTS P,QuickTime) iCAP-enabled 應(yīng)用提供靈活的對(duì)增值服務(wù)的訪問(wèn)3服務(wù)器負(fù)載均衡的實(shí)現(xiàn)對(duì)于大部分站點(diǎn)而言, 采用多個(gè)服務(wù)器而不是一臺(tái)大型服務(wù)器, 可以提高服務(wù)器的響應(yīng)性 能,減少服務(wù)器的單點(diǎn)故障。但多臺(tái)服務(wù)器的采用,必須考慮服務(wù)器的負(fù)載均衡問(wèn)題。在本方 案中服務(wù)器置于CSS11800內(nèi)容服務(wù)交換機(jī)之后,所以由CSS1180C完成服務(wù)器的負(fù)載均衡。 CSS11000系列通過(guò) ACA(Arrowpoint
18、Content Assure protocol)制定負(fù)荷參數(shù),選擇最小負(fù)荷的服務(wù)器提供用戶(hù)所需的內(nèi)容。同時(shí)CSS11000系列還支持加權(quán)輪詢(xún)-Weighted RoundRobin ; 最小連接機(jī)制;最大連接數(shù)限制等多種算法實(shí)現(xiàn)負(fù)載均衡。 Cisco CSS 11000系列內(nèi)容服務(wù)交 換機(jī)是業(yè)界唯一的動(dòng)態(tài)負(fù)載均衡交換機(jī),采用具有專(zhuān)利權(quán)的ACA算法,可以根據(jù)Cache服務(wù)器 的命中率、流建立數(shù)和 RTT(Round Trip Time) 選擇最合適的服務(wù)器應(yīng)答用戶(hù)的請(qǐng)求。與其他 的負(fù)載均衡設(shè)備比較,CSS具有更高的負(fù)載均衡能力,因?yàn)樗且环N基于流的交換機(jī),其他廠 家的負(fù)載均衡設(shè)備則是基于包的交換
19、機(jī)。 基于包的解決方案通過(guò)檢測(cè)對(duì)某一特定內(nèi)容的請(qǐng)求時(shí) 的每個(gè)包來(lái)做轉(zhuǎn)發(fā)決定,這樣嚴(yán)重增加了CPU的負(fù)擔(dān)。而作為基于流的交換機(jī)的 CSS 一旦流建立起來(lái)后,該流所有的流量都將以線速轉(zhuǎn)發(fā)。CSS 以下面的多種方法支持負(fù)載均衡:具有專(zhuān)利權(quán)的ACA負(fù)載均衡算法輪詢(xún)(Round Robin, RR)加權(quán)輪詢(xún)(Weighted Round Robin, WRR)最少連接 (Least Connection, LC)/ 最大連接 (Max Connection) 目的 IP 地址 源 IP 地址 域/ 域 Hash算法(Domain/Domain hash) URL/URL Hash 算法考慮到建設(shè)初期,負(fù)
20、載均衡交換機(jī)不是必須的設(shè)備,而且也不是所有的托管站點(diǎn)都需要負(fù)載均衡功能, 所以,我們建議先不采用負(fù)載均衡設(shè)備,等到有需求的時(shí)候再增加。4. WE岡艮務(wù)器的連接我們?yōu)镮DC中的每臺(tái)托管服務(wù)器都配置兩組網(wǎng)卡,一組用于前端網(wǎng)絡(luò)的連接,提供WE助問(wèn);另一組用于后端網(wǎng)絡(luò)的連接,提供對(duì)數(shù)據(jù)庫(kù)、郵件等服務(wù)器以及存儲(chǔ)系統(tǒng)的訪問(wèn)。通過(guò)使 用不同的網(wǎng)絡(luò)通道進(jìn)行數(shù)據(jù)庫(kù)等后臺(tái)應(yīng)用訪問(wèn),可以使服務(wù)器更充分的利用網(wǎng)絡(luò)帶寬來(lái)相應(yīng) WEB青求;同時(shí),后端網(wǎng)絡(luò)與前端網(wǎng)絡(luò)的分離可以讓數(shù)據(jù)庫(kù)訪問(wèn)、文件存取等要求高速、大容 量的數(shù)據(jù)訪問(wèn)享有更多的網(wǎng)絡(luò)帶寬。服務(wù)器通過(guò)一組接入交換機(jī) Cat3524 連入主干交換網(wǎng)絡(luò)。5. 后端網(wǎng)絡(luò)的設(shè)
21、計(jì)由于后端網(wǎng)絡(luò)連接IDC管理中心,數(shù)據(jù)庫(kù)、郵件等服務(wù)器和大容量存儲(chǔ)系統(tǒng),需要高速的交換系統(tǒng),所以我們使用兩臺(tái)Cat6509交換機(jī)作冗余的核心,連接一組Cat3524提供和WE服 務(wù)器的連接; 對(duì)于數(shù)據(jù)庫(kù)等服務(wù)器和存儲(chǔ)系統(tǒng), 可以采用千兆以太端口或千兆以太通道提供高 達(dá)數(shù)Gbps的直接連接。6. 用戶(hù)的遠(yuǎn)程維護(hù)一般情況下,IDC用戶(hù)會(huì)要求遠(yuǎn)程維護(hù)自己的托管服務(wù)器,由于用戶(hù)只允許對(duì)自己托管的 服務(wù)器進(jìn)行訪問(wèn),因此,必須采用如:VPN VLAN等技術(shù)保證這一點(diǎn)。通過(guò)連接到后端網(wǎng)絡(luò)的廣域網(wǎng)路由器可以提供用戶(hù)通過(guò)專(zhuān)線、撥號(hào)、VPN等各種方式實(shí)現(xiàn)遠(yuǎn)程維護(hù)。對(duì)遠(yuǎn)程維護(hù)的行為進(jìn)行可以通過(guò)以下幾種方式進(jìn)行: D
22、DN專(zhuān)線:用戶(hù)通過(guò)DDN專(zhuān)線連接到IDC中心,通過(guò)策略路由或VLAN被限制只能訪問(wèn)自己 的服務(wù)器,進(jìn)行維護(hù)。 PSTN或 ISDN撥號(hào):用戶(hù)通過(guò)撥號(hào)線路訪問(wèn)IDC中心,身份認(rèn)證由AAA Server進(jìn)行,并進(jìn) 行行為授權(quán),保證用戶(hù)只能訪問(wèn)到自己的服務(wù)器進(jìn)行維護(hù)。 VPN用戶(hù)可能距離IDC中心太遠(yuǎn),從各方面不具備通過(guò)DDN或 PSTN線路訪問(wèn)IDC中心的條 件,這是可以通過(guò)INTERNE采用VPN的方式與IDC中心連接并維護(hù)服務(wù)器。這種情況下,由 VPNServer或VPN路由器保證連接的安全性和可靠性。VPN的實(shí)現(xiàn)可以采用IPSec隧道和MPLS VPN技術(shù),在保證信息正確可達(dá)的情況下,對(duì)用戶(hù)
23、信息進(jìn)行高強(qiáng)度的加密,保證用戶(hù)信息的不被竊取和完整性。對(duì)于本地接入的公司所托管的服務(wù)器,由于公司LAN和托管服務(wù)器處于一個(gè)LAN結(jié)構(gòu)之內(nèi),所以,服務(wù)器運(yùn)行維護(hù)可以通過(guò)定義VLAN行。7網(wǎng)絡(luò)安全的考慮網(wǎng)絡(luò)的安全主要通過(guò)防火墻和入侵檢測(cè)系統(tǒng)來(lái)體現(xiàn), 通過(guò)部署防火墻系統(tǒng), 可以將網(wǎng)絡(luò)劃 分成幾個(gè)安全等級(jí)不同的部分, 對(duì)于要求安全等級(jí)高的部分, 還可以通過(guò)部署多級(jí)防火墻來(lái)提 供安全保護(hù)。入侵檢測(cè)系統(tǒng)則可以對(duì)惡意的入侵行為進(jìn)行探測(cè),進(jìn)行記錄。這部分內(nèi)容參見(jiàn)第 三章第二節(jié) 安全性建設(shè) 。8網(wǎng)絡(luò)的擴(kuò)展性網(wǎng)絡(luò)良好的擴(kuò)展性可以讓供應(yīng)商在相當(dāng)長(zhǎng)一段時(shí)間內(nèi)持續(xù)提供一致服務(wù), 而無(wú)需進(jìn)行新的 投資,我們?cè)诰W(wǎng)絡(luò)設(shè)計(jì)中也
24、充分考慮到了這一點(diǎn)。網(wǎng)絡(luò)主交換機(jī)Cat6509采用模塊設(shè)計(jì),最多可以支持到 384個(gè) 10/100 個(gè)快速以太端口,或 130個(gè)千兆以太端口。其交換帶寬可以從 32Gbps(15MppS擴(kuò)展到256Gbps(150MppS,用戶(hù)可以根據(jù)需要選配端口。建筑物主交換機(jī) Cat4006 也采用模塊設(shè)計(jì),支持六個(gè)接口插槽,最多可以擴(kuò)展到 240個(gè)快速以太端口, 72個(gè)千兆以太 端口。樓層交換機(jī)Cat2924支持10/100自適應(yīng)端口速率,而且2924支持多交換機(jī)堆疊,在端 口數(shù)不夠時(shí),可以簡(jiǎn)便地?cái)U(kuò)充端口而無(wú)需增加上層交換機(jī)的端口。Cat4006可以通過(guò)千兆以太通道技術(shù)來(lái)提升主干連接速率, Cat292
25、4 也同樣支持快速以太通道和千兆的主干連接,可以在 需要的時(shí)候平滑地從現(xiàn)在的 10M/100M/1000M!勺交換結(jié)構(gòu)升級(jí)到100M/1000M/n*1000M的交換結(jié)構(gòu),成10倍地提升網(wǎng)絡(luò)速率。第三章IDC基礎(chǔ)系統(tǒng)建設(shè)IDC在前期建設(shè)中,首要任務(wù)之一是建設(shè)其基礎(chǔ)服務(wù)系統(tǒng),IDC的基礎(chǔ)系統(tǒng)主要有DNSS統(tǒng)、目錄服務(wù)系統(tǒng)、數(shù)據(jù)備份系統(tǒng)、安全系統(tǒng)等。DNS建設(shè)在In ternet上計(jì)算機(jī)和網(wǎng)絡(luò)設(shè)備使用IP地址來(lái)表示的,但I(xiàn)P地址很難記憶,所以采用 和IP地址相對(duì)應(yīng)的域名(Domain)來(lái)表示主機(jī)和網(wǎng)絡(luò),DNS(Domain Name Service)即域名服務(wù) 就是把主機(jī)名字和IP地址作相互匹配,
26、供In ternet上用戶(hù)以主機(jī)域名的方式相互查詢(xún)。DNS 是向用戶(hù)提供域名查詢(xún)或域名登錄服務(wù),其與In ternet中的其它域名服務(wù)器形成全球域名服務(wù)體系。通常DN&艮務(wù)器采用兩臺(tái)或多臺(tái)的方式來(lái)運(yùn)行,其中一臺(tái)主服務(wù)器( Primary ),其 它為次服務(wù)器(Second),當(dāng)主服務(wù)器不能工作時(shí),有任何一臺(tái)次服務(wù)器來(lái)接管其工作,這樣 保證了 DNSg統(tǒng)運(yùn)行的可靠性,主次服務(wù)器之間采用自動(dòng)信息更新方式。IDC的DNS系統(tǒng)除了要為IDC自身服務(wù)之外,還要為其客戶(hù)提供相應(yīng)的域名定義、為用戶(hù)開(kāi)設(shè) 虛擬域名服務(wù)等。所以在IDC的DNS服務(wù)器上可能要定義和管理上百個(gè)或更多域名,由于有如此多的域名,其每天接
27、受的查詢(xún)量也是相當(dāng)龐大的。為了保證IDC的DNS域名的可靠性和安全性,我們采用 Split DNS技術(shù)來(lái)設(shè)計(jì)IDC的DNS 系統(tǒng),即把IDC的DNSS統(tǒng)劃分為內(nèi)部和外部?jī)刹糠郑渲型獠?DNSS統(tǒng)位于公共服務(wù)區(qū),負(fù) 責(zé)IDC正常對(duì)外解析工作,如IDC的Wet服務(wù)器、IDC用戶(hù)的Web服務(wù)器等解析工作全由外部 DNS服務(wù)器來(lái)完成;內(nèi)部DNSS統(tǒng)主要有兩項(xiàng)工作,一是負(fù)責(zé)解析IDC內(nèi)部網(wǎng)絡(luò)的主機(jī),如目 錄服務(wù)器、郵件服務(wù)器等,另一工作是負(fù)責(zé)當(dāng)內(nèi)部要查詢(xún)In ternet上域名時(shí),其把查詢(xún)?nèi)蝿?wù)轉(zhuǎn)發(fā)到外部DNSK務(wù)器上,然后由外部DN&艮務(wù)器完成查詢(xún)?nèi)蝿?wù),返回結(jié)果。由于把 DNSS統(tǒng) 分內(nèi)外兩部分,In
28、 ternet上用戶(hù)只能看到外部DNSS統(tǒng)中的服務(wù)器,而看不見(jiàn)內(nèi)部的服務(wù)器, 而且只有內(nèi)外DN&艮務(wù)器之間交換DNSS詢(xún)信息,從而保證了系統(tǒng)的安全性。如圖3-1說(shuō)明了 DNS解析流程,Inte met二i內(nèi)(如DNS腿圖3-1DNS解析流程Client安全性建設(shè)系統(tǒng)安全架構(gòu)的設(shè)計(jì)將包括兩個(gè)方面:防止IDC網(wǎng)絡(luò)外部用戶(hù)對(duì)IDC網(wǎng)絡(luò)系統(tǒng)可能的攻擊,以及防止IDC網(wǎng)絡(luò)內(nèi)部各子系統(tǒng)之間可能的攻擊。這兩個(gè)方面所采用的技術(shù)和思路是一致的。系統(tǒng)安全架構(gòu)將從三個(gè)層次來(lái)考慮:網(wǎng)絡(luò)層、主機(jī)/服務(wù)器系統(tǒng)及應(yīng)用層。網(wǎng)絡(luò)層的安全主要是防范對(duì)于整個(gè)網(wǎng)絡(luò)的非法訪問(wèn),一般通過(guò)防火墻來(lái)實(shí)現(xiàn)。通過(guò)配置了多級(jí)防火墻,以隔離IDC網(wǎng)
29、絡(luò)各個(gè)組成部分相互之間的非法訪問(wèn)(合法訪問(wèn)可以通過(guò));對(duì)于 In ternet用戶(hù)來(lái)講,如果想非法侵入IDC內(nèi)部網(wǎng)絡(luò),必須突破防火墻的防范。另外,各級(jí)防 火墻可采用不同的產(chǎn)品,以提高網(wǎng)絡(luò)整體的安全性。主機(jī)/服務(wù)器系統(tǒng)的安全是針對(duì)個(gè)別機(jī)器的。除了主機(jī) /服務(wù)器的操作系統(tǒng)自身的安全性之外,目前有多種產(chǎn)品可供選擇,包括SUN公司的Security Man ager和CA公司的Un ice nter TNG 等產(chǎn)品。應(yīng)用層的安全將從三個(gè)方面來(lái)考慮:增強(qiáng)應(yīng)用服務(wù)器系統(tǒng)的安全;采用身份認(rèn)證機(jī)制,以保證應(yīng)用的可靠性;采用數(shù)據(jù)加密技術(shù)和防病毒軟件,以保證應(yīng)用的安全性。1.操作系統(tǒng)的安全規(guī)劃操作系統(tǒng)的安全性建設(shè)
30、應(yīng)是整個(gè)系統(tǒng)安全性建設(shè)的基礎(chǔ)。操作系統(tǒng)的安全性建設(shè)主要包括 用戶(hù)的管理、超級(jí)用戶(hù)的管理、文件系統(tǒng)安全管理、遠(yuǎn)程對(duì)系統(tǒng)的訪問(wèn)等。用戶(hù)管理:對(duì)用戶(hù)的管理主要有用戶(hù)的賬號(hào)口令管理, 設(shè)置用戶(hù)賬號(hào)的有效期,用戶(hù)賬號(hào)口令 的存活期限等。如果需要可以規(guī)定用戶(hù)只能在指定的時(shí)間內(nèi)才能登錄系統(tǒng), 并對(duì)登錄系統(tǒng)的用 戶(hù)進(jìn)行審核(audit )。超級(jí)用戶(hù)的管理:嚴(yán)格限制有普通用戶(hù)變成超級(jí)用戶(hù)(如使用su、rlogin等命令),如果需要可以使用如CA Unicenter TNG這樣的軟件來(lái)控制系統(tǒng)超級(jí)用戶(hù)的權(quán)限。文件系統(tǒng)的安全管理:控制用戶(hù)對(duì)系統(tǒng)內(nèi)特殊文件的訪問(wèn)權(quán)限,特別是刪除、移動(dòng)等權(quán)限,對(duì) 使用NFS系統(tǒng)可以采用
31、kerberos方式認(rèn)證。遠(yuǎn)程對(duì)系統(tǒng)的訪問(wèn):圭寸閉系統(tǒng)的tel net、ftp、r-訪問(wèn)(rsh、rlogin、rep )等功能;但可以 對(duì)系統(tǒng)管理員開(kāi)放相應(yīng)的telnet、ftp功能,以便利于對(duì)系統(tǒng)的管理和維護(hù)。2 .防病毒(Anti-Virus)目前病毒在網(wǎng)絡(luò)和In ternet上傳播主要以電子郵件和 Web瀏覽的方式傳播,以及內(nèi)部網(wǎng)絡(luò)上員工的共享文件的傳播。防病毒可以分為集中防病毒和分散防病毒兩種方法。集中防病毒 的方法是在主要的服務(wù)器上安裝防病毒軟件, 此軟件先對(duì)進(jìn)出此服務(wù)器的數(shù)據(jù)進(jìn)行檢查, 然后 再把通過(guò)檢查的數(shù)據(jù)發(fā)送給客戶(hù); 分散防病毒是只在客戶(hù)端安裝防病毒軟件, 它只檢查進(jìn)出客
32、戶(hù)端的數(shù)據(jù)是否有病毒感染。由于IDC主要為客戶(hù)服務(wù),數(shù)據(jù)主要集中在服務(wù)器上,所以在IDC系統(tǒng)的防病毒體系中主 要采用集中防病毒方法, 但同時(shí)對(duì)一些與服務(wù)器相交戶(hù)的內(nèi)部客戶(hù)段(如管理客戶(hù)段)也采用 分散的防病毒方法。集中防病毒主要是對(duì)進(jìn)出的郵件和HTTP流數(shù)據(jù)進(jìn)行防病毒;分散是保護(hù)內(nèi)部網(wǎng)的單個(gè)終端用戶(hù)。3防火墻 (Firewall)防火墻(Firewall)是保證網(wǎng)絡(luò)安全的重要手段之一,在建設(shè) IDC基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)安全性時(shí), 首先是要考慮防火墻的建設(shè)。 在 Internet/Intranet 上,通過(guò)防火墻來(lái)在兩個(gè)或多個(gè)網(wǎng)絡(luò)間加 強(qiáng)訪問(wèn)控制, 其目的是保護(hù)一個(gè)網(wǎng)絡(luò)不受來(lái)自另一個(gè)網(wǎng)絡(luò)的攻擊, 隔離風(fēng)
33、險(xiǎn)區(qū)域與安全區(qū)域的 連接,但不妨礙人們對(duì)風(fēng)險(xiǎn)區(qū)域的訪問(wèn)。防火墻要完成如下主要功能:通過(guò)對(duì)IP包的檢查,過(guò)濾對(duì)網(wǎng)絡(luò)安全有潛在威脅的IP數(shù)據(jù)包。屏蔽對(duì)于網(wǎng)絡(luò)不必要且有安全漏洞的服務(wù),如 Telnet、FTP等??刂茝腎n ternet上過(guò)來(lái)的IP數(shù)據(jù)的流向,如數(shù)據(jù)包其目的地址只能是某個(gè)區(qū)域的 DNS WWW 等服務(wù)器。屏蔽對(duì)于某些 Internet 站點(diǎn)的訪問(wèn)。完成系統(tǒng)內(nèi)部 IP 地址到 Internet 合法 IP 地址的轉(zhuǎn)換,保證能夠從系統(tǒng)內(nèi)部訪問(wèn) Internet , 隱藏內(nèi)部網(wǎng)絡(luò)和主機(jī)的結(jié)構(gòu)。訪問(wèn)日記,即 Access Log 。IDC不僅要建設(shè)自己的防火墻系統(tǒng),同時(shí)也要考慮特定的用戶(hù)需要
34、建立起自己的防火墻系統(tǒng), 即用需要在其自己的應(yīng)用前增設(shè)相應(yīng)的防火墻系統(tǒng)來(lái)保護(hù)其應(yīng)用的安全 (這可根據(jù)用戶(hù)的實(shí)際 需求再進(jìn)行建設(shè))。4. 網(wǎng)絡(luò)和系統(tǒng)入侵監(jiān)控網(wǎng)絡(luò)和系統(tǒng)的入侵檢測(cè)是在網(wǎng)絡(luò)上增加一臺(tái)掃描儀器和在主要服務(wù)器上增加相應(yīng)的防入侵軟件來(lái)實(shí) 現(xiàn)。此類(lèi)防入侵軟件有兩個(gè)主要功能,一個(gè)掃描網(wǎng)絡(luò)和系統(tǒng)上的安全漏洞,以便在網(wǎng)絡(luò)和系統(tǒng)建立初期,就解決好安全問(wèn)題,此功能也屬于安全保護(hù)范圍;另一個(gè)功能是在網(wǎng)絡(luò)和系統(tǒng)運(yùn)行時(shí),監(jiān)控?cái)?shù)據(jù)流,及時(shí) 發(fā)現(xiàn)黑客入侵,從而做到防止黑客的入侵。在IDC系統(tǒng)中,在每個(gè)重要的服務(wù)取得網(wǎng)絡(luò)的入口處安放一個(gè)探測(cè)器,對(duì)每個(gè)進(jìn)出此段網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行檢查探測(cè),當(dāng)其發(fā)現(xiàn)某一個(gè)數(shù)據(jù)流不是正常的
35、數(shù)據(jù)流時(shí),探測(cè)器把此數(shù)據(jù)流截獲住,并向位于管理區(qū)的管 理服務(wù)器發(fā)送入侵信息和警告,然后由管理服務(wù)器在做相應(yīng)的防御對(duì)策。同時(shí)在每個(gè)服務(wù)器上安裝有類(lèi)似 的探測(cè)器,所以當(dāng)黑客入侵服務(wù)器系統(tǒng)時(shí),也是采取上述動(dòng)作。數(shù)據(jù)存儲(chǔ)系統(tǒng)1. IDC存儲(chǔ)系統(tǒng)綜述在新的以信息為核心的時(shí)代,如何更有效的管理、保護(hù)和共享企業(yè)信息已為各行業(yè)的發(fā)展 提出了新的挑戰(zhàn)。尤其在電子商務(wù)、互連網(wǎng)絡(luò)等新興信息行業(yè)領(lǐng)域,更是面臨著前所未有的巨 大挑戰(zhàn)。在傳統(tǒng)的分布式處理模式下,網(wǎng)站內(nèi)所有的信息分布在內(nèi)部各個(gè)服務(wù)器上,信息的管 理,信息的可用性受到了很大的限制,不能充分發(fā)揮應(yīng)有的作用,而且系統(tǒng)的升級(jí)和新業(yè)務(wù)的 開(kāi)發(fā)部署也都不能及時(shí)響應(yīng)In
36、 ternet快速變化的要求,在這種情形下,以信息為中心的集中 處理模式應(yīng)時(shí)代的需要再次走上了歷史舞臺(tái),而構(gòu)建企業(yè)信息基礎(chǔ)設(shè)施則更是集中處理模式的重中之重。對(duì)于In ternet網(wǎng)站來(lái)說(shuō),幾分鐘的宕機(jī)都會(huì)帶來(lái)巨大的經(jīng)濟(jì)損失以及不可估量的網(wǎng)絡(luò)用 戶(hù)的流失,如果宕機(jī)的時(shí)間再長(zhǎng)一些則可能危及整個(gè)網(wǎng)站的生命。因此整個(gè)IT系統(tǒng)的高可用性變的非常重要,而作為信息系統(tǒng)核心的數(shù)據(jù)部分的高可用性更是重中之重,服務(wù)器的宕機(jī)可以通過(guò)多臺(tái)服務(wù)器冗余帶來(lái)保護(hù),但是如果服務(wù)器上的數(shù)據(jù)沒(méi)有有效的保護(hù)或成為訪問(wèn)瓶頸, 則可能成為致命的缺陷。另外,分布式的環(huán)境給信息系統(tǒng)管理帶來(lái)了巨大的障礙。數(shù)據(jù)分布在眾多的平臺(tái)和服務(wù)器之上,備
37、份和管理的工作變的越來(lái)越復(fù)雜,多個(gè)服務(wù)器上分散的數(shù)據(jù)很難共享,而且這種分散 的存儲(chǔ)模式也帶來(lái)了巨大的資源浪費(fèi),系統(tǒng)管理人員無(wú)法在多個(gè)系統(tǒng)間有效的調(diào)度存儲(chǔ)資源。 再有,這種處理模式也不利于新業(yè)務(wù)的快速部署,而更快的測(cè)試、部署新的應(yīng)用意味著更快的 搶占市場(chǎng),吸引用戶(hù),這在In ternet中無(wú)疑是有著舉足輕重的意義。IDC之間的競(jìng)爭(zhēng)目前主要表現(xiàn)是網(wǎng)絡(luò)帶寬、基礎(chǔ)設(shè)施等IDC的基本要素的比較,隨著IDC產(chǎn)生的越來(lái)越多,IDC之間的競(jìng)爭(zhēng)已經(jīng)表現(xiàn)在如何能夠?yàn)镮DC的用戶(hù)提供更多的數(shù)據(jù)及安全服 務(wù),如:防火墻、數(shù)據(jù)備份、鏡像站點(diǎn)、負(fù)載均衡、統(tǒng)計(jì)分析等數(shù)據(jù)安全、管理、分析等增值 服務(wù)。IDC如何利用現(xiàn)有的帶寬
38、優(yōu)勢(shì)、基礎(chǔ)設(shè)施優(yōu)勢(shì)來(lái)提供更多的數(shù)據(jù)增值服務(wù)并且最大的壓 縮成本是未來(lái)IDC之間競(jìng)爭(zhēng)的制勝法寶。因此IDC如何能夠提供更多的數(shù)據(jù)保護(hù)、 數(shù)據(jù)管理服 務(wù)成為IDC建立時(shí)系統(tǒng)設(shè)計(jì)的一個(gè)重要方面。其實(shí)答案是很簡(jiǎn)單的,那就是集中存儲(chǔ)管理。作為IDC的集中存儲(chǔ)系統(tǒng)需求要面對(duì)未來(lái)IDC用戶(hù)的需求的多樣性,可以按照模塊方式為 用戶(hù)提供模塊化的服務(wù)。作為IDC的存儲(chǔ)中心首先應(yīng)該具有極高的安全性, 試想如果存儲(chǔ)系統(tǒng) 產(chǎn)生問(wèn)題如何為用戶(hù)服務(wù),存儲(chǔ)中心還應(yīng)該具有很強(qiáng)的功能彈性:可以實(shí)現(xiàn)集中的數(shù)據(jù)備份、 冗災(zāi)、連接主機(jī)的多樣性等等。作為存儲(chǔ)中心的成本可以有兩種評(píng)測(cè), 一種是簡(jiǎn)單的容量成本,另一種是與IDC系統(tǒng)有關(guān) 聯(lián)關(guān)
39、系的功能或服務(wù)成本。第一種比較簡(jiǎn)單,第二種我們可以通過(guò)以下兩個(gè)示例來(lái)說(shuō)明: 示例一:很多 Web Hosting 用戶(hù)需要使用高速的文件訪問(wèn),要求容量配置管理簡(jiǎn)單、擴(kuò)容方 便。假設(shè)有 400臺(tái)主機(jī)需要托管并且主機(jī)類(lèi)型主要是 NT、 LINUX 等平臺(tái)。如果每臺(tái)主機(jī)都通 過(guò)光纖通道的IO通道,則我們需要在每臺(tái)主機(jī)上安裝一個(gè)FC的卡,價(jià)格大約是US$2000.00,那么我們共需要 80 萬(wàn)美金,如果將這些成本加到用戶(hù)身上顯然不合適。示例二:如果有100臺(tái)SUN或 HP的服務(wù)器提供ASP等業(yè)務(wù),用戶(hù)需要對(duì)數(shù)據(jù)進(jìn)行備份保護(hù), 那么一般情況下需要在每臺(tái)服務(wù)器上安裝備份軟件,如果每套軟件價(jià)格大約US$15
40、000.00,需要花費(fèi) 150萬(wàn)美金,并且這種備份方式要站用大量的網(wǎng)絡(luò)資源和服務(wù)器的計(jì)算資源。既然存儲(chǔ)服務(wù)是中心化的,有沒(méi)有更好的解決方案,答案是NETAPP勺FILER。通過(guò)下面的方案介紹我們就會(huì)明白為什么目前 10大IDC中會(huì)有9家采用NETAP的存儲(chǔ)解決方案來(lái)為 IDC的用戶(hù)提供基礎(chǔ)設(shè)施和增值服務(wù)。2存儲(chǔ)系統(tǒng)的建設(shè)目標(biāo)存儲(chǔ)系統(tǒng)重點(diǎn)是對(duì)整個(gè)網(wǎng)站內(nèi)的數(shù)據(jù)進(jìn)行整合, 建立起真正的企業(yè)存儲(chǔ)平臺(tái), 在統(tǒng)一的企 業(yè)存儲(chǔ)平臺(tái)上建立集中式的處理中心, 更有效的完成業(yè)務(wù)處理, 并極大的提高系統(tǒng)的可管理性, 降低系統(tǒng)的管理難度及管理開(kāi)銷(xiāo),提高信息的可用性和共享性。存儲(chǔ)系統(tǒng)要達(dá)到的建設(shè)目標(biāo)如下:完成數(shù)據(jù)整合,
41、建立全網(wǎng)站的信息基礎(chǔ)設(shè)施,在統(tǒng)一的信息存儲(chǔ)平臺(tái)上高效的完成業(yè)務(wù)處理, 將所有應(yīng)用系統(tǒng)連入已采用的智能存貯系統(tǒng)平臺(tái), 進(jìn)行數(shù)據(jù)整合, 整合后整個(gè)網(wǎng)站的數(shù)據(jù)信息 將位于統(tǒng)一的企業(yè)存儲(chǔ)平臺(tái)之上。在新的信息基礎(chǔ)設(shè)施上更有效的完成系統(tǒng)管理, 降低系統(tǒng)管理的難度和工作量, 從單點(diǎn)實(shí)現(xiàn) 對(duì)企業(yè)存儲(chǔ)平臺(tái)的統(tǒng)一管理和控制。利用新的信息基礎(chǔ)設(shè)施最大限度的提高信息的共享性, 信息共享可在存貯系統(tǒng)平臺(tái)內(nèi)快速有 效的完成,無(wú)需占用網(wǎng)絡(luò)資源。提高信息的可訪問(wèn)性和訪問(wèn)速度, 所有的數(shù)據(jù)磁帶備份工作, 可通過(guò)備份機(jī)利用本地磁盤(pán)鏡 像數(shù)據(jù)來(lái)完成,有效降低生產(chǎn)系統(tǒng)的備份窗口需求,大大延長(zhǎng)生產(chǎn)系統(tǒng)的在線服務(wù)時(shí)間。一個(gè)完整的存儲(chǔ)系統(tǒng)
42、還應(yīng)與數(shù)據(jù)備份系統(tǒng)做到無(wú)逢結(jié)合,即存儲(chǔ)系統(tǒng)還達(dá)到如下目標(biāo): 關(guān)鍵數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)備份關(guān)鍵業(yè)務(wù)系統(tǒng)的主機(jī)實(shí)現(xiàn)熱備份 關(guān)鍵業(yè)務(wù)系統(tǒng)的網(wǎng)絡(luò)部分實(shí)現(xiàn)熱備份 具體目標(biāo)如下 :關(guān)鍵數(shù)據(jù)實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)備份,備份技術(shù)應(yīng)不占用主機(jī)資源,對(duì)應(yīng)用系統(tǒng)無(wú)任何影響。 建立災(zāi)難備份中心。在災(zāi)難備份中心,放置主機(jī)系統(tǒng)以用作熱備份,其處理能力為生產(chǎn)中心主機(jī)的 80以上。 在災(zāi)難備份中心,建立網(wǎng)絡(luò)備份系統(tǒng),其中包括備份網(wǎng)絡(luò)設(shè)備如路由器、HUB等和備份線路, 備份線路的接入分局應(yīng)不同于生產(chǎn)中心連接的分局。在存儲(chǔ)系統(tǒng)建成后,IDC的信息系統(tǒng)將為未來(lái)的發(fā)展(包括業(yè)務(wù)和技術(shù))奠定了堅(jiān)實(shí)可靠 的電子信息基礎(chǔ)架構(gòu)。所有的業(yè)務(wù)可以在這一信息基礎(chǔ)架
43、構(gòu)上進(jìn)行集中的控制和統(tǒng)一的管理。 信息的可用性、 保護(hù)性和可管理性將大大提高。 系統(tǒng)的可擴(kuò)展性和靈活性也將比傳統(tǒng)的分布式 存儲(chǔ)方式大大改善,可以充分滿(mǎn)足目前及未來(lái)的業(yè)務(wù)發(fā)展和管理的需要。3 存儲(chǔ)方案概述IDC的存儲(chǔ)系統(tǒng)是為應(yīng)用提供服務(wù)的,所以在設(shè)計(jì)IDC存儲(chǔ)系統(tǒng)時(shí),必須要考慮到所服務(wù)的類(lèi)型。IDC的服務(wù)類(lèi)型主要有:06呦艮務(wù)(Web-hosting )、數(shù)據(jù)庫(kù)、郵件、目錄、計(jì)費(fèi)系統(tǒng) 等。根據(jù)應(yīng)用服務(wù)的類(lèi)型和特點(diǎn),我們把數(shù)據(jù)庫(kù)、郵件、目錄、計(jì)費(fèi)等系統(tǒng)規(guī)劃為一類(lèi),此類(lèi) 服務(wù)的特點(diǎn)是服務(wù)器的種類(lèi)相同,如數(shù)據(jù)庫(kù)服務(wù)器全為Sun,存儲(chǔ)的數(shù)據(jù)共享型少,比較集中; 把Web!務(wù)歸為另一類(lèi),Web服務(wù)器可能是
44、多廠家的(Sun, PC server),而Web服務(wù)的內(nèi)容 共享型比較多,特別是在 Web負(fù)載均衡時(shí),要求多臺(tái) Web務(wù)器的提供的內(nèi)容要一致。圖3-2展示了 NAS存儲(chǔ)結(jié)構(gòu),此存儲(chǔ)系統(tǒng)主要為IDC的基于Web的應(yīng)用服務(wù),如 Web Web-Hosting 等,在IDC中Web服務(wù)器是很多臺(tái)的,而且可能是不廠家的服務(wù)器,同時(shí)很多 Web 服務(wù)器采用負(fù)載均衡的方式運(yùn)行,這需要保證每個(gè)WebK務(wù)器在同一時(shí)刻必須提供相同的內(nèi)容,NAS存儲(chǔ)系統(tǒng)能夠很好地滿(mǎn)足這些要求,同時(shí) NAS的良好擴(kuò)展性能夠滿(mǎn)足 Web應(yīng)用對(duì)存儲(chǔ) 系統(tǒng)擴(kuò)展的需求。圖3-2 NAS存儲(chǔ)結(jié)構(gòu)存儲(chǔ)存儲(chǔ)解決方案特點(diǎn)1. 整個(gè)網(wǎng)絡(luò)的數(shù)據(jù)存儲(chǔ)
45、統(tǒng)一集中管理,非常適合大型設(shè)計(jì)和制造單位進(jìn)行文件數(shù)據(jù)的管理和維護(hù);2. 容量高,一個(gè)文件系統(tǒng)可達(dá)12TB,可以簡(jiǎn)單地增加 Filer網(wǎng)絡(luò)文件數(shù)據(jù)存儲(chǔ)服務(wù)器來(lái)成倍的擴(kuò)大存儲(chǔ)容量而并不影響現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu);3. 文件和數(shù)據(jù)訪問(wèn)速度快,單卷NFS操作速度達(dá)15,000次每秒;4. 穩(wěn)定性高,單臺(tái)可靠性達(dá) 99.995%,雙機(jī)達(dá)99.997%;5. 易于操作,只有60條命令,安裝只需15分鐘;6. 易于維護(hù),硬盤(pán)可以熱插拔,重啟動(dòng)只需120秒;7. 有高度的安全性,安全等級(jí)達(dá)C2級(jí);8. 具有數(shù)據(jù)保護(hù)功能,具有 2030級(jí)硬盤(pán)快照功能;9. 具有進(jìn)程保護(hù)功能并重起時(shí)間短,約120秒;10. 支持多個(gè)網(wǎng)絡(luò)
46、協(xié)議和操作系統(tǒng),適合多種網(wǎng)絡(luò)環(huán)境共存( UNIX,WINDOWS NT,HTTP )的數(shù)據(jù)存儲(chǔ);11. 高效的靈活的管理,支持熱插拔和熱備份硬盤(pán);12. 具有模塊化設(shè)計(jì),可以方便地升級(jí)和擴(kuò)展網(wǎng)絡(luò)存儲(chǔ)設(shè)備;13. 存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可進(jìn)行磁帶備份保護(hù),支持現(xiàn)有的數(shù)據(jù)備份軟件和備份設(shè)備;14. 用磁帶備份保存的數(shù)據(jù)當(dāng)其恢復(fù)時(shí)原有屬性不丟失,可保持UNIX和WINDOWS NT數(shù)據(jù)的初始狀態(tài);15. 存儲(chǔ)系統(tǒng)具有最優(yōu)化的投資配置及最優(yōu)服務(wù);16. 來(lái)備份Unix系統(tǒng)和NT系統(tǒng)混和網(wǎng)絡(luò)環(huán)境的全部數(shù)據(jù)。數(shù)據(jù)備份系統(tǒng)在IDC應(yīng)用中,為確保向客戶(hù)提供7x24的服務(wù),各種數(shù)據(jù)的安全可靠是非常重要的一個(gè) 環(huán)節(jié),這
47、需要對(duì)數(shù)據(jù)提供一套完整的管理方案,涉及備份、歸檔、復(fù)制等方面。我們建議使用 Veritas NetBackup 軟件、Sun Enterprise 220R 服務(wù)器與 Sun StorEdge L20 磁帶庫(kù)配合,作 為數(shù)據(jù)備份的解決方案。1. Veritas NetBackup 軟件Veritas公司是業(yè)界在提供數(shù)據(jù)存儲(chǔ)解決方案方面全球性著名公司,Veritas的NetBackup是業(yè)界比較常用的備份服務(wù)軟件。 Veritas NetBackup可以為一個(gè)具有大量 Windows NT/2000, UNIX ,NetWare等環(huán)境的 數(shù)據(jù)中心提供數(shù)據(jù)保護(hù), 并通過(guò)一些靈活的圖形化界面來(lái)管理其
48、所有的備份和恢復(fù)工作,這樣可以在一個(gè)企業(yè)實(shí)施連續(xù)性的備份策略。1.1 Veritas NetBackup 的體系結(jié)構(gòu)NetBackup采用四層的體系結(jié)構(gòu),將復(fù)雜的存儲(chǔ)介質(zhì)管理和高性能緊密結(jié)合,可以滿(mǎn)足最大型 的數(shù)據(jù)中心的要求。第一層包括NetBackup的Master Server 。 Master Server可以看作策略規(guī)劃和客戶(hù)端備份 處理等動(dòng)作的大腦。它可以有一個(gè)或多個(gè)磁帶驅(qū)動(dòng)器或磁帶庫(kù), 備份來(lái)自多個(gè)客戶(hù)端的數(shù)據(jù)。如果一個(gè)機(jī)構(gòu)有多個(gè)分離的數(shù)據(jù)中心,或有數(shù)據(jù)密集性的應(yīng)用,例如數(shù)據(jù)倉(cāng)庫(kù),它可以設(shè)置 多個(gè)Media Server,為本地的大型應(yīng)用備份數(shù)據(jù)的同時(shí)通過(guò)網(wǎng)絡(luò)備份其他客戶(hù)端的數(shù)據(jù)。
49、如 果一個(gè)Media Server失效,聯(lián)結(jié)在該 Media Server上的所有客戶(hù)端備份進(jìn)程可以轉(zhuǎn)到另一臺(tái) Media Server 上進(jìn)行。第三層是Clie nt Age nt,用來(lái)備份服務(wù)器或工作站的數(shù)據(jù)。這一層代表大量的獨(dú)立的機(jī)器。Media Server 和 Clie nt Age nt 都可以由 Master Server 來(lái)集中管理。對(duì)于一些多個(gè) Master Server或者覆蓋面很廣的分布式環(huán)境,NetBackup還可以建立第四層 的 Veritas Global Data Manager,來(lái)進(jìn)行集中管理。Veritas Global Data Manager可以對(duì)企業(yè)所有
50、的NetBackup存儲(chǔ)域進(jìn)行集中管理。著允許系統(tǒng)管理員和數(shù)據(jù)庫(kù)管理員可以管理 NetBackup的每一個(gè)方面。它還可以實(shí)施連續(xù)性的策略管理,和監(jiān)控企業(yè)系統(tǒng)中每一個(gè)存儲(chǔ)域 的狀態(tài)。NetBackup不但可以恢復(fù)主備份帶的部分或全部,還可以在別的地方恢復(fù)整個(gè)應(yīng)用或服務(wù)。 NetBackup可以自動(dòng)生成主備份磁帶的拷貝,可以將這些拷貝放在遠(yuǎn)離數(shù)據(jù)中心的地方,以備 災(zāi)難恢復(fù)。1.2 Veritas NetBackup 的特點(diǎn)性能、可用性和安全性并行備份和恢復(fù)-可以從一個(gè)或多個(gè)客戶(hù)端/服務(wù)器通過(guò)多個(gè)數(shù)據(jù)流到一個(gè)或多個(gè)磁帶機(jī)的 讀寫(xiě),這種并行處理技術(shù)優(yōu)化了性能??蛻?hù)端壓縮-可以減少網(wǎng)絡(luò)流量,現(xiàn)在 Win
51、dows NT/2000和NetWare的客戶(hù)端支持。非專(zhuān)用磁帶格式-可以生成tar兼容的磁帶。中斷點(diǎn)重啟-一旦備份中斷,可以從備份中斷的位置重新開(kāi)始備份。 Windows NT/2000的智能化災(zāi)難恢復(fù)-Windows NT/2000的遠(yuǎn)程基于物理設(shè)備的恢復(fù)。數(shù)據(jù)加密選項(xiàng)-美國(guó)和加拿大用戶(hù)可以進(jìn)行56位的加密,所有的用戶(hù)都可以進(jìn)行40位加密 靈活的實(shí)施模式 NetBackup向?qū)?快速簡(jiǎn)單地完成備份設(shè)備、存儲(chǔ)介質(zhì)和備份策略的配置。遠(yuǎn)程圖形界面管理-可以在任何地方完成所有的備份和恢復(fù)處理,包括通過(guò)撥號(hào)網(wǎng)絡(luò)。用戶(hù)驅(qū)動(dòng)的備份和恢復(fù)-最終用戶(hù)的友好界面可以減少系統(tǒng)管理員的干預(yù)。任務(wù)分類(lèi)-可以根據(jù)備份
52、的重要程度設(shè)置優(yōu)先級(jí)。數(shù)據(jù)中心的加強(qiáng)可靠性獨(dú)一無(wú)二的多層結(jié)構(gòu)-同類(lèi)產(chǎn)品中首創(chuàng)的分布式結(jié)構(gòu)體系,Master Server , Media Server和Client,所有這些都可以由Global Data Manager來(lái)監(jiān)控。 Media Server的故障切換-當(dāng)出現(xiàn)故障時(shí),自動(dòng)將客戶(hù)端的備份進(jìn)程切換到另一臺(tái)服務(wù)器。強(qiáng)大的輔助工具備份進(jìn)度條-可以清楚知道備份何時(shí)結(jié)束。設(shè)備監(jiān)視-對(duì)磁帶使用情況和驅(qū)動(dòng)器配置的報(bào)告。日志的分類(lèi)和識(shí)別-使故障診斷更容易。瀏覽歷史日志-可以對(duì)以前的操作進(jìn)行深入分析。多平臺(tái)支持支持所有主要的操作系統(tǒng)-包括所有主要的 UNIX平臺(tái),WindowsNT/2000, Nov
53、ell NetWare,Linux 等支持 EMC-可以與 EMC TimeFinder 集成。數(shù)據(jù)庫(kù)和應(yīng)用-支持很多業(yè)界領(lǐng)先的應(yīng)用和數(shù)據(jù)庫(kù):Oracle, Microsoft SQLServer, Sybase, In formix, DB2, Microsoft Excha nge, and SAP R/3,還有更多正在開(kāi)發(fā)中。1.3 層次化存儲(chǔ)管理(Hierarchical Storage Management)當(dāng)IDC運(yùn)行一段時(shí)間以后,一些在線數(shù)據(jù)的訪問(wèn)次數(shù)會(huì)越來(lái)越少,最終到無(wú)人訪問(wèn);而出于商業(yè)的一些因素,這些數(shù)據(jù)又必須得保存一段時(shí)間,有的甚至要保存幾年。這些大量的歷史數(shù)據(jù)引發(fā)的最大問(wèn)
54、題是占用大量的磁盤(pán)空間、增加磁盤(pán)訪問(wèn)數(shù)據(jù)的時(shí)間并引起應(yīng)用程序的性能下 降。解決上面問(wèn)題的方法就是層次化存儲(chǔ)管理(HSM技術(shù),HSMJ術(shù)自動(dòng)將在線數(shù)據(jù)進(jìn)行分類(lèi), 并將不常用的歷史數(shù)據(jù)轉(zhuǎn)移到其它存儲(chǔ)介質(zhì)上去(例如磁帶),同時(shí)將在線數(shù)據(jù)刪除以釋放磁 盤(pán)空間;而對(duì)用戶(hù)而言,這些數(shù)據(jù)看起來(lái)依舊在其原有的位置上,沒(méi)有變化。在有應(yīng)用訪問(wèn)這 些數(shù)據(jù)時(shí),HSM自動(dòng)將這些數(shù)據(jù)讀取回來(lái)并置為在線狀態(tài),供用戶(hù)使用。通過(guò)NerBackup與HSM技術(shù)的有效結(jié)合,可以實(shí)現(xiàn)對(duì)數(shù)據(jù)更完善的管理。2.主機(jī)和存儲(chǔ)設(shè)備在使用大型磁帶庫(kù)的環(huán)境中,由于磁帶庫(kù)采用多個(gè)高速的磁帶驅(qū)動(dòng)器, 其數(shù)據(jù)吞吐率非常 高,對(duì)主機(jī)和數(shù)據(jù)源的存儲(chǔ)設(shè)備的性
55、能要求也相應(yīng)較高。此時(shí)備份服務(wù)器一般配置一定容量的緩沖區(qū),這對(duì)備份數(shù)據(jù)的瀏覽、檢索和數(shù)據(jù)恢復(fù)都非常重要。特別在連接磁帶庫(kù)的環(huán)境中,通 過(guò)在緩沖區(qū)中設(shè)置備份數(shù)據(jù)的文件索引,可以提高數(shù)據(jù)檢索的速度,并且在緩沖區(qū)對(duì)備份數(shù)據(jù)進(jìn)行緩存,可以縮短讀備份數(shù)據(jù)的時(shí)間,增強(qiáng)數(shù)據(jù)瀏覽和備份恢復(fù)的性能。我們建議主機(jī)采用Sun Enterprise 220R 服務(wù)器,存儲(chǔ)設(shè)備采用 Sun StorEdge L20磁帶 庫(kù)。Sun En terprise 220R 服務(wù)器的特點(diǎn)有:最大支持兩個(gè) 450-MHz UltraSPARC-11 64-bit RISC微處理器,每個(gè)微處理器有 4MB L2緩存。最大支持2GB主
56、存。兩個(gè)內(nèi)置9.1-GB或18.2-GB可熱切換的UltraSCSI硬盤(pán)驅(qū)動(dòng)器。四個(gè)PCI插槽連接到兩條高性能的PCI I/O總線上,支持350 MB/秒的數(shù)據(jù)傳輸速率。兩個(gè)可熱切換的電源模塊做到N+1冗余。Sun StorEdge L20磁帶庫(kù)的特點(diǎn)有:最大支持四個(gè)可熱交換的 DLT7000磁帶驅(qū)動(dòng)器和60盤(pán)磁帶,容量達(dá)到 2TB。吞吐量最大為72GB/小時(shí)。基于Web的管理軟件加強(qiáng)系統(tǒng)管理。根據(jù)IDC業(yè)務(wù)的發(fā)展情況,初期可以配置少量的服務(wù)器。在數(shù)據(jù)備份服務(wù)器上配有NetBackup系統(tǒng)軟件,自動(dòng)化模塊和L1000磁帶庫(kù);在備份服務(wù)器和其它需作備份的Clie nt端配有多個(gè)NetBackup Age nt模塊,支持主服務(wù)器及網(wǎng)絡(luò)上其它服務(wù)器的備份。實(shí)現(xiàn)了全網(wǎng)數(shù)據(jù)自動(dòng)化集中管理。具體配置為:功能型號(hào)配置數(shù)量備份服務(wù)器Sun E220R2x450MHz CPU1GB Memory18GB HD1備份磁帶庫(kù)Sun L202個(gè)驅(qū)動(dòng)器20個(gè)磁帶1備份軟件Veritas NetBackup13.方案特點(diǎn) 在本
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- arcgis軟件的認(rèn)識(shí)與使用實(shí)驗(yàn)報(bào)告
- 橋梁設(shè)計(jì)施工方案
- 高軌星載北斗GNSS接收機(jī)規(guī)范 編制說(shuō)明
- 2025年哈爾濱電力職業(yè)技術(shù)學(xué)院?jiǎn)握新殬I(yè)傾向性測(cè)試題庫(kù)參考答案
- 2025年信陽(yáng)藝術(shù)職業(yè)學(xué)院?jiǎn)握新殬I(yè)技能測(cè)試題庫(kù)新版
- 2025年廣安職業(yè)技術(shù)學(xué)院?jiǎn)握新殬I(yè)傾向性測(cè)試題庫(kù)附答案
- 2025年畢節(jié)職業(yè)技術(shù)學(xué)院?jiǎn)握新殬I(yè)傾向性測(cè)試題庫(kù)新版
- 2023一年級(jí)數(shù)學(xué)上冊(cè) 2 位置教學(xué)實(shí)錄 新人教版
- 提高辦公效率的智能化管理策略
- 9生活離不開(kāi)他們(教學(xué)設(shè)計(jì))-2023-2024學(xué)年道德與法治四年級(jí)下冊(cè)統(tǒng)編版
- 墨子的《非攻》課件
- 民事起訴狀(證券虛假陳述責(zé)任糾紛)示范文本
- 不動(dòng)產(chǎn)登記中心服務(wù)行為規(guī)范辦法(試行)
- 《ISO 55013-2024 資產(chǎn)管理-數(shù)據(jù)資產(chǎn)管理指南》專(zhuān)業(yè)解讀和應(yīng)用指導(dǎo)材料(雷澤佳編制-2024C0)【第1部分:1-130】
- 軟件資格考試嵌入式系統(tǒng)設(shè)計(jì)師(基礎(chǔ)知識(shí)、應(yīng)用技術(shù))合卷(中級(jí))試卷與參考答案(2024年)
- 2024年下半年杭州黃湖鎮(zhèn)招考編外工作人員易考易錯(cuò)模擬試題(共500題)試卷后附參考答案
- 浙江省第五屆初中生科學(xué)競(jìng)賽初賽試題卷
- 雷鋒精神在2024:新時(shí)代下的學(xué)習(xí)
- 竣工驗(yàn)收流程培訓(xùn)課件
- 2024年上海中考化學(xué)終極押題密卷三含答案
- DB14∕T 1334-2017 波形鋼腹板預(yù)應(yīng)力混凝土組合結(jié)構(gòu)橋梁懸臂施工與驗(yàn)收規(guī)范
評(píng)論
0/150
提交評(píng)論