大數(shù)據(jù)中心機(jī)房設(shè)計(jì)方案

大數(shù)據(jù)中心機(jī)房設(shè)計(jì)方案

目錄

第1章方案概述..............................................................1

1.1.建設(shè)背景............................................................1

1.2.當(dāng)前現(xiàn)狀.............................................................1

1.3.建設(shè)目標(biāo)............................................................3

第2章方案設(shè)計(jì)原則..........................................................4

2.1.設(shè)計(jì)原則............................................................4

2.2.設(shè)計(jì)依據(jù)............................................................6

第3章數(shù)據(jù)中心方案架構(gòu).........................................................6

3.1數(shù)據(jù)中心架構(gòu)設(shè)計(jì).......................................................6

3.2大數(shù)據(jù)處理設(shè)計(jì).........................................................12

3.3大數(shù)據(jù)存儲(chǔ)設(shè)計(jì).........................................................17

3.4安全設(shè)計(jì)...............................................................19

3.5平臺(tái)搭建實(shí)施步驟......................................................23

3.6物理架構(gòu)設(shè)計(jì)...........................................................23

第4章整體架構(gòu)設(shè)計(jì)............................................................26

4.1網(wǎng)絡(luò)總體架構(gòu)..........................................................26

4.2XXX公共服務(wù)平臺(tái)功能設(shè)計(jì)..............................................27

4.2.1數(shù)據(jù)中心功能示意圖.............................................27

4.2.2公共服務(wù)系統(tǒng)功能示意圖.........................................28

4.2.3電子X(jué)XX系統(tǒng)功能示意圖.........................................29

4.2.4電子政務(wù)系統(tǒng)功能示意圖.........................................30

4.3XXX公共服務(wù)數(shù)據(jù)流程圖................................................31

4.4防火墻設(shè)計(jì).............................................................31

4.5接入層設(shè)計(jì).............................................................32

第5章數(shù)據(jù)中心基礎(chǔ)設(shè)施方案組成................................................32

5.1.機(jī)柜系統(tǒng)設(shè)計(jì)........................................................32

5.2.制冷系統(tǒng)設(shè)計(jì)........................................................34

5.3.供配電系統(tǒng)設(shè)計(jì).....................................................38

5.4.模塊監(jiān)控系統(tǒng)設(shè)計(jì)...................................................41

第6章運(yùn)維方案................................................................45

6.1.技術(shù)和售后服務(wù).....................................................45

6.2.售后服務(wù)項(xiàng)目........................................................45

6.3.售后服務(wù)項(xiàng)目?jī)?nèi)容...................................................45

第1章方案概述

1.1.建設(shè)背景

自從出現(xiàn)數(shù)字化***以來(lái)，數(shù)據(jù)中心作為數(shù)字化交易的核心，被各個(gè)***系統(tǒng)

廣泛采用。目前隨著***電子化的推廣，客戶市場(chǎng)細(xì)分的深入，***產(chǎn)品設(shè)計(jì)的專

業(yè)化，以及對(duì)于***系統(tǒng)安全性的要求。***系統(tǒng)的數(shù)據(jù)中心需要更強(qiáng)大的運(yùn)算能

力，更多的存儲(chǔ)空間，更安全可靠的規(guī)劃和設(shè)計(jì)。不僅如此，***系統(tǒng)相比其他

行業(yè)的數(shù)據(jù)中心有其自身特有的特點(diǎn)和要求。***行業(yè)數(shù)據(jù)中心的非常重要的一

點(diǎn)就是安全和可靠。因?yàn)槟呐率嵌虝r(shí)間的網(wǎng)絡(luò)癱瘓也會(huì)造成非常廣泛和嚴(yán)重的后

果。這對(duì)***數(shù)據(jù)中心的資源整合，全面安全，高效管理和業(yè)務(wù)連續(xù)性提出更高

的要求。所以***行業(yè)數(shù)據(jù)中心產(chǎn)品和方案的應(yīng)用必須采用更高等級(jí)的產(chǎn)品和整

體設(shè)計(jì)方案，以滿足對(duì)于系統(tǒng)安全性的要求。

從數(shù)據(jù)大集中到多業(yè)務(wù)整合，***行業(yè)的數(shù)據(jù)中心建設(shè)正圍繞著業(yè)務(wù)發(fā)展的

需要迅速展。***基礎(chǔ)設(shè)施的建設(shè)，很重要的一個(gè)環(huán)節(jié)就是***數(shù)據(jù)中心的建設(shè)。

***數(shù)據(jù)中心工程不僅集建筑、電氣、安裝、網(wǎng)絡(luò)等多個(gè)專業(yè)技術(shù)于一體，更需

要豐富的工程實(shí)施和管理經(jīng)驗(yàn)。***數(shù)據(jù)中心設(shè)計(jì)與施工的優(yōu)劣直接關(guān)系到數(shù)據(jù)

中心內(nèi)計(jì)算機(jī)系統(tǒng)是否能穩(wěn)定可靠地運(yùn)行，是否能保證各類信息通訊暢通無(wú)阻。

由于***數(shù)據(jù)中心的環(huán)境必須滿足計(jì)算機(jī)等各種數(shù)據(jù)，以達(dá)到反饋信息和處理問(wèn)

題的功效。特別是要將需要解決電池放電狀態(tài)和旁路運(yùn)行狀態(tài)的監(jiān)控管理問(wèn)題等

重要信息發(fā)到主要負(fù)責(zé)人的手機(jī)上，以便能隨時(shí)掌握信息，對(duì)一些天氣災(zāi)害停電

而有應(yīng)急預(yù)案。

1.2.當(dāng)前現(xiàn)狀

隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)中心的問(wèn)題與日俱增，數(shù)據(jù)中心所面臨的壓力和挑戰(zhàn)

也越來(lái)越大：業(yè)務(wù)的不斷調(diào)整和改變讓數(shù)據(jù)中心總體架構(gòu)面臨極大的壓力、有限

的物理空間讓數(shù)據(jù)中心擴(kuò)展性和靈活性有所限制、虛擬化的欠缺讓數(shù)據(jù)中心資源

調(diào)配能力有限、復(fù)雜多變的異構(gòu)環(huán)境讓數(shù)據(jù)中心管理效率異常低下、高居不下的

耗電量讓數(shù)據(jù)中心能源成本迅速上升。這些問(wèn)題與挑戰(zhàn)讓數(shù)據(jù)中心管理者迫切需

要對(duì)數(shù)據(jù)中心進(jìn)行整合和升級(jí)。通過(guò)有效的整合讓傳統(tǒng)數(shù)據(jù)中心升級(jí)成為一個(gè)智

能化、自動(dòng)化、高效化的數(shù)據(jù)中心。當(dāng)前數(shù)據(jù)中心面臨的問(wèn)題：

?可靠性問(wèn)題

供電可靠性是數(shù)據(jù)中心安全性的重要保障，隨著以信息技術(shù)為支撐的新業(yè)務(wù)

的不斷涌現(xiàn)，***行業(yè)數(shù)據(jù)中心對(duì)供電可靠性的要求大大提升。在數(shù)據(jù)中心領(lǐng)域，

動(dòng)力平臺(tái)的可用性指標(biāo)分別高于數(shù)據(jù)中心的可用性指標(biāo)和整個(gè)網(wǎng)絡(luò)系統(tǒng)的可用

性指標(biāo)，因此，對(duì)動(dòng)力平臺(tái)的關(guān)注理應(yīng)放到最核心的位置。比如服務(wù)器電源的冗

余方式發(fā)生了變化，供電系統(tǒng)就應(yīng)當(dāng)做出相應(yīng)改變。刀片服務(wù)器以及虛擬化的應(yīng)

用，使高熱密度問(wèn)題凸顯，數(shù)據(jù)中心環(huán)境更加惡劣，制冷模式就也需要做出改變。

?節(jié)能降耗問(wèn)題

數(shù)據(jù)中心建設(shè)的加速，導(dǎo)致的最直接后果就是能源消耗量的急劇攀升。在當(dāng)

前全球能源緊張的大背景下，節(jié)能降耗是整個(gè)數(shù)據(jù)中心行業(yè)的大趨勢(shì)。對(duì)于企業(yè)

本身而言，能耗的急劇增長(zhǎng)大大提升了數(shù)據(jù)中心的運(yùn)行成本，數(shù)據(jù)中心的節(jié)能和

能效改善已成為整個(gè)行業(yè)的迫切要求。

?管理與維護(hù)問(wèn)題

數(shù)據(jù)中心是一個(gè)龐大而復(fù)雜的系統(tǒng)，這些系統(tǒng)是一個(gè)有機(jī)的整體，牽一發(fā)而

動(dòng)全身，數(shù)據(jù)中心可靠性的發(fā)揮有賴于每個(gè)設(shè)備的正常運(yùn)行，有賴于這些設(shè)備的

協(xié)調(diào)一致，任何一個(gè)環(huán)節(jié)出現(xiàn)故障，都有可能造成巨大損失。因此，對(duì)整個(gè)系統(tǒng)

的管理越來(lái)越重要，而難度也越來(lái)越大。

?擴(kuò)容問(wèn)題

隨著業(yè)務(wù)量的不斷擴(kuò)大，***行業(yè)IT應(yīng)用系統(tǒng)日益增長(zhǎng)，服務(wù)器規(guī)模變得日

益龐大，帶來(lái)了高能耗、數(shù)據(jù)中心空間緊張、IT預(yù)算緊張等問(wèn)題。同時(shí)，數(shù)據(jù)

中心動(dòng)力平臺(tái)的匹配性卻不夠，要么利用率低，資源浪費(fèi)嚴(yán)重；要么供電與制冷

明顯不足，影響數(shù)據(jù)中心可用性。簡(jiǎn)言之，動(dòng)力系統(tǒng)對(duì)核心設(shè)備供電或者制冷需

求的反映不夠靈敏。

針對(duì)上述問(wèn)題，技術(shù)有限公司推出了創(chuàng)新型的數(shù)據(jù)中心解決方案。該解決方

案具有高可用性、高節(jié)能性、高靈活性、高可維護(hù)性等四大特點(diǎn)，能夠幫助***

行業(yè)客戶解決數(shù)據(jù)中心建設(shè)與應(yīng)用的難題，滿足***企業(yè)在信息化過(guò)程中對(duì)數(shù)據(jù)

中心動(dòng)力安全、節(jié)能環(huán)保等方面日益增長(zhǎng)的應(yīng)用需求。

1.3.建設(shè)目標(biāo)

XXX大數(shù)據(jù)中心項(xiàng)目的總體建設(shè)目標(biāo)是：綜合運(yùn)用云計(jì)算、大數(shù)據(jù)、移動(dòng)互

聯(lián)等新技術(shù)，高起點(diǎn)、高水平建設(shè)覆蓋全、功能齊全、國(guó)內(nèi)一流的公益性、綜合

性XXX公共服務(wù)平臺(tái)。

數(shù)據(jù)中心建設(shè)應(yīng)達(dá)成以下目標(biāo)：

高可用--數(shù)據(jù)中心的高可用直接影響到業(yè)務(wù)系統(tǒng)的可用性，高可用至少包

括高可靠、高安全和先進(jìn)性三個(gè)方面：

?高可靠：應(yīng)采用高可靠的產(chǎn)品和技術(shù)，充分考慮系統(tǒng)的應(yīng)變能力、容錯(cuò)

能力和糾錯(cuò)能力，確保整個(gè)基礎(chǔ)設(shè)施運(yùn)行穩(wěn)定、可靠。當(dāng)今，關(guān)鍵業(yè)務(wù)

應(yīng)用的可用性與性能要求比任何時(shí)候都更為重要。

?高安全：基礎(chǔ)設(shè)計(jì)的安全性，涉及到核心數(shù)據(jù)安全。應(yīng)按照端到端訪問(wèn)

安全、網(wǎng)絡(luò)分層安全兩個(gè)維度對(duì)安全體系進(jìn)行設(shè)計(jì)規(guī)劃，采用軟硬件安

全設(shè)備，從局部安全、全局安全到智能安全，將安全理念滲透到整個(gè)數(shù)

據(jù)中心網(wǎng)絡(luò)中。

?先進(jìn)性：數(shù)據(jù)中心將長(zhǎng)期支撐企業(yè)的業(yè)務(wù)發(fā)展，數(shù)據(jù)中心建設(shè)需要考慮

后續(xù)的機(jī)會(huì)成本，采用主流的、先進(jìn)的技術(shù)和產(chǎn)品，建立高性能，大容

量存儲(chǔ)的數(shù)據(jù)中心。

?易擴(kuò)展--隨著信息化的發(fā)展，企業(yè)內(nèi)通信網(wǎng)絡(luò)的建立和全面覆蓋，未來(lái)

的業(yè)務(wù)范圍會(huì)更多更廣，業(yè)務(wù)系調(diào)整與擴(kuò)展再所難免，因此數(shù)據(jù)中心必

須能夠適應(yīng)業(yè)務(wù)系統(tǒng)的頻繁調(diào)整，同時(shí)在性能上應(yīng)至少能夠滿足未來(lái)

5?10年的業(yè)務(wù)發(fā)展。對(duì)于設(shè)備的選擇和協(xié)議的部署，應(yīng)遵循業(yè)界標(biāo)準(zhǔn)，

保證良好的互通性和互操作性，支持業(yè)務(wù)的快速部署。

?易管理--數(shù)據(jù)中心是IT技術(shù)最為密集的地方，數(shù)據(jù)中心的設(shè)備繁多，

各種協(xié)議和應(yīng)用部署越來(lái)越復(fù)雜，對(duì)運(yùn)維人員的要求也越來(lái)越高，單獨(dú)

依賴運(yùn)維人員個(gè)人的技術(shù)能力和業(yè)務(wù)能力是無(wú)法保證業(yè)務(wù)運(yùn)行的持續(xù)性

的。因此數(shù)據(jù)中心需要提供完善的運(yùn)維管理平臺(tái)，對(duì)數(shù)據(jù)中心IT資源進(jìn)

行全局掌控，減少日常的運(yùn)維的人為故障。同時(shí)一旦出現(xiàn)故障，能夠借

助工具直觀、快速定位。

第2章方案設(shè)計(jì)原則

2.1.設(shè)計(jì)原則

根據(jù)“先進(jìn)、實(shí)用、穩(wěn)定、可靠”的總原則，對(duì)云數(shù)據(jù)中心軟硬件系統(tǒng)進(jìn)行

科學(xué)合理的設(shè)計(jì)，保證中心建設(shè)的勝利完成。

數(shù)據(jù)中心工程是智能弱電工程的重要組成部分。其基本要求可歸納為：保證

系統(tǒng)運(yùn)行的可靠性、保證系統(tǒng)的設(shè)計(jì)壽命、保證信息安全的要求、保證操作人員

的工作環(huán)境。

設(shè)計(jì)一個(gè)好的數(shù)據(jù)中心，要以兼顧人機(jī)并重之原則，一個(gè)合格的現(xiàn)代化計(jì)算

機(jī)數(shù)據(jù)中心，應(yīng)該是一個(gè)安全可靠、舒適實(shí)用、節(jié)能高效和具有可擴(kuò)充性的數(shù)據(jù)

中心，設(shè)計(jì)應(yīng)以運(yùn)行條件、安全可靠作為首要的考慮因素。因此對(duì)數(shù)據(jù)中心建設(shè)

要求遵循以下設(shè)計(jì)原則：

（一）統(tǒng)籌規(guī)劃，科學(xué)設(shè)計(jì)。

從XXX發(fā)展的大局和長(zhǎng)遠(yuǎn)角度出發(fā)，遵循國(guó)家有關(guān)信息化標(biāo)準(zhǔn)和規(guī)范，用

科學(xué)的理論和系統(tǒng)的方法統(tǒng)一規(guī)劃，建設(shè)國(guó)內(nèi)一流、功能完備的綜合XXX公共

服務(wù)平臺(tái)。

（二）突出重點(diǎn)，分步實(shí)施。

統(tǒng)一科學(xué)規(guī)劃實(shí)施，既要統(tǒng)一考慮整體目標(biāo)的實(shí)現(xiàn)，又要圍繞XXX主要職

能和重點(diǎn)工作，優(yōu)先開發(fā)建設(shè)最急需，最主要的平臺(tái)，最終實(shí)現(xiàn)項(xiàng)目預(yù)期收益

目標(biāo)。

（三）整合資源，集約建設(shè)。

xxx網(wǎng)站升級(jí)改造項(xiàng)目的建設(shè)過(guò)程中，要充分考慮現(xiàn)有政務(wù)信息網(wǎng)絡(luò)資

源，統(tǒng)籌利用現(xiàn)有各類資源，完善已有功能，降低系統(tǒng)建設(shè)成本，開發(fā)建設(shè)新

的應(yīng)用系統(tǒng)。

（四）加快推進(jìn)，務(wù)求實(shí)效。

集中骨干力量、明確時(shí)間節(jié)點(diǎn)，力求早建成、早應(yīng)用、早見效。

（五）立足當(dāng)前，著眼長(zhǎng)遠(yuǎn)。

在充分滿足當(dāng)前需求的基礎(chǔ)上，為今后縱向和橫向功能拓展預(yù)留空間。

（六）安全性和可靠性

平臺(tái)應(yīng)遵循客戶最小授權(quán)原則、全面確認(rèn)原則和安全跟蹤原則，并采用嚴(yán)

密的安全體系，保證數(shù)據(jù)的安全性，應(yīng)能保證7*24小時(shí)持續(xù)、穩(wěn)定、安全地運(yùn)

行。首先，重要數(shù)據(jù)應(yīng)能及時(shí)備份和恢復(fù)；其次，關(guān)鍵操作可以進(jìn)行回退；第

三，對(duì)緊急情況應(yīng)該有相應(yīng)的應(yīng)急處理措施；第四，應(yīng)該滿足峰值業(yè)務(wù)量處理

的需要。

（七）先進(jìn)性和標(biāo)準(zhǔn)性

平臺(tái)應(yīng)遵循行業(yè)標(biāo)準(zhǔn)，參照國(guó)際、國(guó)家相關(guān)行業(yè)標(biāo)準(zhǔn)，形成統(tǒng)一的編碼規(guī)

則和接口規(guī)范。在軟、硬件系統(tǒng)選擇上，要符合國(guó)際、國(guó)內(nèi)標(biāo)準(zhǔn)的硬件和軟件

技術(shù)規(guī)范，并擁有優(yōu)良性價(jià)比的設(shè)備。

（八）易用性和可維護(hù)性

平臺(tái)應(yīng)具有友好的人機(jī)界面、便捷的輸入方式、智能的數(shù)據(jù)輸入提示、及

時(shí)的數(shù)據(jù)合法性檢查、詳細(xì)的常見錯(cuò)誤修改說(shuō)明、可配置不同數(shù)據(jù)參數(shù)的報(bào)表

及可支持多種語(yǔ)言。同時(shí)，系統(tǒng)設(shè)計(jì)應(yīng)遵循軟件工程思想，采用層次化、模塊

化、組件化的設(shè)計(jì)，做到層次清晰，可以方便地對(duì)系統(tǒng)進(jìn)行升級(jí)。

（九）實(shí)用性

設(shè)計(jì)上充分考慮當(dāng)前各業(yè)務(wù)層次、各環(huán)節(jié)管理中數(shù)據(jù)處理的便利和可行，

把滿足用戶業(yè)務(wù)管理作為第一要素進(jìn)行考慮；采取總體設(shè)計(jì)、分步實(shí)施的技術(shù)

方案，在總體設(shè)計(jì)的前提下，系統(tǒng)實(shí)施時(shí)先進(jìn)行業(yè)務(wù)處理層及低層管理，穩(wěn)步

向中高層管理及全面自動(dòng)化過(guò)渡，使系統(tǒng)始終與業(yè)務(wù)實(shí)際需求緊密連在一起，

不但增加了系統(tǒng)的實(shí)用性，而且可使系統(tǒng)建設(shè)保持很好的連貫性；全部人機(jī)操

作設(shè)計(jì)均充分考慮不同使用者的實(shí)際需要；用戶接口及界面設(shè)計(jì)充分考慮人體

結(jié)構(gòu)特征及視覺(jué)特征進(jìn)行優(yōu)化設(shè)計(jì)，界面盡可能美觀大方，操作簡(jiǎn)便實(shí)用；所

有子系統(tǒng)的建設(shè)都要符合XXX的實(shí)際業(yè)務(wù)需求，必選做到上線每一個(gè)功能都是

有用的。

（十）增強(qiáng)決策支持能力

系統(tǒng)應(yīng)能夠滿足今后業(yè)務(wù)戰(zhàn)略決策支持的需求，增強(qiáng)速遞戰(zhàn)略決策和管理

能力。并通過(guò)統(tǒng)一的操作流程、統(tǒng)一的監(jiān)管標(biāo)準(zhǔn)和統(tǒng)一的管理規(guī)范，來(lái)提高業(yè)

務(wù)管理與監(jiān)管水平，實(shí)現(xiàn)業(yè)務(wù)資源全面統(tǒng)一的管理。

（十一）優(yōu)先采用國(guó)產(chǎn)軟件產(chǎn)品和服務(wù)

《鼓勵(lì)軟件產(chǎn)業(yè)和集成電路產(chǎn)業(yè)發(fā)展的若干政策》中規(guī)定：國(guó)家投資的重大

工程和重點(diǎn)應(yīng)用系統(tǒng)，優(yōu)先由國(guó)內(nèi)企業(yè)承擔(dān)，在同等性能價(jià)格比條件下優(yōu)先采用

國(guó)產(chǎn)軟件系統(tǒng)。

2.2.設(shè)計(jì)依據(jù)

《電子計(jì)算機(jī)數(shù)據(jù)中心設(shè)計(jì)規(guī)范》GB50174-93

《計(jì)算機(jī)場(chǎng)地技術(shù)條件》GB2287-89

《計(jì)算機(jī)場(chǎng)地安全要求》GB9361-88

《計(jì)算機(jī)機(jī)房活動(dòng)地板技術(shù)條件》GB6650-86

《建筑物防雷設(shè)計(jì)規(guī)范》GB50057-94

《高層民用建筑設(shè)計(jì)防火規(guī)范》GBJ45

《電子計(jì)算機(jī)機(jī)房施工及驗(yàn)收規(guī)范》SJ/T30003-93

《建筑防火設(shè)計(jì)規(guī)范》GB5004-95

《空調(diào)與通風(fēng)工程施工及驗(yàn)收規(guī)范》GB50243-97

《建筑與建筑群綜合布線系統(tǒng)工程設(shè)計(jì)規(guī)范》GB/T50311-2000

《建筑與建筑群綜合布線系統(tǒng)工程驗(yàn)收規(guī)范》GB/T50312-2000

《中華人民共和國(guó)通信行業(yè)標(biāo)準(zhǔn)》YD-T9261、2、3

《國(guó)際綜合布線標(biāo)準(zhǔn)》TIA/EIA568-B

《供配電系統(tǒng)設(shè)計(jì)規(guī)范》GB50052-92

《火災(zāi)自動(dòng)報(bào)警系統(tǒng)設(shè)計(jì)規(guī)范》GBJ116-98

《工業(yè)企業(yè)通信接地設(shè)計(jì)規(guī)范》GBJ79-85

《高性能屏蔽室屏蔽效能的測(cè)量方法》GB12190

第3章數(shù)據(jù)中心方案架構(gòu)

3.1數(shù)據(jù)中心架構(gòu)設(shè)計(jì)

XXX大數(shù)據(jù)中心項(xiàng)目要完成以下建設(shè)任務(wù)：

（一）一個(gè)機(jī)房：在XXX建設(shè)一個(gè)標(biāo)準(zhǔn)化B類機(jī)房，實(shí)現(xiàn)機(jī)房供電、空調(diào)、

消防、管理的標(biāo)準(zhǔn)化和智能化。該機(jī)房需要承載XXX公共服務(wù)平臺(tái)和現(xiàn)有信息化

系統(tǒng)的運(yùn)行。

（二）五個(gè)部分：XXX大數(shù)據(jù)中心項(xiàng)目要完成五個(gè)部分的建設(shè)任務(wù)，包括數(shù)據(jù)

中心、公共服務(wù)系統(tǒng)、電子X(jué)XX系統(tǒng)、電子政務(wù)系統(tǒng)、XXX局域網(wǎng)改造。

（三）四大功能：xxx大數(shù)據(jù)中心項(xiàng)目XXX公共服務(wù)平臺(tái)要實(shí)現(xiàn)海關(guān)、內(nèi)貿(mào)、

電子X(jué)XX、區(qū)域經(jīng)濟(jì)等XXX數(shù)據(jù)中心功能；包含信息展示服務(wù)、在線辦事、企業(yè)

服務(wù)、投訴咨詢、海外勞務(wù)等部分的公共服務(wù)功能；包含展覽展示、企業(yè)企業(yè)產(chǎn)

品（服務(wù)）視頻搜索、電子X(jué)XX信息報(bào)送等部分的電子X(jué)XX功能；包含遠(yuǎn)程辦公、

移動(dòng)辦公、公文傳遞等電子政務(wù)功能。

（四）局域網(wǎng)改造：對(duì)XXX局域網(wǎng)進(jìn)行改造升級(jí)，提升電子政務(wù)工作效率。

云計(jì)算數(shù)據(jù)中心通過(guò)運(yùn)行在單獨(dú)的服務(wù)器上的云操作系統(tǒng)對(duì)服務(wù)器、存儲(chǔ)、

網(wǎng)絡(luò)等資源進(jìn)行虛擬化管理，提供可以自定義的虛擬機(jī)，在虛擬機(jī)上安裝Hadoop、

hbase等Nosql分布式數(shù)據(jù)庫(kù)集群，對(duì)現(xiàn)有的數(shù)據(jù)ETL采集、清洗、轉(zhuǎn)換、匯總

進(jìn)來(lái)，使用海量數(shù)據(jù)分布存儲(chǔ)技術(shù)，用spark、storm等大數(shù)據(jù)處理軟件對(duì)hbase

中的數(shù)據(jù)進(jìn)行分析處理，挖掘數(shù)據(jù)價(jià)值。還可以在虛擬機(jī)上運(yùn)行業(yè)務(wù)應(yīng)用系統(tǒng)，

提供負(fù)載均衡和冗余備份，達(dá)到系統(tǒng)的穩(wěn)定、高可用和方便的擴(kuò)展性。

通過(guò)安裝SSR等安全軟件和安全服務(wù)器，可以保證提升操作系統(tǒng)的安全級(jí)別，

從而達(dá)到國(guó)家等級(jí)保護(hù)的三級(jí)要求，為客戶構(gòu)建真正的安全長(zhǎng)城。

云計(jì)算數(shù)據(jù)中心可以自動(dòng)管理和動(dòng)態(tài)分配、部署、配置、重新配置以及回收

資源，也可以自動(dòng)安裝軟件和應(yīng)用，具有良好的彈性和靈活性，管理、使用方便。

云中心可以向用戶提供虛擬基礎(chǔ)架構(gòu)。用戶可以自己定義虛擬基礎(chǔ)架構(gòu)的構(gòu)成，

如服務(wù)器配置、數(shù)量，存儲(chǔ)類型和大小等等。用戶通過(guò)自服務(wù)界面提交請(qǐng)求，每

個(gè)請(qǐng)求的生命周期由平臺(tái)維護(hù)。

服務(wù)器虛擬化系統(tǒng)基于服務(wù)器，存儲(chǔ)和網(wǎng)絡(luò)設(shè)備構(gòu)建資源池，在資源池上通

過(guò)資源的管理、調(diào)度和鏡像管理實(shí)現(xiàn)系統(tǒng)的各種高級(jí)功能，例如計(jì)算層面的系統(tǒng)

負(fù)載均衡和虛擬機(jī)高可用，存儲(chǔ)層面的鏡像復(fù)制和冗余。系統(tǒng)支持以主機(jī)或者虛

擬群集為單位管理資源，虛擬群集為一組共享存儲(chǔ)資源的物理主機(jī)。

云中心既是一個(gè)企業(yè)云，也可以對(duì)外提供服務(wù)，擴(kuò)展成公有云。學(xué)校還可以

使用別的公有云如阿里云，形成混合云。

云業(yè)務(wù)

____________________云計(jì)算服務(wù)平臺(tái)_____________________

云計(jì)算麻身生4rli期低,HVffS|iJHPIW

基礎(chǔ)服務(wù)

齡拄&巖警部*￡8扁份&恢雙安全&審計(jì)

虛擬化奧源池|

物理

基礎(chǔ)架構(gòu)毋不崇國(guó)手

離W機(jī)架即傷胃刀片系極存儲(chǔ)系摟網(wǎng)珞系統(tǒng)安仝系段

云中心包括iaas、paas^saas三層服務(wù)：

1）.SaaS：提供給客戶的服務(wù)是運(yùn)營(yíng)商運(yùn)行在云計(jì)算基礎(chǔ)設(shè)施上的應(yīng)用程序,

用戶可以在各種設(shè)備上通過(guò)客戶端界面訪問(wèn)，如瀏覽器。消費(fèi)者不需要管理或控

制任何云計(jì)算基礎(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)等等；

2）.PaaS：提供給消費(fèi)者的服務(wù)是把客戶采用提供的開發(fā)語(yǔ)言和工具（例如

Java,python,.Net等）開發(fā)的或收購(gòu)的應(yīng)用程序部署到供應(yīng)商的云計(jì)算基礎(chǔ)

設(shè)施上去?？蛻舨恍枰芾砘蚩刂频讓拥脑苹A(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作

系統(tǒng)、存儲(chǔ)等，但客戶能控制部署的應(yīng)用程序，也可能控制運(yùn)行應(yīng)用程序的托管

環(huán)境配置；可以使用docker容器完成應(yīng)用系統(tǒng)的部署和管理。

3）.IaaS：提供給消費(fèi)者的服務(wù)是對(duì)所有計(jì)算基礎(chǔ)設(shè)施的利用，包括處理CPU、

內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)和其它基本的計(jì)算資源，用戶能夠部署和運(yùn)行任意軟件，包括

操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不管理或控制任何云計(jì)算基礎(chǔ)設(shè)施，但能控制操作

系統(tǒng)的選擇、存儲(chǔ)空間、部署的應(yīng)用，也有可能獲得有限制的網(wǎng)絡(luò)組件（例如路

由器、，防火墻，、負(fù)載均衡器等）的控制。

云中心采用xen、kvm、VMware進(jìn)行虛擬化，LXC提供Linux容器，支持docker

應(yīng)用容器。

安全保，體系戚務(wù)保，體系

一.服務(wù)器采用浪潮整機(jī)柜服務(wù)器SmartRack,面向海量數(shù)據(jù)的存儲(chǔ)和處理，

適合云資源池如虛擬化、分布式存儲(chǔ)，大數(shù)據(jù)處理如Hadoop集群等應(yīng)用，目前

在國(guó)內(nèi)服務(wù)器中占主導(dǎo)地位，特點(diǎn)如下：

定位多種應(yīng)用，支持各類服務(wù)器節(jié)點(diǎn)。

針對(duì)不同業(yè)務(wù)對(duì)存儲(chǔ)、計(jì)算、10吞吐量、功耗的不同要求，設(shè)計(jì)開發(fā)出不同

種類的服務(wù)器節(jié)點(diǎn)，包括：1U全寬雙路12盤位綜合型節(jié)點(diǎn)、1U全寬單路18盤

位冷存儲(chǔ)節(jié)點(diǎn)、1U半寬雙路計(jì)算型節(jié)點(diǎn)，滿足不同需求。

整機(jī)柜集中供電、集中散熱，相比其他架構(gòu)服務(wù)器，運(yùn)行功耗降低10%以上。

整機(jī)柜由一組電源模塊集中供電，最大輸出功率高達(dá)22.5kw,直接支持交

流或高壓直流供電，各節(jié)點(diǎn)通過(guò)銅排從電源模塊取電，結(jié)合電源負(fù)載動(dòng)態(tài)調(diào)整技

術(shù)，電源轉(zhuǎn)換效率高達(dá)94%以上。

機(jī)柜背部風(fēng)扇墻集中散熱，根據(jù)節(jié)點(diǎn)數(shù)量靈活調(diào)節(jié)風(fēng)扇墻高度，采用140mm

大尺寸風(fēng)扇，相同功耗下可提供更大散熱量。

領(lǐng)先的架構(gòu)設(shè)計(jì)，保障系統(tǒng)高可靠運(yùn)行。

服務(wù)器節(jié)點(diǎn)中無(wú)獨(dú)立的電源和風(fēng)扇，有效降低單點(diǎn)故障。

根據(jù)整機(jī)柜實(shí)際負(fù)載情況，電源可實(shí)現(xiàn)N+N/N+2/N+1多種冗余方式。

風(fēng)扇可根據(jù)溫度狀況自動(dòng)調(diào)節(jié)轉(zhuǎn)速，支持2+1冗余。

對(duì)整機(jī)柜節(jié)點(diǎn)、電源、風(fēng)扇進(jìn)行集中監(jiān)控管理。

實(shí)現(xiàn)管理中心RMC對(duì)整個(gè)機(jī)柜各模塊的統(tǒng)一監(jiān)控和管理，節(jié)點(diǎn)、電源、風(fēng)扇

的健康狀況、溫度、配置信息一目了然，還可進(jìn)行批量開關(guān)機(jī)、重啟，功耗控制，

風(fēng)扇轉(zhuǎn)速自動(dòng)/手動(dòng)調(diào)節(jié)等功能，搭配專為SmartRack設(shè)計(jì)的可視化管理軟件,

輕松實(shí)現(xiàn)簡(jiǎn)易化智能管理。

簡(jiǎn)易維護(hù)，無(wú)需繁瑣拆裝。

獨(dú)有節(jié)點(diǎn)前維護(hù)設(shè)計(jì)、各模組免工具熱插拔設(shè)計(jì)、優(yōu)化的線纜走線設(shè)計(jì)，使

得系統(tǒng)運(yùn)維難度大大降低。風(fēng)扇等易損部件全部裸露在外，更加方便更換維護(hù)。

二.云操作系統(tǒng)建議采用浪潮云海?云數(shù)據(jù)中心操作系統(tǒng)V3.0,此系統(tǒng)秉承

開放化、模塊化、標(biāo)準(zhǔn)化的設(shè)計(jì)理念，基于虛擬化技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)中心資源融

合、資源管理及服務(wù)交付，簡(jiǎn)化了云數(shù)據(jù)中心運(yùn)維，提高了云數(shù)據(jù)中心服務(wù)水平。

云海?云數(shù)據(jù)中心操作系統(tǒng)有以下特點(diǎn)：

自主可控、安全可靠的云數(shù)據(jù)中心操作系統(tǒng)：

浪潮自主研發(fā)的國(guó)產(chǎn)云數(shù)據(jù)中心操作系統(tǒng)，加強(qiáng)了WEB安全、虛擬化安全、

數(shù)據(jù)安全、訪問(wèn)控制、安全審計(jì)等方面的安全控制，可幫助用戶構(gòu)建安全可控的

云數(shù)據(jù)中心。

異構(gòu)資源管理：

云海OS支持對(duì)數(shù)據(jù)中心各類異構(gòu)硬件設(shè)備及軟件資源的統(tǒng)一管理；支持對(duì)

VMWarevSphere、InspuriVirtual等異構(gòu)虛擬化資源池的集中管理，已部署的

虛擬化環(huán)境可被云海OS無(wú)縫接管；

精細(xì)的軟硬件資源監(jiān)控：

云海OS支持對(duì)數(shù)據(jù)中心主流廠商的服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備等物理資

源，操作系統(tǒng)、數(shù)據(jù)庫(kù)、WEB應(yīng)用等軟件資源，VMWarevSphere,InspuriVirtual

等虛擬化環(huán)境的精細(xì)監(jiān)控，提供界面、郵件、短信等多種告警方式，通過(guò)詳盡清

晰的報(bào)表分析數(shù)據(jù)，幫助數(shù)據(jù)中心的運(yùn)維人員隨時(shí)掌握數(shù)據(jù)中心的各類資源的運(yùn)

行狀況，降低運(yùn)維管理復(fù)雜度，提高運(yùn)維效率。

快速的服務(wù)交付：

云海OS支持通過(guò)虛擬機(jī)模板、應(yīng)用服務(wù)模板的方式，實(shí)現(xiàn)業(yè)務(wù)的快速交付,

業(yè)務(wù)上線時(shí)間由原來(lái)的幾周、幾天，縮短為幾分鐘，大大提高數(shù)據(jù)中心的服務(wù)水

平。

資源使用按量計(jì)費(fèi):

實(shí)時(shí)的資源使用情況統(tǒng)計(jì)，讓用戶精確掌控自身資源和費(fèi)用使用情況，幫

助IT部門實(shí)現(xiàn)由成本中心向價(jià)值中心的角色轉(zhuǎn)變。

資源按需服務(wù)：

云海OS可實(shí)現(xiàn)將基礎(chǔ)架構(gòu)作為服務(wù)交付，用戶可通過(guò)自助服務(wù)門戶在線申

請(qǐng)及訪問(wèn)自己的虛擬數(shù)據(jù)中心、應(yīng)用服務(wù)、虛擬機(jī)等資源，實(shí)現(xiàn)資源的按需申請(qǐng)、

便捷獲取、自助使用。

可定制的業(yè)務(wù)流程：

云海OS支持用戶創(chuàng)建與原工作流程吻合的資源申請(qǐng)的審批流程，實(shí)現(xiàn)業(yè)務(wù)

流程的個(gè)性化、可定制化。

靈活的服務(wù)交付方式：

云海OS既支持從下到上的資源申請(qǐng)與審批，也支持從上到下的資源創(chuàng)建與

分配的服務(wù)交付方式，可滿足不同客戶對(duì)資源獲取方式的不同需要。

多租戶私有云：

云海OS可創(chuàng)建多個(gè)組織，一個(gè)組織可代表某業(yè)務(wù)部門、分部或子公司。每

個(gè)組織都有各自獨(dú)立的虛擬數(shù)據(jù)中心、用戶及獨(dú)有的目錄，可將組織資源分配給

本組織的用戶，每個(gè)組織如同擁有自己的數(shù)據(jù)中心。利用基于權(quán)限的用戶控制機(jī)

制和基于虛擬交換機(jī)的網(wǎng)絡(luò)隔離技術(shù)，實(shí)現(xiàn)多租戶環(huán)境下的安全性和可靠性，以

此構(gòu)建安全的多租戶私有云。

靈活可控的權(quán)限管理：

云海OS支持用戶自定義角色類型，不同的權(quán)限可自由組合，實(shí)現(xiàn)靈活可控

的系統(tǒng)權(quán)限管理。

服務(wù)全生命周期管理：

云海OS涵蓋服務(wù)提供所需的各個(gè)環(huán)節(jié)，包括服務(wù)的申請(qǐng)審批；服務(wù)的交付

和回收；服務(wù)的使用統(tǒng)計(jì)和計(jì)費(fèi)；服務(wù)的運(yùn)行監(jiān)控

服務(wù)移動(dòng)性：

通過(guò)vApp封裝多個(gè)虛擬機(jī)服務(wù)和相關(guān)的網(wǎng)絡(luò)連接策略，遵循OVF等開放式

標(biāo)準(zhǔn)，實(shí)現(xiàn)同一個(gè)云環(huán)境的終端用戶彼此之間可以輕松共享服務(wù)，而不同的云環(huán)

境的用戶可以輕松的在云之間遷移服務(wù)。

3.2大數(shù)據(jù)處理設(shè)計(jì)

通過(guò)在虛擬機(jī)上安裝Hadoop2.6、hbasel.0等Nosql數(shù)據(jù)庫(kù)集群，用

sqoopl.3把現(xiàn)有的數(shù)據(jù)匯總進(jìn)來(lái)，要對(duì)現(xiàn)有數(shù)據(jù)做個(gè)總的分析，對(duì)字段統(tǒng)一定

義規(guī)劃，制定轉(zhuǎn)換策略，做到正確性、唯一性、可用性，去除重復(fù)字段，通過(guò)ETL

抽取、清洗數(shù)據(jù)，把數(shù)據(jù)導(dǎo)入hbase,這樣就可以消除信息孤島，用spark、storm

等大數(shù)據(jù)處理軟件對(duì)hbase中的數(shù)據(jù)進(jìn)行分析處理，挖掘數(shù)據(jù)價(jià)值。

云中心通過(guò)調(diào)度系統(tǒng)自動(dòng)采集、加工、存儲(chǔ)數(shù)據(jù)，為應(yīng)用系統(tǒng)提供支持：

應(yīng)用模式

執(zhí)行

存《過(guò)程

用I

“豁吸)?[(MapRe"

設(shè)計(jì)

作蚓

—.hadoop2架構(gòu)體系

下圖是hadoop2的架構(gòu)圖

Fo

AoNr-PIGHive

mAnahScriptQuery

beme

alr

roae

tHwYHCatalog

Zt5-B

oAenooAMetadataServices

ovaarR

ker-sk

DN

eCPaesMapReduce

eart

psaDistributedProcessing

wsob

aja

enes

9_dce

arstYARN

o-ResourceSchedulingandNegotiation

zo

9-

HDFS

DistnbutedStorage

1.HDFS文件系統(tǒng)，Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(HadoopDistributed

FileSystem),簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉

的(low-cost)硬件上；而且它提供高吞吐量(highthroughput)來(lái)訪問(wèn)應(yīng)用

程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集(largedataset)的應(yīng)用程序。HDFS放

寬了(relax)P0SIX的要求，可以以流的形式訪問(wèn)(streamingaccess)文件系

統(tǒng)中的數(shù)據(jù)。

2、YARN是一套資源統(tǒng)一管理和調(diào)度平臺(tái)，可管理各種計(jì)算框架，包括

MapReduce,Spark,MPI等。包括以下內(nèi)容：ResourceManager(RM)：整個(gè)系

統(tǒng)只有一個(gè)RM,它就只管調(diào)度方面的事情，并且為集群應(yīng)用而優(yōu)化，因而具有很

好的性能。RM的一個(gè)核心是它的Scheduler。調(diào)度包含兩個(gè)過(guò)程，一要搜集各節(jié)

點(diǎn)的情況；二要根據(jù)某種調(diào)度策略，分配合適的節(jié)點(diǎn)。搜集節(jié)點(diǎn)情況是基于一個(gè)

資源容器(resourcecontainer)的概念，該容器包括cpu,disk,network等(目

前只用到cpu)

NodeManager(NM):NM是每個(gè)節(jié)點(diǎn)一個(gè)實(shí)例，管理每個(gè)節(jié)點(diǎn)，它觸發(fā)應(yīng)用容

器(applicationcontainer),監(jiān)控節(jié)點(diǎn)的資源(cpu/disk等)，并向RM報(bào)告

資源的情況。

ApplicationMaster(AM)：AM是每個(gè)應(yīng)用一個(gè)實(shí)例，它是一個(gè)特定的框架接

口庫(kù)，一方面與RM中的Scheduler協(xié)商得到resourcecontainer,另一方面與

NM一起執(zhí)行和監(jiān)控各子任務(wù)部件，從系統(tǒng)的角度，AM本身也一種container(下

圖中將它與container畫得一樣）。

Container：從邏輯上，container可認(rèn)為是資源的分配容器，它包括hostname,

cpu,memory等屬性。AM發(fā)送ResourceRequest給RM,然后RM分配合適的

Container給AM,AM再將此Container提交給它所在節(jié)點(diǎn)的NM,NM采用此資源

容器運(yùn)行任務(wù)。實(shí)際上，Container是一種使用資源的“授權(quán)”，AM得到此授權(quán)

后，在NM的管理下，可以運(yùn)行任何進(jìn)程（包括非Java應(yīng)用，這一點(diǎn)與1.0不

同）。

二、Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，處理能力強(qiáng)而且成本低廉。

主要特點(diǎn)：

存儲(chǔ)方式是將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表。提供類SQL語(yǔ)言，實(shí)

現(xiàn)完整的SQL查詢功能?？梢詫QL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，十分適合

數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。

三、HBase

HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫(kù)，它不同于一般的關(guān)系數(shù)據(jù)庫(kù)，

是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。另一個(gè)不同的是HBase基于列的而

不是基于行的模式。HBase使用和BigTable非常相同的數(shù)據(jù)模型。用戶存儲(chǔ)數(shù)

據(jù)行在一個(gè)表里。一個(gè)數(shù)據(jù)行擁有一個(gè)可選擇的鍵和任意數(shù)量的列，一個(gè)或多個(gè)

列組成一個(gè)ColumnFamily,一個(gè)Fmaily下的列位于一個(gè)HFile中，易于緩存數(shù)

據(jù)。表是疏松的存儲(chǔ)的，因此用戶可以給行定義各種不同的列。在HBase中數(shù)

據(jù)按主鍵排序，同時(shí)表按主鍵劃分為多個(gè)HRegion,如下圖所示（HBase數(shù)據(jù)表

結(jié)構(gòu)圖）：

ColumnFamily?1ColumnFamilytn

key"kcyA-vo11,t1

key1-vfil2.t2k”A：val2.t2

k”2：YahJ2k”B：va〃J2

key2：Ysl2.MkeyB-va12,t4

sorted

keyn-valn.tnkeym：valn.tn

Columnfamily

rowkeycontents：anchor：language*

co/n.www<html>M<html>(H)*?nchor：cnn$I.COfn.CNN〃〃?

■???????????,?’.

<html>bb<html>(t2)fnnch0r：my.lock.c^.CNN.com(H)

aMhor：J”aco.H.jaa.MH)

ColumnFamlly：ColumnKey.ColumnValue(Tlmestamp)

四.Sqoop是一款開源的工具，主要用于在HADOOP(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)

(mysqhoracle...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)(例如：

MySQL.Oracle,Postgres等)中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將

HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。

五.spark架構(gòu)體系

Spark與Hadoop的對(duì)比

?Spark的中間數(shù)據(jù)放到內(nèi)存中，對(duì)于迭代運(yùn)算效率更高。

Spark更適合于迭代運(yùn)算比較多的ML和DM運(yùn)算。因?yàn)樵赟park里面,

有RDD的抽象概念。

?Spark比Hadoop更通用。

Spark提供的數(shù)據(jù)集操作類型有很多種，不像Hadoop只提供了Map和

Reduce兩種操作。比如map,filter,flatMap,sample,groupByKey,

reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多種操

作類型,Spark把這些操作稱為Transformationso同時(shí)還提供Count,collect,

reduce,lookup,save等多種actions操作。Spark的mllib支持機(jī)器學(xué)習(xí)。

這些多種多樣的數(shù)據(jù)集操作類型，給給開發(fā)上層應(yīng)用的用戶提供了方便。

各個(gè)處理節(jié)點(diǎn)之間的通信模型不再像Hadoop那樣就是唯一的DataShuffle—

種模式。用戶可以命名，物化，控制中間結(jié)果的存儲(chǔ)、分區(qū)等?？梢哉f(shuō)編程模型

比Hadoop更靈活。

不過(guò)由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，

例如web服務(wù)的存儲(chǔ)或者是增量的web爬蟲和索引。就是對(duì)于那種增量修改的應(yīng)

用模型不適合。

?容錯(cuò)性。

在分布式數(shù)據(jù)集計(jì)算時(shí)通過(guò)checkpoint來(lái)實(shí)現(xiàn)容錯(cuò)，而checkpoint有

兩種方式，一個(gè)是checkpointdata,一個(gè)是loggingtheupdateso用戶可以

控制采用哪種方式來(lái)實(shí)現(xiàn)容錯(cuò)。

?可用性。

Spark通過(guò)提供豐富的Scala,Java,PythonAPI及交互式Shell來(lái)提

高可用性。

Spark與Hadoop的結(jié)合

?Spark可以直接對(duì)HDFS進(jìn)行數(shù)據(jù)的讀寫，同樣支持SparkonYARNO

Spark可以與MapReduce運(yùn)行于同集群中，共享存儲(chǔ)資源與計(jì)算，數(shù)據(jù)倉(cāng)庫(kù)Shark

實(shí)現(xiàn)上借用Hive,幾乎與Hive完全兼容。

Spark的適用場(chǎng)景

?Spark是基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù)集

的應(yīng)用場(chǎng)合。需要反復(fù)操作的次數(shù)越多，所需讀取的數(shù)據(jù)量越大，受益越大，數(shù)

據(jù)量小但是計(jì)算密集度較大的場(chǎng)合，受益就相對(duì)較小

?由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例

如web服務(wù)的存儲(chǔ)或者是增量的web爬蟲和索引。就是對(duì)于那種增量修改的應(yīng)用

模型不適合。

?總的來(lái)說(shuō)Spark的適用面比較廣泛且比較通用。

3.3大數(shù)據(jù)存儲(chǔ)設(shè)計(jì)

采用浪潮AS13000存儲(chǔ)大數(shù)據(jù)，支持容量、性能的在線無(wú)限擴(kuò)展，提供軟

硬件故障情況下的數(shù)據(jù)重建、遠(yuǎn)程容災(zāi)功能，是適用于云計(jì)算、大數(shù)據(jù)業(yè)務(wù)并

兼具高性能、高可靠、高可擴(kuò)展、大容量特征的新一代存儲(chǔ)系統(tǒng)平臺(tái)，具有以

下特點(diǎn)：。

海量存儲(chǔ)，在線橫向擴(kuò)展：

1.控制器集群體系架構(gòu)，所有控制器并行承擔(dān)數(shù)據(jù)10、保障系統(tǒng)整體負(fù)載

均衡，數(shù)據(jù)分散存儲(chǔ)，避免單控制器故障帶來(lái)的風(fēng)險(xiǎn)和性能的瓶頸，支持控制

器在線橫向擴(kuò)展，滿足持續(xù)增長(zhǎng)的容量和性能需求。

2.支持NAS/Object/IP-SAN/IB-SAN存儲(chǔ)接口，并且支持SAN、NAS、

Object同時(shí)運(yùn)行，滿足客戶在不同時(shí)間、不同地點(diǎn)、不同業(yè)務(wù)對(duì)存儲(chǔ)的不同需

求，支持Windows、Linux、Unix等多種操作系統(tǒng)并存的復(fù)雜網(wǎng)絡(luò)環(huán)境中，輕松

實(shí)現(xiàn)跨操作系統(tǒng)的數(shù)據(jù)存儲(chǔ)與共享，另外支持NFS/CIFS/FTP等多種文件共享協(xié)

議。

3.支持豐富的主機(jī)連接接口，支持1Gb/10GbiSCSI、40Gb/56Gb

InfiniBand主機(jī)連接，無(wú)縫接入用戶現(xiàn)有環(huán)境，滿足客戶對(duì)高帶寬及高性能的

差異化需求。

4.全面支持Flash/SSD/SAS/SATA各類常見存儲(chǔ)介質(zhì)，模塊化的容量擴(kuò)展

模式，支持?jǐn)?shù)據(jù)分級(jí)存儲(chǔ)，滿足各類型應(yīng)用。

數(shù)據(jù)持續(xù)保護(hù)，業(yè)務(wù)運(yùn)行無(wú)憂：

L支持?jǐn)?shù)據(jù)卷隔離映射功能、數(shù)據(jù)快照功能、快照回滾、遠(yuǎn)程卷復(fù)制(同

步/異步)、遠(yuǎn)程數(shù)據(jù)復(fù)制及恢復(fù)、邏輯分區(qū)動(dòng)態(tài)擴(kuò)容。

2.支持?jǐn)?shù)據(jù)副本、數(shù)據(jù)糾刪碼、自動(dòng)分層等多種數(shù)據(jù)冗余保護(hù)和性能加速

功能，為用戶提供高級(jí)別的數(shù)據(jù)保護(hù)及容災(zāi)功能。

3.支持全集群Active-Active、Active-Standby,全局熱備等控制器工作

模式，保障整體系統(tǒng)的高可用，確保數(shù)據(jù)存取及業(yè)務(wù)運(yùn)行萬(wàn)無(wú)一失。

4.支持軟硬件故障時(shí)的數(shù)據(jù)自動(dòng)修復(fù)，系統(tǒng)可用性達(dá)到99.999%o

模塊化設(shè)計(jì)，人性化管理

LAS13000各主要部件均采用模塊化設(shè)計(jì)，客戶按需選擇，維護(hù)、升級(jí)、

管理簡(jiǎn)單方便：

2.支持?jǐn)?shù)據(jù)副本、全局熱備，以及自動(dòng)構(gòu)建RAID、各RAID級(jí)別間執(zhí)行在

線迂移不影響正常數(shù)據(jù)應(yīng)用

3.完備監(jiān)控管理方式，當(dāng)系統(tǒng)出現(xiàn)異常時(shí)，除了通過(guò)機(jī)器指示燈報(bào)警外，

可通過(guò)郵件等方式將異常狀況及時(shí)通知管理員

4.集中部署，統(tǒng)一管理

綠色節(jié)能：

1).全系統(tǒng)選取節(jié)能降耗的處理器、芯片組、風(fēng)扇和散熱片等部件，提高

系統(tǒng)的能效利用率。

2).支持在線擴(kuò)容/縮減時(shí)數(shù)據(jù)自動(dòng)遷移，確保系統(tǒng)按需配置，同時(shí)支持

Maid磁盤節(jié)能技術(shù)，降低磁盤能耗，節(jié)約開支。

3).支持自動(dòng)精簡(jiǎn)技術(shù)，大大提高存儲(chǔ)資源利用率。

3.4安全設(shè)計(jì)

一.采用浪潮SSR主機(jī)安全增強(qiáng)系統(tǒng)，這是一款基于操作系統(tǒng)內(nèi)核層開發(fā)的安

全加固軟件。與傳統(tǒng)的防火墻、IDS/IPS不同，SSR工作在最貼近用戶數(shù)據(jù)的操

作系統(tǒng)層面，不僅可以避免外部的黑客攻擊，同樣可以預(yù)防來(lái)自內(nèi)網(wǎng)攻擊的風(fēng)

險(xiǎn)。該產(chǎn)品彌補(bǔ)了傳統(tǒng)信息安全解決方案在主機(jī)層安全的“短板”，與傳統(tǒng)信

息安全產(chǎn)品形成了良好的互補(bǔ)，提升操作系統(tǒng)的安全級(jí)別，從而達(dá)到國(guó)家等級(jí)

保護(hù)的三級(jí)要求。為客戶構(gòu)建真正的安全長(zhǎng)城。

功能特性：

1、強(qiáng)制訪問(wèn)控制

在操作系統(tǒng)內(nèi)核層實(shí)現(xiàn)文件、注冊(cè)表、進(jìn)程、服務(wù)、網(wǎng)絡(luò)等對(duì)象的強(qiáng)制訪

問(wèn)控制，可配置針對(duì)以上對(duì)象不同的訪問(wèn)策略來(lái)保護(hù)系統(tǒng)和應(yīng)用資源，即使是

系統(tǒng)管理員也不能破壞被保護(hù)的資源。

2、完整性檢測(cè)

對(duì)文件和服務(wù)進(jìn)行完整性檢測(cè)，并可設(shè)置定期檢測(cè)項(xiàng)目，當(dāng)發(fā)現(xiàn)文件或者

服務(wù)篡改時(shí)進(jìn)行報(bào)警并發(fā)現(xiàn)哪些文件發(fā)生改變。

3、防格式化

保護(hù)功能開啟時(shí)，可防止病毒和入侵者惡意格式化磁盤，同時(shí)降低管理員

意外格式化磁盤的風(fēng)險(xiǎn)。

系統(tǒng)資源監(jiān)控與報(bào)警：

對(duì)系統(tǒng)的CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)資源進(jìn)行監(jiān)控，當(dāng)這些資源的使用狀況

超過(guò)設(shè)置的閥值時(shí)將進(jìn)行報(bào)警，以提前發(fā)現(xiàn)資源不足、濫用等問(wèn)題。

4、雙因子認(rèn)證和組合式密碼認(rèn)證

不僅提供SSR安全管理員和SSR審計(jì)官員的USBKEY+密碼的雙因子認(rèn)證功

能，還可對(duì)系統(tǒng)用戶配發(fā)USBKEY實(shí)現(xiàn)雙因子認(rèn)證。對(duì)于遠(yuǎn)程登陸和虛擬化系

統(tǒng)而無(wú)法識(shí)別USBKEY的服務(wù)器，SSR提供可配置兩個(gè)密碼組合的登陸認(rèn)證方

式，只有掌握密碼的兩個(gè)人同時(shí)存在才能登陸系統(tǒng)，以此確保自然人的可信。

5、自我保護(hù)

SSR采用內(nèi)核密封技術(shù)和完整性保護(hù)技術(shù)來(lái)保證SSR的文件不被惡意篡

改，進(jìn)程不被惡意注入。

6、統(tǒng)一管理

在一個(gè)SSR控制臺(tái)可以同時(shí)對(duì)多個(gè)平臺(tái)的SSR進(jìn)行管理和維護(hù)，且SSR可

開放接口給第三方管理平臺(tái)集成，實(shí)現(xiàn)與不同產(chǎn)品間管理的融合。

7、靈活多樣的策略模板

提供經(jīng)過(guò)驗(yàn)證的分等級(jí)的安全策略模板，全面保護(hù)系統(tǒng)，方便易用，降低

用戶的使用難度。

8、維護(hù)模式

當(dāng)用戶擔(dān)心自己配置的策略是否會(huì)影響系統(tǒng)和應(yīng)用時(shí)，可開啟此功能，此

時(shí)SSR將只記錄違規(guī)的日志而不進(jìn)行阻止，便于管理員在不造成業(yè)務(wù)中斷的情

況下調(diào)整策略。

功能亮點(diǎn)：

1、免疫病毒木馬，抵御黑客攻擊

SSR采用的ROST技術(shù)對(duì)系統(tǒng)中的文件、注冊(cè)表、進(jìn)程、網(wǎng)絡(luò)、服務(wù)、帳戶

等多方面進(jìn)行防護(hù)構(gòu)建立體防護(hù)體系，從文件創(chuàng)建、執(zhí)行、訪問(wèn)資源到結(jié)束層

層把關(guān)，從根本上免疫各種已知未知病毒、后門等惡意代碼，抵御黑客的攻

擊，確保系統(tǒng)和應(yīng)用安全穩(wěn)定運(yùn)行。

2、降低“零日漏洞”風(fēng)險(xiǎn)，延遲漏洞修復(fù)

SSR采用強(qiáng)制訪問(wèn)控制和白名單機(jī)制，只允許可信的帳戶和進(jìn)程訪問(wèn)被保

護(hù)資源，并對(duì)操作系統(tǒng)中重要二進(jìn)制文件進(jìn)行完整性保護(hù)。即使惡意代碼利用

漏洞獲取了系統(tǒng)的權(quán)限，也不能破壞系統(tǒng)文件和植入木馬，降低了從“零日漏

洞”發(fā)現(xiàn)到用戶打上補(bǔ)丁之間這段“真空期”的安全風(fēng)險(xiǎn)，同時(shí)允許用戶延遲

補(bǔ)丁部署，推遲到定期修補(bǔ)周期進(jìn)行修補(bǔ)。

3、分權(quán)管理，有效規(guī)避“一權(quán)獨(dú)大”

SSR采用了分權(quán)管理的機(jī)制，規(guī)避了原操作系統(tǒng)管理員“一權(quán)獨(dú)大”的風(fēng)

險(xiǎn)，將原系統(tǒng)管理員權(quán)限分散為系統(tǒng)操作員、安全管理員和審計(jì)管理員，三個(gè)

權(quán)限各司其職，相互制約，實(shí)現(xiàn)了最小權(quán)限，不僅保證了系統(tǒng)安全性，同時(shí)貼

合了國(guó)家相關(guān)信息安全標(biāo)準(zhǔn)規(guī)范。

4、提升系統(tǒng)安全級(jí)別，增強(qiáng)用戶合規(guī)體驗(yàn)

SSR在操作系統(tǒng)內(nèi)核層實(shí)現(xiàn)了安全標(biāo)記和強(qiáng)制訪問(wèn)控制機(jī)制，與用戶系統(tǒng)

自身的自主訪問(wèn)控制相融合，為系統(tǒng)和用戶重要應(yīng)用提供更強(qiáng)的約束和更高的

安全控制級(jí)別，同時(shí)提供三權(quán)分立、完整性校驗(yàn)、雙因素認(rèn)證、剩余信息保護(hù)

等緊貼信息安全標(biāo)準(zhǔn)的功能，幫助用戶在系統(tǒng)安全建設(shè)時(shí)的合規(guī)要求。

5、統(tǒng)一管理機(jī)制，化繁為簡(jiǎn)

管理員可以從任何地方通過(guò)雙因子身份認(rèn)證后，對(duì)所有被保護(hù)的服務(wù)器進(jìn)行安

全策略制定和維護(hù)，實(shí)現(xiàn)集中管理，減少日常維護(hù)工作量。

二.采用浪潮SSA安全應(yīng)用交付硬件系統(tǒng)，特點(diǎn)是：

1.豐富的應(yīng)用負(fù)載均衡功能，保障數(shù)據(jù)中心應(yīng)用可用性。

支持豐富的四到七層應(yīng)用負(fù)載均衡功能；

支持針對(duì)多種算法的全局負(fù)載均衡;

支持針對(duì)不同運(yùn)營(yíng)商多鏈路的負(fù)載均衡；

支持豐富的健康檢查功能，保障后臺(tái)服務(wù)實(shí)時(shí)可用；

可以實(shí)現(xiàn)N+1臺(tái)設(shè)備的集群、雙機(jī)熱備、雙機(jī)互備等多種高可用性部署模

式；

支持冗余電源，最大化網(wǎng)絡(luò)運(yùn)行時(shí)間，降低了系統(tǒng)宕機(jī)或網(wǎng)絡(luò)故障對(duì)業(yè)務(wù)

的影響。

2.多項(xiàng)應(yīng)用加速技術(shù)，降低服務(wù)器負(fù)載，提升訪問(wèn)速度，改善用戶體驗(yàn)。

采用內(nèi)存緩存技術(shù)，有效降低服務(wù)器負(fù)載，并提升訪問(wèn)響應(yīng)速度。

采用業(yè)界標(biāo)準(zhǔn)Gzip、Deflate壓縮算法，對(duì)文本類型資源可實(shí)現(xiàn)80%以上

的壓縮率，能降低服務(wù)器的壓力，提高帶寬的利用率。

可對(duì)多個(gè)客戶端的TCP連接進(jìn)行合并，通過(guò)少量的長(zhǎng)連接與后臺(tái)服務(wù)器通

信。

SSL卸載功能，將加解密負(fù)荷卸載到應(yīng)用交付設(shè)備上，有效降低服務(wù)器壓

力，并保證用戶安全。

3.強(qiáng)大的應(yīng)用攻擊檢測(cè)和防御能力，應(yīng)用與安全并重。

內(nèi)置多種DD0S監(jiān)測(cè)算法，可有效防御4-7層DD0S、配合防止各類SQL注

入、XSS、緩沖區(qū)溢出黑客攻擊，為客戶提供最佳的應(yīng)用漏洞和未知威脅的防御

能力。

三.對(duì)管理員密碼進(jìn)行嚴(yán)格管理，半年定期更換。

四.網(wǎng)絡(luò)設(shè)備可以采用華為的產(chǎn)品，性價(jià)比高，行銷世界，可以抵御DD0S攻

擊。

五.對(duì)數(shù)據(jù)進(jìn)行冗余存儲(chǔ)，以防不測(cè)，有問(wèn)題可以及時(shí)恢復(fù)。

3.5平臺(tái)搭建實(shí)施步驟

1.搭建機(jī)房、供電、冷卻設(shè)備，購(gòu)買服務(wù)器10臺(tái)（可以提供1000個(gè)4G內(nèi)存

的虛擬機(jī)）、存儲(chǔ)設(shè)備（2P）、云操作系統(tǒng)、安全軟件、路由器、交換機(jī)、防

火墻等網(wǎng)絡(luò)設(shè)備，搭建云計(jì)算平臺(tái)，建立虛擬資源池，設(shè)置虛擬機(jī)。

2.制定遷移計(jì)劃，通過(guò)docker容器，打包把學(xué)校原有的應(yīng)用系統(tǒng)遷移到虛擬

機(jī)上，在另外的虛擬機(jī)上搭建hadoop、spark集群，安裝hive、hbase,根據(jù)

需要建立hbase數(shù)據(jù)庫(kù)表和列，一張表可以有幾千列，幾十億條數(shù)據(jù)，把原有

的所有數(shù)據(jù)庫(kù)合為一張表，便于大數(shù)據(jù)處理，原有數(shù)據(jù)庫(kù)的數(shù)據(jù)通過(guò)sqoop導(dǎo)

入hbase。再把學(xué)校原有的服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備接入云平臺(tái)，進(jìn)行虛擬

化。

3.根據(jù)需要，用spark對(duì)hbase數(shù)據(jù)進(jìn)行準(zhǔn)實(shí)時(shí)分析，用機(jī)器學(xué)習(xí)處理大數(shù)據(jù)

進(jìn)行預(yù)測(cè)，用storm對(duì)hbase數(shù)據(jù)進(jìn)行實(shí)時(shí)分析、處理，還可對(duì)數(shù)據(jù)進(jìn)行可視

化。還可以基于云平臺(tái)開發(fā)應(yīng)用系統(tǒng)。

3.6物理架構(gòu)設(shè)計(jì)

模塊化數(shù)據(jù)中心采用一系列模塊化設(shè)計(jì)的動(dòng)力設(shè)備，如一體化集成機(jī)柜系

統(tǒng)、供配電系統(tǒng)、制冷系統(tǒng)、監(jiān)控系統(tǒng)和綜合布線系統(tǒng)，高集成設(shè)計(jì)，通過(guò)簡(jiǎn)

單的接口將相關(guān)模塊進(jìn)行組合，從而形成一個(gè)完整的數(shù)據(jù)中心。具有高密模塊

化，高可靠性與安全性，快速靈活部署，簡(jiǎn)單低耗，完善監(jiān)控等特點(diǎn)。

模塊化數(shù)據(jù)中心充分考慮組件設(shè)計(jì)、功能和相關(guān)性，按照在標(biāo)準(zhǔn)化級(jí)別與

用戶靈活性之間取得最佳平衡的方式進(jìn)行模塊化。例如，模塊化電源系統(tǒng)在電

源、冗余模塊和運(yùn)行時(shí)間方面均實(shí)現(xiàn)了可擴(kuò)展性，可以根據(jù)當(dāng)前的IT需求進(jìn)行

部署，并且考慮后續(xù)業(yè)務(wù)的擴(kuò)展，這種系統(tǒng)規(guī)模優(yōu)化能力顯著降低了總擁有成

本。而且提供熱插拔，從而在不需要停止運(yùn)行系統(tǒng)的條件下進(jìn)行維護(hù)設(shè)備。

單排密封通道的模塊化數(shù)據(jù)中心如下圖所示。

模塊化數(shù)據(jù)中心整體架構(gòu)，如下圖所示。

模塊化設(shè)計(jì)為滿足不斷變化的IT需求提供了極大的靈活性。在安裝、升級(jí)、重

新配置或移動(dòng)模塊化系統(tǒng)時(shí)，獨(dú)立組件、標(biāo)準(zhǔn)接口既節(jié)省了時(shí)間又節(jié)約了費(fèi)

用。同時(shí)也方便設(shè)備的選型、采購(gòu)、安裝、維護(hù)和擴(kuò)容，降低整體運(yùn)營(yíng)成本，

越來(lái)越具有吸引力。

?模塊化數(shù)據(jù)中心特點(diǎn)

模塊化數(shù)據(jù)中心集成方案具有高密模塊化，高可靠性和安全性，快速靈活

部署，低成本和低能耗，完善的監(jiān)控等特點(diǎn)，是新一代集成模塊化數(shù)據(jù)中心產(chǎn)

品。

1.高密模塊化

?集成機(jī)柜系統(tǒng)、供配電系統(tǒng)、制冷系統(tǒng)、監(jiān)控系統(tǒng)和綜合布線系統(tǒng)，高

集成設(shè)計(jì)，提供完整的解決方案。

?與云主機(jī)、桌面云業(yè)務(wù)無(wú)縫集成，提供端到端數(shù)據(jù)中心解決方案。

2.快速靈活部署

?工廠預(yù)制部件，現(xiàn)場(chǎng)快速組裝，部署靈活。

?建設(shè)周期縮短50%以上，場(chǎng)地限制少。

3.按需定制

?采用模塊化的部件和統(tǒng)一的接口標(biāo)準(zhǔn)，可實(shí)現(xiàn)以機(jī)架為單位或以模塊。

?為單位按需擴(kuò)容，實(shí)現(xiàn)按需調(diào)度和動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)資源，節(jié)省投資。

4.智能管理

?彈性IT平臺(tái)，全面的虛擬化能力，極大提升管理效率。

?可通過(guò)多種傳感器，實(shí)現(xiàn)對(duì)數(shù)據(jù)中心內(nèi)各功能模塊的不間斷監(jiān)控。

?應(yīng)用智能化的運(yùn)營(yíng)管理平臺(tái)，可實(shí)現(xiàn)對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施動(dòng)力、環(huán)境、

視頻、門禁全領(lǐng)域的遠(yuǎn)程監(jiān)控，統(tǒng)一管理、統(tǒng)一部署、統(tǒng)一監(jiān)控和統(tǒng)一

備份。

5.低成本和低能耗

?可以直接安裝在樓宇水泥地面上，無(wú)需專用數(shù)據(jù)中心，可減少外配套工

程。

?空調(diào)靠近設(shè)備提高送風(fēng)效率；水平送風(fēng)空調(diào)靠近熱源，送風(fēng)距離大大縮

短，從而減少了距離導(dǎo)致的氣流壓力損失，冷空氣的泄漏損失，提高了

冷量的利用效率。

?供應(yīng)周期短，快速交付，快速安裝，有效降低成本。

第4章整體架構(gòu)設(shè)計(jì)

4.1網(wǎng)絡(luò)總體架構(gòu)

運(yùn)營(yíng)商線路

光纖一

RJ45線

圖例

終

端

3接

數(shù)據(jù)中心匯聚交換機(jī)

入

區(qū)

數(shù)

據(jù)

存

儲(chǔ)■■,AAA,AAA

區(qū)

主數(shù)據(jù)存儲(chǔ)備數(shù)據(jù)存儲(chǔ)

其他終端區(qū)運(yùn)營(yíng)終端區(qū)

圖4Txxx總體網(wǎng)絡(luò)拓?fù)鋱D

刀片服務(wù)器通過(guò)機(jī)架上的2個(gè)交換機(jī)連接到核心交換機(jī)，核心交換機(jī)通過(guò)

防火墻連接路由器，路由器連接internet。2臺(tái)云管理服務(wù)器運(yùn)行云操作系

統(tǒng)，采用Haproxy形成冗余，對(duì)云中心進(jìn)行管理，oracle、sqlserver數(shù)據(jù)庫(kù)

通過(guò)交換機(jī)接入網(wǎng)絡(luò)，安全服務(wù)器、存儲(chǔ)也接入交換機(jī)。Mysql數(shù)據(jù)庫(kù)可以安

裝在虛擬機(jī)上，oracle、sqlserver數(shù)據(jù)庫(kù)不能裝在虛擬機(jī)上，否則性能降低

60%o

通過(guò)在防火墻上制定策略，對(duì)云中心服務(wù)器進(jìn)行過(guò)濾，保護(hù)云中心的服務(wù)

器。

4.2XXX公共服務(wù)平臺(tái)功能設(shè)計(jì)

4.2.1數(shù)據(jù)中心功能示意圖

圖4-6數(shù)據(jù)中心功能示意圖

4.2.2公共服務(wù)系統(tǒng)功能示意圖

公共慰

務(wù)系統(tǒng)

1s9MS9

交互門在線辦企業(yè)版涔南投

戶橫決?橫快鳥嗜埃訴雁決若平臺(tái)

B^>3