科研大數(shù)據(jù)平臺項目

1、科研大數(shù)據(jù)平臺項目技術(shù)建議書111112445511151823233.2.浪潮 HADOO勢231.概述1.1.項目背景.1.2.需求分析.1.3.方案間述.1.4.方案價值.2. 設計方案2.1. 設計原則2.2. 系統(tǒng)架構(gòu)2.3. 分布式數(shù)據(jù)庫系統(tǒng)2.3.1. MPP + Share Nothing 架構(gòu)52.3.2. 核心組件52.3.3. 高可用62.3.4. 高性能在線擴展 72.3.5. 高性能數(shù)據(jù)加載 82.3.6. OLAP 函數(shù)92.4. HADOO集群2.4.1. Hadoop 企業(yè)版92.4.2. HIVE 分布式內(nèi)存分析引擎 102.4.3. HBASE 分布式實時在

2、線數(shù)據(jù)處理引擎 102.4.4. Stream流處理引擎 112.5. 服務器虛擬化 2.5.1. 設計理念122.5.2. 系統(tǒng)結(jié)構(gòu)132.5.3. 服務器虛擬化系統(tǒng)組成 142.6. 云管理平臺2.6.1. 浪潮云海OS架構(gòu)圖152.6.2. 浪潮云海OS實現(xiàn)的功能152.7. 爬蟲軟件2.7.1. 建設網(wǎng)絡爬蟲私有云 182.7.2. 高效的分布式、協(xié)同化數(shù)據(jù)采集模式 192.7.3. 爬蟲路線規(guī)劃能力 202.7.4. 爬蟲調(diào)度和負荷規(guī)劃能力 212.7.5. 極致的開放兼容平臺 . 為什么需要開放的可集成的網(wǎng)頁抓取軟件 . 集搜客網(wǎng)絡爬蟲的開放接口

3、 223. 方案優(yōu)勢3.1.浪潮MPP數(shù)據(jù)庫優(yōu)勢3.1.1. 高性能233.1.2. 高性價比233.1.3. 高易用性233.3.浪潮云計算優(yōu)勢 233.3.1. 運營效率提升 233.3.2. 服務水平提高 243.3.3. 實現(xiàn)數(shù)據(jù)中心的綠色節(jié)能 243.34分工細化使得終端用戶只需專注自身業(yè)務 243.3.5. 降低總體擁有成本 仃CO)243.3.6. 可靠性提高253.3.7. 性能強大253.3.8. 擴展性好253.3.9. 可管理性254. 推薦配置26III1. 概述1.1. 項目背景通過本項目的實施與建設，在以服務科研工作為主導的原則下， 基于高性能大數(shù) 據(jù)軟硬件設施，構(gòu)

4、建多樣化、專業(yè)化、柔性化的科研數(shù)據(jù)服務應用平臺。利用大數(shù)據(jù) 技術(shù)，滿足不同層級用戶的需求，達到改善我校的科學研究環(huán)境與學科建設、 提升我 校的科研管理水平、提升我校針對物流行業(yè)的科研服務能力等目標。本項目分階段實施，初期重點在于建立一個能滿足業(yè)務需求的基于大數(shù)據(jù)的計 算、存儲以及通訊的硬件環(huán)境平臺和數(shù)據(jù)管理架構(gòu)。1.2. 需求分析要構(gòu)建多樣化、專業(yè)化、柔性化的科研數(shù)據(jù)服務應用平臺， 現(xiàn)有架構(gòu)很難承擔日 益增長的數(shù)據(jù)分析需求。迫切需要尋求一種全新的系統(tǒng)架構(gòu)幫助我校滿足日常業(yè)務及 數(shù)據(jù)分析。并有效利用數(shù)據(jù)的價值，提高系統(tǒng)安全、系統(tǒng)高可用等。需求分析如下：尋求新的系統(tǒng)架構(gòu)，從物理架構(gòu)、數(shù)據(jù)架構(gòu)、業(yè)務

5、模型架構(gòu)及應用架構(gòu)等幾 方面滿足業(yè)務需求。從全局及用戶長遠利益考慮，規(guī)劃先進的大數(shù)據(jù)平臺底層架構(gòu)，滿足大數(shù)據(jù) 時代的業(yè)務需求。保護用戶現(xiàn)有資源，考慮系統(tǒng)現(xiàn)狀以及現(xiàn)有資源利用等，在系統(tǒng)建設中，充 分考慮現(xiàn)有資源利舊。系統(tǒng)多平臺整合，建設統(tǒng)一的底層平臺，提高系統(tǒng)安全等保級別，規(guī)避系統(tǒng) 單點風險。1.3. 方案簡述根據(jù)對背景及需求的分析，為了幫助我校能夠更好地在大數(shù)據(jù)時代支撐大規(guī)模數(shù) 據(jù)的應用，分別從物理架構(gòu)及數(shù)據(jù)架構(gòu)建設科研大數(shù)據(jù)平臺系統(tǒng)。物理架構(gòu)：采用虛擬化技術(shù)，為客戶打造 IaaS底層系統(tǒng)架構(gòu)。數(shù)據(jù)架構(gòu)：采用與客戶習慣使用的 SQL這種更易于理解的、交互性更好的訪問接口，架構(gòu)需要以MPP數(shù)據(jù)庫

6、及計算框架為核心，將MPF運算調(diào)度引擎完全融入非 關(guān)系型運算調(diào)度框架，實現(xiàn)可以同時調(diào)度關(guān)系運算和非關(guān)系運算的調(diào)度引擎，構(gòu)建統(tǒng) 一的結(jié)構(gòu)化信息提取和數(shù)據(jù)類型轉(zhuǎn)換框架， 將非結(jié)構(gòu)化數(shù)據(jù)映射為關(guān)系模型，實現(xiàn)面 向關(guān)系模型的全數(shù)據(jù)統(tǒng)一視圖，從而平滑的實現(xiàn) MPF數(shù)據(jù)庫和Hadoop的統(tǒng)一調(diào)度和 處理，為新型的基礎軟件平臺和上層應用提供數(shù)據(jù)服務。1.4. 方案價值彈性擴展采用虛擬化技術(shù)做為底層資源抽象技術(shù)，為科研大數(shù)據(jù)平臺動態(tài)提供基礎計算、 存儲、網(wǎng)絡資源，同時運用云平臺計算技術(shù)為云數(shù)據(jù)中心提供統(tǒng)一的管理和運維平臺， 實現(xiàn)資源彈性服務、流轉(zhuǎn)和管理。動態(tài)資源分配云計算被認為是分布式處理、并行處理以及網(wǎng)絡計

7、算的進一步發(fā)展，其使用虛擬 機力度方式，根據(jù)應用的動態(tài)對資源進行增刪?？焖夙憫圆⑿杏嬎銥楹诵?，按需調(diào)度計算任務分配和計算資源，并提供從數(shù)據(jù)導入整合 處理、計算模型設定到計算結(jié)果輸出、多形式展現(xiàn)、應用API等完整的數(shù)據(jù)處理服務。咼可用采用分布式存儲系統(tǒng)，數(shù)據(jù)互備，快速備份和恢復。支持各種數(shù)據(jù)處理、計算模 型，滿足不同領域、不同特點的計算需求。多副本容錯，數(shù)據(jù)安全無憂。數(shù)據(jù)分析構(gòu)建大數(shù)據(jù)存儲應用平臺，圍繞大數(shù)據(jù)應用構(gòu)建大數(shù)據(jù)處理基礎軟件平臺的關(guān)鍵 問題是如何解決結(jié)構(gòu)化和非結(jié)構(gòu)化不同類型的數(shù)據(jù)融合，以及實現(xiàn)不同類型數(shù)據(jù)處理 模式的整合。單一的MPP數(shù)據(jù)庫或Hadoop產(chǎn)品已經(jīng)很難滿足研究所對結(jié)構(gòu)化

8、和非結(jié) 構(gòu)化數(shù)據(jù)融合的業(yè)務需求。應用云云計算并不是一個突兀全新的理念， 云計算的快速發(fā)展，是需求驅(qū)動、技術(shù)進步 和商業(yè)模式轉(zhuǎn)變共同發(fā)展和促進的結(jié)果。隨著我校大規(guī)模計算和海量數(shù)據(jù)存儲需求的 出現(xiàn)，使得科研大數(shù)據(jù)平臺對IT基礎設施的需求也隨之增長。云計算技術(shù)的應用能 夠給我校在節(jié)約投資、節(jié)省空間、簡化管理、數(shù)據(jù)高度共享和系統(tǒng)高度可靠等方面提 供幫助。因此，本方案的核心價值在于將這兩種方式的界限在實際應用部署中打破，形成以全數(shù)據(jù)處理為核心，垂直整合操作系統(tǒng)、MPP數(shù)據(jù)庫、Hadoop統(tǒng)一數(shù)據(jù)服務的基礎軟件平臺解決方案。292. 設計方案2.1. 設計原則為保證科研大數(shù)據(jù)平臺項目建設的成功，在技術(shù)方案

9、中我們主要遵循了以下幾個 原則：先進性與成熟技術(shù)的集合：在設備選型設計中，我們要考慮采用當今業(yè)界的主流技術(shù)， 同時要選用在眾多關(guān) 鍵領域中已經(jīng)得到充分驗證的產(chǎn)品，以保證系統(tǒng)的更高的可靠性和可用性；高效的可管理性：對于日益復雜的IT系統(tǒng)架構(gòu)，對系統(tǒng)的管理要求越來越重，浪潮所推薦的解決 方案整體的設計思想是利于以后的管理；性能價格比：保證充分滿足用戶的性能的同時， 考慮最優(yōu)的性價比；堅持系統(tǒng)建設投資經(jīng)濟合 理性的原則；高可靠性：全冗余設計，避免任何的單點故障，以保證系統(tǒng)的可靠性，同時便于維護，減少 計劃內(nèi)停機次數(shù)；高安全性：保證系統(tǒng)數(shù)據(jù)的安全，做到重要數(shù)據(jù)冗余存儲，提供備份、容災及應急設計； 平滑

10、擴展性：基于統(tǒng)一標準設計的硬件平臺架構(gòu)， 具有平滑擴展的能力，可在未來方便的根據(jù) 客戶需求增添新的硬件；開放性與標準化：采用標準的技術(shù)以保證與其他廠家的產(chǎn)品相兼容；產(chǎn)品利用率：考慮現(xiàn)有設備的使用情況，提高產(chǎn)品的利用率。降低總體擁有成本、提升服務水平、管理系統(tǒng)風險是整個硬件平臺方案的設計戰(zhàn) 略思想。本次設計滿足當前階段應用需求的同時，具備升級擴容能力，繼續(xù)滿足下一 階段的應用需求。22系統(tǒng)架構(gòu)23 分布式數(shù)據(jù)庫系統(tǒng)2.3.1. MPP + Share Noth ing 架構(gòu)分布式數(shù)據(jù)庫采用完全并行的 MPP + Share Noth ing 的分布式扁平架構(gòu)，這種 架構(gòu)中的每一個節(jié)點（Node

11、）都是獨立的、自給的、節(jié)點之間對等，而且整個系統(tǒng) 中不存在單點瓶頸，具有非常強的擴展性。數(shù)據(jù)分布策略 Hashr Range., Random.2.3.2. 核心組件分布式數(shù)據(jù)庫產(chǎn)品總共包含三大核心組件，即GCIuster、GCware和GNodeGCWar用于各節(jié)點GCIuster和GNod或例間共享信息，GCIuster負責集群調(diào)度, 每個GNode就是最基本的存儲和計算單兀。GCIuster :GCIuster負責SQL的解析、SQL優(yōu)化、分布式執(zhí)行計劃生成、執(zhí)行調(diào)度。GCWareGCWareffl于各節(jié)點GCIuster和GNode實例間共享信息（包括集群結(jié)構(gòu)，節(jié)點狀 態(tài)，節(jié)點資源狀態(tài)

12、等信息），以及控制多副本數(shù)據(jù)操作時，提供可操作節(jié)點，并在多 副本操作中，控制各節(jié)點數(shù)據(jù)一致性狀態(tài)。GCWare對于集群的管理工作是以節(jié)點為基本單位的。GNodeGNode是 GCIuster中最基本的存儲和計算單元。GNode是由GCWar管理的一個8a實例，每個GCIuster節(jié)點上有一個 GNode實 例運行。GNode負責集群數(shù)據(jù)在節(jié)點上的實際存儲，并從 GCIuster接收和執(zhí)行經(jīng)分解的 SQL執(zhí)行計劃，執(zhí)行結(jié)果返回給 GCIuster。數(shù)據(jù)加載時，GNode直接從集群加載服務接收數(shù)據(jù)，寫入本地存儲空間。2.3.3. 咼可用分布式數(shù)據(jù)庫通過SafeGroup組內(nèi)冗余機制來保證集群的高可

13、用特性：每個SafeGroup可提供1個或2個副本數(shù)據(jù)冗余；SafeGroup內(nèi)數(shù)據(jù)副本自動同步；復制引擎自動管理數(shù)據(jù)同步；采用扁平架構(gòu)，每一個節(jié)點都可以充當主控節(jié)點，避免了 Master節(jié)點產(chǎn)生的瓶頸以及當Master與Stand-by宕機產(chǎn)生的整個集群不可用。2.3.4. 高性能在線擴展分布式數(shù)據(jù)庫具備在線擴展技術(shù):通過SafeGroup動態(tài)擴展集群節(jié)點，實際可擴展到 64 X3 (192)個節(jié)點;每個節(jié)點可以處理100 TB有效數(shù)據(jù)，同時提供計算和存儲能力；GCware負責新節(jié)點的數(shù)據(jù)同步-通過Safegroup動態(tài)擴展集群節(jié)點 可以實際擴.展到怡2亍節(jié)點(64 X 3) GCwane負

14、宣新節(jié)點的數(shù)據(jù)同步因為浪潮分布式數(shù)據(jù)庫采用高性能單節(jié)點的 MPP扁平架構(gòu)，因此進行集群擴展 時，可以保證平滑擴展和性能的線性增長特性。高性能+高擴展能力Scale up (SMP)高性能蒼點Scale out (MPP)2.3.5. 高性能數(shù)據(jù)加載數(shù)據(jù)加載功能作為浪潮分布式數(shù)據(jù)庫的一部分而存在，目的是將用戶從其他數(shù)據(jù) 源得到的原始數(shù)據(jù)文件，按照某種加載規(guī)則分發(fā)至集群節(jié)點， 集群各節(jié)點接收數(shù)據(jù)入 庫保存到本地磁盤。分布式數(shù)據(jù)庫支持數(shù)據(jù)高效并行加載，數(shù)據(jù)加載速度隨節(jié)點的擴展而呈現(xiàn)線性增 加。集群加載采用C/S架構(gòu)，包括數(shù)據(jù)分發(fā)服務器和數(shù)據(jù)分發(fā)客戶端兩個應用程序。數(shù)據(jù)分發(fā)服務器接收到客戶端的數(shù)據(jù)加載

15、請求后，服務器端負責原始數(shù)據(jù)文件切 分和數(shù)據(jù)文件的下發(fā)；各節(jié)點調(diào)用本地的集群加載服務接收數(shù)據(jù)入庫并保存到本地磁 盤。數(shù)據(jù)加找ili務器 數(shù)據(jù)片3 -卩氣II da'ta4 - data bulk loading (remote gb loader)2.36 OLAP函數(shù)分布式數(shù)據(jù)庫提供OLAP函數(shù)，用于支持復雜的分析操作，側(cè)重對決策人員和高 層管理人員的決策支持?？筛鶕?jù)分析人員的要求，快速靈活地進行大數(shù)據(jù)量的復雜查詢處理，以便他們準確掌握企業(yè)的經(jīng)營狀況，了解被服務對象的需求，制定正確的方案。2.4. Hadoop 集群Hadoop技術(shù)給客戶提供穩(wěn)定的、可靠的、易用的大數(shù)據(jù)設計架構(gòu)，其組

16、件包括： Hadoop企業(yè)版，HIVE分布式內(nèi)存分析引擎，HBAS吩布式實時在線數(shù)據(jù)處理引擎和 Stream流處理引擎。其特點如下：2.4.1. Hadoop 企業(yè)版Hadoop企業(yè)版具有高模塊化和松耦合的五層架構(gòu)，針對不同的應用領域通過組 件之間的靈活組合與高效協(xié)作來提供定制化的支撐。數(shù)據(jù)存儲層：基于HDFS 2.2的大數(shù)據(jù)存儲和在線服務體系，支持 Erasure Code，在副本數(shù) 降低至1.5倍的情況下，提高了可靠性，可同時容忍四個數(shù)據(jù)塊丟失，支持可靠存儲 TB級到數(shù)十PB級的數(shù)據(jù)量。資源管理層：缺省采用下一代資源管理框架 YARNS行資源的分配和調(diào)度，支持同時運行多個 計算框架。計算引

17、擎層：采用Map/Reduce 2完成大部分離線批處理計算任務。數(shù)據(jù)分析與挖掘?qū)樱褐С蛛x線批量SQL統(tǒng)計，支持R語言以及機器學習算法庫Mahout。數(shù)據(jù)集成層：Sqoop支持從DB到Hadoop的數(shù)據(jù)遷移，F(xiàn)lume支持從日志系統(tǒng)采集數(shù)據(jù)。2.4.2. HIVE分布式內(nèi)存分析引擎HIVE內(nèi)存分析引擎提供大數(shù)據(jù)的交互式 SQL統(tǒng)計和R語言挖掘能力。它具有以 下一些特點：高性能：HIVE支持將二維數(shù)據(jù)表緩存入獨立的分布式內(nèi)存（或SSD中，建立列式存儲、分區(qū)/分塊和索引，采用改進后的Apache Spark作為執(zhí)行引擎，SQL執(zhí)行性能比Apache Hadoop/Hive 快 10100倍左右。更強

18、的SQL支持：HIVE同時兼容Oracle PL/SQL和HiveQL語法，自動識別不同語法，支持存儲過 程和函數(shù)，支持常用Oracle擴展函數(shù)。完整的SQL支持幫助用戶平滑地從原有關(guān)系 數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺。更強的統(tǒng)計分析能力：用戶可以通過RStudio或者R命令行訪問存儲在分布式內(nèi)存中的數(shù)據(jù)，R語言中數(shù)千個統(tǒng)計算法可以和浪潮 HIVE提供的分布式并行數(shù)據(jù)挖掘算法交替混合使用，為 各行業(yè)進行大數(shù)據(jù)挖掘提供了易用而強大的分析工具。支持廣泛的BI和報表工具：HIVE可以和常用的 BI 工具對接，包括 Tableau, SAPBusiness Objects, Oracle OBIEE等，用戶無

19、需編程就可以方便地為大數(shù)據(jù)創(chuàng)建美麗的報表，通過浪潮HIVE提供的高速大數(shù)據(jù)統(tǒng)計分析能力提高決策效率；高擴展能力：Inceptor可以隨著集群規(guī)模的擴展，線性擴展處理能力，可以支持從GB到數(shù)百TB的數(shù)據(jù)處理。2.4.3. HBASE分布式實時在線數(shù)據(jù)處理引擎HBASES時在線數(shù)據(jù)處理引擎以 Apache HBase為基礎，是企業(yè)建立高并發(fā)的在 線業(yè)務系統(tǒng)的最佳選擇。它有以下特點：多種數(shù)據(jù)類型支持：HBASE支持從GB到數(shù)十PB數(shù)據(jù)的處理，支持廣泛的數(shù)據(jù)類型，包括對結(jié)構(gòu)化記 錄、半結(jié)構(gòu)化文本、圖數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)（圖片、音頻、二進制文檔等）的存儲、 搜索、統(tǒng)計和分析。高速數(shù)據(jù)處理能力:HBASEf

20、c持高速的數(shù)據(jù)檢索、搜索和統(tǒng)計；根據(jù)索引進行檢索的延時在數(shù)毫秒到 數(shù)百毫秒量級；支持上億的并發(fā)用戶同時進行數(shù)據(jù)插入、修改、查詢和檢索；支持對 文本建立增量全文索引并且支持秒級的全文關(guān)鍵字搜索。高效OLAF和批量統(tǒng)計：HBAS助HIVE引擎提供高效數(shù)據(jù)掃描接口，通過 HIVE的擴展SQL語法，充分利 用浪潮HBASE勺內(nèi)部數(shù)據(jù)結(jié)構(gòu)以及全局/輔助索引進行SQL執(zhí)行加速，可以滿足高速 的OLAP數(shù)據(jù)分析應用需求；同時也支持高速的 SQL離線批處理，性能接近于存儲在 HDFS1的相同數(shù)據(jù)的統(tǒng)計。高效圖計算：HBASE提供構(gòu)造圖形的API，幫助用戶構(gòu)造由上億頂點組成的復雜大圖，同時提 供專有的高效圖算法

21、，包括關(guān)聯(lián)網(wǎng)絡的高速分析。244. Stream流處理引擎Stream實時流處理引擎以Spark Streaming為基礎。Spark Streaming提供了強 大的流計算(Streaming )表達能力，支持DAG(有向無環(huán)圖)計算模型；而 Hadoop 類的批處理系統(tǒng)只能通過外圍組件連接多個批次的作業(yè)完成復雜多階段作業(yè)處理，系統(tǒng)復雜而低效。Streaming中的復雜應用邏輯以DAG形式的服務常駐在集群內(nèi)存中，生產(chǎn)系統(tǒng)的 消息通過實時消息隊列進入計算集群，在集群內(nèi)以 Pipeline方式被依次處理，完成 ETL特征提取、策略檢查、分析告警等復雜服務計算，最終輸出到 HBase等存儲集 群、

22、告警頁面、實時展示頁面等。系統(tǒng)具備強擴展性、強容錯、低延遲、高吞吐等特點，成熟應用于傳感器網(wǎng)絡數(shù) 據(jù)處理、服務監(jiān)控、反作弊、實時報表系統(tǒng)等業(yè)務。Streaming支持Kafka, Flume等常見消息隊列或采集工具。2.5. 服務器虛擬化2.5.1. 設計理念浪潮云海？服務器虛擬化系統(tǒng)是浪潮云計算解決方案的核心基礎，主要負責完成 底層物理資源的虛擬融合、按需分配與高效管理，可以顯著提高資源交付的敏捷性和 靈活性，提升資源的使用效率，為上層業(yè)務提供不間斷地資源保障與可伸縮的資源供 給。浪潮云海？服務器虛擬化系統(tǒng)為計算、存儲和網(wǎng)絡提供了完整的虛擬化解決方案， 支持資源的靈活分配、動態(tài)組合、在線調(diào)整

23、與智能調(diào)度，并以虛擬機或虛擬集群的形 式將最終資源呈現(xiàn)給用戶。該系統(tǒng)既可以單獨使用，也可以配合浪潮云計算管理平臺 來構(gòu)建更大范圍的云數(shù)據(jù)中心或者IaaS系統(tǒng)，同時本系統(tǒng)還提供了開放接口，支持 二次開發(fā)，方便與其他管理平臺整合。在設計理念上，整個系統(tǒng)遵循了以下幾個原則： 命令查詢職責分離（CQRSCQR原則基于一個簡單的事實：資源（對象）的行為只有兩種，即命令（Command 和查詢（Query）。命令可以改變資源的狀態(tài)，而查詢不會?；谶@一原則，系統(tǒng)可以 分為兩個部分，命令部分和查詢部分，并采用不同的技術(shù)加以實現(xiàn)和優(yōu)化， 簡化整個 系統(tǒng)的設計，提升整個系統(tǒng)的性能和可維護性。獨立的認證服務服務器

24、虛擬化是一個復雜的軟件系統(tǒng)， 由多個不同功能的模塊組合而成，安全認 證是每個模塊必須的邏輯。獨立的認證服務從系統(tǒng)層面劃分出來一個切面， 實現(xiàn)集中 式的認證管理，其他模塊只需與認證服務交互，將復雜的認證過程交由認證服務處理， 這一過程對模塊而言是透明的。獨立的認證服務對于實現(xiàn)SSC和系統(tǒng)集成具有重要的 意義。獨立的監(jiān)控服務系統(tǒng)狀態(tài)是進行決策的數(shù)據(jù)基礎， 這些數(shù)據(jù)多數(shù)是由監(jiān)控服務提供的，監(jiān)控服務 幾乎存在于任何大型的軟件系統(tǒng)之中。浪潮服務器虛擬化系統(tǒng)將監(jiān)控服務剝離出來， 以易復用、易擴展、輕量級為目標獨立發(fā)展，使其可以在不同的系統(tǒng)中提供監(jiān)控服務。 監(jiān)控服務為服務器虛擬化系統(tǒng)監(jiān)控資源狀態(tài)提供了極高的

25、靈活性和擴展性，大大縮短了系統(tǒng)故障的排查時間。業(yè)務數(shù)據(jù)與監(jiān)控數(shù)據(jù)分離業(yè)務數(shù)據(jù)與監(jiān)控數(shù)據(jù)的分離，主要體現(xiàn)在存儲、UI顯示以及持久化三個方面。從存儲方面來說，業(yè)務數(shù)據(jù)和監(jiān)控數(shù)據(jù)的分離主要體現(xiàn)在存儲方式， 前者存到關(guān)系數(shù) 據(jù)庫，后者存到NOSQ數(shù)據(jù)庫。從UI顯示來說，UI顯示的主要是業(yè)務數(shù)據(jù)，通過查詢關(guān)系數(shù)據(jù)庫獲取，而對于監(jiān)控數(shù)據(jù)，則通過查詢NOSQ數(shù)據(jù)庫中獲取告警信息。從 持久化方面的講，業(yè)務數(shù)據(jù)具有關(guān)系性強和邏輯緊密， 體現(xiàn)用戶的業(yè)務需求，需要較 高的可靠性和穩(wěn)定性，因此需要持久化到關(guān)系型數(shù)據(jù)庫中較為合適，這樣既保證了業(yè)務關(guān)系又確保了數(shù)據(jù)的穩(wěn)定性；而監(jiān)控數(shù)據(jù)強調(diào)實時性，體現(xiàn)被監(jiān)控對象的當前狀況，

26、 數(shù)據(jù)關(guān)系性不強，結(jié)構(gòu)單一，而且不需要進行持久化，因此使用易擴展、可用性高的 內(nèi)存型數(shù)據(jù)庫來存儲這類數(shù)據(jù)比較合適，以最大程度保證數(shù)據(jù)的實時性。資源操作與資源狀態(tài)維護分離資源操作與資源狀態(tài)維護分離主要體現(xiàn)在虛擬機的管理上，資源操作基于業(yè)務流 程，而資源狀態(tài)維護基于事務的原子操作實現(xiàn)，例如通過監(jiān)控數(shù)據(jù)更新虛擬機狀態(tài)， 并維護數(shù)據(jù)的一致性。這種機制在虛擬機管理中體現(xiàn)最為明顯， 主要包括狀態(tài)切換和 虛擬機并發(fā)操作處理。首先，對于狀態(tài)切換失敗處理，如果當前存在其他工作流正在 處理當前虛擬機，將終止整個工作流并記錄失敗原因； 否則強制同步業(yè)務狀態(tài)，使之 與監(jiān)控狀態(tài)相同，然后終止整個工作流并記錄失敗原因。

27、其次，阻止對同一個虛擬機 的并發(fā)操作，以避免上述的第一個可能分支出現(xiàn)。2.5.2. 系統(tǒng)結(jié)構(gòu)服務器虛擬化系統(tǒng)可分為四個層次，分別為虛擬層、應用層、展示層、運維層， 虛擬層是整個系統(tǒng)的基礎，在虛擬層之上構(gòu)建了應用層，實現(xiàn)高級的業(yè)務邏輯，展示 層用于對外交互，為了便于系統(tǒng)運維，專門劃分了運維層，涵蓋系統(tǒng)的安裝、部署和 安全管理。虛擬層直接構(gòu)建在物理硬件之上，在功能上主要是完成物理資源的池化與重新組 合：基于Hypervisor實現(xiàn)計算資源的池化，基于分布式存儲/集中式存儲實現(xiàn)存儲資 源的池化，基于虛擬交換機和虛擬路由器實現(xiàn)網(wǎng)絡資源的池化，經(jīng)由這幾種技術(shù)形成了統(tǒng)一的計算池、存儲池和網(wǎng)絡池，在此基礎之

28、上通過按需組合構(gòu)建虛擬主機和虛擬 集群對外提供服務。虛擬層同時提供了資源調(diào)度（DRS/DPM/HA、鏡像管理和資源管理 等功能，為上層實現(xiàn)高級功能提供支持。系統(tǒng)部署與升級應用層基于虛擬層構(gòu)建高級功能,通過組合虛擬層的功能模塊支撐系統(tǒng)的業(yè)務邏輯實現(xiàn)，這些主要的業(yè)務邏輯包括系統(tǒng)任務管理、 物理資源管理（主機、存儲、網(wǎng)絡）、 系統(tǒng)配置、虛機、模板管理以及容災備份等，這些高級功能全部封裝在應用層實現(xiàn)展示層是系統(tǒng)對外的交互接口，提供 WEB3UI界面和API接口兩種形式，方便系統(tǒng)集成和二次開發(fā)；在運維層，提供資源訪問控制、PXE安裝和在線升級等功能，簡化系統(tǒng)運維2.5.3. 服務器虛擬化系統(tǒng)組成服務器虛

29、 擬化系統(tǒng)管理節(jié)點控制網(wǎng)數(shù)據(jù)網(wǎng)業(yè)務網(wǎng)I,半一級存儲-本地 一級存儲-共享 二級存儲計算節(jié)點光纖通道以太網(wǎng)SANiSCSI上圖中計算資源和存儲資源均由控制中心統(tǒng)一控制與管理。服務器虛擬化系統(tǒng)包括三條通信鏈路：控制網(wǎng)，用于控制中心與各計算節(jié)點、存儲節(jié)點及文件系統(tǒng)主控間 傳輸資源信息與控制指令；數(shù)據(jù)網(wǎng)，連接計算節(jié)點與存儲系統(tǒng)，用于傳輸虛擬機正常 所需的存儲數(shù)據(jù)；業(yè)務網(wǎng)，資源租戶及云業(yè)務用戶通過此網(wǎng)訪問虛擬機及部署在虛擬 機里的業(yè)務，業(yè)務網(wǎng)通過VLAN等技術(shù)實現(xiàn)隔離。26云管理平臺浪潮云海os是浪潮自主設計的系統(tǒng)架構(gòu)，自主研發(fā)的國產(chǎn)云資源管理平臺，支持底層VMWarvSphere平臺及浪潮自研虛擬化產(chǎn)

30、品iVirtual的異構(gòu)虛擬資源池，對已部署的vSphere環(huán)境無需停機即可被云海 OS接管，實現(xiàn)對現(xiàn)有vSphere環(huán)境的無 縫兼容，實現(xiàn)安全可控。浪潮云海OS的架構(gòu)秉承模塊化設計理念，結(jié)合浪潮對云數(shù)據(jù)中心客戶需求的理 解，以超越用戶所想，提供超值的用戶體驗而完成的系統(tǒng)設計。2.6.1. 浪潮云海OS架構(gòu)圖iPog1（GUI 界面）誰員界面.界iCIoudManager 云計且管理平臺）iRfisource Manager資源管理平臺）i£亡uurity（安全起充 I iRecoveryt容災備份iDesktop面虛擬化）iAuto自動化由調(diào)優(yōu)J i張vic詞自助服務）I iCh曰

31、r甘議統(tǒng)計計劃眼務器存儲設備網(wǎng)絡設備第三 方網(wǎng) 管平 臺2.6.2. 浪潮云海OS實現(xiàn)的功能云資源管理（1） 資源池管理：通過添加vCenter/iVirtual將多個異構(gòu)資源池整合成一個 更大的資源池，進行統(tǒng)一管理和資源分配。資源池管理包括對資源池的擴充和縮減， 暫停使用某些資源等操作。（2）資源池集群管理：集群是云資源的載體，是資源池分配的組成單位。通過集群管理功能實現(xiàn)為不同用戶提供不同等級的資源服務，擴充資源池容量?？芍匦聦胭Y源池的新增集群，也可暫停在某些集群上新建虛擬數(shù)據(jù)中心及應用服務。（3）虛擬數(shù)據(jù)中心管理：虛擬數(shù)據(jù)中心（vdc）界定了組織能夠使用資源的范圍，組織管理員可將vdc資

32、源分配給組織內(nèi)用戶。虛擬數(shù)據(jù)中心管理包括創(chuàng)建、導入, 暫停使用、重新啟用等操作。（4）虛擬網(wǎng)絡管理：虛擬網(wǎng)絡允許組織及組織用戶像定義物理網(wǎng)絡一樣定義組織自己內(nèi)部的網(wǎng)絡，以及與組織外網(wǎng)絡的連接方式，包括直連、NAT等，組織內(nèi)部網(wǎng)絡的地址分配、VLAN劃分等。（5）應用服務管理：應用服務（vApp）是指提供某種服務的一個或多個通過特 定網(wǎng)絡連接在一起的虛擬機集合?？赏ㄟ^服務模板、新建虛擬機2種方式創(chuàng)建應用服 務。操作包括開啟、關(guān)閉、重啟、刪除、復制、更改所有者、導出為模板等操作。（6）虛擬機管理：單獨對組成vApp的虛擬機操作。功能包括虛擬機控制臺、 開啟、關(guān)閉、重啟、掛起、恢復、刪除、快照、復制

33、、移動至其他應用服務中、導出 為模板等操作。（7）模板/鏡像管理：通過FTP方式將應用服務模板或操作系統(tǒng)安裝鏡像上傳至 組織存儲空間下，用于部署應用服務和安裝操作系統(tǒng)， 也可將服務模板和鏡像文件共 享給其他組織使用。業(yè)務管理（1）業(yè)務審批：審批系統(tǒng)用戶提交的虛擬數(shù)據(jù)中心（vdc）、虛擬網(wǎng)絡、虛擬應 用（vApp）申請。（2）業(yè)務流程管理：審批流程引擎實現(xiàn)虛擬數(shù)據(jù)中心、虛擬網(wǎng)絡、虛擬應用 服務審批流程的自定義。（3）審批歷史查詢：查詢每個訂單的詳細信息，包括訂單內(nèi)容，審批流程上 的各節(jié)點的審批情況，包括審批人、審批時間和是否通過等。計費管理（1） 計費設置：設置用戶帳戶余額的提醒周期及提醒方式（

34、郵件、短信）；定 義資源單價（元/資源度量單位/小時）。（2）計費等級：資源按一定標準分為不同的等級，各等級的資源計費系數(shù)不同，組織分為不同的等級，不同等級的組織計費系數(shù)也不同； 系統(tǒng)可自行設置資源等 級、組織等級對應的折扣率，從而為不同的用戶提供不同的等級的服務。（3）組織賬戶充值：為組織賬戶充值，并可查詢充值歷史。（4）查詢組織賬戶余額：查詢各組織的帳戶余額。（5）查詢組織賬單：查詢組織每月的消費金額及費用明細。管理監(jiān)控（1） 監(jiān)控視圖：顯示服務器、網(wǎng)絡設備、數(shù)據(jù)庫、操作系統(tǒng)、web服務、虛擬 化資源組及組內(nèi)各節(jié)點的狀態(tài)統(tǒng)計信息。（2）資源管理：開啟、關(guān)閉、重啟服務器組內(nèi)所有機器或某些服務

35、器；配置 服務器BMC言息；獲取并顯示網(wǎng)絡設備、數(shù)據(jù)庫、 web服務、操作系統(tǒng)、虛擬化資源 的相關(guān)狀態(tài)參數(shù)信息。（3） 節(jié)能管理：節(jié)能管理在不影響正常業(yè)務的情況下，通過降低服務器CPU 頻率來降低服務器組或服務器的能耗。功能包括節(jié)能策略制定及服務器組或服務器的 能耗曲線顯示。（4）告警分析：分時段顯示服務器、網(wǎng)絡設備、數(shù)據(jù)庫、操作系統(tǒng)、web服務、 虛擬化資源等的各監(jiān)測器返回的異常告警信息。（5） 報表中心：圖表顯示服務器、網(wǎng)絡設備、數(shù)據(jù)庫、操作系統(tǒng)、web服務、 虛擬化資源等的資源狀態(tài)統(tǒng)計、各監(jiān)測項狀態(tài)。（6）系統(tǒng)配置：監(jiān)控管理功能模塊的基礎性配置。如添加資源（服務器、網(wǎng) 絡設備、操作系統(tǒng)、

36、web服務、數(shù)據(jù)庫、虛擬化資源、），為資源選擇添加監(jiān)測項，通 知時間表設置，告警通知聯(lián)系人設置，備份與恢復當前的監(jiān)控管理配置信息。系統(tǒng)管理（1）組織管理：組織是用戶的集合，是虛擬數(shù)據(jù)中心（ VDC及vApp的所有 者，也是資源使用費用的承擔者。組織管理功能包括添加組織、編輯、啟用、禁用、 刪除等操作。（2）用戶管理：系統(tǒng)管理員管理各組織的組織管理員，各組織管理員管理其 組織內(nèi)部的組織用戶。用戶管理操作包括：添加、刪除、修改基礎信息、重置密碼、 啟用、禁用等操作。（3）角色管理：角色是系統(tǒng)操作的集合，界定了相同角色的用戶擁有的操作 權(quán)限范圍。角色管理包括：添加、編輯、刪除等操作。（4）日志查詢：

37、根據(jù)時間、組織、用戶、操作對象等條件查詢相關(guān)聯(lián)的操作記 錄。（5）系統(tǒng)設置：配置系統(tǒng)發(fā)送提醒、告警類信息的郵件、短信信息。導出、 刪除日志，設置日志停留時長。（6）序列號管理：系統(tǒng)序列號分為正式序列號和試用期序列號，序列號到期 后，系統(tǒng)將無法使用，需重新注冊(7) LDAP管理：云管理平臺可與用戶現(xiàn)有的 LDAP系統(tǒng)集成，實現(xiàn)基于LDAP 的身份驗證訪問機制，LDAP的用戶可作為云平臺的用戶來管理或使用云資源。云管理平臺為客戶帶來的收益使用浪潮云海？云數(shù)據(jù)中心操作系統(tǒng)，客戶可以獲得以下收益：節(jié)約軟件采購及服務成本浪潮提供云數(shù)據(jù)中心整體解決方案，減少項目集成費用。全國產(chǎn)的云管理平臺， 相對于國外

38、產(chǎn)品價格相對較低，相對于基于開源的云管理平臺，浪潮云海云數(shù)據(jù)中心 管理平臺更加安全、穩(wěn)定。管理運營效率提升云數(shù)據(jù)中心管理平臺集成虛擬化管理及服務器、網(wǎng)絡設備等硬件設備和操作系 統(tǒng)、web服務、數(shù)據(jù)庫等中間件的監(jiān)控與管理功能，幾乎涵蓋了數(shù)據(jù)中心所有的可管 理對象范疇，一套系統(tǒng)即可運營整個云數(shù)據(jù)中心。云數(shù)據(jù)中心管理平臺能夠?qū)崿F(xiàn)對多虛擬化平臺的統(tǒng)一管理。通過將多虛擬化平臺 集中到統(tǒng)一管理門戶，形成一個大的資源池，有效解決異構(gòu)資源池管理問題。服務水平提高浪潮云海云數(shù)據(jù)中心管理平臺實現(xiàn)基礎設施資源的服務化(laaS)，以應用服務形式對外提供服務，利用服務模板可實現(xiàn)業(yè)務的快速部署，顯著縮短應用系統(tǒng)上線時間

39、， 幫助客戶快速實現(xiàn)自身價值。2.7. 爬蟲軟件2.7.1. 建設網(wǎng)絡爬蟲私有云GooSeeker網(wǎng)絡爬蟲軟件由兩部分組成：網(wǎng)絡爬蟲云服務器、網(wǎng)絡爬蟲執(zhí)行單元。拓展和蘇可視化維護 抓取規(guī)則日志語義字段 精確抓取可視優(yōu)雌適合數(shù)據(jù)挖掘權(quán)限営厘爬蟲群勿同不重不漏可視化網(wǎng)頁編碼利于集成網(wǎng)頁剖析自動支持適合集成適合 大數(shù)據(jù)分析巧網(wǎng)頁視同仁所見即所得易便用協(xié)同化助海量抓取抓取規(guī)則即時驗證増星機取動態(tài)靜態(tài)抓取規(guī)則防封鎖抓取一致自動生成走時捫取性暢計故障颶自動補抓團認學習 環(huán)極章里垠蹤管理網(wǎng)貢解析容錯性高2.72高效的分布式、協(xié)同化數(shù)據(jù)采集模式集搜客GooSeeker用戶無論分布在哪里，都可以享受集搜客網(wǎng)絡爬

40、蟲的服務，在 線版用戶可以創(chuàng)立一個工作組，邀請其他在線版用戶加入工作組，為相同的采集目的 協(xié)同完成數(shù)據(jù)米集任務。企業(yè)版將這個能力完全開放，可以完全控制和管理分布式和協(xié)同化數(shù)據(jù)采集模 式。在企業(yè)內(nèi)部可以劃分成多個工作組工作組可以用后臺管理程序隨時根據(jù)工作目標直接創(chuàng)建工作組大小不受限制工作組的劃分和管理完全受控GooSeeker網(wǎng)絡爬蟲可以由服務器統(tǒng)一調(diào)度，企業(yè)版可以用定制開發(fā)的更周密的 負荷分擔算法控制每個網(wǎng)絡爬蟲的運行，而且根據(jù)網(wǎng)絡爬蟲的運行狀態(tài)合理調(diào)配工作 量，對于失敗的網(wǎng)絡爬蟲可以及時予以隔離，甚至在其他網(wǎng)管系統(tǒng)的輔助下，監(jiān)控網(wǎng) 絡爬蟲計算機各個層面的運行狀況。2.73爬蟲路線規(guī)劃能力集搜

41、客GooSeeker網(wǎng)絡爬蟲沿著線索擴展爬行范圍，而且不限廣度和深度。免費 在線版用戶在MS謀數(shù)臺的爬蟲路線工作臺上規(guī)劃爬蟲路線，主要能力就是：從抓取 到的網(wǎng)址上建立下一級線索，這是深度方向，同時抓取到的下級線索不只一個， 那么 就是在廣度方向進行擴展?？傊?，網(wǎng)絡爬蟲抓取網(wǎng)頁數(shù)據(jù)的時候，把一些網(wǎng)址作為廣度或者深度方向擴展的 線索。免費在線版只能在定義抓取規(guī)則的時候規(guī)劃爬蟲路線；而企業(yè)版可以有更多規(guī)劃爬蟲路線的選擇。在抓取結(jié)果清洗和入庫的時候在深度和廣度方向生成線索，這是企業(yè)版常用的方式，此時，企業(yè)版GooSeeker具有最大的靈活性和控制力，比如，可以用入庫腳本程 序任意控制爬蟲路線的生成，可

42、以替換URL中的參數(shù)，可以根據(jù)URL地址規(guī)律批量生 成網(wǎng)址，可以在一批網(wǎng)址中根據(jù)一定規(guī)則進行篩選等等。11 謂補凋朕<|分酬密體松% % %.擾態(tài)監(jiān)控訪問控制MetaSeeker 眼資器ClueManager0g 務器冊取網(wǎng)頁上傳結(jié)果'第三方結(jié)果文件收集軟件第三方調(diào)度服髯器慢收上傳文件解折審打數(shù)機Meta Corpora 數(shù)據(jù)入庫清洗服務器最大的靈活性在于爬蟲路線的生成時間。當網(wǎng)頁抓取用于探索性研究的時候，可以根據(jù)需要隨時延伸爬蟲深度和廣度范圍，不必在第一次數(shù)據(jù)清洗過程就把所有線索 都生成好了，其實那時可能還不知道是否有必要做爬行范圍延展。而且也容易實現(xiàn)同 一個網(wǎng)址用于多個抓取主

43、題，分別為不同的研究目的服務。2.74爬蟲調(diào)度和負荷規(guī)劃能力集搜客GooSeeker網(wǎng)絡爬蟲是一款高性能網(wǎng)絡爬蟲軟件，多臺計算機可為同一目 標協(xié)同工作，同一臺計算機上能運行多個線程并行抓取網(wǎng)頁。 那么就需要規(guī)劃每個網(wǎng) 絡爬蟲線程的工作內(nèi)容和工作負荷，以及啟動和停止時間等等。免費在線版GooSeeker網(wǎng)絡爬蟲主要依賴周期性網(wǎng)頁抓取調(diào)度文件crontab.xml管理網(wǎng)絡爬蟲，比如，一臺計算機上啟動多少個線程，每個線程在什么時間啟動，每 一批包含多少網(wǎng)頁，抓取什么主題，按照什么順序等等。cron tab.xml文件是預先生成好的，比如，使用crontab.xml生成器。預先生成的缺點是調(diào)度爬蟲不夠

44、靈活，如 果爬幾十個網(wǎng)站，這個缺點并不顯著，如果要爬幾百上千個網(wǎng)站，要把所有的網(wǎng)站目 標都編制到cron tab文件，將是十分繁瑣的。企業(yè)版GooSeeker網(wǎng)絡爬蟲可以接受服務器下發(fā)的任務安排，也就是cron tab文件中的每個step都可以通過云服務器下發(fā)下來，那么在云服務器上可以實現(xiàn)一個 復雜的調(diào)度和負荷規(guī)劃程序，配以爬蟲管理程序，能夠細致地為每個爬蟲安排合適的 抓取任務。2.7.5. 極致的開放兼容平臺.為什么需要開放的可集成的網(wǎng)頁抓取軟件如果網(wǎng)絡爬蟲只是大型IT系統(tǒng)的一個模塊，集搜客GooSeeker網(wǎng)絡爬蟲能否無縫地集成到各種IT系統(tǒng)中？此類IT系統(tǒng)對網(wǎng)絡爬蟲的需求主

45、要包括：4 IT系統(tǒng)可以控制網(wǎng)絡爬蟲的爬行范圍* IT系統(tǒng)可以控制網(wǎng)絡爬蟲什么時候啟動，每次抓取的批次大小等 IT系統(tǒng)需要及時獲得爬取結(jié)果，由IT系統(tǒng)負責內(nèi)容管理、數(shù)據(jù)挖掘等信息處理過程 IT系統(tǒng)能夠監(jiān)控爬蟲的成功率，可及時修正失敗狀態(tài)，比如，重新啟動抓取失敗的線索2.7.52 集搜客網(wǎng)絡爬蟲的開放接口顯然，一個封閉的網(wǎng)絡爬蟲軟件不能滿足上述需求，而集搜客網(wǎng)絡爬蟲提供標準的開放的API接口，也可以直接從數(shù)據(jù)庫層面進行對接，完美解決無縫集成問題。MetaSeeker客戶端調(diào)度規(guī)劃程序服務麗惻線索管理程序>:結(jié)果文件收集和入庫程序 |3. 方案優(yōu)勢3.1. 浪潮MPP數(shù)據(jù)庫優(yōu)勢3.1.1.

46、高性能列存儲技術(shù)在大大減少I/O 的同時,能顯著提高查詢性能；智能索引大幅提高查詢性能；高速的數(shù)據(jù)加載性能； 高效的并行SQL執(zhí)行計劃。3.12高性價比采用多種壓縮技術(shù)，減少存儲數(shù)據(jù)所需的空間，可以將所用空間減少1 20倍，并相應地提高了 I/O 性能；采用高壓縮技術(shù)，能顯著減少存儲開銷，從而幫助 客戶減少了數(shù)據(jù)庫整體投入成本。3.1.3. 高易用性易于實施和管理，只需要傳統(tǒng)數(shù)據(jù)庫1/10的管理成本，與主要商業(yè)智能工具兼 容，女口 Cog nos、SAP BO BIEE、SAS SPSS3.2. 浪潮Hadoop優(yōu)勢支持高性能交互式數(shù)據(jù)分析，無需等待，實時生成統(tǒng)計結(jié)果。性能比開源 Hadoop

47、產(chǎn)品快10到100倍；提供PL/SQL以及R語言，支持更強的統(tǒng)計分析能力,應用遷移非常方便； 支持廣泛的BI和報表工具，無需編程，方便應用遷移。3.3. 浪潮云計算優(yōu)勢方案中虛擬化軟件采用浪潮云海In cloud Sphere，國產(chǎn)自主研發(fā)，并具備當下 最主流先進的虛擬化功能。云管理平臺部分采用浪潮云海In cloud Man ager,全自主知識產(chǎn)權(quán)，突破了云數(shù)據(jù)中心資源管理、調(diào)度、多資源池融合等多項核心技術(shù)，實現(xiàn) 了真正的安全可控。3.3.1. 運營效率提升通過云海實現(xiàn)系統(tǒng)的搭建與部署， 大大提高運營效率。其工作效率的提升不是以 百分之多少來衡量的，而是幾倍甚至數(shù)十倍的提升。傳統(tǒng)的一個操作

48、系統(tǒng)的準備物理環(huán)境可能需要幾個小時甚至幾天，而虛擬化的環(huán)境只需要十幾分鐘。事實上，只需要人工的幾個鼠標點擊。其余的時間都是系統(tǒng)自動 工作而不需要人工的干預。最快的時候，搭建一個數(shù)百操作系統(tǒng)的應用人工也只需要 配置十幾分鐘。虛擬層會自動的根據(jù)模版生成你需要的工作環(huán)境。3.3.2. 服務水平提高云計算環(huán)境可以很容易的幫助企業(yè)建立業(yè)務和 IT資源之間的關(guān)系，使各種應用 和企業(yè)的苛刻的業(yè)務條件能一一對應。從整個數(shù)據(jù)中心的視圖來看，云數(shù)據(jù)中心管理平臺可以將所有的物理服務器作為 一個大的資源池進行統(tǒng)一的管理，并可以按需的自動進行所有運算資源的人工或自動 調(diào)度。因為所有的硬件資源與客戶的應用及操作系統(tǒng)隔離，今后不論是物理主機的更換 還是存儲的升級，均可以實現(xiàn)應用的零宕機。也許以前的維護需要幾天甚至幾周的時 間變更管理準備。但現(xiàn)在這個時間被大大的縮減甚至不需要了， 我們所有的資源都可 以無中斷的按需擴容。3.3.3. 實現(xiàn)數(shù)據(jù)中心的綠色節(jié)能云海的節(jié)能控制功能，能夠根據(jù)業(yè)務負載，自動調(diào)整虛擬資源在物理資源上的分 布,實現(xiàn)物理資源的動態(tài)伸縮，有效降低數(shù)據(jù)中心的能耗，