大數(shù)據(jù)平臺(tái)架構(gòu)及建設(shè)思路-文檔資料

1、- -0 0- -大數(shù)據(jù)平臺(tái)架構(gòu)及建設(shè)思路大數(shù)據(jù)平臺(tái)架構(gòu)及建設(shè)思路 2022-3-7中國移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司中國移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司- -1 1- -三、中國移動(dòng)大數(shù)據(jù)平臺(tái)建設(shè)思路三、中國移動(dòng)大數(shù)據(jù)平臺(tái)建設(shè)思路二、主流技術(shù)比較二、主流技術(shù)比較- -2 2- -什么是大數(shù)據(jù)什么是大數(shù)據(jù)“大數(shù)據(jù)”是指其大小超出了典型數(shù)據(jù)庫軟件的采集、存儲(chǔ)、管理和分析等能力的數(shù)據(jù)集。目前，大數(shù)據(jù)的一般范圍是從幾個(gè)TB到數(shù)個(gè)PB。麥肯錫無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的大量而復(fù)雜的數(shù)據(jù)集合。維基百科數(shù)量大、獲取速度快或形態(tài)多樣的數(shù)據(jù)，難以用傳統(tǒng)關(guān)系型數(shù)據(jù)分析方法進(jìn)行有效分析，或者

2、需要大規(guī)模的水平擴(kuò)展才能高效處理。美國國家標(biāo)準(zhǔn)技術(shù)研究院（NIST)體量大、快速和多樣化的信息資產(chǎn)，需用高效率和創(chuàng)新型的信息技術(shù)加以處理，以提高發(fā)現(xiàn)洞察、做出決策和優(yōu)化流程的能力。Gartner公司- -3 3- -運(yùn)營商對(duì)大數(shù)據(jù)的理解運(yùn)營商對(duì)大數(shù)據(jù)的理解 網(wǎng)絡(luò)數(shù)據(jù)、用戶數(shù)據(jù)、應(yīng)用數(shù)據(jù)的匯聚構(gòu)成了我們的網(wǎng)絡(luò)數(shù)據(jù)、用戶數(shù)據(jù)、應(yīng)用數(shù)據(jù)的匯聚構(gòu)成了我們的“大數(shù)據(jù)大數(shù)據(jù)”。這些結(jié)構(gòu)化、非結(jié)構(gòu)化。這些結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)的處理和建模形成對(duì)用戶、服務(wù)、資源、終端等對(duì)象的洞察。這些洞察與市場營銷、網(wǎng)的數(shù)據(jù)的處理和建模形成對(duì)用戶、服務(wù)、資源、終端等對(duì)象的洞察。這些洞察與市場營銷、網(wǎng)絡(luò)運(yùn)維等業(yè)務(wù)流程的銜接將會(huì)

3、給公司帶來新的價(jià)值。絡(luò)運(yùn)維等業(yè)務(wù)流程的銜接將會(huì)給公司帶來新的價(jià)值。大數(shù)據(jù)具備Volume 海量、 Variety 多樣、 Velocity 快速、Value 價(jià)值的特點(diǎn)。據(jù)Ericsson預(yù)測，到2018年，每個(gè)手機(jī)終端每個(gè)月將產(chǎn)生2G的數(shù)據(jù)。（Ericsson Mobility Report，2013年）改善市場改善市場運(yùn)營效率運(yùn)營效率結(jié)構(gòu)化數(shù)據(jù)處理非結(jié)構(gòu)化數(shù)據(jù)處理洞察：用戶/服務(wù)/資源/終端/.提升網(wǎng)絡(luò)提升網(wǎng)絡(luò)運(yùn)維效率運(yùn)維效率改善客戶改善客戶滿意度滿意度創(chuàng)新商業(yè)創(chuàng)新商業(yè)模式模式數(shù)據(jù)采集建模分析運(yùn)營改進(jìn)傳統(tǒng)商業(yè)智能傳統(tǒng)商業(yè)智能大數(shù)據(jù)大數(shù)據(jù)1大數(shù)據(jù)大數(shù)據(jù)2批處理，事先定義的查詢和模型非結(jié)構(gòu)化的

4、數(shù)據(jù)，包括互聯(lián)網(wǎng)日志、web文本信息,非實(shí)時(shí)或準(zhǔn)實(shí)時(shí)流處理，實(shí)時(shí)的內(nèi)容智能感知，策略執(zhí)行，連續(xù)更新價(jià)值實(shí)時(shí)性采集、建模和應(yīng)用采集、建模和應(yīng)用數(shù)據(jù)處理實(shí)時(shí)性與價(jià)值呈正比數(shù)據(jù)處理實(shí)時(shí)性與價(jià)值呈正比- -4 4- -中國移動(dòng)數(shù)據(jù)分布中國移動(dòng)數(shù)據(jù)分布B域域B域數(shù)據(jù)以客戶關(guān)系、用戶行為、產(chǎn)品信息等為主，支撐客戶經(jīng)營和產(chǎn)品營銷等O域域O域數(shù)據(jù)以設(shè)備數(shù)據(jù)、告警信息和性能信息等為主，支撐網(wǎng)絡(luò)監(jiān)控、網(wǎng)絡(luò)優(yōu)化、用戶投訴處理等M域域M域數(shù)據(jù)以財(cái)務(wù)、人力資源、供應(yīng)鏈和辦公信息等為主，支撐企業(yè)管理、企業(yè)辦公信息化等DPI數(shù)據(jù)域數(shù)據(jù)域DPI數(shù)據(jù)域以上網(wǎng)日志、內(nèi)容構(gòu)成、用戶軌跡、網(wǎng)絡(luò)信令等為主，可支撐流量經(jīng)營、網(wǎng)絡(luò)運(yùn)維和增

5、值服務(wù)等業(yè)務(wù)平臺(tái)業(yè)務(wù)平臺(tái)九大業(yè)務(wù)基地：基地?cái)?shù)據(jù)以用戶信息、用戶行為信息等為主，可支撐個(gè)性化推薦、優(yōu)化產(chǎn)品和服務(wù)等。WAP/短彩信：存儲(chǔ)網(wǎng)絡(luò)日志，可支撐定位網(wǎng)絡(luò)及終端問題。- -5 5- -運(yùn)營商大數(shù)據(jù)運(yùn)用運(yùn)營商大數(shù)據(jù)運(yùn)用p對(duì)內(nèi)：對(duì)內(nèi)：p客戶上網(wǎng)數(shù)據(jù)處理、網(wǎng)頁爬取和網(wǎng)頁分類、分析挖掘客戶上網(wǎng)行為p詳單查詢、上網(wǎng)日志查詢p流量分析、客戶視圖、精準(zhǔn)營銷p網(wǎng)絡(luò)運(yùn)維優(yōu)化p對(duì)外：對(duì)外：p與航空公司合作，建立乘機(jī)客戶識(shí)別模型，提供大數(shù)據(jù)挖掘、客戶發(fā)展全流程大數(shù)據(jù)信息服務(wù)，提供針對(duì)性的營銷方案p與交通運(yùn)輸部、省高速公路合作，開展“基于移動(dòng)大數(shù)據(jù)分析在交通行業(yè)中的應(yīng)用”研究項(xiàng)目p利用通信信令實(shí)時(shí)分析景區(qū)人流量，

6、結(jié)合游客的行為數(shù)據(jù)挖掘，為旅游管理部門、景區(qū)提供數(shù)據(jù)的決策參考p以客戶授權(quán)為依據(jù)，發(fā)揮移動(dòng)客戶實(shí)名數(shù)據(jù)優(yōu)勢，為互聯(lián)網(wǎng)金融提供客戶信息驗(yàn)真服務(wù)p與外部客戶合作在手機(jī)沖浪平臺(tái)實(shí)施移動(dòng)廣告精準(zhǔn)投放目前主要的電信運(yùn)營商都已積極探索開發(fā)其內(nèi)部大數(shù)據(jù)資源。但從目前的應(yīng)用發(fā)展看，電信運(yùn)目前主要的電信運(yùn)營商都已積極探索開發(fā)其內(nèi)部大數(shù)據(jù)資源。但從目前的應(yīng)用發(fā)展看，電信運(yùn)營商的大數(shù)據(jù)仍主要用于內(nèi)部服務(wù)的，如支持內(nèi)部的客戶流失分析、營銷分析和網(wǎng)絡(luò)優(yōu)化分析營商的大數(shù)據(jù)仍主要用于內(nèi)部服務(wù)的，如支持內(nèi)部的客戶流失分析、營銷分析和網(wǎng)絡(luò)優(yōu)化分析等，對(duì)外的應(yīng)用模式尚未成型，部分電信運(yùn)營商開始嘗試通過給第三方提供數(shù)據(jù)產(chǎn)品和服務(wù)，

7、等，對(duì)外的應(yīng)用模式尚未成型，部分電信運(yùn)營商開始嘗試通過給第三方提供數(shù)據(jù)產(chǎn)品和服務(wù)，進(jìn)行數(shù)據(jù)的增值。進(jìn)行數(shù)據(jù)的增值。- -6 6- -三、中國移動(dòng)大數(shù)據(jù)平臺(tái)建設(shè)思路三、中國移動(dòng)大數(shù)據(jù)平臺(tái)建設(shè)思路一、大數(shù)據(jù)介紹一、大數(shù)據(jù)介紹- -7 7- -大數(shù)據(jù)具備數(shù)據(jù)量大、數(shù)據(jù)類型多、數(shù)據(jù)處理速度要求高和價(jià)值密度低的特點(diǎn)，傳統(tǒng)分析系統(tǒng)架構(gòu)（RDBMS +小型機(jī)+ 高端陣列模式）下，傳統(tǒng)數(shù)據(jù)庫無法支撐海量數(shù)據(jù)（如100TB以上，性能下降）、非結(jié)構(gòu)化數(shù)據(jù)，現(xiàn)有IOE的架構(gòu)無法線性擴(kuò)展且成本高昂。大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)對(duì)傳統(tǒng)數(shù)據(jù)處理技術(shù)體系提出挑戰(zhàn)大數(shù)據(jù)對(duì)傳統(tǒng)數(shù)據(jù)處理技術(shù)體系提出挑戰(zhàn)大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)

8、處理技術(shù)OldSQL ：傳統(tǒng)關(guān)系型數(shù)據(jù)庫NewSQL：新型MPP數(shù)據(jù)庫，關(guān)系型數(shù)據(jù)庫NoSQL：泛指非關(guān)系型的數(shù)據(jù)庫Hadoop：對(duì)大量數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和處理的軟件框架- -8 8- -大數(shù)據(jù)三大技術(shù)比較大數(shù)據(jù)三大技術(shù)比較面對(duì)海量種類繁多的數(shù)據(jù)進(jìn)行實(shí)時(shí)數(shù)據(jù)分析和離線數(shù)據(jù)分析，僅有傳統(tǒng)的數(shù)據(jù)庫技術(shù)已不適用，需要針對(duì)不同數(shù)據(jù)場景選擇不同技術(shù)手段。MPP數(shù)據(jù)庫：適合結(jié)構(gòu)化數(shù)據(jù)的深度分析、復(fù)雜查詢以及多變的自助分析類應(yīng)用、數(shù)據(jù)集市等。Hadoop ：適合海量數(shù)據(jù)存儲(chǔ)查詢(詳單存儲(chǔ)和查詢)、批量數(shù)據(jù)ETL、非結(jié)構(gòu)化數(shù)據(jù)分析(日志分析、文本分析)等。傳統(tǒng)數(shù)據(jù)庫：在復(fù)雜關(guān)聯(lián)、匯總、事務(wù)處理方面能力強(qiáng)，適合

9、數(shù)據(jù)量小、高可靠、數(shù)據(jù)價(jià)值密度高的應(yīng)用。- -9 9- -中國移動(dòng)大數(shù)據(jù)目標(biāo)架構(gòu)中國移動(dòng)大數(shù)據(jù)目標(biāo)架構(gòu)數(shù)據(jù)處理層（數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)共享）數(shù)據(jù)處理層（數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)共享）基礎(chǔ)數(shù)據(jù)資源池（HADOOP）Map/Reduce2HIVEHbaseHDFS分析數(shù)據(jù)資源池（MPP）分布式關(guān)系數(shù)據(jù)倉庫SPARKSharkYARN統(tǒng)一調(diào)度流處理資源池分布式內(nèi)存數(shù)據(jù)庫實(shí)時(shí)行為識(shí)別復(fù)雜事件處理框架實(shí)時(shí)模型計(jì)算任務(wù)調(diào)度資源管理統(tǒng)一作業(yè)數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理經(jīng)分?jǐn)?shù)據(jù)模型計(jì)算網(wǎng)絡(luò)數(shù)據(jù)模型計(jì)算管理分析模型計(jì)算數(shù)據(jù)調(diào)度 Hadoop平臺(tái)軟件部署于Hadoop大數(shù)據(jù)處理集群，實(shí)現(xiàn)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

10、與處理以及結(jié)構(gòu)化數(shù)據(jù)的垂直匯總。在當(dāng)前數(shù)據(jù)種類繁多、數(shù)據(jù)處理復(fù)雜的情形下，不適合采用一種的單一的技術(shù)解決全部問題，大數(shù)據(jù)在當(dāng)前數(shù)據(jù)種類繁多、數(shù)據(jù)處理復(fù)雜的情形下，不適合采用一種的單一的技術(shù)解決全部問題，大數(shù)據(jù)平臺(tái)據(jù)需要采用平臺(tái)據(jù)需要采用Hadoop資源池、資源池、MPP數(shù)據(jù)庫、流處理資源池混搭大數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)庫、流處理資源池混搭大數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)平臺(tái)基于MPP、Hadoop、流處理等云計(jì)算、大數(shù)據(jù)技術(shù) 流數(shù)據(jù)與復(fù)雜事件處理（CEP）規(guī)則引擎平臺(tái)用于對(duì)數(shù)據(jù)流進(jìn)行實(shí)時(shí)處理，實(shí)現(xiàn)對(duì)高速數(shù)據(jù)流的接入與實(shí)時(shí)處理，實(shí)時(shí)探測關(guān)鍵事件 MPP數(shù)據(jù)庫用于結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)分析。一體機(jī)資源池(DW)OLAP應(yīng)用

11、DW數(shù)據(jù)庫用于分析處理統(tǒng)計(jì)分析類OLAP應(yīng)用- -1010- -二、主流技術(shù)比較二、主流技術(shù)比較一、大數(shù)據(jù)介紹一、大數(shù)據(jù)介紹- -1111- -建設(shè)思路建設(shè)思路由易到難，穩(wěn)步推進(jìn)：由易到難，穩(wěn)步推進(jìn)：初期以數(shù)據(jù)整合為主，逐步面向內(nèi)外提供數(shù)據(jù)服務(wù)。管控架構(gòu)，同步推進(jìn)：管控架構(gòu)，同步推進(jìn)：同步推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)化和組織機(jī)構(gòu)變革，為大數(shù)據(jù)共享平臺(tái)商用奠定基礎(chǔ)。自主掌控，能力內(nèi)化：自主掌控，能力內(nèi)化：逐步培養(yǎng)自研團(tuán)隊(duì)，構(gòu)建研發(fā)運(yùn)營一體化能力。- -1212- -中國移動(dòng)大數(shù)據(jù)平臺(tái)架構(gòu)中國移動(dòng)大數(shù)據(jù)平臺(tái)架構(gòu)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)的技術(shù)架構(gòu)包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)與計(jì)算層、開發(fā)框架和應(yīng)用中心四層，同時(shí)包括統(tǒng)一運(yùn)維管理

12、為各類使用人員提供服務(wù)。在大數(shù)據(jù)技術(shù)架構(gòu)中數(shù)據(jù)的存儲(chǔ)和計(jì)算是緊密相連的。- -1313- -建設(shè)重點(diǎn)建設(shè)重點(diǎn)1與其他分析型平臺(tái)關(guān)系與其他分析型平臺(tái)關(guān)系p大數(shù)據(jù)共享平臺(tái)：大數(shù)據(jù)共享平臺(tái)：全網(wǎng)XDR數(shù)據(jù)采集、標(biāo)準(zhǔn)化、全量存儲(chǔ)（1個(gè)月）全網(wǎng)網(wǎng)管數(shù)據(jù)采集、標(biāo)準(zhǔn)化、全量存儲(chǔ)大數(shù)據(jù)共享平臺(tái)實(shí)現(xiàn)負(fù)責(zé)xDR數(shù)據(jù)和網(wǎng)管數(shù)據(jù)的統(tǒng)一集中采集和預(yù)處理；提供上層應(yīng)用對(duì)xDR細(xì)粒度數(shù)據(jù)的查詢響應(yīng)。按應(yīng)用需求進(jìn)行多維度小粒度匯總、數(shù)據(jù)整合、存儲(chǔ)提供明細(xì)數(shù)據(jù)查詢、輕度匯總數(shù)據(jù)查詢。p性能管理系統(tǒng)：性能管理系統(tǒng)：從大數(shù)據(jù)共享平臺(tái)獲取應(yīng)用所需全量小時(shí)匯總數(shù)據(jù)。數(shù)據(jù)緩存層：負(fù)責(zé)對(duì)來自于大數(shù)據(jù)共享平臺(tái)的數(shù)據(jù)進(jìn)行深入處理和緩存；為應(yīng)用

13、層提供各種匯總數(shù)據(jù)存儲(chǔ)、處理與共享，以及綜合分析與深度挖掘。應(yīng)用層：承載上層各類應(yīng)用軟件和第三方應(yīng)用，實(shí)現(xiàn)上層應(yīng)用。- -1414- -第 14 頁2G3G4GWLANNetworkData acquisitionData parsingData storageApplicationE1 InterfaceSignaling ParsingDPI ProcessingTraffic IdentifyCDR FusionATM InterfaceFE/GE InterfaceData storage and data service for each application systemPerf

14、ormance AnalysisBehavior AnalysisData OperationIndustry Application- -1515- -建設(shè)重點(diǎn)建設(shè)重點(diǎn)2制定數(shù)據(jù)治理規(guī)則制定數(shù)據(jù)治理規(guī)則規(guī)范約束規(guī)范約束構(gòu)建基礎(chǔ)構(gòu)建基礎(chǔ)提升改進(jìn)提升改進(jìn)數(shù)據(jù)評(píng)估數(shù)據(jù)評(píng)估數(shù)據(jù)盤點(diǎn)數(shù)據(jù)盤點(diǎn)數(shù)據(jù)治理數(shù)據(jù)治理制定安全流程系統(tǒng)間數(shù)據(jù)流數(shù)據(jù)統(tǒng)一視圖數(shù)據(jù)字典數(shù)據(jù)標(biāo)準(zhǔn)評(píng)估數(shù)據(jù)安全評(píng)估統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)實(shí)體典型問題分析與改進(jìn)建議強(qiáng)化治理組織完善數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量評(píng)估數(shù)數(shù)據(jù)據(jù)治治理理方方法法- -1616- -建設(shè)重點(diǎn)建設(shè)重點(diǎn)3HADOOP服務(wù)器測算模型服務(wù)器測算模型模型搭建：根據(jù)模型搭建：根據(jù)HDFS存儲(chǔ)容量能力計(jì)算

15、，主要分為兩個(gè)方面：存儲(chǔ)容量能力計(jì)算，主要分為兩個(gè)方面：p一是某一體量的數(shù)據(jù)在采用不同的數(shù)據(jù)處理技術(shù)時(shí)，它所需要的物理存儲(chǔ)容量、即磁盤裸容量的理論計(jì)算；p二是針對(duì)配置一定情況下，X86服務(wù)器在承載不同的數(shù)據(jù)處理技術(shù)實(shí)體時(shí)，該X86服務(wù)器能夠提供的有效存儲(chǔ)容量。p最終得出某一體量的數(shù)據(jù)在采用不同的數(shù)據(jù)處理技術(shù)時(shí)所需要配置的X86服務(wù)器數(shù)量=物理存儲(chǔ)容量X86服務(wù)器能夠提供的有效存儲(chǔ)容量。HDFS存儲(chǔ)能力需求計(jì)算模型存儲(chǔ)能力需求計(jì)算模型序號(hào)序號(hào)參數(shù)名稱參數(shù)名稱取值范圍取值范圍取定值（取定值（TB）1原始存儲(chǔ)數(shù)據(jù)量TB1002副本數(shù)333索引率20%30%30%4數(shù)據(jù)壓縮率1/2/3/4/53物理存

16、儲(chǔ)總?cè)萘?1*2*(1+3)/4130序號(hào)序號(hào)參數(shù)名稱參數(shù)名稱取值范圍取值范圍取定值取定值（TB）1單碟物理容量1TB4TB42有效存儲(chǔ)碟數(shù)量123劃盤損壞10%20%20%4HDFS生成日志所占空間85單臺(tái)服務(wù)器有效存儲(chǔ)總?cè)萘?1*2*3430.4按此模型共需要13030.4=5臺(tái)X86服務(wù)器。- -1717- -1、HADOOP集群互聯(lián)帶寬需求：集群互聯(lián)帶寬需求：跨機(jī)房：點(diǎn)對(duì)點(diǎn)的帶寬機(jī)房間互聯(lián)帶寬/節(jié)點(diǎn)數(shù)Hadoop集群的NameNode節(jié)點(diǎn)不支持跨機(jī)房部署，DataNode節(jié)點(diǎn)跨機(jī)房部署時(shí)，機(jī)房間的互聯(lián)電路為關(guān)鍵電路，承載兩機(jī)房間各數(shù)據(jù)節(jié)點(diǎn)間通信。若互聯(lián)電路故障時(shí)，則會(huì)導(dǎo)致集群不可用。D

17、NDNDNDNDNDNNameNode機(jī)房機(jī)房1機(jī)房機(jī)房2機(jī)房間的帶寬量將限制多節(jié)點(diǎn)間的傳輸帶寬，如以機(jī)房間電路10G、300節(jié)點(diǎn)計(jì)算，節(jié)點(diǎn)間帶寬為：10*1024/300 34Mbps結(jié)論：結(jié)論：1、HADOOP集群采用單局點(diǎn)部署，可保證集群正常工作，通信效率高。2、HADOOP集群采用多局點(diǎn)部署，為減少通信延遲，必須保證集群節(jié)點(diǎn)間傳輸帶寬，按本期集群228個(gè)節(jié)點(diǎn)測算，需要互聯(lián)鏈路300G（有保護(hù)鏈路），傳輸需要投資約1000萬元。綜合考慮，建議大數(shù)據(jù)平臺(tái)采用單單局點(diǎn)局點(diǎn)部署。建設(shè)重點(diǎn)建設(shè)重點(diǎn)4HADOOP集群對(duì)局址的選擇集群對(duì)局址的選擇1/2- -1818- -2、HADOOP集群互聯(lián)延遲需求：集群互聯(lián)延遲需求：為保證數(shù)據(jù)節(jié)點(diǎn)間數(shù)據(jù)同步，HADOOP集群內(nèi)節(jié)點(diǎn)間延遲要求小于1毫秒(業(yè)界公認(rèn)指標(biāo))，若延遲大于1毫秒，會(huì)出現(xiàn)數(shù)據(jù)同步出錯(cuò)情形。交互耗時(shí)分類單位耗時(shí)(us)數(shù)量耗時(shí)小計(jì)(us)跨緯五路-淮南IDC機(jī)房總耗時(shí)(us)單局點(diǎn)機(jī)房總耗時(shí)(us)端口128961581216尋址304120波分轉(zhuǎn)發(fā)503150光纖傳輸52431215pHADOOP集群單機(jī)房部署時(shí)節(jié)點(diǎn)間通信延遲約為216微秒。pHADOOP集群跨機(jī)房部署時(shí)(以緯五路與淮