易訊通大數(shù)據(jù)解決方案(空管)

云計算|大數(shù)據(jù)|云桌面|云存儲|虛擬化|云平臺|超融合|云安全|大數(shù)據(jù)解決方案01方案介紹|內(nèi)容數(shù)據(jù)我們的需求延誤成因分析空域利用率分析空域監(jiān)控我們的需求數(shù)據(jù)量大，維度高，現(xiàn)有結(jié)構(gòu)難以適應不斷增長的數(shù)據(jù)量和維度；數(shù)據(jù)管理分散化且信息缺失嚴重，無法有效共享和協(xié)同作業(yè)；數(shù)據(jù)需要經(jīng)過很多預處理步驟，數(shù)據(jù)挖掘可行性低、分析效率低、時效性低；數(shù)據(jù)利用率低，不能很好的應用現(xiàn)有數(shù)據(jù)優(yōu)化生產(chǎn)運行、提高運營收益；…面臨的挑戰(zhàn)方案設(shè)計建立統(tǒng)一數(shù)據(jù)管理平臺，實現(xiàn)數(shù)字化運行整體規(guī)劃建立安全警報體系，挖掘運行低效點，實現(xiàn)安全與效率的完美平衡深入挖掘數(shù)字價值，廣泛應用于生產(chǎn)運營指導中建立信息化管理模式，實現(xiàn)資源合理安排，保障航空機構(gòu)可持續(xù)發(fā)展方案價值延誤成因分析數(shù)據(jù)展示以下是從美國FAA獲取的2008年民航數(shù)據(jù)，超過700萬條數(shù)據(jù)，包含29個維度，包括起落時間、航班號、飛機尾號、飛行距離、延誤時間、延誤代碼等：運營商數(shù)據(jù)機場數(shù)據(jù)飛行器數(shù)據(jù)數(shù)據(jù)展示從所有的航班分析五種航班延誤原因的比率：數(shù)據(jù)展示 通過交互式計算（這里使用spark-shell），可以很快地得到一些諸如延誤率（天氣、安全等方面）、信息。

例如，2008年因天氣原因造成延誤率（天氣造成延誤/總航行次數(shù)）為：1.43%，數(shù)據(jù)展示 從上圖中可以看到一些有意思的現(xiàn)象，在二十家航空公司中，代碼為OH的這家航空公司（Comair

Inc.）因天氣原因造成的延誤次數(shù)（11802）和延誤占比（5.97%）都很高。那么我們是不是可以做個簡單的推斷：它的主要航線各機場氣候條件不是很理想。實際情況是不是這樣的呢？ 從維基百科上可以查到Comair的主要航線都集中在美國東部，那么美國東部氣候是否相對惡劣一些？答案是肯定的（可以拿天氣的歷史數(shù)據(jù)進行分析）。

wiki鏈接：https:///wiki/Comair？ 天氣：https:///Why-is-the-weather-typically-so-much-better-on-the-West-Coast-than-on-the-East-Coast 天氣是否是造成飛機延誤的主要原因呢？ 報道：/today/are-airlines-bending-the-truth-about-weather-delays/數(shù)據(jù)展示 通過交互式計算（這里使用spark-shell），可以很快地得到一些諸如延誤率（天氣、安全等方面）、信息。

例如，2008年因安全因素造成的延誤率為：0.09%02產(chǎn)品介紹|內(nèi)容產(chǎn)品介紹一站式數(shù)據(jù)存儲平臺內(nèi)存計算技術(shù)、高效索引、執(zhí)行計劃優(yōu)化和高度容錯動態(tài)不停機伸縮一站式資源管理平臺統(tǒng)一的計算資源管理、動態(tài)資源分配、資源配置動態(tài)共享一站式數(shù)據(jù)分析平臺支持批處理、交互式SQL、在線檢索、R語言數(shù)據(jù)挖掘、機器學習、流處理等一站式管理平臺友好的管理界面，系統(tǒng)安裝、配置便利安全訪問控制、監(jiān)控與預警

易訊通大數(shù)據(jù)平臺（EDP）作為企業(yè)級大數(shù)據(jù)解決方案，集數(shù)據(jù)存儲、分析計算、資源管理、用戶管理等于一體，開發(fā)了用戶友好的管理界面、提供了系統(tǒng)安裝、集群配置，安全訪問控制、監(jiān)控及預警等多方面支持，為大數(shù)據(jù)核心業(yè)務(wù)、運維支撐、資源管控等提供了足夠的便利與雄厚的支持。產(chǎn)品介紹HDFS分布式文件系統(tǒng)YARN集群資源分配、管理HBase列式數(shù)據(jù)倉儲Spark內(nèi)存加速計算MapReduce2分布式計算Storm流處理R

&

Statistic統(tǒng)計與分析ML機器學習GraphX圖計算ECloud

Data

Platform集群安裝、部署、管理、監(jiān)控以及作業(yè)執(zhí)行進度監(jiān)控等Data

Visualization數(shù)據(jù)可視化產(chǎn)品架構(gòu)Zookeeper節(jié)點管理、統(tǒng)一配置服務(wù)Flume日志采集Sqoop數(shù)據(jù)交換HiveSQL查詢數(shù)據(jù)集成數(shù)據(jù)存儲資源管理數(shù)據(jù)計算數(shù)據(jù)分析挖掘及可視化業(yè)務(wù)與應用DataX數(shù)據(jù)交換Sequence

Files序列文件External

API外部API集成API垃圾郵件分析交易處理系統(tǒng)日志分析音頻與視頻處理…產(chǎn)品優(yōu)勢先進性系統(tǒng)引入業(yè)界先進的技術(shù)架構(gòu)，具備良好的技術(shù)前瞻性。成熟性該系統(tǒng)的體系架構(gòu)在國內(nèi)外多個行業(yè)的大型企業(yè)中都有成熟的應用，在多種苛刻的性能要求下都能夠提供穩(wěn)定的系統(tǒng)支撐能力。高性能支持分布式數(shù)據(jù)存儲和處理的集群體系架構(gòu)；支持海量數(shù)據(jù)的存儲和大量用戶并發(fā)進行的快速統(tǒng)計查詢。滿足運營商進行客戶服務(wù)時的秒級查詢響應需要。高穩(wěn)定性分布式集群架構(gòu)使得部署的硬件設(shè)備也具備高可靠性，多臺低成本的PC服務(wù)器組成的集群，即使有多臺節(jié)點出現(xiàn)故障都依然可以不間斷的提供數(shù)據(jù)服務(wù)。高可擴展性根據(jù)存儲和性能的需要，按需進行動態(tài)的增減節(jié)點，數(shù)據(jù)的存儲能力和處理性能都會按照線性的的趨勢增長。易維護性提供直觀的圖形界面，無需復雜的維護工作。也不會因為系統(tǒng)規(guī)模的擴大而增加過多的維護人員成本。產(chǎn)品優(yōu)勢分布式計算分布式存儲先進的技術(shù)架構(gòu)產(chǎn)品優(yōu)勢Storm流式計算Spark內(nèi)存加速計算Raw

StreamBoltsSpouts產(chǎn)品優(yōu)勢成熟的應用模型EDP采用廣泛被業(yè)界使用的大數(shù)據(jù)成熟技術(shù)和穩(wěn)定框架，提供高可靠、高性能的大數(shù)據(jù)解決方案。產(chǎn)品優(yōu)勢高性能采用Spark內(nèi)存加速計算技術(shù)，采用相比傳統(tǒng)MapReduce速度提升數(shù)十到數(shù)百倍。產(chǎn)品優(yōu)勢快速地結(jié)構(gòu)化數(shù)據(jù)庫導入導出與高性能的下一代消息系統(tǒng)，讓用戶方便地接入傳統(tǒng)數(shù)據(jù)庫及流式數(shù)據(jù)，并有著相當高的系統(tǒng)吞吐量。產(chǎn)品優(yōu)勢高穩(wěn)定性 以成熟的HDFS為主要的持久化數(shù)據(jù)存儲文件系統(tǒng)，不僅能適應海量數(shù)據(jù)存儲需求，也能保障數(shù)據(jù)讀寫帶寬。

HDFS以數(shù)據(jù)塊為數(shù)據(jù)存儲最小單位，多副本機制保證了至少三級容災級別，提高了數(shù)據(jù)存儲的可靠性。 備用名字節(jié)點機制在名字節(jié)點出現(xiàn)不可修復故障的情況下，能減小單點故障（SPOF）對系統(tǒng)造成災難性損害的可能。產(chǎn)品優(yōu)勢

Spark采用RDD（彈性分布式數(shù)據(jù)集）機制，RDD之間有依賴關(guān)系，一旦出現(xiàn)數(shù)據(jù)丟失或者任務(wù)調(diào)度失敗，系統(tǒng)會找到最近的依賴上層的RDD進行重新調(diào)度計算；如果所有RDD數(shù)據(jù)都不可用，系統(tǒng)還可以從HDFS中加載原始數(shù)據(jù)進行重新快速計算。這樣就保證了內(nèi)存加速計算的數(shù)據(jù)與計算的高可靠性。 系統(tǒng)采用Hadoop最新的資源管理系統(tǒng)YARN，將資源管理與應用管理解耦合，而每個應用都有一個隨機啟動的應用管理接口，這樣同時提高了系統(tǒng)和應用的穩(wěn)定性。同時，YARN調(diào)度可以應對Map/Reduce任務(wù)失敗，將它們重新調(diào)度或者在新的節(jié)點上重新運行。產(chǎn)品優(yōu)勢良好的擴展性可以方便地導入導出傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫，支持與Kafka等消息系統(tǒng)集成。EDP產(chǎn)品優(yōu)勢易維護性在EDP的首頁中就顯示了系統(tǒng)中大量的監(jiān)控信息，并且這些監(jiān)控信息還可以利用時間段進行查詢，且可以通過點擊單個模塊查看到更加詳細的信息和記錄。產(chǎn)品優(yōu)勢可以方便的查看操作日志與添加組件，每個操作有進度展示。EDP可以方便地添加（刪除）服務(wù)和節(jié)點。03軟件配置|內(nèi)容經(jīng)過分析整理，本次大數(shù)據(jù)平臺建設(shè)的目標主要集中在幾點：海量數(shù)據(jù)的清洗，交叉對比，進入數(shù)據(jù)倉庫，并反應到業(yè)務(wù)系統(tǒng)；提供海量數(shù)據(jù)的多維度查詢使用；對業(yè)務(wù)數(shù)據(jù)進行分析挖掘，為對應的業(yè)務(wù)部門提供更多操作和決策依據(jù)；結(jié)合其他領(lǐng)域的數(shù)據(jù)（例如互聯(lián)網(wǎng)數(shù)據(jù)），優(yōu)化現(xiàn)有業(yè)務(wù)；需求分析NoSQLGraph

DBSparkHiveHadoop高級數(shù)據(jù)分析（多種結(jié)構(gòu)數(shù)據(jù)）流式數(shù)據(jù)NoSQLDBMSHadoop數(shù)據(jù)存儲企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)倉庫與DBMS數(shù)據(jù)倉庫設(shè)施高級數(shù)據(jù)分析（結(jié)構(gòu)化數(shù)據(jù)）主數(shù)據(jù)管理ProcCUDRAssetAnalytical

RDBMS實時處理決策管理圖分析數(shù)據(jù)調(diào)研分析數(shù)據(jù)提純數(shù)據(jù)挖掘模型開發(fā)傳統(tǒng)式查詢、報告與分析數(shù)據(jù)挖掘模型開發(fā)數(shù)據(jù)與計算類型

傳統(tǒng)數(shù)據(jù)源和數(shù)據(jù)分析方式通過與大數(shù)據(jù)平臺接入并集成，讓企業(yè)現(xiàn)有核心業(yè)務(wù)系統(tǒng)能夠繼續(xù)正常運營，同時也擴展了平臺存儲能力，提供更強的數(shù)據(jù)分析計算能力，以及更多數(shù)據(jù)計算、機器學習與數(shù)據(jù)挖掘的方式（比如，大數(shù)據(jù)平臺能夠接入R、Python等分析處理工具，它們提供了豐富的機器學習、數(shù)據(jù)挖掘的庫）

數(shù)據(jù)流服務(wù)架構(gòu)數(shù)據(jù)分析挖掘?qū)訑?shù)據(jù)分析挖掘?qū)又饕撠煆拇罅炕蛘吆Ａ康臄?shù)據(jù)中挖掘出具有潛在價值的信息，包括以下幾個內(nèi)容：數(shù)據(jù)挖掘自然語言處理推薦引擎社會網(wǎng)絡(luò)分析引擎數(shù)據(jù)集成層數(shù)據(jù)集成層主要負責數(shù)據(jù)的ETL以及數(shù)據(jù)挖掘預處理等工作，結(jié)合相關(guān)業(yè)務(wù)，其內(nèi)容主要分為以下幾個方面：傳統(tǒng)ETLRDBMS與NoSQL互聯(lián)網(wǎng)數(shù)據(jù)采集日志采集數(shù)據(jù)存儲層主要分為以下幾個內(nèi)容：HDFSHBase其他NoSQL關(guān)系型數(shù)據(jù)庫數(shù)據(jù)處理計算層數(shù)據(jù)處理計算層基本采用EDP默認的組件，主要分為以下幾個內(nèi)容：資源管理平臺分布式服務(wù)框架分布式批處理內(nèi)存計算、實時計算圖計算服務(wù)組成04硬件配置|內(nèi)容硬件規(guī)模微型規(guī)模(5個計算節(jié)點)250TB存儲容量2個NameNode節(jié)點5個DataNode節(jié)點60個至強E5處理核心320GB

ECC內(nèi)存1GigE網(wǎng)絡(luò)交換機遠程IPMI管理CentOS

Linux

7EDP安裝服務(wù)小型規(guī)模（10個計算節(jié)點）500TB存儲容量2個NameNode節(jié)點1個數(shù)據(jù)交換節(jié)點10個DataNode節(jié)點160個至強E5處理核心1280GB

ECC內(nèi)存1GigE網(wǎng)絡(luò)交換機遠程IPMI管理CentOS

Linux

7EDP安裝服務(wù)中等規(guī)模（30個計算節(jié)點）1500TB存儲容量2個NameNode節(jié)點1個數(shù)據(jù)交換節(jié)點30個DataNode節(jié)點480個至強E5處理核心3840GB

ECC內(nèi)存1GigE網(wǎng)絡(luò)交換機遠程IPMI管理CentOS

Linux

7EDP安裝服務(wù)規(guī)模參考硬件規(guī)格DataNode節(jié)點硬件規(guī)格產(chǎn)品特性軟件資源2

x

Intel

E5-2630處理器6

x

2TB

SATA

III或SAS磁盤64

GB

ECC內(nèi)存2

x千兆網(wǎng)卡（可選擇萬兆以太網(wǎng)卡）專用的IPMI

/

iKVM企業(yè)平臺冗余電源靈活配置DataNode

DaemonGanglia

MonitorRegion

ServerNodeManagerSupervisor數(shù)據(jù)交換節(jié)點硬件規(guī)格產(chǎn)品特性軟件資源2

x

Intel

E5-2630處理器1

x

2TB

SATA

III或SAS磁盤32

GB

ECC內(nèi)存2

x千兆網(wǎng)卡（可選擇萬兆以太網(wǎng)卡）專用的IPMI

/

iKVM企業(yè)平臺冗余電源靈活配置冗余存儲RAID

0,1,5,6,10,50HiveServer/ClientTezClientNimbusNagiosServer硬件規(guī)格NameNode節(jié)點（管理節(jié)點）硬件規(guī)格產(chǎn)品特性軟件資源2

x

Intel

E5-2630處理器1

x

2TB

SATA

III或SAS磁盤32

GB

ECC內(nèi)存2

x千兆網(wǎng)卡（可選擇萬兆以太網(wǎng)卡）專用的IPMI

/

iKVM企業(yè)平臺冗余電源靈活配置冗余存儲RAID

0,1,5,6,10,50App

Timeline

ServerDRPC

ServerGanglia

MonitorHDFS

ClientNameNode與Secondary

NameNodeOozie

Server/ClientYARN

ClientZookeeper

Server/ClientMySQL

Server數(shù)據(jù)可視化節(jié)點硬件規(guī)格產(chǎn)品特性軟件資源2

x

Intel

E5-2630處理器1

x

2TB

SATA