大數據技術中心建設規(guī)劃探討版

1、大數據技術中心建設規(guī)劃探討近幾年來互聯網以及物聯網技術的發(fā)展非常迅速，整個社會生產生活中的數據規(guī)模在急劇的膨脹。針對海量的數據進行有效的采集、存儲、處理、分析已經逐漸成為了當今信息社會發(fā)展的主要趨勢。大數據技術能夠實現對海量數據全生命周期內的存儲以及處理，因此必須要針對大數據的處理方法以及處理能力進行不斷的挖掘。但是建立基于大數據技術的新處理方法是一件非常復雜的事情。必須要建立起具有較強開放性并實現軟硬件有效結合的綜合性體系構架。1總體規(guī)劃1.1設計原則。在實際建設大數據技術的云數據中心時，必須要摒棄傳統模式下，建設數據中心的弊端，要充分綜合整合化、標準化、模塊化、虛擬化、自動化以及面向服務的

2、整體建設思路1。1.1.1需求導向原則。要充分結合信息發(fā)展的總體規(guī)劃來進行數據資源中心系統軟硬件支撐平臺的建設，鑒于此，就必須要對短時間內需要完成的信息系統對軟硬件功能以及實際性能的需求進行充分綜合，以實際需求作為基本原則，并實現按照需求來進行整體分配，統一規(guī)劃。1.1.2整合共享原則。要針對傳統建設數據中心過程中存在的分散性、重復性建設問題進行有效改善，進一步提升數據資源的利用效率，這樣才能充分滿足當前信息資源整合不斷變化的需求，也能夠將數據信息管理的難度復雜程度降低到最低，也能夠實現對IT總擁有成本的有效控制。1.1.3服務高效原則在實際針對數據資源中心軟硬件支撐平臺進行建設以及管理的過程

3、中，其不同的生命周期階段實際服務的內容具有較大差異性，必須要針對數據資源中心建立起統一的基礎設施運維管理體系，并實現對服務流程的進一步規(guī)范，對相關操作規(guī)程進行進一步明確，這樣才能有效提升服務效率。1.2總體構架。充分結合云計算、大數據等先進技術來構建起面向生產運行服務的數據中心系統以及數據平臺。其中要將基礎設施、數據資源、大數據、云計算平臺、業(yè)務應用、安全防護等幾個部分包括在內。大數據及云計算平臺的主要作用是將各個生產環(huán)節(jié)以及各項業(yè)務所輸出的數據進行采集和存儲。在此基礎上針對數據進行篩選、多維度分析處理，來完成整個原始數據的初步處理2。充分利用數據平臺的數據挖掘以及分析能力對采集數據進行深度挖

4、掘，并將最終的分析結果利用數據分析門戶傳輸到用戶終端實現應用。整個數據中心能夠為用戶提供全方位的資源管理和監(jiān)控服務，而且能夠充分借助3D仿真以及2D拓撲等多種方式為用戶提供全方位的系統管理服務。通過安全防護功能能夠讓整個系統實現安全運行，與此同時，在數據中心建立的基礎上，能夠為用戶提供一個基于大數據以及云計算的運算、開發(fā)以及管理平臺。在此平臺基礎上，用戶就能夠從應用與業(yè)務、系統與平臺、硬件與資源等多個方向實現進一步拓展，這樣就能夠為用戶提供能夠實現靈活配置的計算、網絡、存儲等資源服務。-.2基礎設施在未來的系統研發(fā)以及運行過程中基礎設施是非常重要的一個平臺，充分利用基礎設施能夠為系統研發(fā)提供平

5、臺以及設備托管服務；而且也能夠為業(yè)務、系統的開發(fā)提供具備更高性能的計算、網絡以及存儲環(huán)境，這樣就能夠為后期進行大數據開發(fā)提供先進的技術支撐。整個數據中心可以嚴格的劃分為存儲區(qū)、計算區(qū)、網絡區(qū)等，在充分綜合演示匯報、系統運維以及安全系統等各項基本功能之外就能夠讓數據中心處理平臺更加完善。-.-.3大數據平臺大數據平臺的主要作用就是為用戶提供大數據的相關存儲管理以分析處理功能。不同類型的大數據在經過數據信息交互服務之后進入到信息交換區(qū)中。信息交換區(qū)接受數據之后就可以將相關的數據進行采集，并將其推送到相關的業(yè)務系統中。3.1數據存儲分類。業(yè)務應用大數據格式主要可以分為非結構化以及結構化兩種數據類型。

6、其中非結構化數據主要采取的是分布式存儲模式，針對其容錯存儲主要采取的是網絡編碼方式，這樣就能夠讓容錯存儲的代價得到最大程度控制；而結構化數據再充分結合相關核心業(yè)務的數據庫實際業(yè)務需求基礎上實現了分類管理。針對后期階段研判以及在進行大數據分析和挖掘過程中實際需要的各項數據都是在分布式數據庫中進行存儲；而針對各項核心業(yè)務實際需求的數據主要是通過數據清晰轉換之后將其在相應的業(yè)務數據庫中進行存儲。3.2部署方案。管理節(jié)點：針對安裝了集群的管理系統，可以為系統提供統一的入口，同時還要針對部署在集群中的所有節(jié)點以及相應的服務進行集中的管理?？刂乒?jié)點：主要的作用是針對監(jiān)控數據的節(jié)點完成數據相關的存儲、接收、

7、發(fā)送等相關的進程，并針對控制節(jié)點完成相應的公共功能。數據節(jié)點：針對相應的管理節(jié)點發(fā)出相應指令，并將相關的任務狀態(tài)進行上報，對數據進行合理的存儲，針對數據節(jié)點相應的公共功能進行嚴格執(zhí)行。33分布式并行處理。在分布式并行處理中主要包括了數據清洗標準化、數據關聯融合以及數據深度分析等多個模塊3。在實際針對不同模塊進行設計的過程中要充分結合實際業(yè)務動態(tài)變化的實際需求來具體定制相關的功能邏輯。分布式并行處理能夠為整個系統提供比較前沿的并行計算框架，而且也能夠很好的支持高性能的分析計算，而且也能夠在數據中心中部署計算量相對較大的相關任務，也能夠同時提供一些具備批量計算處理的框架、3.4內存分析引擎。其能夠

8、為充分利用內存計算來提供一種高校的查詢引擎，但是基礎上就能夠實現快速分析和查詢，在一些對實時性要求比較高的場合具有較強的適應性。與此同時還能夠為系統提供SQL查詢接口，這樣充分利用SQL句，就能夠實現數據新建、數據插入、數據查詢以及數據刪除等相關操作。3.5組網方案。首先將整個網絡劃分為業(yè)務以及管理平面，針對這兩個不同的平面主要采取的是物理隔離的方式來進行部署，要充分保證業(yè)務、管理等兩個網絡的安全習慣。這對整個網絡的主要節(jié)點還要必須要設置能夠支持外部管理網絡的IP地址，這樣用戶就可以充分利用外部的管理網絡來實現對整個網絡的集群管理。組網設計如果采取的是平面組網方式的時候，整個集群中的每一個節(jié)點

9、分別接入到管理以及業(yè)務平面中，還要這對每一個節(jié)點有針對性的準備相應的管理以及業(yè)務IP地址，針對每一個IP地址主要采用了2個網絡接口的配置Bond,并針對不同的IP地址還要接入相應的交接機。3.6硬盤分區(qū)原則。如果實際建設的集群節(jié)點實際的規(guī)模相對比較達的時候，就很可能會是哦IO實際的負載高很逗，針對管理節(jié)點的元數據可以合理的采用的分盤模式。如果在元數據分區(qū)中實際部署多塊磁盤的時候，要優(yōu)先針對Zookeeper中所有的數據目錄專門的配置相應的Zookeeper數據存在磁盤，或者還可以針對數據目錄配置相應的ssd存儲。3.7實時流處理。在該模塊中主要包括了研判模型建立及數據分析。根據研判模型必須要充分保證其定義模型滿足相關的擴展性，而且也能夠針對后期新業(yè)務開展中實際研判需求進行動態(tài)擴展