大數(shù)據(jù)平臺(tái)產(chǎn)品解決方案

大數(shù)據(jù)平臺(tái)產(chǎn)品解決方案1.平臺(tái)應(yīng)用背景 大數(shù)據(jù)是智慧城市各個(gè)領(lǐng)域都能夠?qū)崿F(xiàn)“智慧化”的關(guān)鍵性支撐技術(shù)，智慧城市的建設(shè)離不開(kāi)大數(shù)據(jù)。建設(shè)智慧城市，是城市發(fā)展的新范式和新戰(zhàn)略。大數(shù)據(jù)將遍布智慧城市的方方面面，從政府決策與服務(wù)，到人們衣食住行的生活方式，再到城市的產(chǎn)業(yè)布局和規(guī)劃，直到城市的運(yùn)營(yíng)和管理方式，都將在大數(shù)據(jù)支撐下走向“智慧化”，大數(shù)據(jù)成為智慧城市的智慧引擎。大數(shù)據(jù)平臺(tái)是基于先進(jìn)的大數(shù)據(jù)技術(shù)和云計(jì)算平臺(tái)的、具有完全自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)存儲(chǔ)、處理和分析平臺(tái)，能夠從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)并加以利用，不間斷地通過(guò)信息終端和信息服務(wù)，信息需求者可按需隨時(shí)獲取，從而增強(qiáng)環(huán)境的友好性，提高城市管理的效率和科學(xué)性。2.平臺(tái)解決方案2.1平臺(tái)架構(gòu) 大數(shù)據(jù)整合支撐平臺(tái)是基于先進(jìn)的大數(shù)據(jù)技術(shù)和云計(jì)算技術(shù)的、具有完全自主知識(shí)產(chǎn)權(quán)的大數(shù)據(jù)處理平臺(tái)，涵蓋了數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)交換與共享等環(huán)節(jié)，能夠?yàn)檎块T和企事業(yè)單位提供數(shù)據(jù)處理全生命周期的綜合性數(shù)據(jù)服務(wù)。平臺(tái)架構(gòu)采用組件化和模塊化的設(shè)計(jì)思想，降低系統(tǒng)模塊之間的耦合性，提高平臺(tái)整體對(duì)不同應(yīng)用場(chǎng)景的適應(yīng)性。平臺(tái)還預(yù)留二次開(kāi)發(fā)接口，為平臺(tái)的擴(kuò)展奠定穩(wěn)定基礎(chǔ)。系統(tǒng)結(jié)構(gòu)如下圖所示：2.2平臺(tái)功能數(shù)據(jù)整合系統(tǒng)數(shù)據(jù)整合系統(tǒng)可以將來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合，然后加載到本地?cái)?shù)據(jù)庫(kù)或云存儲(chǔ)設(shè)施中。在進(jìn)行數(shù)據(jù)整合的過(guò)程中，會(huì)根據(jù)用戶定義的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和清洗，保持?jǐn)?shù)據(jù)的正確性、一致性和完整性。數(shù)據(jù)存儲(chǔ)系統(tǒng)根據(jù)數(shù)據(jù)用途的不同，數(shù)據(jù)存儲(chǔ)系統(tǒng)分為業(yè)務(wù)型數(shù)據(jù)處理子系統(tǒng)和分析型數(shù)據(jù)處理子系統(tǒng)。業(yè)務(wù)型數(shù)據(jù)處理子系統(tǒng)業(yè)務(wù)型數(shù)據(jù)處理子系統(tǒng)保存和管理由各個(gè)管理信息系統(tǒng)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，是數(shù)據(jù)整合系統(tǒng)最終保存數(shù)據(jù)的目的地。主要包含以下功能和特性：數(shù)據(jù)保存支持多種結(jié)構(gòu)的數(shù)據(jù)，包括關(guān)系型數(shù)據(jù)、半關(guān)系型數(shù)據(jù)以及非關(guān)系型數(shù)據(jù)等。數(shù)據(jù)管理提供可視化的數(shù)據(jù)資源管理功能，包括數(shù)據(jù)位置、數(shù)據(jù)模式、服務(wù)器狀態(tài)等。SQL優(yōu)化提供SQL查詢優(yōu)化功能，對(duì)數(shù)據(jù)請(qǐng)求制定優(yōu)化的查詢計(jì)劃，加快數(shù)據(jù)查詢速度。負(fù)載均衡使用集群技術(shù)，解決大數(shù)據(jù)操作的負(fù)載均衡問(wèn)題，保證系統(tǒng)整體的可用性和性能。業(yè)務(wù)型數(shù)據(jù)處理子系統(tǒng)主要有兩個(gè)作用：作為數(shù)據(jù)交換和共享的來(lái)源大數(shù)據(jù)平臺(tái)是一個(gè)開(kāi)放的平臺(tái)，平臺(tái)內(nèi)的數(shù)據(jù)是開(kāi)放的而不是封閉的。業(yè)務(wù)修補(bǔ)過(guò)數(shù)據(jù)處理子系統(tǒng)中的數(shù)據(jù)可以通過(guò)服務(wù)接口交換和共享到外部應(yīng)用系統(tǒng)中，增加數(shù)據(jù)的使用范圍，消除信息孤島。為數(shù)據(jù)分析和挖掘的來(lái)源數(shù)據(jù)倉(cāng)庫(kù)是進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘的基礎(chǔ)，而數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)則來(lái)源于業(yè)務(wù)系統(tǒng)。業(yè)務(wù)型數(shù)據(jù)處理子系統(tǒng)可以為數(shù)據(jù)倉(cāng)庫(kù)提供數(shù)據(jù)來(lái)源，構(gòu)建有利于數(shù)據(jù)分析和數(shù)據(jù)挖掘的數(shù)據(jù)結(jié)構(gòu)。分析型數(shù)據(jù)處理子系統(tǒng)分析型數(shù)據(jù)處理子系統(tǒng)用來(lái)保存和管理用于進(jìn)行數(shù)據(jù)分析和挖掘目的的數(shù)據(jù)，支持上層的數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)統(tǒng)計(jì)服務(wù)。要包含以下功能和特性：數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市是進(jìn)行數(shù)據(jù)分析的基礎(chǔ)，為各類分析和挖掘算法提供數(shù)據(jù)來(lái)源。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)結(jié)構(gòu)是根據(jù)數(shù)據(jù)分析或數(shù)據(jù)挖掘的主題進(jìn)行設(shè)計(jì)的，以區(qū)別于業(yè)務(wù)子系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。這樣做的目的是建立多維數(shù)據(jù)集，多維數(shù)據(jù)集有利于數(shù)據(jù)分析或數(shù)據(jù)挖掘算法在大數(shù)據(jù)集下的執(zhí)行效率，提高響應(yīng)速度。主題管理主題管理采用可視化的方式對(duì)主題的創(chuàng)建、編輯、刪除等操作進(jìn)行管理，提高數(shù)據(jù)倉(cāng)庫(kù)的可維護(hù)性。資源管理提供系統(tǒng)中各節(jié)點(diǎn)的資源使用和狀態(tài)診斷功能，包括內(nèi)存使用情況、存儲(chǔ)使用情況數(shù)、網(wǎng)絡(luò)使用情況、日志分析等。動(dòng)態(tài)擴(kuò)展支持系統(tǒng)集群節(jié)點(diǎn)的動(dòng)態(tài)擴(kuò)展，當(dāng)集群的容量不能滿足需求時(shí)，通過(guò)簡(jiǎn)單的添加計(jì)算節(jié)點(diǎn)，就可實(shí)現(xiàn)處理能力的提升。分布式計(jì)算支持分布式計(jì)算技術(shù)，使計(jì)算任務(wù)在集群的不同節(jié)點(diǎn)上并行執(zhí)行，提高系統(tǒng)的吞吐率，提高計(jì)算速度。數(shù)據(jù)壓縮支持?jǐn)?shù)據(jù)壓縮技術(shù)，按照特定的壓縮算法對(duì)存儲(chǔ)和傳輸?shù)臄?shù)據(jù)進(jìn)行壓縮，減少數(shù)據(jù)的存儲(chǔ)空間，提高傳輸速度。數(shù)據(jù)應(yīng)用服務(wù)數(shù)據(jù)應(yīng)用服務(wù)為不同類型的外部系統(tǒng)提供訪問(wèn)大數(shù)據(jù)平臺(tái)提供標(biāo)準(zhǔn)化的服務(wù)接口，簡(jiǎn)化外部應(yīng)用使用大數(shù)據(jù)平臺(tái)的復(fù)雜性。數(shù)據(jù)應(yīng)用服務(wù)采用可擴(kuò)展的架構(gòu)設(shè)計(jì)，可根據(jù)平臺(tái)功能的演化動(dòng)態(tài)增加相應(yīng)的服務(wù)。目前，數(shù)據(jù)應(yīng)用服務(wù)主要包括以下幾種：數(shù)據(jù)交換與共享服務(wù)數(shù)據(jù)交換與共享服務(wù)可以將大數(shù)據(jù)平臺(tái)和外部系統(tǒng)之間實(shí)現(xiàn)數(shù)據(jù)的交換，還可以使外部應(yīng)用系統(tǒng)之間通過(guò)大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)服務(wù)調(diào)用。只要按照數(shù)據(jù)交換與共享服務(wù)規(guī)定的數(shù)據(jù)交換協(xié)議標(biāo)準(zhǔn)，就可以實(shí)現(xiàn)系統(tǒng)之間的數(shù)據(jù)交換與共享。主要包括以下功能和特征：數(shù)據(jù)傳輸支持在大數(shù)據(jù)平臺(tái)和外部系統(tǒng)之間以異步的方式進(jìn)行大數(shù)據(jù)量的數(shù)據(jù)傳輸，并且支持?jǐn)帱c(diǎn)續(xù)傳。服務(wù)總線服務(wù)總線可以將應(yīng)用系統(tǒng)提供的服務(wù)進(jìn)行集成，外部應(yīng)用系統(tǒng)之間可以通過(guò)大數(shù)據(jù)平臺(tái)進(jìn)行服務(wù)的調(diào)用，降低應(yīng)用系統(tǒng)維護(hù)可用服務(wù)的復(fù)雜性。數(shù)據(jù)分析與挖掘服務(wù)商業(yè)智能可以對(duì)數(shù)據(jù)進(jìn)行分析和挖掘，能夠使企業(yè)從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)并加以利用，優(yōu)化業(yè)務(wù)運(yùn)營(yíng)，識(shí)別業(yè)務(wù)風(fēng)險(xiǎn)，預(yù)測(cè)新的商業(yè)機(jī)遇，提高企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力。主要包含以下功能和特性：數(shù)據(jù)分析支持對(duì)數(shù)據(jù)進(jìn)行分析、提煉、統(tǒng)計(jì)，輔助決策者進(jìn)行決策。數(shù)據(jù)挖掘支持對(duì)數(shù)據(jù)進(jìn)行趨勢(shì)預(yù)測(cè)和關(guān)聯(lián)分析，挖掘數(shù)據(jù)背后的知識(shí)。數(shù)據(jù)可視化支持以多種方式（報(bào)表、圖表、儀表盤、駕駛艙等）對(duì)數(shù)據(jù)分析和數(shù)據(jù)挖掘的結(jié)果進(jìn)行可視化展示。數(shù)據(jù)管控?cái)?shù)據(jù)管控為大數(shù)據(jù)平臺(tái)提供安全服務(wù)，對(duì)各種網(wǎng)絡(luò)請(qǐng)求進(jìn)行身份認(rèn)證和權(quán)限鑒別。主要包含以下功能和特性：用戶管理提供用戶管理功能，支持用戶、用戶組、資源庫(kù)等的創(chuàng)建，并支持用戶與訪問(wèn)資源權(quán)限的綁定和用戶組與資源訪問(wèn)權(quán)限的綁定等操作。權(quán)限認(rèn)證提供權(quán)限認(rèn)證功能，為大數(shù)據(jù)平臺(tái)提供運(yùn)行時(shí)的用戶訪問(wèn)權(quán)限認(rèn)證服務(wù)，并提供易用的訪問(wèn)接口。多種持久化方式支持LDAP、數(shù)據(jù)庫(kù)、文件系統(tǒng)等多種數(shù)據(jù)持久化方式，提高系統(tǒng)部署的靈活性和兼容性。2.3平臺(tái)特點(diǎn)大數(shù)據(jù)整合支撐平臺(tái)的特點(diǎn)包括：3.平臺(tái)技術(shù)框架3.1數(shù)據(jù)處理流程3.2數(shù)據(jù)處理框架 Hadoop是一個(gè)開(kāi)源的，可以編寫和運(yùn)行分布式應(yīng)用來(lái)處理大規(guī)模的框架。它是通過(guò)Google的MapReduce編程范例來(lái)創(chuàng)建并執(zhí)行的應(yīng)用程序，在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用，可以說(shuō)是目前最為廣泛應(yīng)用的開(kāi)源云計(jì)算軟件平臺(tái)。3.3Hadoop生態(tài)系統(tǒng)Hadoop已經(jīng)發(fā)展成為包含多個(gè)子項(xiàng)目的集合。核心內(nèi)容是MapReduce和Hadoop分布式文件系統(tǒng)（DHFS）。它也包含了Common、Avro、Chukwa、Hive、Hbase等子項(xiàng)目，他們?cè)诤诵膶拥幕A(chǔ)上提供了高層服務(wù)，為Hadoop的應(yīng)用推廣起到了重要作用。如圖所示：HadoopCore/Common從Hadoop0.20版本開(kāi)始，Hadoop的Core項(xiàng)目便更名為Common.，它是Hadoop體系最底層的一個(gè)模塊，為Hadoop各子項(xiàng)目提供各種工具，主要包括FileSystem、PRC和串行化庫(kù)。Hivehive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開(kāi)發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。HbaseHBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，該技術(shù)來(lái)源于FayChang所撰寫的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲(chǔ)一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。另一個(gè)不同的是HBase基于列的而不是基于行的模式。AvroAvro是dougcutting主持的RPC項(xiàng)目，有點(diǎn)類似Google的protobuf和Facebook的thrift。是用于數(shù)據(jù)序列化的系統(tǒng)。提供了豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二進(jìn)制數(shù)據(jù)格式、存儲(chǔ)持久性數(shù)據(jù)的文件集、遠(yuǎn)程PRC調(diào)用以及簡(jiǎn)單的動(dòng)態(tài)語(yǔ)言集成功能。MapReduce實(shí)現(xiàn)了MapReduce編程框架，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。能夠使編程人員在不理解分布式并行編程概念的情況下也能方便將自己的程序運(yùn)行在分布式系統(tǒng)上。HDFS分布式文件系統(tǒng)，其設(shè)計(jì)目標(biāo)包括：檢測(cè)和快速恢復(fù)硬件故障；數(shù)據(jù)流的訪問(wèn)；簡(jiǎn)化一致性模型等。ZooKeeperZookeeper是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)。它是一個(gè)針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)，將簡(jiǎn)單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。PigPig是SQL-like語(yǔ)言，是在MapReduce上構(gòu)建的一種高級(jí)查詢語(yǔ)言，把一些運(yùn)算編譯進(jìn)MapReduce模型的Map和Reduce中，并且用戶可以定義自己的功能。Yahoo網(wǎng)格運(yùn)算部門開(kāi)發(fā)的又一個(gè)克隆Google的項(xiàng)目Sawzall。ChukwaChukwa是基于Hadoop的大集群監(jiān)控系統(tǒng)，是開(kāi)源的數(shù)據(jù)搜集系統(tǒng)。通過(guò)HDFS來(lái)存儲(chǔ)數(shù)據(jù)，并依賴MapReduce來(lái)處理數(shù)據(jù)。3.4Hadoop優(yōu)勢(shì)高可靠性，能夠維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。高擴(kuò)展性，在計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算，這些集簇可以很容易擴(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中去。高效性，以并行的方式工作，通過(guò)并行處理加快處理速度。高容錯(cuò)性，自動(dòng)保存數(shù)據(jù)多個(gè)副本，并能夠自動(dòng)將失敗任務(wù)重新分配。廉價(jià)性，框架可以運(yùn)行在任何普通的PC上。4.平臺(tái)運(yùn)維方案人類正從IT時(shí)代走向DT時(shí)代，“大數(shù)據(jù)時(shí)代，隨著企業(yè)IT架構(gòu)的不斷擴(kuò)展，服務(wù)器、存儲(chǔ)設(shè)備的數(shù)量越來(lái)越多，網(wǎng)絡(luò)也變得更加復(fù)雜，從而給運(yùn)維工作帶來(lái)了巨大的挑戰(zhàn)，特別是分支機(jī)構(gòu)眾多的大型企業(yè)或垂直層級(jí)較多的政府單位，為了保障良好的用戶體驗(yàn)和數(shù)據(jù)時(shí)效性，運(yùn)維工作顯得十分艱巨?！馡T系統(tǒng)管理、業(yè)務(wù)運(yùn)行狀況不在取決于技術(shù)專家的“經(jīng)驗(yàn)評(píng)估”和“運(yùn)行良好”報(bào)告。●未來(lái)的IT運(yùn)維管理被賦予了更多的信息挖掘和數(shù)據(jù)分析的重任。對(duì)于這些體量超大的數(shù)據(jù)中心，原有的運(yùn)維思路和運(yùn)維方法已難以滿足其海量數(shù)據(jù)計(jì)算、存儲(chǔ)、應(yīng)用和安全等多種職能的需求。一方面是成千上萬(wàn)臺(tái)IT設(shè)備，以及各種軟件系統(tǒng);另一方面繁多復(fù)雜的業(yè)務(wù)應(yīng)用，數(shù)據(jù)中心需要借助先進(jìn)的自動(dòng)化運(yùn)維管理模式來(lái)實(shí)現(xiàn)大體量系統(tǒng)管理。大數(shù)據(jù)的收集、整理、分析和應(yīng)用，需要依賴高度可靠的軟硬件支撐體系。IT監(jiān)控系統(tǒng)每分鐘要進(jìn)行上萬(wàn)個(gè)數(shù)據(jù)采集已非易事，而對(duì)采集上來(lái)的海量數(shù)據(jù)進(jìn)行處理和分析才是更難的挑戰(zhàn)。如果數(shù)據(jù)未經(jīng)過(guò)處理，這就對(duì)運(yùn)維沒(méi)有任何意義和價(jià)值。因此，實(shí)時(shí)采集和海量分析能力的IT運(yùn)維管理產(chǎn)品將會(huì)成為數(shù)據(jù)分析應(yīng)用的新增長(zhǎng)點(diǎn)。大數(shù)據(jù)運(yùn)維管理系統(tǒng)是結(jié)合近十余年的IT運(yùn)維經(jīng)驗(yàn)，以解決用戶實(shí)際問(wèn)題為根本目標(biāo)，從實(shí)用性、易用性的角度出發(fā)，收集、索引和利用整個(gè)IT基礎(chǔ)架構(gòu)（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)和中間件等）的所有數(shù)據(jù)，為運(yùn)維和業(yè)務(wù)支撐提供精確的數(shù)據(jù)分析。4.1性能對(duì)業(yè)務(wù)系統(tǒng)下的服務(wù)器的CPU平均利用率、I/O讀寫速率、內(nèi)存利用率、內(nèi)存頁(yè)交換速率、網(wǎng)絡(luò)收發(fā)包率等26項(xiàng)重要性能指標(biāo)進(jìn)行TopＮ的對(duì)比分析，幫助用戶確認(rèn)所需重點(diǎn)關(guān)注的設(shè)備和基礎(chǔ)架構(gòu)的性能瓶頸。4.2系統(tǒng)安全評(píng)測(cè)提供操作系統(tǒng)安全配置規(guī)范檢查功能，支持Windows、Linux、Solaris、AIX、HP-UINX操作系