智慧水務(wù)項(xiàng)目解決方案說(shuō)明書

智慧水務(wù)解決方案說(shuō)明書XX科技股份有限公司編制目錄一、項(xiàng)目存在問(wèn)題及需解決問(wèn)題 31.存在問(wèn)題 32.需解決問(wèn)題 4二、解決方案 61.解決方案架構(gòu) 62.關(guān)鍵技術(shù) 7（1）Hadoop 7（2）SpringMVC 7（3）MyBatis 7（4）Echarts 8（5）MySQL 8（6）Hive 8（7）HBASE 9（8）Zookeeper 9（9）Flume 9三、開(kāi)發(fā)范圍 101.數(shù)據(jù)生產(chǎn) 102.數(shù)據(jù)采集/消費(fèi) 103.數(shù)據(jù)分析 114.數(shù)據(jù)展示 12項(xiàng)目存在問(wèn)題及需解決問(wèn)題存在問(wèn)題1、硬件資源存在過(guò)度浪費(fèi)隨著我國(guó)智慧城市建設(shè)戰(zhàn)略的提出，越來(lái)越多的城市開(kāi)始進(jìn)行智慧城市建設(shè)，但是由于現(xiàn)階段很多標(biāo)準(zhǔn)與規(guī)范尚不完善，導(dǎo)致很多城市盲目的開(kāi)展相關(guān)基礎(chǔ)設(shè)施的建設(shè)，致使軟件、設(shè)備以及硬件等資源出現(xiàn)了極大的浪費(fèi)，致使投資預(yù)算嚴(yán)重超標(biāo)，從而對(duì)智慧水務(wù)大數(shù)據(jù)平臺(tái)的建設(shè)造成嚴(yán)重影響。2、信息來(lái)源較為單一由于智慧水務(wù)的概念是最近幾年剛剛提出的，所以導(dǎo)致我國(guó)在建設(shè)智慧水務(wù)大數(shù)據(jù)平臺(tái)時(shí)，仍然存在許多問(wèn)題，而缺乏足夠的有效信息便是其中之一，并且也由此造成在建設(shè)水務(wù)智慧大數(shù)據(jù)平臺(tái)期間，很多信息得不到充分的匹配，同時(shí)也出現(xiàn)了各個(gè)職能部門在信息搜集過(guò)程中存在意見(jiàn)不一致的狀況，從而影響整個(gè)大數(shù)據(jù)平臺(tái)的建設(shè)進(jìn)度。3、信息安全與資金調(diào)配不到位對(duì)于智慧水務(wù)大數(shù)據(jù)平臺(tái)而言，信息安全是考驗(yàn)平臺(tái)運(yùn)行的關(guān)鍵問(wèn)題。然而在現(xiàn)階段，我國(guó)專業(yè)信息技術(shù)安全人才較為匱乏，致使大數(shù)據(jù)平臺(tái)在建設(shè)期間需要頻繁地解決安全問(wèn)題，影響了平臺(tái)的建設(shè)效率與質(zhì)量。另外，建設(shè)智慧水務(wù)大數(shù)據(jù)平臺(tái)需要較多的資金支持，但是資金短缺是很多城市所面臨最為嚴(yán)重的問(wèn)題，導(dǎo)致大數(shù)據(jù)平臺(tái)的建設(shè)難上加難。需解決問(wèn)題1、注重信息系統(tǒng)的整合鑒于智慧水務(wù)大數(shù)據(jù)平臺(tái)的建設(shè)存在較強(qiáng)的專業(yè)性，所以在大數(shù)據(jù)平臺(tái)建設(shè)期間，必須要做好信息系統(tǒng)整合工作，規(guī)范大數(shù)據(jù)平臺(tái)中的各類數(shù)據(jù)庫(kù)、數(shù)據(jù)類型以及相關(guān)接口，這樣可以在大數(shù)據(jù)平臺(tái)上進(jìn)行實(shí)時(shí)的信息共享，為智慧水務(wù)大數(shù)據(jù)平臺(tái)的運(yùn)行搭建奠定堅(jiān)實(shí)的基礎(chǔ)。以力通智慧水務(wù)平臺(tái)為例，其通過(guò)大數(shù)據(jù)采集與云計(jì)算、物聯(lián)網(wǎng)等新一代信息技術(shù)，將海量數(shù)據(jù)，經(jīng)數(shù)據(jù)處理器進(jìn)行差異數(shù)據(jù)處理分析，能夠?qū)崿F(xiàn)建立統(tǒng)一的數(shù)據(jù)管理平臺(tái)，對(duì)各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行統(tǒng)一抓取、統(tǒng)一格式存儲(chǔ)、統(tǒng)一分析處理。2、靈活地制定大數(shù)據(jù)平臺(tái)運(yùn)行方式對(duì)于智慧水務(wù)大數(shù)據(jù)平臺(tái)來(lái)說(shuō)，其運(yùn)行方式存在多種類型，如果供水企業(yè)的規(guī)模較小、運(yùn)營(yíng)資金有限，便可以通過(guò)購(gòu)買服務(wù)的方式來(lái)快速地完成自身大數(shù)據(jù)平臺(tái)的搭建，同時(shí)用戶還可根據(jù)自身的實(shí)際需求來(lái)對(duì)不同種類的服務(wù)進(jìn)行定制，并且可交由網(wǎng)絡(luò)來(lái)存儲(chǔ)自身的數(shù)據(jù)信息，確保數(shù)據(jù)信息的安全性。由此可見(jiàn)，將智慧水務(wù)大數(shù)據(jù)平臺(tái)的運(yùn)維交給專業(yè)人員或者機(jī)構(gòu)來(lái)實(shí)施，不僅可以提供更為優(yōu)質(zhì)的大數(shù)據(jù)服務(wù)，同時(shí)也可始終保持大數(shù)據(jù)平臺(tái)的先進(jìn)性與可靠性。3、將大數(shù)據(jù)思想貫徹到底大數(shù)據(jù)時(shí)代的到來(lái)，使得社會(huì)的發(fā)展以及民眾的生活質(zhì)量均提升到了一個(gè)新的階段。對(duì)于大數(shù)據(jù)來(lái)說(shuō)，數(shù)據(jù)量大、種類多，實(shí)時(shí)性強(qiáng)是其最為基本的特點(diǎn)，同時(shí)也是現(xiàn)階段智慧城市發(fā)展的核心所在。因此，在建設(shè)智慧水務(wù)大數(shù)據(jù)平臺(tái)過(guò)程中，必須要將大數(shù)據(jù)時(shí)代的思想予以有效貫徹，利用大數(shù)據(jù)平臺(tái)的先進(jìn)性來(lái)幫助相關(guān)企業(yè)提升生產(chǎn)、管理等工作環(huán)節(jié)的質(zhì)量與效率，同時(shí)實(shí)現(xiàn)生產(chǎn)成本顯著降低，對(duì)相關(guān)企業(yè)今后的發(fā)展可起到關(guān)鍵的促進(jìn)作用。4、注重專業(yè)人才隊(duì)伍的培養(yǎng)在建設(shè)智慧水務(wù)大數(shù)據(jù)平臺(tái)過(guò)程中，為了提高平臺(tái)的建設(shè)質(zhì)量，專業(yè)人才的培養(yǎng)是十分關(guān)鍵的，同時(shí)也可保證大數(shù)據(jù)平臺(tái)今后的應(yīng)用效果。其中，由于水務(wù)系統(tǒng)專業(yè)眾多，必須要根據(jù)專業(yè)的不同來(lái)合理地進(jìn)行人才培養(yǎng)，同時(shí)加強(qiáng)復(fù)合型人才培養(yǎng)的力度，確保各個(gè)項(xiàng)目的協(xié)作交流可以順暢無(wú)阻。此外，應(yīng)關(guān)注數(shù)據(jù)庫(kù)管理與維護(hù)人才的培養(yǎng)，因?yàn)樵诖髷?shù)據(jù)平臺(tái)運(yùn)行期間，難免會(huì)遇到數(shù)據(jù)庫(kù)管理方面的問(wèn)題，同時(shí)數(shù)據(jù)庫(kù)的維護(hù)，也存在較強(qiáng)的專業(yè)性，所以應(yīng)加大數(shù)據(jù)庫(kù)管理與維護(hù)人才的培養(yǎng)力度。解決方案解決方案架構(gòu)圖SEQ圖表\*ARABIC1智慧水務(wù)解決方案總體架構(gòu)HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，該技術(shù)來(lái)源于FayChang所撰寫的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲(chǔ)一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。另一個(gè)不同的是HBase基于列的而不是基于行的模式。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計(jì)方法，把整個(gè)系統(tǒng)看作是多個(gè)離散對(duì)象的組合。系統(tǒng)設(shè)計(jì)時(shí)，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實(shí)體對(duì)象，然后根據(jù)業(yè)務(wù)流程分析對(duì)于這些業(yè)務(wù)實(shí)體對(duì)象的操作方法，形成業(yè)務(wù)處理對(duì)象，最后把各個(gè)功能模塊關(guān)聯(lián)起來(lái)，形成系統(tǒng)。軟件設(shè)計(jì)是一個(gè)將需求轉(zhuǎn)變?yōu)檐浖倪^(guò)程，系統(tǒng)通過(guò)逐步求精使得設(shè)計(jì)陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計(jì)思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計(jì)思想，定義和管理系統(tǒng)的實(shí)體及配置，調(diào)整實(shí)體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實(shí)現(xiàn)的平臺(tái)無(wú)關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實(shí)際使用的易用性。系統(tǒng)采用echarts可視化框架實(shí)現(xiàn)數(shù)據(jù)展示。核心技術(shù)HadoopHadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲(chǔ)過(guò)程和高級(jí)映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡(jiǎn)單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對(duì)象）映射成數(shù)據(jù)庫(kù)中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫(kù)，提供直觀，生動(dòng)，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，由瑞典MySQLAB公司開(kāi)發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，關(guān)系數(shù)據(jù)庫(kù)將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉(cāng)庫(kù)內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語(yǔ)言是用于訪問(wèn)數(shù)據(jù)庫(kù)的最常用標(biāo)準(zhǔn)化語(yǔ)言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開(kāi)放源碼這一特點(diǎn)，一般中小型網(wǎng)站的開(kāi)發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫(kù)。HiveHive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉(cāng)庫(kù)分析系統(tǒng)，它提供了豐富的SQL查詢方式來(lái)分析存儲(chǔ)在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的SQL查詢功能；可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，通過(guò)自己的SQL查詢分析需要的內(nèi)容，這套SQL簡(jiǎn)稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語(yǔ)言查詢、匯總和分析數(shù)據(jù)。而mapreduce開(kāi)發(fā)人員可以把自己寫的mapper和reducer作為插件來(lái)支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫(kù)的SQL略有不同，但支持了絕大多數(shù)的語(yǔ)句如DDL、DML以及常見(jiàn)的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來(lái)存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實(shí)現(xiàn)對(duì)map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性。HBASEHBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。ZookeeperZooKeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。FlumeFlume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開(kāi)發(fā)范圍數(shù)據(jù)生產(chǎn)對(duì)于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過(guò)程，一般并不會(huì)讓你來(lái)進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項(xiàng)目的一體化方案的設(shè)計(jì)（數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、分析、展示），則必須清楚每一個(gè)環(huán)節(jié)是如何處理的，包括其中每個(gè)環(huán)境可能隱藏的問(wèn)題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問(wèn)題。數(shù)據(jù)采集/消費(fèi)數(shù)據(jù)采集模塊（消費(fèi)），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們?cè)诖诵枰獙?shí)時(shí)數(shù)據(jù)通過(guò)flume采集到kafka然后供給給hbase消費(fèi)。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費(fèi)者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對(duì)接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費(fèi)眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)-->flume-->kafka-->sparkstreaming實(shí)時(shí)流式處理消費(fèi)存儲(chǔ)模塊流程圖：圖SEQ圖表\*ARABIC