智慧警務項目解決方案說明書

城市治理項目解決方案說明書 XX科技股份有限公司編制

目錄一、項目存在問題及需解決問題 31.存在問題 31.1 缺乏整體規(guī)劃和頂層設計 31.2 缺少有效的系統(tǒng)平臺 31.3 現(xiàn)有數(shù)據(jù)仍顯不足 31.4 對數(shù)據(jù)的分析研判不足 41.5 缺乏對信息整合的安全保障 42.需解決問題 4二、解決方案 51.解決方案總體架構(gòu) 52.核心技術(shù) 6（1）Hadoop 6（2）SpringMVC 6（3）MyBatis 7（4）Echarts 7（5）MySQL 7（6）Hive 7（7）HBASE 8（8）Zookeeper 8（9）Flume 9三、開發(fā)范圍 91.數(shù)據(jù)生產(chǎn) 92.數(shù)據(jù)采集/消費 93.數(shù)據(jù)分析 104.數(shù)據(jù)展示 12

項目存在問題及需解決問題存在問題缺乏整體規(guī)劃和頂層設計面臨當前嚴峻的治安形勢，缺少全局性的考慮和前期的充分整體規(guī)劃，各級業(yè)務條線各自獨立，研判信息和成果難以共享，數(shù)據(jù)格式標準不一，系統(tǒng)間的互聯(lián)互通、相互協(xié)同都存在較大的困難，導致各管一攤、條塊分割，信息和業(yè)務的交互只能通過人工手段實施。中奧科技在大量的項目建設中總結(jié)得出，缺乏信息共享的支撐能力、信息資源和個性化應用需求的服務能力、面向?qū)崙?zhàn)需求數(shù)據(jù)深度應用能力，缺乏共享數(shù)據(jù)標準、數(shù)據(jù)對接接口標準、基礎(chǔ)數(shù)據(jù)字段標準、數(shù)據(jù)更新標準等，很難實現(xiàn)真正整合共享數(shù)據(jù)的目的，難以應對越來越復雜的形勢。缺少有效的系統(tǒng)平臺在項目調(diào)研中發(fā)現(xiàn)，早期的公安信息化建設，主要以業(yè)務條線信息系統(tǒng)建設為驅(qū)動，系統(tǒng)間存在著“信息化孤島”?，F(xiàn)有系統(tǒng)主要實現(xiàn)的情報匯集和整理工作，研判模型單一，主要由業(yè)務專家對固定模型打分，研判效果主要依賴人員經(jīng)驗，缺乏對情報平臺、警綜平臺、反恐平臺、各業(yè)務信息綜合應用平臺的數(shù)據(jù)支撐能力，各警種普遍存在重復匯集和整合數(shù)據(jù)的現(xiàn)象，應用建設難以把重心投入到實戰(zhàn)需求分析上。由于未以知識庫的方式建設系統(tǒng)，導致新發(fā)現(xiàn)知識的導入，已有知識的分享、復制和大規(guī)模應用都較為困難。現(xiàn)有機制在當前形勢下凸顯出能力不足、專業(yè)性不強，不能滿足業(yè)務需求的矛盾?，F(xiàn)有數(shù)據(jù)仍顯不足目前，公安部門匯集的信息資源有限，在種類上以公安機關(guān)信息資源為主，且匯集的信息資源從數(shù)量和質(zhì)量上都不能滿足實戰(zhàn)要求。公安行業(yè)的大數(shù)據(jù)體系在有關(guān)數(shù)據(jù)總量上已見雛形，已掌握了公民相關(guān)的部分基本信息，但仍有大量的公民相關(guān)信息不為掌握，且缺乏對互聯(lián)網(wǎng)信息、視頻圖像、文本信息等非結(jié)構(gòu)化數(shù)據(jù)和車輛軌跡、上網(wǎng)人員、卡口、旅店住宿、人員核查等大流量的結(jié)構(gòu)化數(shù)據(jù)的合理規(guī)劃、存儲、展現(xiàn)，導致無法滿足實戰(zhàn)需求。對數(shù)據(jù)的分析研判不足犯罪、涉恐、涉毒、重點群體人員活動軌跡的跳躍性、隱蔽性逐漸增強，公安部門必須從大量的活動信息、背景信息、關(guān)聯(lián)信息、趨勢信息中利用信息化手段處理、分析、甄別出可疑信息，加以研判才能實現(xiàn)事件的事前把控。每個個體人在社會活動中產(chǎn)生了大量活動軌跡和數(shù)據(jù)記錄，傳統(tǒng)業(yè)務系統(tǒng)難以對每個個體人的全部活動軌跡和數(shù)據(jù)記錄進行統(tǒng)一整合以及對有效信息進行提取并分析研判，無法根據(jù)案件的規(guī)律和特點發(fā)現(xiàn)、挖掘數(shù)據(jù)之間的隱性關(guān)聯(lián)，需憑借民警的辦案經(jīng)驗進行多途徑收集和經(jīng)驗破案，具有較大的局限性。缺乏對信息整合的安全保障在日常公安內(nèi)部數(shù)據(jù)共享過程中，由于大量原始數(shù)據(jù)直接共享，導致無法對數(shù)據(jù)流程和用戶操作行為進行監(jiān)控。數(shù)據(jù)共享缺乏安全控制，數(shù)據(jù)質(zhì)量無法進行監(jiān)測，出現(xiàn)數(shù)據(jù)安全問題時難以追溯。安全隱患突出，導致整個信息系統(tǒng)無法安全、更好地發(fā)揮作用。需解決問題缺乏整體規(guī)劃和頂層設計缺少有效的系統(tǒng)平臺現(xiàn)有數(shù)據(jù)仍顯不足對數(shù)據(jù)的分析研判不足缺乏對信息整合的安全保障解決方案解決方案總體架構(gòu)圖1智慧警務解決方案總體架構(gòu)HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。系統(tǒng)采用面向?qū)ο蟮能浖O計方法，把整個系統(tǒng)看作是多個離散對象的組合。系統(tǒng)設計時，首先把業(yè)務流程分解成功能模塊及其業(yè)務實體對象，然后根據(jù)業(yè)務流程分析對于這些業(yè)務實體對象的操作方法，形成業(yè)務處理對象，最后把各個功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設計是一個將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設計陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設計思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務處理邏輯分離。系統(tǒng)采用參數(shù)化的設計思想，定義和管理系統(tǒng)的實體及配置，調(diào)整實體以適應外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實現(xiàn)的平臺無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實際使用的易用性。系統(tǒng)采用echarts可視化框架實現(xiàn)數(shù)據(jù)展示。核心技術(shù)HadoopHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設置以及結(jié)果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標準化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。HiveHive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務運行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴展性。HBASEHBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調(diào)服務，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對于該模塊的業(yè)務，即數(shù)據(jù)生產(chǎn)過程，一般并不會讓你來進行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項目的一體化方案的設計（數(shù)據(jù)的產(chǎn)生、存儲、分析、展示），則必須清楚每一個環(huán)節(jié)是如何處理的，包括其中每個環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費數(shù)據(jù)采集模塊（消費），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們在此需要將實時數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)-->flume-->kafka-->spar