大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案

大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化分析平臺一、背景與目標(biāo)基于邳州市電子政務(wù)建設(shè)的基礎(chǔ)支撐環(huán)境，以基礎(chǔ)信息資源庫（人口庫、法人庫、宏觀經(jīng)濟、地理庫）為基礎(chǔ)，建設(shè)融合業(yè)務(wù)展示系統(tǒng)，提供綜合信息查詢展示、信息簡報呈現(xiàn)、數(shù)據(jù)分析、數(shù)據(jù)開放等資源服務(wù)應(yīng)用。實現(xiàn)市府領(lǐng)導(dǎo)及相關(guān)委辦的融合數(shù)據(jù)資源視角，實現(xiàn)數(shù)據(jù)信息資源融合服務(wù)與創(chuàng)新服務(wù)，通過系統(tǒng)達到及時了解本市發(fā)展的綜合情況，及時掌握發(fā)展動態(tài)，為政策擬定提供依據(jù)。充分運用云計算、大數(shù)據(jù)等信息技術(shù)，建設(shè)融合分析平臺、展示平臺，整合現(xiàn)有數(shù)據(jù)資源，結(jié)合政務(wù)大數(shù)據(jù)的分析能力與業(yè)務(wù)編排展示能力，以人口、法人、地理，人口與地理，法人與地理，實現(xiàn)基礎(chǔ)展示與分析，融合公安、交通、工業(yè)、教育、旅游等重點行業(yè)的數(shù)據(jù)綜合分析，為城市管理、產(chǎn)業(yè)升級、民生保障提供有效支撐。二、政務(wù)大數(shù)據(jù)平臺1、數(shù)據(jù)采集和交換需求：通過對各個委辦局的指定業(yè)務(wù)數(shù)據(jù)進行匯聚，將分散的數(shù)據(jù)進行物理集中和整合管理，為實現(xiàn)對數(shù)據(jù)的分析提供數(shù)據(jù)支撐。將為跨機構(gòu)的各類業(yè)務(wù)系統(tǒng)之間的業(yè)務(wù)協(xié)同，提供統(tǒng)一和集中的數(shù)據(jù)交互共享服務(wù)。包括數(shù)據(jù)交換、共享和ETL等功能。2、海量數(shù)據(jù)存儲管理需求：大數(shù)據(jù)平臺從各個委辦局的業(yè)大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案務(wù)系統(tǒng)里抽取的數(shù)據(jù)量巨大，數(shù)據(jù)類型繁雜，數(shù)據(jù)需要持久化的存儲和訪問。不論是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過數(shù)據(jù)存儲引擎進行建模后，持久化保存在存儲系統(tǒng)上。存儲系統(tǒng)要具備高可靠性、快速查詢能力。3、數(shù)據(jù)計算分析需求：包括海量數(shù)據(jù)的離線計算能力、高效即席數(shù)據(jù)查詢需求和低時延的實時計算能力。隨著數(shù)據(jù)量的不斷增加，需要數(shù)據(jù)平臺具備線性擴展能力和強大的分析能力，支撐不斷增長的數(shù)據(jù)量，滿足未來政務(wù)各類業(yè)務(wù)工作的發(fā)展需要，確保業(yè)務(wù)系統(tǒng)的不間斷且有效地工作。4、數(shù)據(jù)關(guān)聯(lián)集中需求:對集中存儲在數(shù)據(jù)管理平臺的數(shù)據(jù)，通過正確的技術(shù)手段將這些離散的數(shù)據(jù)進行數(shù)據(jù)關(guān)聯(lián)，即：通過分析數(shù)據(jù)間的業(yè)務(wù)關(guān)系，建立關(guān)鍵數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，將離散的數(shù)據(jù)串聯(lián)起來形成能表達更多含義信息集合，以形成基礎(chǔ)庫、業(yè)務(wù)庫、知識庫等數(shù)據(jù)集。5、應(yīng)用開發(fā)需求：依靠集中數(shù)據(jù)集，快速開發(fā)創(chuàng)新應(yīng)用，支撐實際分析業(yè)務(wù)需要。6、大數(shù)據(jù)分析挖掘需求：通過對海量的政務(wù)業(yè)務(wù)大數(shù)據(jù)進行分析與挖掘，輔助政務(wù)決策，提供資源配置分析優(yōu)化等輔助決策功能，促進民生的發(fā)展。大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案

大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)管理系統(tǒng)技術(shù)架構(gòu)圖數(shù)據(jù)流固致富處理引草|金得曳圖目錄］［］［效弛壯］］腦沅注名至］6h? swim 飄版hlmpktduetSparkEtonn HB<i%e-數(shù)據(jù)流固致富處理引草|金得曳圖目錄］［］［效弛壯］］腦沅注名至］6h? swim 飄版hlmpktduetSparkEtonn HB<i%e-HD用分布零朋赳敝據(jù)贊源股史門口MddoopU睡醺門戶 系里遠堆TIPEHTHKeHk或￥*i儂是H旃MS.目志維生Aiimi?酊司Bl比SFWB9EE拄季與受國采用新型MPP數(shù)據(jù)庫+Hadoop的融合架構(gòu)，使用MPP處理PB級別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時為應(yīng)用提供豐富的SQL支持能力;使用Hadoop處理海量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，從而滿足用戶多種數(shù)據(jù)的處理需求。至融合大數(shù)據(jù)服署平臺5QL即席直道 全文檢索 數(shù)據(jù)挖掘 匕回現(xiàn)化 眾智創(chuàng)新平臺切摳窠集層5QL即席直道 全文檢索 數(shù)據(jù)挖掘 匕回現(xiàn)化 眾智創(chuàng)新平臺切摳窠集層數(shù)據(jù)交換 ETL工具 數(shù)據(jù)力細智慧政務(wù)：基于分布式計算、存儲框架，面向政府不同價值的數(shù)據(jù)源，通過采集、存儲、建模、挖掘等大數(shù)據(jù)技術(shù)，在社會保障、公共安全、人居環(huán)境、勞動就業(yè)、文化教育、交通運輸、大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案綜合治稅、消費維權(quán)、精準(zhǔn)扶貧等領(lǐng)域開展大數(shù)據(jù)應(yīng)用，優(yōu)化公共資源配置，提高公共服務(wù)水平。幫助政府促進經(jīng)濟發(fā)展、完善社會治理、提升政府服務(wù)管理能力、服務(wù)改善民生，培育壯大新興產(chǎn)業(yè)。如下圖所示的政府綜合決策分析系統(tǒng)，利用大數(shù)據(jù)分析平臺，采集并分析多個部門共享上傳的業(yè)務(wù)數(shù)據(jù)，為政務(wù)部門提供決策支持。大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案

大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案如下圖所示的政府效能監(jiān)察大數(shù)據(jù)系統(tǒng)，通過對各類政務(wù)服務(wù)事項，全市各個部門單位的政府網(wǎng)上辦事流程進行多維度，高效的及時監(jiān)察、分析，從而對辦事效率低下的職能部門和審批人員實現(xiàn)高效監(jiān)督；找出設(shè)置不合理的辦事流程，促進政府辦事流程的優(yōu)化。實現(xiàn)政府部門網(wǎng)上辦事多維度的數(shù)據(jù)分析挖掘，秒級展現(xiàn)效果，讓決策者一目了然發(fā)現(xiàn)問題，提升政府的服務(wù)水平。大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案基礎(chǔ)信息融合應(yīng)用展示分析基于政務(wù)大數(shù)據(jù)平臺開發(fā)或構(gòu)建的各類系統(tǒng)如四大基礎(chǔ)庫系統(tǒng)、業(yè)務(wù)主題庫系統(tǒng)，通過政務(wù)大數(shù)據(jù)平臺信息樞紐的作用，各系統(tǒng)不需要再與任何政府部門業(yè)務(wù)系統(tǒng)對接，而直接從政務(wù)大數(shù)據(jù)平臺關(guān)聯(lián)形成數(shù)據(jù)，為政府業(yè)務(wù)辦理提供支撐。三、視頻云結(jié)構(gòu)化分析系統(tǒng)視頻云結(jié)構(gòu)化分析系統(tǒng)可實現(xiàn)視頻中車輛和活動目標(biāo)的結(jié)構(gòu)化信息提取，提取屬性豐富，精確度高；支持智能結(jié)構(gòu)化分析后文本信息和圖片信息的存儲和檢索；支持動態(tài)擴容，智能分析性能隨著設(shè)備數(shù)量增加呈線性增強；支持第三方標(biāo)準(zhǔn)視頻流的接入和智能分析應(yīng)用；支持本地錄像的智能分析；系統(tǒng)自帶IE界面，提供智能檢索、數(shù)據(jù)統(tǒng)計、布控報警、任務(wù)管理、資源管理、集群管理、系統(tǒng)校時、日志查詢等功能。.車輛大數(shù)據(jù)分析車輛圖片以圖搜圖車輛以圖搜圖是基于圖片的搜索模式，通過圖片建模后特征向量的比對分析，并且在被搜索圖片中選擇特征區(qū)域進行二次比對，從圖片庫中檢索出符合條件的圖片，并根據(jù)相似度返回比對結(jié)果。準(zhǔn)確率比單純建模后特性限量比對高50%。過車數(shù)據(jù)處理服務(wù)過車數(shù)據(jù)處理包括過車數(shù)據(jù)檢索、智能研判、OD分析、統(tǒng)計大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案分析等幾大類。過車數(shù)據(jù)檢索過車數(shù)據(jù)檢索是通過全文檢索技術(shù)，對海量過車數(shù)據(jù)進行快速檢索，支持精確查詢、模糊查詢、多條件組合查詢。支持千億過車數(shù)據(jù)中秒級查詢到結(jié)果。過車數(shù)據(jù)檢索具體包括以下功能：普通過車查詢支持根據(jù)模糊條件、組合條件進行過車信息的查詢?？蛇x的條件包括卡口、車牌、車型、時間段等。針對只知道部分車牌信息的車輛可以輸入“*”代表多位，“？”代表一位號碼，進行模糊匹配。違法車輛查詢支持根據(jù)組合條件進行報警車輛的查詢，違法車輛包括超速行駛、闖紅燈等車輛，可選條件包括卡口、時間段等。未識別車輛查詢支持根據(jù)組合條件對未識別車輛進行查詢，未識別車輛包括非機動車輛、沒有車輛通過確拍照的、只抓拍下部分車牌的車輛、正確抓拍卻未識別出的車輛，可選條件包括卡口、時間段等。布控報警查詢支持對布控的車輛及布控產(chǎn)生的報警進行查詢。異常牌照查詢支持根據(jù)組合條件對異常牌照的車輛進行查詢，異常牌照包大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案括假牌、套牌等，可選條件包括卡口、時間段等。紅名單查詢支持對紅名單車輛進行情況。行車軌跡查詢支持根據(jù)行車軌跡對過車信息進行查詢。.智能研判智能研判是通過對海量過車數(shù)據(jù)的分布式計算分析，快速挖掘出其中有價值的信息。智能研判具體包括以下功能：行車軌跡智能研判車輛軌跡智能研判功能包含對精確目標(biāo)、模糊目標(biāo)兩類車輛進行軌跡智能研判。精確目標(biāo)車輛軌跡智能研判：分析特定車輛在一段時間內(nèi)經(jīng)過多個信息采集點形成的行車軌跡，在PGIS上重現(xiàn)該車輛的行車路線?！疤囟ㄜ囕v”是指查詢者明確該車輛的車牌號碼，至少清楚車牌號碼中絕大部分字符及準(zhǔn)確的排序位置，在查詢過程中也可輔以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍。“特定車輛”行車軌跡出現(xiàn)在信息平臺的PGIS地圖上，單擊任一采集點的卡口圖標(biāo)，能重現(xiàn)當(dāng)時車輛被捕獲抓拍的高清照片。若查詢者確認該車輛為嫌疑車，則可啟動布控報警與實時跟蹤功能，當(dāng)該車下一次穿過任意卡口（或卡口式電子警察）時，大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案系統(tǒng)將自動報警并提示監(jiān)控人員，同時該車在未攔截之前，PGIS地圖上將實時顯示其后續(xù)穿過的卡口位置、行車軌跡、趨勢方向等信息。模糊目標(biāo)車輛軌跡智能研判：當(dāng)偵查或目擊者提供的車輛特征信息不明確時，結(jié)合有限的車輛特征信息和車輛逃逸方向，綜合目擊者發(fā)現(xiàn)它的時間段、有限的車輛特征信息、逃逸方向范圍內(nèi)的卡口等客觀條件進行檢索查詢，在PGIS上勾勒出同時滿足上述條件的所有車輛的行車軌跡，在查詢過程中也可輔以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍。為偵查辦案工作進一步開展提供參考依據(jù)，比如：提供這些相關(guān)車輛的高清照片，其中包含清晰的車牌號碼、車輛輪廓特征（車型、車品牌）、駕駛員面部特征等。短時通過車輛智能研判短時通過車輛智能研判是通過區(qū)間測速功能，對通過區(qū)間的時間在設(shè)定閾值內(nèi)的車輛進行研判。短時通過車輛智能研判一方面有助于將長期超速行駛的車輛納入治超名單，通過安裝在街面的LED信息發(fā)布屏對其進行公示、警告；另一方面有助于公安交通管理部門統(tǒng)計分析哪些路段發(fā)生超速行駛的次數(shù)最多，以輔助決策是否需要對這些道路進行加強管理，消除潛在的交通事故隱患。跟車關(guān)聯(lián)智能研判跟車關(guān)聯(lián)智能研判是針對刑偵時犯罪團伙車輛經(jīng)常結(jié)隊活大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案動的特點，對犯罪嫌疑車輛進行信息查詢時，根據(jù)車牌省份地域分析其相鄰車輛號牌，挖掘出有關(guān)聯(lián)的車輛，為辦案提供線索。根據(jù)犯罪嫌疑車輛的車牌號碼、車牌種類、車輛通過時間、分析時間間隔、路口名稱及車道號這幾個條件篩選出與犯罪嫌疑車輛有關(guān)聯(lián)的車。選定車牌號碼、時間段、路口等信息，通過設(shè)定的跟車間隔時間大小，分析出與此車輛關(guān)聯(lián)的其他車輛過車信息。套牌嫌疑智能研判套牌車輛智能研判功能主要包含基于車輛多個特征交叉比對的研判分析和基于行程時間的研判分析兩大類?；谲囕v多個特征交叉比對的套牌車輛智能研判：綜合分析車輛號牌、車型、車身顏色等車輛特征，自動發(fā)現(xiàn)套牌車輛，因為車牌號碼識別準(zhǔn)確率最高，選擇車牌號碼為基準(zhǔn)參數(shù)。比如：在城市內(nèi)發(fā)現(xiàn)車牌號碼一致，但車型不同，或者車牌號碼一致，但車身顏色不同，那么其中1輛一定是套牌車，在認定過程中將借助來自車管庫的登記信息?；谛谐虝r間的套牌車輛智能研判：在PGIS地圖上，以卡口、卡口式電子警察布點較密集的路段為中心劃定幾個區(qū)域，區(qū)域之間設(shè)定時間差，對多個區(qū)域內(nèi)的通行車輛進行交叉比對，如果發(fā)現(xiàn)車牌號碼相同的車輛，那么其中1輛一定是套牌車，在認定過程中將借助來自車管庫的登記信息。其原理是在現(xiàn)實環(huán)境中同一輛車從一個區(qū)域跨度到另一個區(qū)域的行程時間不可能小于大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案設(shè)定的時間差。頻繁出入車輛智能研判頻繁出入車輛智能研判是分析一段時間內(nèi)車輛通過某一個或某幾個卡口的頻度，當(dāng)頻度大于設(shè)定值時，認為該車輛活動異常，并可顯示車輛的活動軌跡。該信息可用于車輛預(yù)警，同時提供統(tǒng)計報表，支持打印、保存及數(shù)據(jù)導(dǎo)出。區(qū)域碰撞智能研判區(qū)域碰撞智能研判是利用數(shù)據(jù)碰撞技術(shù)來加速車輛特征信息的提取工作，比如在兩個卡口或兩個區(qū)域的所有卡□之間進行數(shù)據(jù)遍歷，找出符合檢索條件的車輛。根據(jù)嫌疑人會用類似的手段連續(xù)作案的動機原理，當(dāng)在一定時間范圍發(fā)生作案手段類似的案件，對于指定的兩個或兩個以上區(qū)域范圍內(nèi)的所有卡口為基點，在指定的時間范圍內(nèi)，通過遍歷搜索的方式，碰撞搜索并精確定位具備相同車牌號碼的機動車，可以快速發(fā)現(xiàn)不同區(qū)域涉案嫌疑車輛之間的關(guān)聯(lián)性。初次入城智能研判在選定時間段和路口時，查詢所有首次通行選定路口的車輛的過車信息，對于任意車牌號碼只記錄首次通行的一條過車信息。選定路口名稱、車牌號碼、時間段，分析得到該時間段內(nèi)選定的車牌號碼首次通過該路口時的過車信息。違法多發(fā)時間段智能研判通過對特定時間段內(nèi)違法車輛的統(tǒng)計分析，可分析出哪些時大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案間段內(nèi)交通違法事件較多，如國慶期間、大型活動期間等。根據(jù)分析結(jié)果，有助于公安交通管理部門在這些時間段內(nèi)，做出相應(yīng)的對策。違法多發(fā)地點智能研判通過對特定地點的違法車輛統(tǒng)計分析，可分析出哪些地點交通違法事件較多。這些分析結(jié)果有助于公安交通管理部門找出違法多發(fā)地點，以輔助決策是否需要對這些道路進行加強管理，消除潛在的交通事故隱患。3.OD分析支持過車數(shù)據(jù)的OD分析，包括區(qū)間測速、車輛誘導(dǎo)等。區(qū)間測速支持卡口與卡口間車輛的區(qū)間行駛速度測算，通過兩個卡口之間距離除以車輛穿過兩個卡口的時間差來計算車輛在區(qū)間通行的平均速度（平均速度公式：V區(qū)間=S區(qū)間/T區(qū)間）。車輛誘導(dǎo)車輛誘導(dǎo)是根據(jù)車流量統(tǒng)計、區(qū)間測速而計算出哪些路段繁忙，哪些路段空閑，并實時將這些信息顯示在道路的LED屏上，根據(jù)深淺不同的顏色來標(biāo)識道路的繁忙程度，幫助司機判斷走哪條路更加合理。4.統(tǒng)計分析統(tǒng)計分析包括以下功能：車流量統(tǒng)計大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案大數(shù)據(jù)可視化數(shù)據(jù)治理整體解決方案用戶能夠按卡口單位、卡口名稱、車輛類型、卡□車道進行流量統(tǒng)計，車流量統(tǒng)計可以包括以下查詢條件：按卡□使用單位查詢、按卡口名稱查詢、按車輛車型查詢、按卡口車道查詢、按所選時間模式進行查詢。車流量統(tǒng)計可以按照五種時間模式（年、月、周、日、自定義時間段）自動生成3D柱狀圖形式的報表（年報表、月報表、周報表、日報表、時間段報表），并且報表可以導(dǎo)出和打印。統(tǒng)計結(jié)果可以作為日常道路交通誘導(dǎo)和交通優(yōu)化管理的依據(jù)，方便用戶定期對交通狀況進行處理和總結(jié)。系統(tǒng)能夠?qū)嚵髁壳闆r，進行數(shù)據(jù)分析，對路段堵塞、車流量異常減少、增多、斷流等情況可進行智能判斷并報警。車道平均速度統(tǒng)計用戶能夠按卡口單位、卡口名稱、車輛類型、卡□車道進行車速統(tǒng)計，統(tǒng)計結(jié)果可以作為日常道路交通誘