大數(shù)據(jù)可視化分析平臺(tái)介紹演示教學(xué)

1、大數(shù)據(jù)可視化分析平臺(tái)介紹大數(shù)據(jù)可視化分析平臺(tái)一、背景與目標(biāo)基于邳州市電子政務(wù)建設(shè)的根底支撐環(huán)境,以根底信息資源庫人口庫、 法人庫、宏觀經(jīng)濟(jì)、地理庫為根底,建設(shè)融合業(yè)務(wù)展示系統(tǒng),提供綜合信息 查詢展示、信息簡(jiǎn)報(bào)呈現(xiàn)、數(shù)據(jù)分析、數(shù)據(jù)開放等資源效勞應(yīng)用.實(shí)現(xiàn)市府領(lǐng) 導(dǎo)及相關(guān)委辦的融合數(shù)據(jù)資源視角,實(shí)現(xiàn)數(shù)據(jù)信息資源融合效勞與創(chuàng)新效勞, 通過系統(tǒng)到達(dá)及時(shí)了解本市開展的綜合情況,及時(shí)掌握開展動(dòng)態(tài),為政策擬定 提供依據(jù).充分運(yùn)用云計(jì)算、大數(shù)據(jù)等信息技術(shù),建設(shè)融合分析平臺(tái)、展示平臺(tái),整 合現(xiàn)有數(shù)據(jù)資源,結(jié)合政務(wù)大數(shù)據(jù)的分析水平與業(yè)務(wù)編排展示水平,以人口、 法人、地理,人口與地理,法人與地理,實(shí)現(xiàn)根底展示與分析

2、,融合公安、交 通、工業(yè)、教育、旅游等重點(diǎn)行業(yè)的數(shù)據(jù)綜合分析,為城市治理、產(chǎn)業(yè)升級(jí)、 民生保證提供有效支撐.二、政務(wù)大數(shù)據(jù)平臺(tái)1、數(shù)據(jù)采集和交換需求：通過對(duì)各個(gè)委辦局的指定業(yè)務(wù)數(shù)據(jù)進(jìn) 行會(huì)聚,將分散的數(shù)據(jù)進(jìn)行物理集中和整合治理,為實(shí)現(xiàn)對(duì)數(shù)據(jù)的 分析提供數(shù)據(jù)支撐.將為跨機(jī)構(gòu)的各類業(yè)務(wù)系統(tǒng)之間的業(yè)務(wù)協(xié)同, 提供統(tǒng)一和集中的數(shù)據(jù)交互共享效勞.包括數(shù)據(jù)交換、共享和 ETL 等功能.2、海量數(shù)據(jù)存儲(chǔ)治理需求：大數(shù)據(jù)平臺(tái)從各個(gè)委辦局的業(yè)務(wù)系 統(tǒng)里抽取的數(shù)據(jù)量巨大,數(shù)據(jù)類型繁雜,數(shù)據(jù)需要持久化的存儲(chǔ)和 訪問.不管是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù),還是非結(jié)構(gòu)化數(shù)據(jù),經(jīng)過數(shù)據(jù)存儲(chǔ)引擎進(jìn)行建模后,持久化保存在存儲(chǔ)系統(tǒng)上

3、.存儲(chǔ)系統(tǒng) 要具備高可靠性、快速查詢水平.3、數(shù)據(jù)計(jì)算分析需求：包括海量數(shù)據(jù)的離線計(jì)算水平、高效即 席數(shù)據(jù)查詢需求和低時(shí)延的實(shí)時(shí)計(jì)算水平.隨著數(shù)據(jù)量的不斷增 加,需要數(shù)據(jù)平臺(tái)具備線性擴(kuò)展水平和強(qiáng)大的分析水平,支撐不斷 增長(zhǎng)的數(shù)據(jù)量,滿足未來政務(wù)各類業(yè)務(wù)工作的開展需要,保證業(yè)務(wù) 系統(tǒng)的不間斷且有效地工作.4、數(shù)據(jù)關(guān)聯(lián)集中需求：對(duì)集中存儲(chǔ)在數(shù)據(jù)治理平臺(tái)的數(shù)據(jù),通 過正確的技術(shù)手段將這些離散的數(shù)據(jù)進(jìn)行數(shù)據(jù)關(guān)聯(lián),即：通過分析 數(shù)據(jù)間的業(yè)務(wù)關(guān)系,建立關(guān)鍵數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,將離散的數(shù)據(jù) 串聯(lián)起來形成能表達(dá)更多含義信息集合,以形成根底庫、業(yè)務(wù)庫、 知識(shí)庫等數(shù)據(jù)集.5、應(yīng)用開發(fā)需求：依靠集中數(shù)據(jù)集,快速開發(fā)

4、創(chuàng)新應(yīng)用,支撐 實(shí)際分析業(yè)務(wù)需要.6、大數(shù)據(jù)分析挖掘需求：通過對(duì)海量的政務(wù)業(yè)務(wù)大數(shù)據(jù)進(jìn)行分析與挖掘,輔助政務(wù)決策,提供資源配置分析優(yōu)化等輔助決策功 能,促進(jìn)民生的開展.采用新型MPP數(shù)據(jù)庫+Hadoop 的融合架構(gòu),使用 MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù),同時(shí)為應(yīng)用提供豐富的 SQL支持水平;使用Hadoop處理海量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),從而滿足用戶多種數(shù)據(jù)的處理需 求.金箍合大睡覦假設(shè)平臺(tái)5QLID席直詢?nèi)臋z索數(shù)據(jù)挖掘K回視化眾智創(chuàng)新平告H3C Data EngineMPP布式數(shù)理庫一J數(shù)據(jù)交換ETLIM智慧政務(wù)：基于分布式計(jì)算、存儲(chǔ)框架,面向政府不同價(jià)值的數(shù)據(jù)源,通過采集、存儲(chǔ)

5、、建模、挖掘等大數(shù)據(jù)技術(shù),在社會(huì)保證、公共平安、人居環(huán) 境、勞動(dòng)就業(yè)、文化教育、交通運(yùn)輸、綜合治稅、消費(fèi)維權(quán)、精準(zhǔn)扶貧等領(lǐng)域開展大數(shù)據(jù)應(yīng)用,優(yōu)化公共資源配置,提升公共效勞水平.幫助政府促進(jìn)經(jīng)濟(jì) 開展、完善社會(huì)治理、提升政府效勞治理水平、效勞改善民生,培育壯大新興 產(chǎn)業(yè).H2C OatdEngtne大數(shù)據(jù)處理平白展大用 三芬應(yīng) 第政ttE卑號(hào)如下列圖所示的政府綜合決策分析系統(tǒng),利用大數(shù)據(jù)分析平臺(tái),采集并分析多個(gè)部門共享上傳的業(yè)務(wù)數(shù)據(jù),為政務(wù)部門提供決策支持.如下列圖所示的政府效能監(jiān)察大數(shù)據(jù)系統(tǒng),通過對(duì)各類政務(wù)效勞事項(xiàng),全市JS據(jù)共事交投平臺(tái)各個(gè)部門單位的政府網(wǎng)上辦事流程進(jìn)行多維度,高效的及時(shí)監(jiān)察

6、、分析,從而對(duì)辦事效率低下的職能部門和審批人員實(shí)現(xiàn)高效監(jiān)督；找出設(shè)置不合理的辦事 流程,促進(jìn)政府辦事流程的優(yōu)化.實(shí)現(xiàn)政府部門網(wǎng)上辦事多維度的數(shù)據(jù)分析挖掘,秒級(jí)展現(xiàn)效果,讓決策者一目了然發(fā)現(xiàn)問題,提升政府的效勞水平.根底信息融合應(yīng)用展示分析基于政務(wù)大數(shù)據(jù)平臺(tái)開發(fā)或構(gòu)建的各類系統(tǒng)如四大根底庫系統(tǒng)、業(yè)務(wù)主題 庫系統(tǒng),通過政務(wù)大數(shù)據(jù)平臺(tái)信息樞紐的作用,各系統(tǒng)不需要再與任何政府部 門業(yè)務(wù)系統(tǒng)對(duì)接,而直接從政務(wù)大數(shù)據(jù)平臺(tái)關(guān)聯(lián)形成數(shù)據(jù),為政府業(yè)務(wù)辦理提 供支撐.三、視頻云結(jié)構(gòu)化分析系統(tǒng)視頻云結(jié)構(gòu)化分析系統(tǒng)可實(shí)現(xiàn)視頻中車輛和活動(dòng)目標(biāo)的結(jié)構(gòu)化信息提取,提取屬性豐富,精確度高；支持智能結(jié)構(gòu)化分析后文本信息和圖片信

7、息的存儲(chǔ) 和檢索；支持動(dòng)態(tài)擴(kuò)容,智能分析性能隨著設(shè)備數(shù)量增加呈線性增強(qiáng)；支持第 三方標(biāo)準(zhǔn)視頻流的接入和智能分析應(yīng)用；支持本地錄像的智能分析；系統(tǒng)自帶 IE界面,提供智能檢索、數(shù)據(jù)統(tǒng)計(jì)、布控報(bào)警、任務(wù)治理、資源治理、集群管 理、系統(tǒng)校時(shí)、日志查詢等功能.1 .車輛大數(shù)據(jù)分析車輛圖片以圖搜圖車輛以圖搜圖是基于圖片的搜索模式,通過圖片建模后特征向量的比對(duì)分 析,并且在被搜索圖片中選擇特征區(qū)域進(jìn)行二次比對(duì),從圖片庫中檢索出符合 條件的圖片,并根據(jù)相似度返回比對(duì)結(jié)果.準(zhǔn)確率比單純建模后特性限量比對(duì) 高 50%.過車數(shù)據(jù)處理效勞過車數(shù)據(jù)處理包括過車數(shù)據(jù)檢索、智能研判、OD分析、統(tǒng)計(jì)分析等幾大類.過車數(shù)據(jù)檢

8、索過車數(shù)據(jù)檢索是通過全文檢索技術(shù),對(duì)海量過車數(shù)據(jù)進(jìn)行快速檢索,支持 精確查詢、模糊查詢、多條件組合查詢.支持千億過車數(shù)據(jù)中秒級(jí)查詢到結(jié) 果.過車數(shù)據(jù)檢索具體包括以下功能：普通過車查詢支持根據(jù)模糊條件、組合條件進(jìn)行過車信息的查詢.可選的條件包括卡口、車牌、車型、時(shí)間段等.針對(duì)只知道局部車牌信息的車輛可以輸入“*代表多位,代表一位號(hào),進(jìn)行模糊匹配.違法車輛查詢支持根據(jù)組合條件進(jìn)行報(bào)警車輛的查詢,違法車輛包括超速行駛、闖紅燈 等車輛,可選條件包括卡口、時(shí)間段等.未識(shí)別車輛查詢支持根據(jù)組合條件對(duì)未識(shí)別車輛進(jìn)行查詢,未識(shí)別車輛包括非機(jī)動(dòng)車輛、 沒有車輛通過確拍照的、只抓拍下局部車牌的車輛、正確抓拍卻未識(shí)

9、別出的車 輛,可選條件包括卡口、時(shí)間段等.布控報(bào)警查詢支持對(duì)布控的車輛及布控產(chǎn)生的報(bào)警進(jìn)行查詢.異常牌照查詢支持根據(jù)組合條件對(duì)異常牌照的車輛進(jìn)行查詢,異常牌照包括假牌、套牌 等,可選條件包括卡口、時(shí)間段等.紅名單查詢支持對(duì)紅名單車輛進(jìn)行情況.行車軌跡查詢支持根據(jù)行車軌跡對(duì)過車信息進(jìn)行查詢.2 .智能研判智能研判是通過對(duì)海量過車數(shù)據(jù)的分布式計(jì)算分析,快速挖掘出其中有價(jià) 值的信息.智能研判具體包括以下功能：行車軌跡智能研判車輛軌跡智能研判功能包含對(duì)精確目標(biāo)、模糊目標(biāo)兩類車輛進(jìn)行軌跡智能 研判精確目標(biāo)車輛軌跡智能研判：分析特定車輛在一段時(shí)間內(nèi)經(jīng)過多個(gè)信息采 集點(diǎn)形成的行車軌跡,在PGIS上重現(xiàn)該車輛

10、的行車路線.“特定車輛是指 查詢者明確該車輛的車牌號(hào),至少清楚車牌號(hào)中絕大局部字符及準(zhǔn)確的排 序位置,在查詢過程中也可輔以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系 統(tǒng)篩選范圍.“特定車輛行車軌跡出現(xiàn)在信息平臺(tái)的 PGIS地圖上,單擊任一采集點(diǎn) 的卡口圖標(biāo),能重現(xiàn)當(dāng)時(shí)車輛被捕獲抓拍的高清照片.假設(shè)查詢者確認(rèn)該車輛為嫌疑車,那么可啟動(dòng)布控報(bào)警與實(shí)時(shí)跟蹤功能,當(dāng)該 車下一次穿過任意卡口或卡口式電子警察時(shí),系統(tǒng)將自動(dòng)報(bào)警并提示監(jiān)控 人員,同時(shí)該車在未攔截之前,PGIS地圖上將實(shí)時(shí)顯示其后續(xù)穿過的卡口位 置、行車軌跡、趨勢(shì)方向等信息.模糊目標(biāo)車輛軌跡智能研判：當(dāng)偵查或目擊者提供的車輛特征信息不明確 時(shí),

11、結(jié)合有限的車輛特征信息和車輛逃逸方向,綜合目擊者發(fā)現(xiàn)它的時(shí)間段、 有限的車輛特征信息、逃逸方向范圍內(nèi)的卡口等客觀條件進(jìn)行檢索查詢,在 PGIS上勾勒出同時(shí)滿足上述條件的所有車輛的行車軌跡,在查詢過程中也可輔 以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍.為偵查辦案工作 進(jìn)一步開展提供參考依據(jù),比方：提供這些相關(guān)車輛的高清照片,其中包含清 晰的車牌號(hào)、車輛輪廓特征車型、車品牌、駕駛員面部特征等.短時(shí)通過車輛智能研判短時(shí)通過車輛智能研判是通過區(qū)間測(cè)速功能,對(duì)通過區(qū)間的時(shí)間在設(shè)定閾 值內(nèi)的車輛進(jìn)行研判.短時(shí)通過車輛智能研判一方面有助于將長(zhǎng)期超速行駛的 車輛納入治超名單,通過安裝在街面的 LE

12、D信息發(fā)布屏對(duì)其進(jìn)行公示、警告;另一方面有助于公安交通治理部門統(tǒng)計(jì)分析哪些路段發(fā)生超速行駛的次數(shù)最 多,以輔助決策是否需要對(duì)這些道路進(jìn)行增強(qiáng)治理,消除潛在的交通事故隱 患.跟車關(guān)聯(lián)智能研判跟車關(guān)聯(lián)智能研判是針對(duì)刑偵時(shí)犯罪團(tuán)伙車輛經(jīng)常結(jié)隊(duì)活動(dòng)的特點(diǎn),對(duì)犯 罪嫌疑車輛進(jìn)行信息查詢時(shí),根據(jù)車牌省份地域分析其相鄰車輛號(hào)牌,挖掘出 有關(guān)聯(lián)的車輛,為辦案提供線索.根據(jù)犯罪嫌疑車輛的車牌號(hào)、車牌種類、 車輛通過時(shí)間、分析時(shí)間問隔、路口名稱及車道號(hào)這幾個(gè)條件篩選出與犯罪嫌 疑車輛有關(guān)聯(lián)的車.選定車牌號(hào)、時(shí)間段、路口等信息,通過設(shè)定的跟車間隔時(shí)間大小,分 析出與此車輛關(guān)聯(lián)的其他車輛過車信息.套牌嫌疑智能研判套牌

13、車輛智能研判功能主要包含基于車輛多個(gè)特征交叉比對(duì)的研判分析和 基于行程時(shí)間的研判分析兩大類.基于車輛多個(gè)特征交叉比對(duì)的套牌車輛智能研判：綜合分析車輛號(hào)牌、車 型、車身顏色等車輛特征,自動(dòng)發(fā)現(xiàn)套牌車輛,由于車牌號(hào)識(shí)別準(zhǔn)確率最 高,選擇車牌號(hào)為基準(zhǔn)參數(shù).比方：在城市內(nèi)發(fā)現(xiàn)車牌號(hào)一致,但車型不 同,或者車牌號(hào)一致,但車身顏色不同,那么其中1輛一定是套牌車,在認(rèn)定過程中將借助來自車管庫的登記信息.基于行程時(shí)間的套牌車輛智能研判：在 PGIS地圖上,以卡口、卡口式電 子警察布點(diǎn)較密集的路段為中央劃定幾個(gè)區(qū)域,區(qū)域之間設(shè)定時(shí)間差,對(duì)多個(gè) 區(qū)域內(nèi)的通行車輛進(jìn)行交叉比對(duì),如果發(fā)現(xiàn)車牌號(hào)相同的車輛,那么其中 輛

14、一定是套牌車,在認(rèn)定過程中將借助來自車管庫的登記信息.其原理是在現(xiàn) 實(shí)環(huán)境中同一輛車從一個(gè)區(qū)域跨度到另一個(gè)區(qū)域的行程時(shí)間不可能小于設(shè)定的 時(shí)間差.頻繁出入車輛智能研判頻繁出入車輛智能研判是分析一段時(shí)間內(nèi)車輛通過某一個(gè)或某幾個(gè)卡口的 頻度,當(dāng)頻度大于設(shè)定值時(shí),認(rèn)為該車輛活動(dòng)異常,并可顯示車輛的活動(dòng)軌 跡.該信息可用于車輛預(yù)警,同時(shí)提供統(tǒng)計(jì)報(bào)表,支持打印、保存及數(shù)據(jù)導(dǎo) 出.區(qū)域碰撞智能研判區(qū)域碰撞智能研判是利用數(shù)據(jù)碰撞技術(shù)來加速車輛特征信息的提取工作, 比方在兩個(gè)卡口或兩個(gè)區(qū)域的所有卡口之間進(jìn)行數(shù)據(jù)遍歷,找出符合檢索條件 的車輛.根據(jù)嫌疑人會(huì)用類似的手段連續(xù)作案的動(dòng)機(jī)原理,當(dāng)在一定時(shí)間范圍發(fā)生 作

15、案手段類似的案件,對(duì)于指定的兩個(gè)或兩個(gè)以上區(qū)域范圍內(nèi)的所有卡口為基 點(diǎn),在指定的時(shí)間范圍內(nèi),通過遍歷搜索的方式,碰撞搜索并精確定位具備相 同車牌號(hào)的機(jī)動(dòng)車,可以快速發(fā)現(xiàn)不同區(qū)域涉案嫌疑車輛之間的關(guān)聯(lián)性.初次入城智能研判在選定時(shí)間段和路口時(shí),查詢所有首次通行選定路口的車輛的過車信息, 對(duì)于任意車牌號(hào)只記錄首次通行的一條過車信息.選定路口名稱、車牌號(hào)、時(shí)間段,分析得到該時(shí)間段內(nèi)選定的車牌號(hào) 首次通過該路口時(shí)的過車信息.違法多發(fā)時(shí)間段智能研判通過對(duì)特定時(shí)間段內(nèi)違法車輛的統(tǒng)計(jì)分析,可分析出哪些時(shí)間段內(nèi)交通違 法事件較多,如國慶期間、大型活動(dòng)期間等.根據(jù)分析結(jié)果,有助于公安交通 治理部門在這些時(shí)間段內(nèi),

16、做出相應(yīng)的對(duì)策.違法多發(fā)地點(diǎn)智能研判通過對(duì)特定地點(diǎn)的違法車輛統(tǒng)計(jì)分析,可分析出哪些地點(diǎn)交通違法事件較 多.這些分析結(jié)果有助于公安交通治理部門找出違法多發(fā)地點(diǎn),以輔助決策是 否需要對(duì)這些道路進(jìn)行增強(qiáng)治理,消除潛在的交通事故隱患.3.OD分析支持過車數(shù)據(jù)的OD分析,包括區(qū)間測(cè)速、車輛誘導(dǎo)等.區(qū)間測(cè)速支持卡口與卡口間車輛的區(qū)間行駛速度測(cè)算,通過兩個(gè)卡口之間距離除以 車輛穿過兩個(gè)卡口的時(shí)間差來計(jì)算車輛在區(qū)間通行的平均速度平均速度公 式：V區(qū)間=S 區(qū)間/T區(qū)間.車輛誘導(dǎo)車輛誘導(dǎo)是根據(jù)車流量統(tǒng)計(jì)、區(qū)間測(cè)速而計(jì)算出哪些路段繁忙,哪些路段 空閑,并實(shí)時(shí)將這些信息顯示在道路的 LED屏上,根據(jù)深淺不同的顏色來

17、標(biāo)識(shí) 道路的繁忙程度,幫助司機(jī)判斷走哪條路更加合理.4.統(tǒng)計(jì)分析統(tǒng)計(jì)分析包括以下功能：車流量統(tǒng)計(jì)用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進(jìn)行流量統(tǒng)計(jì),車 流量統(tǒng)計(jì)可以包括以下查詢條件：按卡口使用單位查詢、按卡口名稱查詢、按 車輛車型查詢、按卡口車道查詢、按所選時(shí)間模式進(jìn)行查詢.車流量統(tǒng)計(jì)可以根據(jù)五種時(shí)間模式年、月、周、日、自定義時(shí)間段自 動(dòng)生成3D柱狀圖形式的報(bào)表年報(bào)表、月報(bào)表、周報(bào)表、日?qǐng)?bào)表、時(shí)間段報(bào) 表,并且報(bào)表可以導(dǎo)出和打印.統(tǒng)計(jì)結(jié)果可以作為日常道路交通誘導(dǎo)和交通 優(yōu)化治理的依據(jù),方便用戶定期對(duì)交通狀況進(jìn)行處理和總結(jié).系統(tǒng)能夠?qū)嚵髁壳闆r,進(jìn)行數(shù)據(jù)分析,對(duì)路段堵塞、車流量異常減少

18、、 增多、斷流等情況可進(jìn)行智能判斷并報(bào)警.車道平均速度統(tǒng)計(jì)用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進(jìn)行車速統(tǒng)計(jì),統(tǒng) 計(jì)結(jié)果可以作為日常道路交通誘導(dǎo)和交通優(yōu)化治理的依據(jù),方便用戶定期對(duì)交 通狀況的處理和總結(jié).同時(shí),對(duì)于超速頻繁的路段,公安交通治理可增強(qiáng)管 理,消除潛在的交通事故隱患.車頭時(shí)距分析支持根據(jù)開始時(shí)間、結(jié)束時(shí)間對(duì)一個(gè)或多個(gè)路口進(jìn)行車輛的車頭時(shí)距進(jìn)行 統(tǒng)計(jì)分析,生成統(tǒng)計(jì)報(bào)表,支持根據(jù)需要生成柱狀圖,餅狀圖,對(duì)統(tǒng)計(jì)結(jié)果支 持圖形和報(bào)表的導(dǎo)出.車頭距離分析支持根據(jù)開始時(shí)間、結(jié)束時(shí)間對(duì)一個(gè)或多個(gè)路口進(jìn)行車輛的車頭距離進(jìn)行 統(tǒng)計(jì)分析,生成統(tǒng)計(jì)報(bào)表,支持根據(jù)需要生成柱狀圖,餅狀圖,對(duì)統(tǒng)計(jì)結(jié)果支 持圖形和報(bào)表的導(dǎo)出車道時(shí)間占有率統(tǒng)計(jì)支持根據(jù)開始時(shí)間、結(jié)束時(shí)間對(duì)一個(gè)或多個(gè)路口進(jìn)行車道占有率統(tǒng)計(jì),生 成統(tǒng)