大數(shù)據(jù)可視化分析平臺介紹0001

1、大數(shù)據(jù)可視化分析平臺介 紹 This manuscript was revised by the office on December 22, 2012 大數(shù)據(jù)可視化分析平臺 一、背景與目標(biāo) 基于邳州市電子政務(wù)建設(shè)的基礎(chǔ)支撐環(huán)境，以基礎(chǔ)信息資源庫（人口庫、 法人庫、宏觀經(jīng)濟、地理庫）為基礎(chǔ)，建設(shè)融合業(yè)務(wù)展示系統(tǒng)，提供綜合信息 查詢展示、信息簡報呈現(xiàn)、數(shù)據(jù)分析、數(shù)據(jù)開放等資源服務(wù)應(yīng)用。實現(xiàn)市府領(lǐng) 導(dǎo)及相關(guān)委辦的融合數(shù)據(jù)資源視角，實現(xiàn)數(shù)據(jù)信息資源融合服務(wù)與創(chuàng)新服務(wù)， 通過系統(tǒng)達到及時了解本市發(fā)展的綜合情況，及時掌握發(fā)展動態(tài)，為政策擬定 提供依據(jù)。 充分運用云計算、大數(shù)據(jù)等信息技術(shù)，建設(shè)融合分析平臺

2、、展示平臺，整 合現(xiàn)有數(shù)據(jù)資源，結(jié)合政務(wù)大數(shù)據(jù)的分析能力與業(yè)務(wù)編排展示能力，以人口、 法人、地理，人口與地理，法人與地理，實現(xiàn)基礎(chǔ)展示與分析，融合公安、交 通、工業(yè)、教育、旅游等重點行業(yè)的數(shù)據(jù)綜合分析，為城市管理、產(chǎn)業(yè)升級、 民生保障提供有效支撐。 二、政務(wù)大數(shù)據(jù)平臺 1、數(shù)據(jù)采集和交換需求：通過對各個委辦局的指定業(yè)務(wù)數(shù)據(jù) 進行匯聚，將分散的數(shù)據(jù)進行物理集中和整合管理，為實現(xiàn)對數(shù)據(jù) 的分析提供數(shù)據(jù)支撐。將為跨機構(gòu)的各類業(yè)務(wù)系統(tǒng)之間的業(yè)務(wù)協(xié) 同，提供統(tǒng)一和集中的數(shù)據(jù)交互共享服務(wù)。包括數(shù)據(jù)交換、共享和 ETL等功能。 2、海量數(shù)據(jù)存儲管理需求：大數(shù)據(jù)平臺從各個委辦局的業(yè)務(wù)系 統(tǒng)里抽取的數(shù)據(jù)量巨大，

3、數(shù)據(jù)類型繁朵，數(shù)據(jù)需要持久化的存儲和 訪問。不論是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，經(jīng) 過數(shù)據(jù)存儲引擎進行建模后，持久化保存在存儲系統(tǒng)上。存儲系統(tǒng) 要具備高可靠性、快速查詢能力。 3、數(shù)據(jù)計算分析需求：包括海量數(shù)據(jù)的離線計算能力、高效即 席數(shù)據(jù)查詢需求和低時延的實時計算能力。隨著數(shù)據(jù)量的不斷增 加，需要數(shù)據(jù)平臺具備線性擴展能力和強大的分析能力，支撐不斷 增長的數(shù)據(jù)量，滿足未來政務(wù)各類業(yè)務(wù)工作的發(fā)展需要，確保業(yè)務(wù) 系統(tǒng)的不間斷且有效地工作。 4、數(shù)據(jù)關(guān)聯(lián)集中需求：對集中存儲在數(shù)據(jù)管理平臺的數(shù)據(jù)，通 過正確的技術(shù)手段將這些離散的數(shù)據(jù)進行數(shù)據(jù)關(guān)聯(lián)，B|J：通過分析 數(shù)據(jù)間的業(yè)務(wù)關(guān)系，建立關(guān)

4、鍵數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，將離散的數(shù)據(jù) 串聯(lián)起來形成能表達更多含義信息集合，以形成基礎(chǔ)庫、業(yè)務(wù)庫、 知識庫等數(shù)據(jù)集。 5、應(yīng)用開發(fā)需求：依靠集中數(shù)據(jù)集，快速開發(fā)創(chuàng)新應(yīng)用，支撐 實際分析業(yè)務(wù)需要。 6、大數(shù)據(jù)分析挖掘需求：通過對海量的政務(wù)業(yè)務(wù)大數(shù)據(jù)進行分 析與挖掘，輔助政務(wù)決策，提供資源配置分析優(yōu)化等輔助決策功 能，促進民生的發(fā)展。 采用新型MPP數(shù)據(jù)庫+Hadoop的融合架構(gòu)，使用MPP處理PB級別的、高質(zhì) 量的結(jié)構(gòu)化數(shù)據(jù)，同時為應(yīng)用提供豐富的SQL支持能力;使用Hadoop處理海量 半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，從而滿足用戶多種數(shù)據(jù)的處理需求。 智慧政務(wù)：基于分布式計算、存儲框架，面向政府不同價值的數(shù)

5、據(jù)源，通 過采集、存儲、建模、挖掘等大數(shù)據(jù)技術(shù)，在社會保障、公共安全、人居環(huán) 境、勞動就業(yè)、文化教育、交通運輸、綜合治稅、消費維權(quán)、精準(zhǔn)扶貧等領(lǐng)域 開展大數(shù)據(jù)應(yīng)用，優(yōu)化公共資源配置，提高公共服務(wù)水平。幫助政府促進經(jīng)濟 發(fā)展、完善社會治理、提升政府服務(wù)管理能力、服務(wù)改善民生，培育壯大新興 產(chǎn)業(yè)。 如下圖所示的政府綜合決策分析系統(tǒng)，利用大數(shù)據(jù)分析平臺，采集并分析 多個部門共享上傳的業(yè)務(wù)數(shù)據(jù)，為政務(wù)部門提供決策支持。 如下圖所示的政府效能監(jiān)察大數(shù)據(jù)系統(tǒng)，通過對各類政務(wù)服務(wù)事項，全市 各個部門單位的政府網(wǎng)上辦事流程進行多維度，高效的及時監(jiān)察、分析，從而 對辦事效率低下的職能部門和審批人員實現(xiàn)高效監(jiān)督；

6、找出設(shè)置不合理的辦事 流程，促進政府辦事流程的優(yōu)化。實現(xiàn)政府部門網(wǎng)上辦事多維度的數(shù)據(jù)分析挖 掘，秒級展現(xiàn)效果，讓決策者一口了然發(fā)現(xiàn)問題，提升政府的服務(wù)水平。 基礎(chǔ)信息融合應(yīng)用展示分析 基于政務(wù)大數(shù)據(jù)平臺開發(fā)或構(gòu)建的各類系統(tǒng)如四大基礎(chǔ)庫系統(tǒng)、業(yè)務(wù)主題 庫系統(tǒng)，通過政務(wù)大數(shù)據(jù)平臺信息樞紐的作用，各系統(tǒng)不需要再與任何政府部 門業(yè)務(wù)系統(tǒng)對接，而直接從政務(wù)大數(shù)據(jù)平臺關(guān)聯(lián)形成數(shù)據(jù)，為政府業(yè)務(wù)辦理提 供支撐。 三、視頻云結(jié)構(gòu)化分析系統(tǒng) 視頻云結(jié)構(gòu)化分析系統(tǒng)可實現(xiàn)視頻中車輛和活動LI標(biāo)的結(jié)構(gòu)化信息提取， 提取屬性豐富，精確度高；支持智能結(jié)構(gòu)化分析后文本信息和圖片信息的存儲 和檢索；支持動態(tài)擴容，智能分析性能隨

7、著設(shè)備數(shù)量增加呈線性增強；支持笫 三方標(biāo)準(zhǔn)視頻流的接入和智能分析應(yīng)用；支持本地錄像的智能分析；系統(tǒng)自帶 IE界面，提供智能檢索、數(shù)據(jù)統(tǒng)訃、布控報警、任務(wù)管理、資源管理、集群管 理、系統(tǒng)校時、日志查詢等功能。 1. 車輛大數(shù)據(jù)分析 車輛圖片以圖搜圖 車輛以圖搜圖是基于圖片的搜索模式，通過圖片建模后特征向量的比對分 析，并且在被搜索圖片中選擇特征區(qū)域進行二次比對，從圖片庫中檢索出符合 條件的圖片，并根據(jù)相似度返回比對結(jié)果。準(zhǔn)確率比單純建模后特性限量比對 高 50% o 過車數(shù)據(jù)處理服務(wù) 過車數(shù)據(jù)處理包括過車數(shù)據(jù)檢索、智能研判、0D分析、統(tǒng)計分析等兒大 類。 過車數(shù)據(jù)檢索 過車數(shù)據(jù)檢索是通過全文檢索

8、技術(shù)，對海量過車數(shù)據(jù)進行快速檢索，支持 精確查詢、模糊查詢、多條件組合查詢。支持千億過車數(shù)據(jù)中秒級查詢到結(jié) 果。 過車數(shù)據(jù)檢索具體包括以下功能： 普通過車査詢 支持根據(jù)模糊條件、組合條件進行過車信息的查詢。可選的條件包括卡 口、車牌、車型、時間段等。針對只知道部分車牌信息的車輛可以輸入“*”代 表多位，“”代表一位號碼，進行模糊匹配。 違法車輛査詢 支持根據(jù)組合條件進行報警車輛的查詢，違法車輛包括超速行駛、闖紅燈 等車輛，可選條件包括卡口、時間段等。 未識別車輛査詢 支持根據(jù)組合條件對未識別車輛進行查詢，未識別車輛包括非機動車輛、 沒有車輛通過確拍照的、只抓拍下部分車牌的車輛、正確抓拍卻未識別

9、出的車 輛，可選條件包括卡口、時間段等。 布控報警査詢 支持對布控的車輛及布控產(chǎn)生的報警進行查詢。 異常牌照査詢 支持根據(jù)組合條件對異常牌照的車輛進行查詢，異常牌照包括假牌、套牌 等，可選條件包括卡口、時間段等。 紅名單査詢 支持對紅名單車輛進行情況。 行車軌跡査詢 支持根據(jù)行車軌跡對過車信息進行查詢。 2. 智能研判 智能研判是通過對海量過車數(shù)據(jù)的分布式計算分析，快速挖掘出其中有價 值的信息。智能研判具體包括以下功能： 行車軌跡智能研判 車輛軌跡智能研判功能包含對精確U標(biāo)、模糊U標(biāo)兩類車輛進行軌跡智能 研判。 精確LI標(biāo)車輛軌跡智能研判：分析特定車輛在一段時間內(nèi)經(jīng)過多個信息采 集點形成的行車

10、軌跡，在PGIS重現(xiàn)該車輛的行車路線。“特定車輛”是指查 詢者明確該車輛的車牌號碼，至少清楚車牌號碼中絕大部分字符及準(zhǔn)確的排序 位置，在查詢過程中也可輔以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系統(tǒng) 篩選范圍。 “特定車輛”行車軌跡出現(xiàn)在信息平臺的PGIS地圖上，單擊任一采集點的 卡口圖標(biāo)，能重現(xiàn)當(dāng)時車輛被捕獲抓拍的高清照片。 若查詢者確認(rèn)該車輛為嫌疑車，則可啟動布控報警與實時跟蹤功能，當(dāng)該 車下一次穿過任意卡口（或卡口式電子警察）時，系統(tǒng)將自動報警并提示監(jiān)控 人員，同時該車在未攔截之前，PGIS地圖上將實時顯示其后續(xù)穿過的卡口位 置、行車軌跡、趨勢方向等信息。 模糊LI標(biāo)車輛軌跡智能研判：當(dāng)偵

11、查或LI擊者提供的車輛特征信息不明確 時，結(jié)合有限的車輛特征信息和車輛逃逸方向，綜合LI擊者發(fā)現(xiàn)它的時間段、 有限的車輛特征信息、逃逸方向范圍內(nèi)的卡口等客觀條件進行檢索查詢，在 PGIS上勾勒出同時滿足上述條件的所有車輛的行車軌跡，在查詢過程中也可輔 以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍。為偵查辦案工作 進一步開展提供參考依據(jù)，比如：提供這些相關(guān)車輛的高清照片，其中包含清 晰的車牌號碼、車輛輪廓特征（車型、車品牌）、駕駛員面部特征等。 短時通過車輛智能研判 短時通過車輛智能研判是通過區(qū)間測速功能，對通過區(qū)間的時間在設(shè)定閾 值內(nèi)的車輛進行研判。短時通過車輛智能研判一方面有助于將長

12、期超速行駛的 車輛納入治超名單，通過安裝在街面的LED信息發(fā)布屏對其進行公示、警告； 另一方面有助于公安交通管理部門統(tǒng)訃分析哪些路段發(fā)生超速行駛的次數(shù)最 多，以輔助決策是否需要對這些道路進行加強管理，消除潛在的交通事故隱 患。 跟車關(guān)聯(lián)智能研判 跟車關(guān)聯(lián)智能研判是針對刑偵時犯罪團伙車輛經(jīng)常結(jié)隊活動的特點，對犯 罪嫌疑車輛進行信息查詢時，根據(jù)車牌省份地域分析其相鄰車輛號牌，挖掘出 有關(guān)聯(lián)的車輛，為辦案提供線索。根據(jù)犯罪嫌疑車輛的車牌號碼、車牌種類、 車輛通過時間、分析時間間隔、路口名稱及車道號這兒個條件篩選出與犯罪嫌 疑車輛有關(guān)聯(lián)的車。 選定車牌號碼、時間段、路口等信息，通過設(shè)定的跟車間隔時間大

13、小，分 析出與此車輛關(guān)聯(lián)的其他車輛過車信息。 套牌嫌疑智能研判 套牌車輛智能研判功能主要包含基于車輛多個特征交義比對的研判分析和 基于行程時間的研判分析兩大類。 基于車輛多個特征交義比對的套牌車輛智能研判：綜合分析車輛號牌、車 型、車身顏色等車輛特征，自動發(fā)現(xiàn)套牌車輛，因為車牌號碼識別準(zhǔn)確率最 高，選擇車牌號碼為基準(zhǔn)參數(shù)。比如：在城市內(nèi)發(fā)現(xiàn)車牌號碼一致，但車型不 同，或者車牌號碼一致，但車身顏色不同，那么其中1輛一定是套牌車，在認(rèn) 定過程中將借助來自車管庫的登記信息。 基于行程時間的套牌車輛智能研判：在PGIS地圖上，以卡口、卡口式電子 警察布點較密集的路段為中心劃定兒個區(qū)域，區(qū)域之間設(shè)定時間

14、差，對多個區(qū) 域內(nèi)的通行車輛進行交義比對，如果發(fā)現(xiàn)車牌號碼相同的車輛，那么其中1輛 一定是套牌車，在認(rèn)定過程中將借助來自車管庫的登記信息。其原理是在現(xiàn)實 環(huán)境中同一輛車從一個區(qū)域跨度到另一個區(qū)域的行程時間不可能小于設(shè)定的時 間差。 頻繁出入車輛智能研判 頻繁岀入車輛智能研判是分析一段時間內(nèi)車輛通過某一個或某兒個卡口的 頻度，當(dāng)頻度大于設(shè)定值時，認(rèn)為該車輛活動異常，并可顯示車輛的活動軌 跡。該信息可用于車輛預(yù)警，同時提供統(tǒng)計報表，支持打印、保存及數(shù)據(jù)導(dǎo) 出。 區(qū)域碰撞智能研判 區(qū)域碰撞智能研判是利用數(shù)據(jù)碰撞技術(shù)來加速車輛特征信息的提取工作， 比如在兩個卡口或兩個區(qū)域的所有卡口之間進行數(shù)據(jù)遍歷，找

15、出符合檢索條件 的車輛。 根據(jù)嫌疑人會用類似的手段連續(xù)作案的動機原理，當(dāng)在一定時間范圍發(fā)生 作案手段類似的案件，對于指定的兩個或兩個以上區(qū)域范用內(nèi)的所有卡口為基 點，在指定的時間范圍內(nèi)，通過遍歷搜索的方式，碰撞搜索并精確定位具備相 同車牌號碼的機動車，可以快速發(fā)現(xiàn)不同區(qū)域涉案嫌疑車輛之間的關(guān)聯(lián)性。 初次入城智能研判 在選定時間段和路口時，查詢所有首次通行選定路口的車輛的過車信息， 對于任意車牌號碼只記錄首次通行的一條過車信息。 選定路口名稱、車牌號碼、時間段，分析得到該時間段內(nèi)選定的車牌號碼 首次通過該路口時的過車信息。 違法多發(fā)時間段智能研判 通過對特定時間段內(nèi)違法車輛的統(tǒng)計分析，可分析出哪

16、些時間段內(nèi)交通違 法事件較多，如國慶期間、大型活動期間等。根據(jù)分析結(jié)果，有助于公安交通 管理部門在這些時間段內(nèi)，做出相應(yīng)的對策。 違法多發(fā)地點智能研判 通過對特定地點的違法車輛統(tǒng)訃分析，可分析出哪些地點交通違法事件較 多。這些分析結(jié)果有助于公安交通管理部門找出違法多發(fā)地點，以輔助決策是 否需要對這些道路進行加強管理，消除潛在的交通事故隱患。 3. 0D分析 支持過車數(shù)據(jù)的0D分析，包括區(qū)間測速、車輛誘導(dǎo)等。 區(qū)間測速 支持卡口與卡口間車輛的區(qū)間行駛速度測算，通過兩個卡口之間距離除以 車輛穿過兩個卡口的時間差來訃算車輛在區(qū)間通行的平均速度（平均速度公 式：V區(qū)何=S區(qū)何/T區(qū)何）o 車輛誘導(dǎo) 車

17、輛誘導(dǎo)是根據(jù)車流量統(tǒng)訃、區(qū)間測速而訃算出哪些路段繁忙，哪些路段 空閑，并實時將這些信息顯示在道路的LED屏上，根據(jù)深淺不同的顏色來標(biāo)識 道路的繁忙程度，幫助司機判斷走哪條路更加合理。 4. 統(tǒng)計分析 統(tǒng)計分析包括以下功能： 車流量統(tǒng)計 用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進行流量統(tǒng)計，車 流量統(tǒng)訃可以包括以下查詢條件：按卡口使用單位查詢、按卡口名稱查詢、按 車輛車型查詢、按卡口車道查詢、按所選時間模式進行查詢。 車流量統(tǒng)計可以按照五種時間模式（年、月、周、日、自定義時間段）自 動生成3D柱狀圖形式的報表（年報表、月報表、周報表、日報表、時間段報 表），并且報表可以導(dǎo)出和打印。統(tǒng)訃結(jié)

18、果可以作為日常道路交通誘導(dǎo)和交通 優(yōu)化管理的依據(jù)，方便用戶定期對交通狀況進行處理和總結(jié)。 系統(tǒng)能夠?qū)嚵髁壳闆r，進行數(shù)據(jù)分析，對路段堵塞、車流量異常減少、 增多、斷流等情況可進行智能判斷并報警。 車道平均速度統(tǒng)計 用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進行車速統(tǒng)計，統(tǒng) 計結(jié)果可以作為日常道路交通誘導(dǎo)和交通優(yōu)化管理的依據(jù)，方便用戶定期對交 通狀況的處理和總結(jié)。同時，對于超速頻繁的路段，公安交通管理可加強管 理，消除潛在的交通事故隱患。 車頭時距分析 支持根據(jù)開始時間、結(jié)束時間對一個或多個路口進行車輛的車頭時距進行 統(tǒng)計分析，生成統(tǒng)計報表，支持根據(jù)需要生成柱狀圖，餅狀圖，對統(tǒng)計結(jié)果支 持圖形和報表的導(dǎo)出。 車頭距離分析 支持根據(jù)開始時間、結(jié)束時間對一個或多個路口進行車輛的車頭距離進行 統(tǒng)計分析，生成統(tǒng)計報表，支持根據(jù)需要生成柱狀圖，餅狀圖，對統(tǒng)計結(jié)果支 持圖形和報表的導(dǎo)出。 車道時間占有率統(tǒng)計 支持根據(jù)開始時間、結(jié)束時間對一個或多個路口進行車道占有率統(tǒng)計，生 成統(tǒng)計