智能交通大數(shù)據(jù)交通信息融合與處理系統(tǒng)建設(shè)技術(shù)方案

智能交通大數(shù)據(jù)交通信息融合與處理系統(tǒng)建設(shè)技術(shù)方案1.1系統(tǒng)概述信息融合，是指多傳感器的數(shù)據(jù)在一定準則下加以自動分析、綜合以完成所需的決策和評估而進行的信息處理過程。融合是指集成各種信息源、多媒體和多格式信息，生成完整、準確、及時和有效的綜合信息。比直接從各信息源得到的信息更簡潔、更少冗余、更有用途。交通大數(shù)據(jù)分析平臺集成了城市交通多個信息化系統(tǒng)豐富的數(shù)據(jù)資源，這些數(shù)據(jù)來源于不同的檢測設(shè)備。不同的檢測設(shè)備獲得的交通參數(shù)種類不同、準確度也有差異。因而，數(shù)據(jù)融合給交通運行指數(shù)系統(tǒng)中交通信息加工和處理提供了一種很好的方法。把數(shù)據(jù)融合技術(shù)應(yīng)用于交通運行指數(shù)研判過程中，將能充分發(fā)揮數(shù)據(jù)融合技術(shù)合理協(xié)調(diào)多源數(shù)據(jù)、充分綜合有用信息、提高在多變環(huán)境中正確決策能力的優(yōu)勢。1.2處理流程交通大數(shù)據(jù)分析平臺將融合從浮動車GPS系統(tǒng)、固定檢測器、電警和卡口系統(tǒng)接入的數(shù)據(jù)，輸出指數(shù)計算參數(shù)，確保在時間與空間上對全市路網(wǎng)的最完整覆蓋，提高交通運行指數(shù)研判的準確性。圖1.2-1：多源交通信息融合處理流程圖1.3基礎(chǔ)數(shù)據(jù)管理數(shù)據(jù)管理層為大數(shù)據(jù)平臺提供全面的數(shù)據(jù)管理系統(tǒng)建設(shè)，使得每個數(shù)據(jù)進入大數(shù)據(jù)中心都能安全可控。大數(shù)據(jù)中心一經(jīng)建設(shè)完成，必然會從各業(yè)務(wù)系統(tǒng)匯集大量數(shù)據(jù)，這些數(shù)據(jù)應(yīng)該原原本本的匯集到大數(shù)據(jù)中心，而不應(yīng)再匯集過程中直接清洗，此舉有三大意義：第一：經(jīng)過數(shù)據(jù)匯集的基礎(chǔ)數(shù)據(jù)資源庫建設(shè)可以打破數(shù)據(jù)的空間隔離。第二：未經(jīng)清洗的數(shù)據(jù)雖然價值密度低，但最大程度的保障了數(shù)據(jù)的“原汁原味”，為后續(xù)各類數(shù)據(jù)分析提供最基礎(chǔ)、最全面的數(shù)據(jù)保障。第三：將數(shù)據(jù)清洗動作放在大數(shù)據(jù)中心內(nèi)部進行，可對數(shù)據(jù)清洗過程進行全面追蹤，避免由于清洗策略不完善導(dǎo)致的數(shù)據(jù)丟失?；A(chǔ)數(shù)據(jù)資源庫應(yīng)通過抽取整合公安內(nèi)部數(shù)據(jù)、公安外部數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、多媒體數(shù)據(jù)等實體數(shù)據(jù)形成。其中，公安內(nèi)部數(shù)據(jù)通過抽取警綜平臺和條線業(yè)務(wù)系統(tǒng)的數(shù)據(jù)形成；公安外部數(shù)據(jù)通過部門間共享服務(wù)平臺獲取的社會單位采集的數(shù)據(jù)；互聯(lián)網(wǎng)數(shù)據(jù)基礎(chǔ)資源庫主要通過安全接入等系統(tǒng)獲取微博、微信等即時通訊數(shù)據(jù)、網(wǎng)購、物流數(shù)據(jù)和社交媒體、在線論壇等新媒體數(shù)據(jù)；多媒體數(shù)據(jù)基礎(chǔ)資源庫主要通過公安機關(guān)自己采集或安全接入等系統(tǒng)獲取互聯(lián)網(wǎng)公開發(fā)布的與公安業(yè)務(wù)相關(guān)的照片、視頻、音頻等。應(yīng)根據(jù)源數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)和存儲方式確定數(shù)據(jù)同步方式，確?；A(chǔ)數(shù)據(jù)資源庫數(shù)據(jù)與源頭數(shù)據(jù)一致。包含以下功能：1、基礎(chǔ)數(shù)據(jù)資源信息注冊（1）基礎(chǔ)數(shù)據(jù)注冊管理平臺物理匯集、邏輯集中和整合建庫的各類數(shù)據(jù)須實現(xiàn)統(tǒng)一注冊管理。基礎(chǔ)數(shù)據(jù)的注冊信息包括基本信息、訪問密級、業(yè)務(wù)分類、更新頻率、數(shù)據(jù)關(guān)聯(lián)關(guān)系，數(shù)據(jù)項的引用標準、代碼、日期格式、訪問密級等。（2）應(yīng)用系統(tǒng)信息注冊與管理實現(xiàn)各應(yīng)用系統(tǒng)信息的注冊與管理。（3）數(shù)據(jù)庫注冊與管理實現(xiàn)應(yīng)用系統(tǒng)數(shù)據(jù)庫信息的注冊與管理。（4）表信息注冊與管理基于數(shù)據(jù)庫注冊信息，實現(xiàn)數(shù)據(jù)表信息的注冊與管理（5）字段信息注冊與管理基于數(shù)據(jù)庫注冊信息與數(shù)據(jù)表注冊信息，實現(xiàn)數(shù)據(jù)表中數(shù)據(jù)項信息的注冊與管理。（6）基礎(chǔ)信息變更提醒對于物理匯集的應(yīng)用系統(tǒng)信息，系統(tǒng)定期對源端數(shù)據(jù)庫進行檢測，如已在數(shù)據(jù)資源目錄中注冊的表、字段信息發(fā)生變化，系統(tǒng)將以消息的形式提示系統(tǒng)用戶。用戶可以根據(jù)消息提醒，執(zhí)行基礎(chǔ)數(shù)據(jù)的同步更新操作。2、基礎(chǔ)數(shù)據(jù)資源編目管理依據(jù)公安部信息共享目錄要求，對數(shù)據(jù)資源名稱、數(shù)據(jù)資源摘要、數(shù)據(jù)資源提供方、數(shù)據(jù)資源分類、數(shù)據(jù)資源共享屬性、數(shù)據(jù)資源公開屬性、數(shù)據(jù)資源標識符、元數(shù)據(jù)標識符、數(shù)據(jù)項描述等元數(shù)據(jù)信息進行明確，對已注冊的基礎(chǔ)數(shù)據(jù)按照業(yè)務(wù)、層級等進行編目、發(fā)布，形成數(shù)據(jù)資源目錄。根據(jù)注冊的基礎(chǔ)數(shù)據(jù)信息，實現(xiàn)公安數(shù)據(jù)資源的定義與編目，包括：（1）公安數(shù)據(jù)資源定義數(shù)據(jù)資源包括數(shù)據(jù)資源名稱、數(shù)據(jù)資源摘要、數(shù)據(jù)資源提供方、數(shù)據(jù)資源分類、數(shù)據(jù)資源共享屬性、數(shù)據(jù)資源公開屬性、數(shù)據(jù)資源標識符等屬性。（2）掛接基礎(chǔ)數(shù)據(jù)資源實現(xiàn)數(shù)據(jù)資源與基礎(chǔ)數(shù)據(jù)信息的關(guān)聯(lián)，包括數(shù)據(jù)表信息掛接、字段信息掛接。（3）數(shù)據(jù)資源編目對已注冊的數(shù)據(jù)資源按照來源單位、業(yè)務(wù)類型、層級等進行編目與組織。原則上，公安內(nèi)部全部非涉密信息資源均應(yīng)進行資源編目管理。3、權(quán)限管理系統(tǒng)權(quán)限管理系統(tǒng)包含用戶、角色和審批流程的管理。采用通用配置的方式，可適合任何行業(yè)的權(quán)限和審批場景。系統(tǒng)通過對角色進行附權(quán)，并將角色賦予用戶，限制用戶對功能模塊的操作和使用權(quán)限。對于不同部門的擁有不同的審批授權(quán)流程，通過設(shè)定審批等級和各級審批人的方式，實現(xiàn)審批流程的可自由配置和通用性，權(quán)限管理系統(tǒng)技術(shù)簡單但邏輯繁雜，還需與實際工作相結(jié)合才能得到最佳效果。1.4數(shù)據(jù)質(zhì)量管理基礎(chǔ)資源庫的數(shù)據(jù)種類繁雜，數(shù)據(jù)的格式多種多樣，這樣的數(shù)據(jù)質(zhì)量差，無法為數(shù)據(jù)分析業(yè)務(wù)所使用，因此展開數(shù)據(jù)規(guī)范化、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量評價等工作，對提高大數(shù)據(jù)中心的服務(wù)能力大有益處。1、數(shù)據(jù)清洗轉(zhuǎn)換數(shù)據(jù)清洗轉(zhuǎn)換模塊，幫助數(shù)據(jù)從無序到有序，從低質(zhì)量到高質(zhì)量?；诜植际轿募到y(tǒng)構(gòu)建分布式并行計算框架，提高對海量復(fù)雜數(shù)據(jù)的整合分析能力。通過海量數(shù)據(jù)挖掘分析工具軟件，設(shè)計計算模型，靈活地配置策略，對海量復(fù)雜的信息資源進行數(shù)據(jù)預(yù)處理、數(shù)據(jù)加工、關(guān)聯(lián)分析等復(fù)雜的分析應(yīng)用，并將產(chǎn)生的分析結(jié)果數(shù)據(jù)，存儲于信息資源服務(wù)平臺，支撐服務(wù)于專題庫的建設(shè)應(yīng)用。如針對旅館住宿數(shù)據(jù)、網(wǎng)吧上網(wǎng)數(shù)據(jù)、卡口數(shù)據(jù)等海量信息數(shù)據(jù)，通過Hadoop的MapReduce計算方法進行復(fù)雜的分析應(yīng)用，從而減少多步計算處理對數(shù)據(jù)倉庫環(huán)境產(chǎn)生計算壓力?；诜?wù)實戰(zhàn)和管理決策，依托海量數(shù)據(jù)挖掘分析工具軟件支撐，探索海量數(shù)據(jù)的“提純”處理，有效解決海量數(shù)據(jù)預(yù)處理和應(yīng)用問題，實現(xiàn)“大數(shù)據(jù)”與“小數(shù)據(jù)”的一體化整合應(yīng)用。2、數(shù)據(jù)質(zhì)量監(jiān)測數(shù)據(jù)質(zhì)量監(jiān)測指對大數(shù)據(jù)中心所包含的各類數(shù)據(jù)進行質(zhì)量評價，使得各部分數(shù)據(jù)的質(zhì)量能夠一目了然，本身并不包含過多的數(shù)據(jù)處理功能。（1）基于數(shù)據(jù)元的質(zhì)量監(jiān)測規(guī)則配置根據(jù)數(shù)據(jù)資源目錄中數(shù)據(jù)項的數(shù)據(jù)元信息，對應(yīng)用系統(tǒng)中的數(shù)據(jù)進行質(zhì)量監(jiān)測規(guī)則配置?；A(chǔ)質(zhì)量監(jiān)測規(guī)則包括對數(shù)據(jù)項命名規(guī)范、值域規(guī)范與描述規(guī)范等。對于已經(jīng)完成數(shù)據(jù)元描述的數(shù)據(jù)項，不需要單獨進行配置即可生成基礎(chǔ)質(zhì)量監(jiān)測規(guī)則。同時，支持多種監(jiān)測規(guī)則的復(fù)合運算，實現(xiàn)復(fù)雜的數(shù)據(jù)質(zhì)量監(jiān)測規(guī)則。（2）數(shù)據(jù)質(zhì)量抽樣通過與數(shù)據(jù)采集管理系統(tǒng)中同步工具的集成，完成數(shù)據(jù)的抽樣處理。抽樣方式包括：全量、增量與基于特定條件的抽樣等。（3）數(shù)據(jù)質(zhì)量監(jiān)控根據(jù)數(shù)據(jù)質(zhì)量監(jiān)測規(guī)則，生成數(shù)據(jù)質(zhì)量監(jiān)測任務(wù)，計算數(shù)據(jù)的質(zhì)量狀況，并對數(shù)據(jù)質(zhì)量監(jiān)測任務(wù)進行監(jiān)控、調(diào)度與管理。（4）數(shù)據(jù)質(zhì)量報告將數(shù)據(jù)質(zhì)量監(jiān)測結(jié)果，根據(jù)預(yù)置的模板生成監(jiān)測報告，并推