多維大數(shù)據(jù)平臺設計思路

1、1.1. 多維大數(shù)據(jù)平臺設計1.1.1. 大數(shù)據(jù)關(guān)聯(lián)分析設計1.1.1.1. 概述大數(shù)據(jù)根底平臺承載了公安數(shù)據(jù)的治理, 為上層公安應用提供數(shù) 據(jù)支撐.1.1.1.2. 數(shù)據(jù)關(guān)聯(lián)查詢?nèi)臋z索引擎是分布式的全文檢索引擎,可提供對實體,關(guān) 系,文檔的全庫實時檢索.基于各類會聚、整合形成的數(shù)據(jù)資源 提供各類數(shù)據(jù)查詢應用,系統(tǒng)為提供實體、關(guān)系、檔案等全文查 詢,將查詢結(jié)果的明細級數(shù)據(jù)的顯示,并不涉及具體數(shù)據(jù)型態(tài)的 圖形化應用,相關(guān)應用可由各警種業(yè)務系統(tǒng)根據(jù)實戰(zhàn)需要自行研 制.LLI2L綜合檢索效勞通過輸入身份證、號、姓名、案件關(guān)鍵字等內(nèi)容,實現(xiàn)海 量數(shù)據(jù)的全要素檢索,系統(tǒng)將查詢結(jié)果明細數(shù)據(jù)的列表展示,其

2、 中涉密數(shù)據(jù)將進行脫敏展示.LLL22關(guān)聯(lián)搜索系統(tǒng)為了便于檢索,建立動態(tài)電子檔案,實現(xiàn)數(shù)據(jù)會聚實時 動態(tài)更新,展示人員根本信息、活動軌跡和各類關(guān)聯(lián)信息.通過 簡單要素查詢出多維度信息,包括人員檔案、車輛信息、出行信息、軌跡信息以及關(guān)系人關(guān)系等.1.1.1.23多要素關(guān)聯(lián)查詢提供帶有復雜查詢條件的關(guān)鍵詞檢索,如：邏輯組合檢索與、或、非、通配檢索、同義詞查詢、漸進檢索、詞根檢索、關(guān)鍵詞 檢索、分類檢索、二次檢索漸進檢索或在結(jié)果中檢索、時間段檢索、年齡檢索、姓名拼音檢索等多種專業(yè)檢索方式.LLL24全文動態(tài)檔案查詢?nèi)膭討B(tài)檔案查詢,提供基于全庫數(shù)據(jù)的實時、動態(tài)的完整 檔案查詢同時為了便于檢索,建立動

3、態(tài)電子檔案,實現(xiàn)數(shù)據(jù)會聚時實 時動態(tài)更新,展示人員根本信息、活動軌跡和各類關(guān)聯(lián)信息.通 過多維度展示人員檔案,包括根本信息、車輛信息、出行信息、 軌跡信息等.電子檔案的具體功能如下：1重點人電子檔案優(yōu)化傳統(tǒng)的重點人員電子檔案,僅實現(xiàn)了一人一檔,在可維 護性、和內(nèi)容動態(tài)關(guān)聯(lián)性方面存在缺陷,電子檔案再造,實現(xiàn)的 是重點人員檔案庫、關(guān)聯(lián)內(nèi)容庫等自動更新,并動態(tài)填充至電子 檔案庫,可針對省部級、本級重點人員電子檔案進行人工、自動 補充、糾錯、編輯實現(xiàn)動態(tài)實時更新,增強重點人員管控的實時性、動態(tài)性.2人員背景綜合分析實現(xiàn)了家庭成員、社會背景、關(guān)系人網(wǎng)絡、軌跡、從業(yè) 等背景信息的一攬子展現(xiàn),結(jié)合動態(tài)的電子

4、檔案系統(tǒng)、結(jié)合平臺 的其他檢索、分析功能,實現(xiàn)功能的高度融合、 信息的集中展示.3社會網(wǎng)絡電子檔案集群包括：對網(wǎng)吧通行、旅館同住、監(jiān)管場所同房間、涉案同伙 等關(guān)聯(lián)人員的處理.檔案頁面支持查看實體,也支持查看關(guān)系,客戶不止可以看 到實體相關(guān)的屬性以及關(guān)聯(lián)實體和事件,也可以看到某關(guān)系的構(gòu) 成實體以及相關(guān)事件.檔案同時也是一個功能強大的文檔庫,所有相關(guān)的信息如屬 性,圖片,視頻等多格式的文檔都可以在這里瀏覽并推送給別人, 保證信息傳遞及時,數(shù)據(jù)價值最大化.1.1.1.3. 數(shù)據(jù)研判分析LLL3.1.數(shù)據(jù)關(guān)系智能分析在整合各類數(shù)據(jù)資源的根底上,深入挖掘目標人員、通訊設備、 網(wǎng)絡身份、交通工具之間的關(guān)聯(lián)

5、關(guān)系,根據(jù)公安多年經(jīng)驗戰(zhàn)法形成研 判戰(zhàn)法集算法模型,讓海量數(shù)據(jù)之間產(chǎn)生社會化的復雜網(wǎng)絡關(guān)系 構(gòu)建深度社會關(guān)系網(wǎng)絡,實現(xiàn)動態(tài)更新.同時,在此根底上通過在案 時間、分析團伙,重點人群體如涉恐群體、涉毒群體、線索摸排等 進一步實現(xiàn)智能團伙發(fā)現(xiàn)和潛在關(guān)系挖掘 如吸毒人群自動發(fā)現(xiàn)販毒 團伙,根據(jù)涉恐網(wǎng)絡智能挖掘涉恐頭目等1.1.132.軌跡分析算法基于統(tǒng)一的時空坐標體系,將重點人或群體目標車輛、通信、人 員軌跡等基于實體關(guān)系的關(guān)聯(lián)分析后,發(fā)現(xiàn)重大事件與重點人員活動 時空的潛在關(guān)系和規(guī)律,實現(xiàn)多元軌跡的關(guān)系發(fā)現(xiàn)如人和案件關(guān)聯(lián)、 人和人及車輛關(guān)聯(lián)等和特征挖掘如特殊時段、特殊地點的目標人 員行為異常等,為情報

6、人員提供智能化綜合情報支援,從而有針對 性的進行警力分布調(diào)配和預警.LLL32L涉毒人員軌跡分析涉毒人員的行為軌跡一般呈現(xiàn)“有去無回的特性,通過比對分 析人員出行和返回的軌跡,可以發(fā)現(xiàn)經(jīng)常前往某地但是無返回軌跡的 異常人員,經(jīng)過人工確認后進入異常人員行為布控.LLL322,車輛伴隨分析提供通過車輛犯罪嫌疑車輛或受害車輛的號牌信息和案 發(fā)前后時間段自動分析案件干系車輛的功能, 常用于根據(jù)犯罪嫌疑車 輛找尋同伙車輛或者根據(jù)受害車輛找尋犯罪嫌疑車輛.LLL323車輛晝伏夜出分析提供對于轄區(qū)內(nèi)車輛晝夜頻次異常分析功能, 在后臺依據(jù)聯(lián)網(wǎng)卡 口車輛通行數(shù)據(jù)對于夜間頻繁出現(xiàn),白天很少出現(xiàn)的車輛進行自動記 錄

7、,經(jīng)過人工確認后,進入異常行為車輛布控庫.LLL3.24車輛區(qū)域徘徊分析提供重點區(qū)域周邊車輛徘徊異常行為分析功能,在后臺依據(jù)聯(lián)網(wǎng) 卡口車輛通行數(shù)據(jù)對于短時內(nèi)一天內(nèi)指定重點區(qū)域附近的通行車 輛數(shù)據(jù)進行分析,分析出經(jīng)常在該區(qū)域反復出現(xiàn)的嫌疑車輛信息, 經(jīng) 過人工確認后,進入異常行為車輛布控庫.LL1325軌跡碰撞通過對不同實體軌跡的分析,可進一步的碰撞多個不同實體的軌 跡,發(fā)現(xiàn)不同實體間軌跡的交集.例如通過車輛活動軌跡分析功能,支持用戶指定車輛號牌以及時 間段內(nèi),依據(jù)聯(lián)網(wǎng)卡口車輛通行數(shù)據(jù)進行車輛行駛軌跡計算,并分析出車輛的活動范圍的功能,基于此功能可以實現(xiàn)多車輛動態(tài)軌跡的碰 撞,結(jié)果在GIS上展示

8、.LL133話單智能分析支持三大運營商話單格式直接導入,支持通過時間篩選以及多級 下鉆關(guān)聯(lián),支持多個實體的聯(lián)系人碰撞以及軌跡碰撞.LLL33L機主與聯(lián)系人查詢從話單中自動提取出所有 號、 姓名等作為實體,并與大數(shù) 據(jù)平臺中其他數(shù)據(jù)源進行關(guān)聯(lián),查詢出實體的 3600檔案,包括根本 信息、戶籍信息、住址等.LLL3.32聯(lián)系人關(guān)系分析通過話單分析,可以自動將話單中的聯(lián)系人提取出關(guān)系網(wǎng), 并將 話單關(guān)系網(wǎng)以合并入整個實體的關(guān)系圖,為360.研判分析提供支撐.在研判平臺上可以進一步的進行關(guān)系人、事件的分析、挖掘、碰撞.LL1333軌跡分析提取出話單中的通話事件與地理位置信息, 自動將話單中通話事 件的

9、地點信息與PGIS集成,將所有通話事件以時空方式顯示在 PGIS 中,便于民警人工分析研判以及通過軌跡戰(zhàn)法進行自動研判.LL134警情案件綜合研判將傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與公安機關(guān)大量收集的警情等非結(jié)構(gòu)化數(shù)據(jù)進行統(tǒng)一的再結(jié)構(gòu)化處理,實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)如車輛軌跡、通話記 錄與非結(jié)構(gòu)化數(shù)據(jù)如報警文本、舉報線索等的自動關(guān)聯(lián),為情 報人員提供研判支撐.LLL34L非結(jié)構(gòu)化數(shù)據(jù)采集通過大數(shù)據(jù)業(yè)務平臺初步實現(xiàn)半結(jié)構(gòu)化數(shù)據(jù) 如文本數(shù)據(jù)等根 據(jù)屬性結(jié)構(gòu)化處理圖片、視頻、語音需額外中間件進行結(jié)構(gòu)化處理, 實現(xiàn)通過結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)中的人事關(guān)聯(lián)、人人關(guān)聯(lián)、人案 關(guān)聯(lián),為符合重點人、重大事、案件串并、軌跡分析和專題情報

10、等業(yè) 務提供研判支撐.LLL342文本分析挖掘文本分析是針對系統(tǒng)中的非結(jié)構(gòu)化的文本信息提供信息處理與分析效勞,包括兩局部功能,一是將非結(jié)構(gòu)化的文本信息進行結(jié)構(gòu)化 處理,使得文本信息可以像結(jié)構(gòu)化信息一樣進行查詢、比對、統(tǒng)計、 檢索、展示操作,二是針對結(jié)構(gòu)化后的信息,提供關(guān)聯(lián)分析和挖掘功 能,如分類聚類分析、關(guān)聯(lián)分析等.LLL3.43實體關(guān)系抽取利用自然語言,自動從案情數(shù)據(jù)中提取人、地、事物、車、 等實體關(guān)系.在通用切詞庫的根底上,結(jié)合警情語義,不斷完善適用 于警情的切詞庫,提升關(guān)系提取準確度.LLL3.44串并案分析以全文檢索,模糊查詢?yōu)楦椎木€索挖掘.根據(jù)案件類型建立不 同的主題庫,以高速搶劫

11、案為例：搜索“高速公路+ “搶劫,發(fā)現(xiàn)假設干事件與接出警信息,在某接出警信息中了解到嫌犯戴有棒球帽或 身上有某紋身,在搜索條件中增加此兩線索,再次搜索,不斷循環(huán)這 一過程,得到串并案最全信息.1.1.1.4,數(shù)據(jù)效勞數(shù)據(jù)整合形成資源池后,建立一套全面數(shù)據(jù)效勞體系.對數(shù) 據(jù)進行資源分類治理,可以向各單位提供數(shù)據(jù)效勞,數(shù)據(jù)效勞主 要包括：應用效勞、接口效勞SOA、數(shù)據(jù)推送效勞及數(shù)據(jù)訂閱與下載效勞.LLL41數(shù)據(jù)資源治理將數(shù)據(jù)當成一種資源進行全面的臺賬式治理,包括對資源進 行分類、多維檢索、統(tǒng)計分析以及元數(shù)據(jù)治理等.L1J4LL資源分類對聚集庫的數(shù)據(jù)進行分類治理,將相同類型的數(shù)據(jù)歸類到相同的主題下,

12、方便對數(shù)據(jù)的檢索.LL14L2,多維檢索以多維度形式,提供靈活、可自定義的資源屬性信息展示面 板.支持動態(tài)添加、刪減查詢條件和資源屬性.支持個性化設置 頁面展示信息,使用戶可快速、便捷的獲取自己所關(guān)注的數(shù)據(jù)資 源信息.LLL4.I3數(shù)據(jù)操作1數(shù)據(jù)導入支持EXCEL數(shù)據(jù)的導入,同時對導入過程實現(xiàn)全程監(jiān)控,能 夠有詳細的日志記錄每一批次的導入情況如成功導入行數(shù)、失 敗行數(shù)等.2數(shù)據(jù)導出支持數(shù)據(jù)導出到 EXCEL3數(shù)據(jù)查詢提供統(tǒng)一的數(shù)據(jù)查詢和結(jié)果展示窗口實現(xiàn)對符合用戶訪問權(quán) 限的數(shù)據(jù)資源的快速查詢與訪問.4函數(shù)操作支持類似關(guān)系型數(shù)據(jù)庫的命令函數(shù),如數(shù)據(jù)處理函數(shù)、日期 處理函數(shù)、條件處理函數(shù)、字符串處理函數(shù)等,以滿足不同的數(shù)據(jù)使用者對于數(shù)據(jù)的個性化要求.LIJA1A通用應用效勞傳統(tǒng)的檢索查詢應用對檢索結(jié)果只是資源數(shù)據(jù)的簡單羅列, 通用性應用可針對某一通用需求,提供全面的信息,實現(xiàn)各類信 息的綜合查詢、關(guān)聯(lián)分析與深度分析,解決了檢索結(jié)果由數(shù)據(jù)往 需求的轉(zhuǎn)化問題.LLL42專題應用效勞專題應用效勞與通用應用效勞一樣,區(qū)別在與專題應用效勞 是針對某一特定的專題而構(gòu)建的應用模型.L