《交管大數(shù)據(jù)中心業(yè)務(wù)模型建設(shè)規(guī)范》

PAGE2交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設(shè)規(guī)范范圍本文件規(guī)定了交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設(shè)過程中的數(shù)據(jù)處理、特征選擇、數(shù)據(jù)建模、模型評估、模型發(fā)布規(guī)范。本文件適用于交管業(yè)務(wù)大數(shù)據(jù)建模的分析、設(shè)計、開發(fā)、測試、調(diào)優(yōu)和發(fā)布。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。本文件沒有規(guī)范性引用文件。術(shù)語和定義數(shù)據(jù)建模DataModeling數(shù)據(jù)建模是一個數(shù)據(jù)分析與挖掘的過程，從數(shù)據(jù)之中發(fā)現(xiàn)問題，解釋問題，建立相應(yīng)的數(shù)據(jù)模型。模型評估ModelEvaluation獲取模型對于數(shù)據(jù)的擬合程度，對模型的泛化能力(性能)進(jìn)行評估。建設(shè)流程交通管理大數(shù)據(jù)中心數(shù)據(jù)模型建設(shè)流程見圖1。數(shù)據(jù)處理數(shù)據(jù)處理特征選擇數(shù)據(jù)建模模型優(yōu)化模型發(fā)布模型評估未達(dá)到預(yù)期效果達(dá)到預(yù)期效果圖1數(shù)據(jù)建模流程示意圖交通管理大數(shù)據(jù)中心數(shù)據(jù)模型模型設(shè)計內(nèi)容包括數(shù)據(jù)處理、特征選擇、數(shù)據(jù)建模、模型評估和模型發(fā)布。數(shù)據(jù)處理數(shù)據(jù)提取提取數(shù)據(jù)源從交管大數(shù)據(jù)綜合應(yīng)用平臺、集成指揮平臺以及第三方外掛平臺提取數(shù)據(jù)。提取范圍交管大數(shù)據(jù)中心業(yè)務(wù)數(shù)據(jù)提取范圍包括但不限于駕駛?cè)恕C(jī)動車、違法、事故、過車、道路、卡口設(shè)備、氣象數(shù)據(jù)、其他數(shù)據(jù)等；--駕駛?cè)藬?shù)據(jù)：包括駕駛?cè)松矸葑C明號碼、性別、準(zhǔn)駕車型等，詳見附錄A《駕駛?cè)诵畔⒈怼?-機(jī)動車數(shù)據(jù)：包括號牌號碼、號牌種類、核定載客、車輛類型等，詳見附錄B《機(jī)動車信息表》--違法數(shù)據(jù)：包括號牌號碼、號牌種類、違法行為、違法時間等，詳見附錄C《違法信息表》--事故數(shù)據(jù)：包括號牌號碼、號牌種類、事故類型、事故發(fā)生時間、事故地點(diǎn)等，詳見附錄D《事故信息表》、附錄E《事故人員信息表》--過車數(shù)據(jù)：包括號牌號碼、號牌種類、過車時間、設(shè)備編號、車道號、車輛類型等，詳見附錄F《過車信息表》--道路數(shù)據(jù)：包括行政區(qū)劃、管理部門、道路類型、道路代碼等，詳見附件G《道路信息表》--卡口設(shè)備數(shù)據(jù)：包括設(shè)備編號、設(shè)備類型、車道號、方向類型、點(diǎn)位編號等，詳見附錄H《卡口設(shè)備信息表》--氣象數(shù)據(jù)：包括設(shè)備編號、行政區(qū)劃、能見度、濕滑系數(shù)、風(fēng)速等，詳見附錄I《氣象數(shù)據(jù)信息表》--其他數(shù)據(jù)：包括吸毒人員、在押人員等，詳見附錄J《其他數(shù)據(jù)信息表》提取方式數(shù)據(jù)提取方式包括：—使用公安交管業(yè)務(wù)分布式匯聚管理平臺采用相機(jī)SDK接入、GAT1400公安視圖庫標(biāo)準(zhǔn)協(xié)議接入、ftp協(xié)議接入以及消息隊列中間件數(shù)據(jù)接入等多種方式，來收集數(shù)據(jù)?！褂霉步还軘?shù)智能力開放平臺數(shù)據(jù)接入模塊進(jìn)行配置輸入數(shù)據(jù)庫連接、輸出數(shù)據(jù)庫地址進(jìn)行數(shù)據(jù)采集。清洗治理數(shù)據(jù)質(zhì)量評估基于數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量規(guī)則評估駕駛?cè)?、機(jī)動車、違法、事故、過車、道路、卡口設(shè)備、氣象數(shù)據(jù)、其他數(shù)據(jù)的整體質(zhì)量，分析數(shù)據(jù)的缺失值、冗余值、錯誤值、不一致性等問題，以確定數(shù)據(jù)清洗目標(biāo)。非空數(shù)據(jù)核驗(yàn)數(shù)據(jù)質(zhì)量評估分析出來的缺失數(shù)據(jù)，在字段為非空的情況下，對該字段進(jìn)行核驗(yàn)。如駕駛?cè)藬?shù)據(jù)中的身份證明號碼、性別、初次領(lǐng)證日期；機(jī)動車數(shù)據(jù)中的號牌號碼、號牌種類、車輛類型、使用性質(zhì)、初次登記日期、身份證明號碼、機(jī)動車狀態(tài)、核定載客、檢驗(yàn)報廢期止、強(qiáng)制報廢期止；違法數(shù)據(jù)中號牌號碼、號牌種類、違法時間、違法行為、違法記分?jǐn)?shù)；事故數(shù)據(jù)中的事故編號、事故發(fā)生時間、死亡人數(shù)、受傷人數(shù)、號牌號碼、號牌種類、是否逃逸；過車數(shù)據(jù)中的號牌號碼、號牌種類、經(jīng)過時間；道路數(shù)據(jù)中的道路代碼、道路類型、道路名稱、行政區(qū)劃、管理部門；卡口設(shè)備數(shù)據(jù)中的設(shè)備編號、設(shè)備類型、使用狀態(tài)、車道號、方向類型、點(diǎn)位編號；氣象數(shù)據(jù)中設(shè)備編號、檢測時段、檢測時間；其他數(shù)據(jù)中的身份證明號碼。重復(fù)數(shù)據(jù)去重對數(shù)據(jù)質(zhì)量評估分析出來的冗余數(shù)據(jù)，重復(fù)記錄去重，保留最新記錄。如駕駛?cè)藬?shù)據(jù)身份證明號碼；機(jī)動車數(shù)據(jù)中號牌號碼、號牌種類；違法數(shù)據(jù)中違法編號；事故數(shù)據(jù)中的事故編號；道路數(shù)據(jù)中的道路代碼；卡口設(shè)備數(shù)據(jù)中的設(shè)備編號；氣象數(shù)據(jù)中設(shè)備編號；其他數(shù)據(jù)中的身份證明號碼。錯誤數(shù)據(jù)刪除對數(shù)據(jù)質(zhì)量評估分析出來的錯誤值，進(jìn)行刪除。如駕駛?cè)藬?shù)據(jù)中準(zhǔn)駕車型代碼不存在、身份證明號碼長度大于18；機(jī)動車數(shù)據(jù)中初次登記日期內(nèi)容是100年前；違法數(shù)據(jù)中單次違法記分?jǐn)?shù)值為5分的；事故數(shù)據(jù)事故發(fā)生時間大于當(dāng)前時間；過車數(shù)據(jù)經(jīng)過時間大于當(dāng)前時間、號牌號碼識別長度大于8；道路數(shù)據(jù)中道路類型不存在；卡口設(shè)備數(shù)據(jù)中設(shè)備編號不符合設(shè)計標(biāo)準(zhǔn)；氣象數(shù)據(jù)中設(shè)備編號下的記錄值都為空。規(guī)范數(shù)據(jù)類型數(shù)據(jù)質(zhì)量評估分析出來的不一致值，對其數(shù)據(jù)類型規(guī)范化。數(shù)據(jù)類型不一致，如日期類型的數(shù)據(jù)實(shí)際卻是字符或數(shù)字類型，應(yīng)轉(zhuǎn)成日期類型；駕駛?cè)藬?shù)據(jù)中下一清分日期、下一審驗(yàn)日期、初次領(lǐng)證日期、有效期始、有效期止、發(fā)證日期、出生日期；機(jī)動車數(shù)據(jù)中初次登記日期、最近定檢日期、檢驗(yàn)報廢期止、強(qiáng)制報廢期止、發(fā)行駛證日期、發(fā)登記證書日期、發(fā)合格證日期、保險終止日期；違法數(shù)據(jù)中違法時間、處理時間、繳款日期、錄入時間；事故數(shù)據(jù)中開始偵查時間、結(jié)束偵查時間、事故發(fā)生時間、錄入時間、更新時間；過車數(shù)據(jù)中經(jīng)過時間、錄入時間；氣象數(shù)據(jù)中檢測時間。特征選擇6.1構(gòu)造衍生特征為了豐富特征維度，使用將單個或多個特征進(jìn)行計算、組合數(shù)據(jù)方式構(gòu)造衍生特征。如駕駛?cè)藬?shù)據(jù)中駕駛?cè)笋{齡是當(dāng)前日期與初次領(lǐng)證日期相減計算得到、駕駛?cè)四挲g通過當(dāng)前日期與出生日期減去計算；是否車型降級通過準(zhǔn)駕車型和原準(zhǔn)駕車型比較得到；車輛數(shù)據(jù)中車輛是否強(qiáng)制報廢通過當(dāng)前日期與強(qiáng)制報廢期止相減計算得到、是否逾期未年檢通過當(dāng)前日期與檢驗(yàn)有效期止相減計算、是否逾期未保險通過當(dāng)前日期與保險終止日期相減計算；違法數(shù)據(jù)中車輛違法次數(shù)通過對號牌號碼和號牌種類分組計數(shù)得到、車輛總違法記分?jǐn)?shù)通過對號牌號碼和號牌種類分組求和得到、車輛有多少次嚴(yán)重違法通過對違法類型進(jìn)行篩選然后對號牌號碼和和號牌種類分組計數(shù)得到；事故數(shù)據(jù)中車輛發(fā)生財產(chǎn)損失事故次數(shù)通過對號牌號碼和號牌種類分組計數(shù)得到、車輛發(fā)生傷人事故次數(shù)通過對號牌號碼和號牌種類分組計數(shù)得到、車輛發(fā)生亡人事故通過對號牌號碼和號牌種類分組計數(shù)得到；過車數(shù)據(jù)中車輛過車天數(shù)通過號牌號碼和號牌種類分組對日期進(jìn)行計數(shù)得到、車輛經(jīng)常經(jīng)過點(diǎn)位對號牌號碼和號牌種類與點(diǎn)位分組計數(shù)，然后再對號牌號碼和號牌種類進(jìn)行排序取計數(shù)最多的那個點(diǎn)位；卡口設(shè)備數(shù)據(jù)中卡口在道路的位置通過公里數(shù)和米數(shù)相加得到；特征轉(zhuǎn)換對原始特征和衍生特征數(shù)據(jù)進(jìn)行特征轉(zhuǎn)換。轉(zhuǎn)換方法如下：二值化：將兩個類別型的特征，轉(zhuǎn)換成1、0。如駕駛?cè)藬?shù)據(jù)中性別特征，轉(zhuǎn)換成男性:1，女性:0；國籍轉(zhuǎn)化為中國人:1，外國人:0；車輛數(shù)據(jù)中是否強(qiáng)制報廢，是：1，否：0；是否逾期未年檢，是：1，否：0；是否逾期未保險，是：1，否：0；事故數(shù)據(jù)中事故類型轉(zhuǎn)成傷亡事故：1，財產(chǎn)損失事故：0。啞變量：將不能夠定量處理的特征量化，對多類別型特征處理。如車輛數(shù)據(jù)中車輛類型轉(zhuǎn)換，大車：0001，小車：0010，摩托車：0100，其他車：1000；車輛數(shù)據(jù)中車輛使用性質(zhì)，客運(yùn)：0001，貨運(yùn)：0010，?；罚?100，其他：1000；違法數(shù)據(jù)中行為特征轉(zhuǎn)換，違法停車:000001，超速:000010，違法交通信號燈:000100，非法營運(yùn):001000，超員:010000，超載:100000等。標(biāo)準(zhǔn)化數(shù)據(jù)：對于不同特征取值范圍相差較大的，將特征值通過公式(x-均值)/方差映射到到[0,1]范圍內(nèi)。如車輛數(shù)據(jù)中車齡進(jìn)行計算得到標(biāo)準(zhǔn)化后數(shù)據(jù)；違法數(shù)據(jù)中總違法記分?jǐn)?shù)進(jìn)行標(biāo)準(zhǔn)化；分箱處理：對于連續(xù)型特征，轉(zhuǎn)換為類別型的特征。如對駕駛?cè)四挲g做分箱處理，處理后[18-23]、[24-30]、[31-35]、[36-40]、[41-50]、[51-60]、60以上共7個類別；過車數(shù)據(jù)中近三十天車輛過車天數(shù)處理后小于3天、[4-8]、[9-13]、[14-16]、[17-21]、21天以上共6個類別。特征篩選對預(yù)測預(yù)警類和異常檢測類模型中用到的原始特征、衍生特征數(shù)據(jù)和特征轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行特征篩選。特征重要性排序：使用隨機(jī)森林算法或決策樹算法中的特征重要性計算模塊來計算特征重要性，并按照重要性做降序排序，得到特征的重要性集合N；特征篩選：剔除特征重要性排序最低的10%的特征，得到新的特征集合；用新的特征集合，重復(fù)上述過程，直到剩下0.75*N個特征。數(shù)據(jù)建模統(tǒng)計分析類模型適用場景此類模型主要用于編寫日常統(tǒng)計分析報表、專項(xiàng)研究報告等工作，如機(jī)動車統(tǒng)計、駕駛?cè)私y(tǒng)計、交通違法統(tǒng)計、交通事故統(tǒng)計、交通違法查處態(tài)勢分析、道路交通安全態(tài)勢分析等使用數(shù)據(jù)機(jī)動車統(tǒng)計：號牌號碼、號牌種類、車輛類型、核定載客駕駛?cè)私y(tǒng)計：性別、出生日期、初次領(lǐng)證日期、補(bǔ)證次數(shù)、駕駛證狀態(tài)交通違法統(tǒng)計：行政區(qū)劃、管理部門、違法時間、違法地點(diǎn)、違法行為、信息來源、違法記分?jǐn)?shù)交通事故統(tǒng)計：事故發(fā)生時間、行政區(qū)劃、管理部門、事故地點(diǎn)、當(dāng)場死亡人數(shù)、搶救無效死亡人數(shù)、24小時死亡人數(shù)、3日內(nèi)死亡人數(shù)、7日內(nèi)死亡人數(shù)、機(jī)動車數(shù)量、非機(jī)動車數(shù)量、行人數(shù)據(jù)量、事故類型、事故認(rèn)定原因分類、碰撞方式建模步驟數(shù)據(jù)分組統(tǒng)計統(tǒng)計機(jī)動車類型占比，按機(jī)動車類型做分組，具體分為重型貨車、中型貨車、小微型貨車、普通小轎車，每月統(tǒng)計不同類型的機(jī)動車輛數(shù)量、占比及增長率駕駛?cè)私y(tǒng)計：每月統(tǒng)計駕駛?cè)藬?shù)量、補(bǔ)換證數(shù)量、駕駛證失效數(shù)量及增長率交通違法統(tǒng)計：按行政區(qū)劃、管理部門分組，每月統(tǒng)計不同違法行為的數(shù)量及增長率、不同違法行為占比交通事故統(tǒng)計：按行政區(qū)劃、管理部門分組，每月統(tǒng)計不同事故類型的數(shù)量，死亡人數(shù)、涉及的機(jī)動車數(shù)量、行人數(shù)量、非機(jī)動車數(shù)量，及每月重大事故增長率統(tǒng)計結(jié)果輸出輸出機(jī)動車類型占比、駕駛?cè)私y(tǒng)計、交通違法統(tǒng)計、交通事故統(tǒng)計結(jié)果業(yè)務(wù)規(guī)則類模型適用場景此類模型主要用于檢測交管業(yè)務(wù)中不合規(guī)則的場景，如假牌車、套牌車、車輛逾期未檢驗(yàn)、報廢車輛上路行駛等使用數(shù)據(jù)假牌車識別模型：機(jī)動車信息表中的號牌號碼、號牌種類、車輛類型；過車數(shù)據(jù)中的號牌號碼、號牌種類、車輛類型、過車時間、設(shè)備編號套牌車識別模型：機(jī)動車信息表中的號牌號碼、號牌種類、車輛類型；過車數(shù)據(jù)中的號牌號碼、號牌種類、車輛類型、過車時間、設(shè)備編號、車道編號；卡口設(shè)備信息表中的設(shè)備編號、車道編號、點(diǎn)位編號、經(jīng)度、緯度車輛逾期未檢驗(yàn)識別模型：機(jī)動車信息表中的號牌號碼、號牌種類、車輛類型、檢驗(yàn)有效期止；過車數(shù)據(jù)中的號牌號碼、號牌種類、過車時間、設(shè)備編號報廢車輛上路行駛識別模型：機(jī)動車信息表中的號牌號碼、號牌種類、車輛類型、強(qiáng)制報廢期止；過車數(shù)據(jù)中的號牌號碼、號牌種類、過車時間、設(shè)備編號建模步驟設(shè)置業(yè)務(wù)規(guī)則假牌車識別業(yè)務(wù)規(guī)則：最新過車數(shù)據(jù)中的車輛在車輛信息表中匹配不到數(shù)據(jù)，則認(rèn)為此車輛的號牌為假牌套牌車識別業(yè)務(wù)規(guī)則：最新過車數(shù)據(jù)中的車輛同時出現(xiàn)在不同的點(diǎn)位編號同時出現(xiàn)，且兩個點(diǎn)位之間距離大于500米，認(rèn)為此車輛為套牌車車輛逾期未檢驗(yàn)識別業(yè)務(wù)規(guī)則：最新過車數(shù)據(jù)中的車輛檢驗(yàn)有效期，超出了車輛信息表中檢驗(yàn)有效期截止日期，則認(rèn)為此車輛為逾期未檢驗(yàn)報廢車輛上路行駛識別業(yè)務(wù)規(guī)則：最新過車數(shù)據(jù)中的車輛報廢日期，超出了車輛信息表中強(qiáng)制報廢期截止日期，則認(rèn)為此車輛為報廢車輛上路行駛基于規(guī)則計算假牌車識別模型：使用最新過車數(shù)據(jù)中的號牌號碼、號牌種類、車輛類型，關(guān)聯(lián)車輛信息表中的號牌號碼、號牌種類、車輛類型，如果過車表中的機(jī)動車在車輛信息表中關(guān)聯(lián)不到數(shù)據(jù)，給這輛車打上假牌車標(biāo)簽，標(biāo)簽值為1，否則標(biāo)簽值為0套牌車識別模型：使用最新過車數(shù)據(jù)中的號牌號碼、號牌種類、車輛類型，關(guān)聯(lián)設(shè)備信息表的設(shè)備編號、車道編號，按車輛號牌號碼、號牌種類分組統(tǒng)計求和，篩選求和值大于1的車輛號牌號碼、號牌種類，利用這組車輛所在點(diǎn)位的經(jīng)緯度，計算這兩輛車的距離，如果兩個點(diǎn)位編號的距離大于500米，給這組車輛打上套牌車標(biāo)簽，標(biāo)簽值為1，否則為0車輛逾期未檢驗(yàn)識別模型：使用最新過車數(shù)據(jù)中的號牌號碼、號牌種類、車輛類型，關(guān)聯(lián)車輛信息表的號牌號碼、號牌種類、車輛類型，得到車輛檢驗(yàn)有效截止日期，如果當(dāng)前過車時間大于車輛檢驗(yàn)有效截止日期，輸出逾期未檢驗(yàn)標(biāo)簽，標(biāo)簽值為1，否則為0報廢車輛上路行駛識別模型：使用最新過車數(shù)據(jù)中的號牌號碼、號牌種類、車輛類型，關(guān)聯(lián)車輛信息表的號牌號碼、號牌種類、車輛類型，得到車輛強(qiáng)制報廢截止日期，如果過車時間大于強(qiáng)制報廢截止日期，輸出報廢車輛標(biāo)簽，標(biāo)簽值為1，否則為0模型輸出篩選模型輸出標(biāo)簽值為1的數(shù)據(jù)作為模型識別結(jié)果假牌車識別模型：號牌號碼、號牌種類、過車時間、設(shè)備編號套牌車識別模型：號牌號碼、號牌種類、過車時間、設(shè)備編號車輛逾期未檢驗(yàn)識別模型：號牌號碼、號牌種類、過車時間、設(shè)備編號、車輛檢驗(yàn)有效截止日期報廢車輛上路行駛識別模型：號牌號碼、號牌種類、過車時間、設(shè)備編號、強(qiáng)制報廢截止日期預(yù)測預(yù)警類模型適用場景此類模型假設(shè)目標(biāo)對象的歷史行為規(guī)律在未來一段時間保持不變或者變化較小，根據(jù)歷史數(shù)據(jù)預(yù)測未來，主要用于識別有隱患的機(jī)動車和駕駛?cè)?，或道路安全評分，如重點(diǎn)駕駛?cè)私煌ò踩L(fēng)險等級預(yù)測、重點(diǎn)機(jī)動車交通安全風(fēng)險等級預(yù)測、國省干線安全隱患預(yù)警等。使用數(shù)據(jù)重點(diǎn)駕駛?cè)私煌ò踩L(fēng)險等級預(yù)測模型：駕駛?cè)诵畔⒈碇械鸟{駛?cè)顺錾掌?、性別、身份證明號碼、初次領(lǐng)證日期、駕證期限、累計記分、超分日期、準(zhǔn)駕車型、駕駛證狀態(tài)、有效期止、有效期始、補(bǔ)證次數(shù)；違法信息表中的違法行為、違法時間、違法記分?jǐn)?shù)、機(jī)動車使用性質(zhì)、號牌號碼、號牌種類；事故信息表中的事故發(fā)生時間、事故類型、碰撞方式、當(dāng)場死亡人數(shù)、搶救無效死亡人數(shù)、重傷人數(shù)、輕傷人數(shù)、24小時內(nèi)死亡人數(shù)、3日內(nèi)死亡人數(shù)、7日內(nèi)死亡人數(shù)、30日內(nèi)死亡人數(shù)、機(jī)動車數(shù)量、非機(jī)動車數(shù)量、行人數(shù)量、事故編號；事故人員信息表中的事故編號、身份證明號碼、駕駛證種類；其他數(shù)據(jù)表中的身份證號碼、是否吸毒人員重點(diǎn)機(jī)動車交通安全風(fēng)險等級預(yù)測模型：違法信息表中的違法行為、違法時間、號牌號碼、號牌種類；事故信息表中的事故發(fā)生時間、事故類型、碰撞方式、當(dāng)場死亡人數(shù)、搶救無效死亡人數(shù)、重傷人數(shù)、輕傷人數(shù)、24小時內(nèi)死亡人數(shù)、3日內(nèi)死亡人數(shù)、7日內(nèi)死亡人數(shù)、30日內(nèi)死亡人數(shù)、機(jī)動車數(shù)量、非機(jī)動車數(shù)量、行人數(shù)量、事故編號；事故人員信息表中的事故編號、身份證明號碼；機(jī)動車信息表中的號牌號碼、號牌種類、身份證明號碼、使用性質(zhì)、強(qiáng)制報廢期止、發(fā)牌日期、核定載客國省干線安全隱患預(yù)警：道路信息表中的道路名稱、道路代碼、路面結(jié)構(gòu)、行政區(qū)劃、管理部門、道路類型、道路物理隔離、地形、公路行政等級、路側(cè)防護(hù)設(shè)施類型、路段代碼、路口id；事故信息表中的路號、路名、公里數(shù)、米數(shù)、管理部門、事故類型、事故發(fā)生時間、能見度、天氣、當(dāng)場死亡人數(shù)、重傷人數(shù)、輕傷人數(shù)、機(jī)動車數(shù)量、事故認(rèn)定原因分類、地形；氣象信息表中的管理部門、降雨量、降雪量、平均能見度、平均風(fēng)速、濕滑系數(shù)建模步驟算法選擇以上模型可以使用分類算法做等級預(yù)測和預(yù)警，分類算法可以選用的有：決策樹、隨機(jī)森林、邏輯回歸、K-近鄰算法、神經(jīng)網(wǎng)絡(luò)、Adaboost、XGBoost、樸素貝葉斯、支持向量機(jī)算法、線性分類器算法、梯度提升數(shù)算法、高斯混合模型算法等。針對以上模型宜使用XGBoost算法進(jìn)行建模。劃分?jǐn)?shù)據(jù)集對特征選擇輸出的特征數(shù)據(jù)進(jìn)行訓(xùn)練集、測試集、驗(yàn)證集劃分，隨機(jī)抽取其中75%的數(shù)據(jù)作為訓(xùn)練集，剩余15%數(shù)據(jù)作為驗(yàn)證集，10%作為測試集。模型訓(xùn)練導(dǎo)入XGBoost算法模塊，設(shè)置模型超參數(shù)，學(xué)習(xí)率為[0.01,0.3]，學(xué)習(xí)率步長為0.05，訓(xùn)練最大深度為[5,15]，提前終止的迭代次數(shù)為20，booster選用基于樹的模型，最小樣本權(quán)重設(shè)置[0.3,0.8]，損失函數(shù)選取softmax損失函數(shù)，訓(xùn)練迭代次數(shù)為50，對訓(xùn)練集進(jìn)行多輪訓(xùn)練，保存每一輪模型訓(xùn)練的參數(shù)和結(jié)果。選取一組訓(xùn)練結(jié)果較優(yōu)的模型參數(shù)，使用驗(yàn)證集對模型訓(xùn)練效果做驗(yàn)證，觀察模型分類效果。模型輸出模型輸出四個風(fēng)險等級，分別為：重大風(fēng)險（標(biāo)簽值1）、較大風(fēng)險（標(biāo)簽值2）、一般風(fēng)險（標(biāo)簽值3）、低風(fēng)險（標(biāo)簽值4）分類算法輸出每個樣本對應(yīng)的分類的類別，重點(diǎn)駕駛?cè)私煌ò踩L(fēng)險等級預(yù)測模型輸出每個駕駛?cè)说陌踩L(fēng)險等級，重點(diǎn)機(jī)動車交通安全風(fēng)險等級預(yù)測模型輸出每輛重點(diǎn)機(jī)動車的安全風(fēng)險等級，國省干線安全隱患預(yù)警輸出每條道路每個路段的安全隱患等級。異常檢測類模型適用場景此類模型主要用于分析交管業(yè)務(wù)中產(chǎn)生的異常數(shù)據(jù)，進(jìn)而挖掘背后隱藏的問題，如非現(xiàn)場違法取證設(shè)備異常檢測、機(jī)動車非法營運(yùn)識別、路口流量激增預(yù)警等7.4.2使用數(shù)據(jù)非現(xiàn)場違法取證設(shè)備異常檢測模型：過車表中的經(jīng)過時間、設(shè)備編號、車道號、號牌號碼、號牌種類、方向；違法數(shù)據(jù)表中的違法時間、違法代碼、管理部門、號牌號碼、號牌種類、路口路段代碼；卡口設(shè)備信息表中的設(shè)備編號、車道編號、管理部門、設(shè)備類型、點(diǎn)位編號、行政區(qū)劃機(jī)動車非法營運(yùn)識別模型：車輛信息表中的號牌號碼、號牌種類、車輛類型、使用性質(zhì)、核定載客；過車表中的經(jīng)過時間、設(shè)備編號、車道號、號牌號碼、號牌種類、方向、號牌顏色；道路信息表中的道路代碼、路段代碼、道路名稱、路口id、路面名稱；卡口設(shè)備信息表中的設(shè)備編號、點(diǎn)位編號、路口id，以及通過過車數(shù)據(jù)構(gòu)造出的每天平均經(jīng)過的點(diǎn)位數(shù)量，每天過車小時時段數(shù)量，平均每天經(jīng)過的道路條數(shù)、一個月內(nèi)過車天數(shù)、平均每天經(jīng)過不同點(diǎn)位數(shù)量、工作時間段過車天數(shù)、工作時間段過車天數(shù)占過車記錄天數(shù)比例、工作時間段經(jīng)過點(diǎn)位數(shù)量占全天過車經(jīng)過點(diǎn)位數(shù)量比例、晚上(20:00后和07:00前)時段有過車記錄天數(shù)路口流量激增預(yù)警：道路信息表中的道路名稱、道路代碼、行政區(qū)劃、管理部門、道路類型；過車表中的過車時間、號牌號牌、號牌種類、設(shè)備編號、車道編號；卡口設(shè)備信息表中的設(shè)備編號、車道編號、路段代碼、路口id、行政區(qū)劃、管理部門建模步驟算法選擇非現(xiàn)場違法取證設(shè)備異常檢測模型、駕駛證考試合格率異常分析模型、路口流量激增預(yù)警可以使用時間序列算法建模，算法主要有：移動平均法、周期因子法、指數(shù)平滑算法、ARIMA、Prophet、RSI、Holt-Winters、RNN、LSTM、seq2seq、DeepAR、WaveNet等，非現(xiàn)場違法取證設(shè)備異常檢測模型、駕駛證考試合格率異常分析模型宜采用Prophet算法。機(jī)動車非法營運(yùn)識別模型可以使用異常檢測算法建模，算法主要有：基于分布的Z-Score、3sigma、boxplot、Grubbs假設(shè)檢驗(yàn)，基于距離的KNN，基于聚類的DBSCAN、基于樹的iForest、基于降維的PCA、AutoEncoder、基于分類的One-ClassSVM，基于密度的LOF、SOS、COF等，機(jī)動車非法營運(yùn)識別模型宜采用基于樹的iForest算法。劃分?jǐn)?shù)據(jù)集對于時間序列異常檢測算法，按照時間順序，選取前90%的數(shù)據(jù)作為訓(xùn)練集，后10%的數(shù)據(jù)作為驗(yàn)證集。對于異常檢測類算法，使用特征選擇輸出的特征數(shù)據(jù)進(jìn)行訓(xùn)練集、測試集、驗(yàn)證集劃分，隨機(jī)抽取其中75%的數(shù)據(jù)作為訓(xùn)練集，剩余15%數(shù)據(jù)作為驗(yàn)證集，10%作為測試集。模型訓(xùn)練時間序列異常檢測算法模型訓(xùn)練：導(dǎo)入Prophet算法模塊，設(shè)置模型超參數(shù)，時間序列數(shù)據(jù)增長趨勢為logistic，變化點(diǎn)靈敏度設(shè)置為低，季節(jié)性靈敏度設(shè)置為高，假期效果靈敏度設(shè)置為高，置信度區(qū)間為[0.8,0.85]，步長為0.01，季節(jié)性周期為[月,季度]，變化點(diǎn)數(shù)量設(shè)置[25,35]，步長為1，假期日期加入中國法定節(jié)假日。超參數(shù)設(shè)置完成后，對模型迭代訓(xùn)練，迭代次數(shù)為50，保存每輪，保存模型訓(xùn)練參數(shù)。選取一組訓(xùn)練結(jié)果較優(yōu)的模型參數(shù)，使用驗(yàn)證集對模型訓(xùn)練效果做驗(yàn)證，觀察模型預(yù)測效果。異常檢測類算法模型訓(xùn)練：導(dǎo)入iForest算法模塊，設(shè)置算法超參數(shù)，基本估算器n_estimators數(shù)量設(shè)置[100,200]，最大樣本數(shù)量max_samples為auto，最大特征數(shù)量為[5,10]。超參數(shù)設(shè)置完成后，對模型迭代訓(xùn)練，迭代次數(shù)為50，保存每輪，保存模型訓(xùn)練參數(shù)。選取一組訓(xùn)練結(jié)果較優(yōu)的模型參數(shù)，使用驗(yàn)證集對模型訓(xùn)練效果做驗(yàn)證，觀察模型異常檢測效果。模型輸出使用時間序列異常檢測模型輸出的時間點(diǎn)和數(shù)值和實(shí)際的數(shù)值做比較，如果實(shí)際值超出預(yù)測值的30%，則認(rèn)為實(shí)際值有異常；異常檢測算法輸出異常值標(biāo)簽（以標(biāo)簽值為-1時為異常值）和對應(yīng)的異常數(shù)據(jù)。非現(xiàn)場違法取證設(shè)備異常檢測模型輸出異常的設(shè)備編號和異常檢測值、對應(yīng)的時間路口流量激增預(yù)警模型輸出路段代碼、路口id、車道編號、監(jiān)測時間、預(yù)測流量機(jī)動車非法營運(yùn)識別模型輸出識別為疑似非法營運(yùn)的車輛號牌號牌、號牌種類以及異常值標(biāo)簽。模型評估評估指標(biāo)預(yù)測預(yù)警類模型評估指標(biāo)預(yù)測預(yù)警類模型評估指標(biāo)可以選用：混淆矩陣、精確率、準(zhǔn)確率、召回率、F1值、AUC值、ROC曲線、PR曲線。針對預(yù)測預(yù)警類模型宜使用F1值作為評估指標(biāo)。計算F1值：在驗(yàn)證集數(shù)據(jù)中，模型預(yù)測為真正正確樣本（TP）的個數(shù)，除以所有預(yù)測為正確樣本個數(shù)（TP+FP），計算公式為：P=TP/(TP+FP)；模型預(yù)測為真正正確樣本（TP）的個數(shù)，除以所有的實(shí)際為正樣本個數(shù)（TP+FN），計算公式為：R=TP/(TP+FN)；根據(jù)查準(zhǔn)率P和查全率R，等到F1值=2*P*R/(P+R)。異常檢測類模型評估指標(biāo)異常檢測類模型中時間序列算法評估指標(biāo)可以選用：均方根誤差（RMSE）、平均絕對偏差（MAE）、偏差（BIAS）、相關(guān)系數(shù)（CORR）和準(zhǔn)確率（ACCURATE）。宜采用均方根誤差（RMSE）作為評估指標(biāo)。均方根誤差（RMSE）：rmse=sqrt(sum((y_real-y_predict)**2)/len(y_real))異常檢測類模型中異常檢測算法評估指標(biāo)可以選用：混淆矩陣、精確率、準(zhǔn)確率、召回率、F1值、AUC值、ROC曲線、PR曲線。宜使用AUC值作為評估指標(biāo)。計算AUC值：通過計算ROC曲線下的面積，得到AUC值，AUC取值范圍在[0,1]之間。評估方法統(tǒng)計分析類模型評估方法統(tǒng)計分析類模型評估方法主要有兩種：數(shù)據(jù)源的驗(yàn)證和數(shù)據(jù)處理過程的驗(yàn)證。數(shù)據(jù)源的驗(yàn)證：驗(yàn)證源數(shù)據(jù)的正確性，避免數(shù)據(jù)輸入錯誤等因素造成影響。需要仔細(xì)核對業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確性，并確保數(shù)據(jù)源的一致性和完整性。數(shù)據(jù)處理過程的驗(yàn)證：對所有處理數(shù)據(jù)的過程進(jìn)行驗(yàn)證和確保，如計算、匯總、篩選、轉(zhuǎn)換等。業(yè)務(wù)規(guī)則類模型評估方法業(yè)務(wù)規(guī)則類模型評估方法主要有三種：數(shù)據(jù)源的驗(yàn)證、比對實(shí)際業(yè)務(wù)流程和規(guī)則沖突檢測。數(shù)據(jù)源的驗(yàn)證：驗(yàn)證源數(shù)據(jù)的正確性，避免數(shù)據(jù)輸入錯誤等因素造成影響。需要仔細(xì)核對業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確性，并確保數(shù)據(jù)源的一致性和完整性。比對實(shí)際業(yè)務(wù)流程：通過與實(shí)際的業(yè)務(wù)規(guī)則進(jìn)行比對和核對，判斷業(yè)務(wù)規(guī)則類模型的準(zhǔn)確性和適用性，以便找出是否存在問題及問題的原因。規(guī)則沖突檢測：判斷業(yè)務(wù)規(guī)則類模型中是否存在沖突或重復(fù)規(guī)則，并及時調(diào)整或修正。預(yù)測預(yù)警類模型評估方法預(yù)測預(yù)警類模型評估方法有留出法、交叉驗(yàn)證法、自助法，宜采用交叉驗(yàn)證法。使用K折交叉驗(yàn)證，將所有訓(xùn)練數(shù)據(jù)集分成K個大小相當(dāng)?shù)淖訕颖?，取其中一個子樣本作為驗(yàn)證集，其余K-1個作為訓(xùn)練集，最后對K次建模的結(jié)果進(jìn)行綜合評價，驗(yàn)證每輪訓(xùn)練的模型預(yù)測效果，以及對應(yīng)的參數(shù)值設(shè)置，選擇最優(yōu)的預(yù)測效果對應(yīng)的參數(shù)值，作為模型最優(yōu)參數(shù)，K值可以選擇[5,10]之間的數(shù)值。異常檢測類模型評估方法異常檢測類模型評估方法有留出法、自助法、K折交叉驗(yàn)證、留一法，宜采用留一法。對于一個包含n個樣本的數(shù)據(jù)集，將其中一個樣本作為測試集，使用剩下的n-1個樣本作為訓(xùn)練集，對模型進(jìn)行訓(xùn)練和評價。循環(huán)遍歷每一個樣本，得到n次模型評估結(jié)果的平均值，得到最終的模型性能指標(biāo)。評估結(jié)果處理統(tǒng)計分析與業(yè)務(wù)規(guī)則類模型評估結(jié)果統(tǒng)計分析與業(yè)務(wù)規(guī)則類模型統(tǒng)計結(jié)果準(zhǔn)確率>0.95,則認(rèn)為模型符合業(yè)務(wù)要求，可以進(jìn)行線上部署。預(yù)測預(yù)警類模型評估結(jié)果預(yù)測預(yù)警類模型使用XGBoost算法進(jìn)行建模。預(yù)測預(yù)警類模型最優(yōu)參數(shù)選擇：學(xué)習(xí)率為0.12，訓(xùn)練最大深度為8，提前終止的迭代次數(shù)為20，booster選用基于樹的模型，最小樣本權(quán)重設(shè)置0.35，損失函數(shù)選取softmax損失函數(shù)。預(yù)測預(yù)警類模型預(yù)測結(jié)果F1值>0.9,則認(rèn)為模型符合業(yè)務(wù)要求，可以進(jìn)行線上部署。異常檢測類模型評估結(jié)果異常檢測類模型中時間序列模型使用Prophet算法算法進(jìn)行建模。時間序列算法模型最優(yōu)參數(shù)選擇：時間序列數(shù)據(jù)增長趨勢為logistic，變化點(diǎn)靈敏度設(shè)置為低，季節(jié)性靈敏度設(shè)置為高，假期效果靈敏度設(shè)置為高，置信度區(qū)間為0.82，季節(jié)性周期為月，變化點(diǎn)數(shù)量設(shè)置30，假期日期加入中國法定節(jié)假日。異常檢測類模型中時間序列算法預(yù)測結(jié)果均方根誤差（RMSE）<0.1,則認(rèn)為模型符合業(yè)務(wù)要求，可以進(jìn)行線上部署。異常檢測類模型中異常檢測模型使用iForest算法進(jìn)行建模。異常檢測類模型中異常檢測算法模型最優(yōu)參數(shù)選擇：基本估算器n_estimators數(shù)量設(shè)置160，最大樣本數(shù)量max_samples為auto，最大特征數(shù)量為8。異常檢測類模型中異常檢測算法預(yù)測結(jié)果AUC值>0.9,則認(rèn)為模型符合業(yè)務(wù)要求，可以進(jìn)行線上部署。模型發(fā)布模型達(dá)到預(yù)定效果即可發(fā)布到公安交管數(shù)智能力開放平臺作為版本歸檔和模型歷史操作追溯。同時提供模型服務(wù)發(fā)布地址以供相關(guān)人員調(diào)用。

（規(guī)范性）

駕駛?cè)诵畔⒈碜侄蚊Q類型可為空說明SFZMHMVARCHAR(18)否身份證明號碼ZJCXVARCHAR(15)是準(zhǔn)駕車型YZJCXVARCHAR(30)是原準(zhǔn)駕車型QFRQDATE否下一清分日期SYRQDATE是下一審驗(yàn)日期CCLZRQDATE否初次領(lǐng)證日期CCFZJGVARCHAR(10)是初次發(fā)證機(jī)關(guān)JZQXCHAR否駕證期限YXQSDATE否有效期始YXQZDATE否有效期止LJJFNUMBER(3)否累積記分CFRQDATE是超分日期BZCSNUMBER(2)否補(bǔ)證次數(shù)ZTVARCHAR(6)否駕駛證狀態(tài)JXMCVARCHAR(64)是駕校名稱XZQHVARCHAR(10)否行政區(qū)劃FZRQDATE否發(fā)證日期GLBMVARCHAR(12)否管理部門SFZMMCCHAR是身份證明名稱XMVARCHAR(30)是姓名XBCHAR是性別CSRQDATE是出生日期GJCHAR(3)是國籍SJHMVARCHAR(20)是手機(jī)號碼SFBDCHAR是是否本地

（規(guī)范性）

機(jī)動車信息表字段名稱類型可為空說明HPZLCHAR(2)否號牌種類HPHMVARCHAR(15)否號牌號碼CLPP1VARCHAR(32)否中文品牌CLLXCHAR(3)否車輛類型CSYSVARCHAR(5)否車身顏色SYXZCHAR否使用性質(zhì)SFZMHMVARCHAR(18)是身份證明號碼SFZMMCCHAR是身份證明名稱SYRVARCHAR(128)否機(jī)動車所有人SYQCHAR否所有權(quán)CCDJRQDATE否初次登記日期DJRQDATE是最近定檢日期YXQZDATE是檢驗(yàn)有效期止QZBFQZDATE是強(qiáng)制報廢期止GLBMVARCHAR(12)否管理部門FPRQDATE是發(fā)牌日期FZRQDATE是發(fā)行駛證日期CLLYCHAR是1注冊2轉(zhuǎn)入3過戶HDZKNUMBER(3)是核定載客BXZZRQDATE是保險終止日期

（規(guī)范性）

違法信息表字段名稱類型可為空說明WFBHVARCHAR2(22)否違法編號RYFLCHAR否人員分類JSZHVARCHAR2(18)否駕駛證號DABHVARCHAR2(12)否檔案編號ZJCXVARCHAR2(10)否準(zhǔn)駕車型DSRVARCHAR2(30)否當(dāng)事人ZSXZQHVARCHAR2(10)是住所行政區(qū)劃LXFSVARCHAR2(128)是聯(lián)系方式CLFLCHAR否車輛分類HPZLVARCHAR2(2)是號牌種類HPHMVARCHAR2(15)是號牌號碼JDCSYRVARCHAR2(128)是機(jī)動車所有人SYXZVARCHAR2(1)是機(jī)動車使用性質(zhì)JTFSVARCHAR2(3)否交通方式WFSJDATE否違法時間XZQHVARCHAR2(6)否行政區(qū)劃DLLXVARCHAR2(2)否道路類型DMLB=3124GLXZDJVARCHAR2(1)是公路行政等級DMLB3116WFDDVARCHAR2(5)否違法地點(diǎn)LDDMVARCHAR2(4)否路口路段代碼，當(dāng)為城市道路時存放路口號，為高速、省道等時存放公里數(shù)WFDZVARCHAR2(128)否違法地址WFXWVARCHAR2(5)否違法行為WFJFSNUMBER(2)否違法記分?jǐn)?shù)FKJENUMBER(6)否罰款金額CFZLVARCHAR2(10)否處罰種類XXLYCHAR否信息來源1-現(xiàn)場處罰，2-非現(xiàn)場處罰ZQMJVARCHAR2(30)否執(zhí)勤民警

（規(guī)范性）

事故信息表字段名稱類型可為空說明XZQHVARCHAR(10)否行政區(qū)劃DJBHVARCHAR(15)否登記編號SGFSSJDATE是事故發(fā)生時間LHVARCHAR(7)是路號LMVARCHAR(64)是路名GLSNUMBER(5)是公里數(shù)MSNUMBER(4)是米數(shù)JDWZNUMBER(8)是絕對位置SGDDVARCHAR(128)是事故地點(diǎn)DLAQSXVARCHAR(1)是道路安全屬性SWRSNUMBER(3)是當(dāng)場死亡人數(shù)SWRSQNUMBER(3)是搶救無效死亡人數(shù)SWRS24NUMBER(3)是24小時死亡人數(shù)SSRS24NUMBER(3)是24小時受傷人數(shù)SWRS3NUMBER(3)是3日內(nèi)死亡人數(shù)SSRS3NUMBER(3)是3日內(nèi)受傷人數(shù)SWRS7NUMBER(3)是7日內(nèi)死亡人數(shù)SSRS7NUMBER(3)是7日內(nèi)受傷人數(shù)SWRS30NUMBER(3)是30日內(nèi)死亡人數(shù)SSRS30NUMBER(3)是30日內(nèi)受傷人數(shù)SZRSNUMBER(3)是失蹤人數(shù)ZSRSNUMBER(3)是重傷人數(shù)QSRSNUMBER(3)是輕傷人數(shù)SSRSNUMBER(3)是受傷人數(shù)JDCSLNUMBER(3)是機(jī)動車數(shù)量FJDCSLNUMBER(3)是非機(jī)動車數(shù)量XRSLNUMBER(3)是行人數(shù)量SGLXCHAR是事故類型CCYYFLVARCHAR(2)是事故初查原因分類RDYYFLVARCHAR(2)是事故認(rèn)定原因分類TQCHAR是天氣NJDCHAR是能見度SFTYCHAR是是否逃逸1-否2-駕車逃逸3-棄車逃逸XCLJSGVARCHAR(1)是車輛間事故DCSGVARCHAR(2)是單車事故PZFSVARCHAR(1)是碰撞方式1-單車2-雙車3-多車4-車人事故YZWXPCHAR是是否運(yùn)載危險物品1-是2否GLXZDJCHAR是公路行政等級DXCHAR是地形

（規(guī)范性）

事故人員信息表字段名稱類型可為空說明SGBHVARCHAR(16)否事故編號XZQHVARCHAR(10)否行政區(qū)劃SFDSRCHAR是當(dāng)事人否XMVARCHAR(30)是姓名XBCHAR是性別SFZMHMVARCHAR(20)是身份證明號碼NLNUMBER(3)是年齡CSNYVARCHAR(10)是出生年月DHVARCHAR(30)是電話SFTYVARCHAR(1)是是否逃逸SWSJDATE是死亡時間SHCDCHAR是傷害程度SHCD24CHAR是24小時內(nèi)傷害程度SHCD3CHAR是3日內(nèi)傷害程度SHCD7CHAR是7日內(nèi)傷害程度SHCD30CHAR是30日內(nèi)傷害程度WFXW1VARCHAR(4)是主要違法行為JTFSCHAR(2)是交通方式GLXZQHVARCHAR(10)是管理行政區(qū)劃JLNUMBER(2)是駕齡JSZZLCHAR是駕駛證種類ZJCXVARCHAR(10)是準(zhǔn)駕車型CCLZRQDATE是初次領(lǐng)證日期JXMCVARCHAR(64)是駕校名稱SGZRCHAR是事故責(zé)任HPHMVARCHAR(20)是號牌號碼HPZLCHAR(2)是號牌種類CLPPVARCHAR(32)是車輛品牌CLXHVARCHAR(32)是車輛型號SYQCHAR是所有權(quán)JDCSYRVARCHAR(128)是機(jī)動車所有人CLSYXZCHAR(2)是車輛使用性質(zhì)ZYYSDWVARCHAR(128)是專業(yè)運(yùn)輸單位CSYSVARCHAR(5)是車身顏色*SFCZCHAR是是否超載HZ