基于大數(shù)據(jù) AI機(jī)器學(xué)習(xí)的反詐模型研究

基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究人工智能安全AISecurity基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究陸文紅，劉劍(中國(guó)聯(lián)通黑龍江省分公司，黑龍江哈爾濱150001)LuWenhong，LiuJian(ChinaUnicomHeilongjiangBranch，Harbin150001，China)摘要：首先闡述了課題研究的背景，從電話反詐需求出發(fā)，提出了基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)模式建立反詐模型的思路，搭建反詐態(tài)勢(shì)感知大數(shù)據(jù)平臺(tái)。接著介紹了隨機(jī)森林、支持向量機(jī)、樸素貝葉斯、梯度提升決策樹等機(jī)器學(xué)習(xí)算法，詳細(xì)描述了重要功能接口，介紹了數(shù)據(jù)源采集處理，通過自定義規(guī)則與時(shí)俱進(jìn)更新反詐模型，實(shí)現(xiàn)反詐趨勢(shì)實(shí)時(shí)監(jiān)控、涉詐號(hào)碼關(guān)停、溯源分析等功能。最后對(duì)平臺(tái)部署進(jìn)行了測(cè)試驗(yàn)證。關(guān)鍵詞：文章編號(hào)：1007-3043(2022)09-0059-05開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID)：anlectionandprocessing，updatestheanti-fraudmodelthroughcustomrules，andrealizesthereal-timemonitoringofanti-stestKeywords：s引用格式：陸文紅，劉劍.基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究[J].郵電設(shè)計(jì)技術(shù)，2022(9)：59-64.0前言近年來，電信詐騙嚴(yán)重影響了人民群眾獲得感、幸福感、安全感。國(guó)家高度重視電信詐騙治理工作，運(yùn)營(yíng)商作為電信詐騙整個(gè)鏈條中的一個(gè)環(huán)節(jié)，亦投入大量人力物力、技術(shù)資金等開展電信詐騙專項(xiàng)治理。運(yùn)營(yíng)商如何利用技術(shù)手段進(jìn)行反詐，一直以來都是研究重點(diǎn)。最初電信詐騙特征并不復(fù)雜，通過一些簡(jiǎn)單的行為分析與內(nèi)容檢測(cè)就可以達(dá)到不錯(cuò)的反詐效果。收稿日期：2022-07-29隨著詐騙分子與反詐人員技術(shù)對(duì)抗不斷升級(jí)，電信詐騙在通信網(wǎng)側(cè)的行蹤已經(jīng)越來越隱蔽，技術(shù)手段越來越先進(jìn)，因此，反詐工作亟需提升技術(shù)水平和能力，運(yùn)用決策樹、隨機(jī)森林、貝葉斯分類器等典型的機(jī)器學(xué)來綜合判別詐騙電話，進(jìn)而對(duì)詐騙電話進(jìn)行關(guān)停、溯源和關(guān)聯(lián)分析。1電話反詐需求分析1.1電話反詐現(xiàn)狀隨著通信技術(shù)的發(fā)展和互聯(lián)網(wǎng)的普及，詐騙分子郵電設(shè)計(jì)技術(shù)/2022/0959人工智能安全AISecurity基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究頻繁利用電信網(wǎng)和互聯(lián)網(wǎng)對(duì)廣大人民群眾實(shí)施非接觸式詐騙，并逐步呈現(xiàn)智能化、職業(yè)化的特點(diǎn)。詐騙分子利用電話、改號(hào)軟件、短信、惡意程序(包括仿冒和相關(guān)部委關(guān)注的重點(diǎn)。1.2電話反詐治理難點(diǎn)在通信過程中，終端會(huì)因?yàn)殚_關(guān)機(jī)、路由區(qū)更新、呼叫業(yè)務(wù)、短消息業(yè)務(wù)觸發(fā)鑒權(quán)向量消息，被叫和短消息業(yè)務(wù)會(huì)觸發(fā)尋呼消息，針對(duì)用戶漫入漫出詐騙特征分析的主要方法是通過正常用戶的行為建立基線，發(fā)現(xiàn)非正常終端的通聯(lián)關(guān)系。但是，電話反詐存在詐騙場(chǎng)景多變、舉報(bào)樣本不純、數(shù)據(jù)不均衡、數(shù)據(jù)表現(xiàn)不一致等治理難點(diǎn)。2整體解決方案2.1平臺(tái)整體架構(gòu)如圖1所示，從整體架構(gòu)上，平臺(tái)主要由5個(gè)部分構(gòu)成：應(yīng)用展示層/系統(tǒng)管理/監(jiān)控部分、數(shù)據(jù)源、機(jī)器各層功能如下。a)應(yīng)用展示層。提供綜合展現(xiàn)、系統(tǒng)首頁(yè)、檢出號(hào)碼列表、失信號(hào)碼溯源、信息查詢等展示全網(wǎng)涉詐電話的狀態(tài)，通過一鍵處置對(duì)涉詐電話進(jìn)行關(guān)停，提高處置效率。b)數(shù)據(jù)源。通過各類接口技術(shù)，如FTP、SFTP、XML、API、JDBC等進(jìn)行各類數(shù)據(jù)的收集。c)機(jī)器建模層。通過特征篩選技術(shù)、機(jī)器學(xué)習(xí)技術(shù)對(duì)模型進(jìn)行訓(xùn)練，對(duì)訓(xùn)練后的模型效果進(jìn)行評(píng)估，評(píng)估通過的模型正式上線運(yùn)行，后續(xù)通過自動(dòng)+人工的方式不斷對(duì)模型進(jìn)行迭代升級(jí)來反詐新的詐騙場(chǎng)景。d)數(shù)據(jù)接入層。對(duì)收集的數(shù)據(jù)進(jìn)行規(guī)范化處理后壓縮入庫(kù)，通過大數(shù)據(jù)技術(shù)對(duì)入庫(kù)數(shù)據(jù)進(jìn)行抽取、建模準(zhǔn)備數(shù)據(jù)環(huán)境。e)接口。通過運(yùn)營(yíng)商現(xiàn)有平臺(tái)實(shí)現(xiàn)短信接口、關(guān)停監(jiān)控接口、集團(tuán)接口等功能對(duì)接，實(shí)現(xiàn)多環(huán)節(jié)功能自動(dòng)完成。2.2反詐業(yè)務(wù)流程大數(shù)據(jù)采集數(shù)據(jù)源包括移動(dòng)網(wǎng)Mc接口XDR話單和信令話單(O域話單)以及計(jì)費(fèi)話單(B域話單)。為了確保分析數(shù)據(jù)的準(zhǔn)確性，需要對(duì)數(shù)據(jù)進(jìn)行加工處理，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)聯(lián)，不規(guī)則應(yīng)用展示應(yīng)用展示數(shù)據(jù)源機(jī)器建模層數(shù)據(jù)接入層接口用戶視圖12321數(shù)據(jù)機(jī)器學(xué)習(xí)建模反詐態(tài)勢(shì)感知平臺(tái)數(shù)據(jù)處理大數(shù)據(jù)平臺(tái)關(guān)停監(jiān)控接口集團(tuán)接口數(shù)據(jù)壓縮數(shù)據(jù)入庫(kù)自定義規(guī)則集團(tuán)公安數(shù)據(jù)…數(shù)據(jù)采集模型分析模型優(yōu)化多域匯聚短信接口數(shù)據(jù)存儲(chǔ)(HDFS)…圖1整體架構(gòu)圖602022/09/DTPT設(shè)計(jì)基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究設(shè)計(jì)人工智能安全AISecurity數(shù)據(jù)需要進(jìn)行數(shù)據(jù)補(bǔ)齊，滿足數(shù)據(jù)的完整性和一致性。通過數(shù)據(jù)預(yù)處理組件可實(shí)現(xiàn)按照一定的規(guī)則，對(duì)已采集的數(shù)據(jù)進(jìn)行清洗，對(duì)無(wú)用的數(shù)據(jù)進(jìn)行過濾。將不合理或不滿足數(shù)據(jù)結(jié)構(gòu)要求的數(shù)據(jù)，進(jìn)行字段取構(gòu)要求。大數(shù)據(jù)處理層主要是對(duì)接大數(shù)據(jù)全域數(shù)據(jù)匯聚處理與數(shù)據(jù)存儲(chǔ)等功能。2.2.3詐騙電話數(shù)據(jù)處理流程詐騙電話數(shù)據(jù)包括詐騙電話、鷹眼數(shù)據(jù)、省分?jǐn)?shù)據(jù)和IQ指標(biāo)，從數(shù)據(jù)采集開始，將數(shù)據(jù)送到反欺詐引，最后送到Portal分布2.3算法及流程介紹國(guó)際國(guó)內(nèi)詐騙事件分析算法主要采用適用性優(yōu)良、精確度高、理論基礎(chǔ)佳、學(xué)術(shù)成果前沿的機(jī)器學(xué)習(xí)算法對(duì)通信行為模式進(jìn)行挖掘和準(zhǔn)確識(shí)別，如邏輯回歸、隨機(jī)森林、支持向量機(jī)、樸素貝葉斯、梯度提升決策樹等。本文為了解決詐騙場(chǎng)景多變、舉報(bào)樣本不純、數(shù)據(jù)不均衡、數(shù)據(jù)表現(xiàn)不一致等治理難點(diǎn)，使用了上述機(jī)器學(xué)習(xí)算法的組合算法，引入公安涉案數(shù)據(jù)、用戶舉報(bào)數(shù)據(jù)增加正樣本數(shù)量。同時(shí)使用LightGBM框架，訓(xùn)練決策樹時(shí)使用直方圖算法，采用leaf-wise生長(zhǎng)策略，每次從當(dāng)前所有葉子中找到分裂增益最大(一般也是數(shù)據(jù)量最大)的一個(gè)葉子，然后分裂，如此循環(huán)，但此過程會(huì)生長(zhǎng)出比較深的決策樹，產(chǎn)生過擬合。因此LightGBM在leaf-wise之上增加了一個(gè)最大深度的限制，在保證高效率的同時(shí)防止過擬合。從直方圖獲得分裂收益，選取最佳分裂特征、分裂閾值，根據(jù)最佳分裂特征、分裂閾值將樣本切分。通過直方圖做差，繼續(xù)選取最佳分裂葉子、分裂特征、分裂閾值，切分樣本，直到達(dá)到葉子數(shù)目限制或者所有葉子不能分割。本文選擇LightGBM是因?yàn)樗С指咝实牟⑿杏?xùn)練，并且具有更快的訓(xùn)練速度、更低的內(nèi)存消耗、更高的準(zhǔn)確率、支持分布式、可以快速處理海量數(shù)據(jù)等優(yōu)點(diǎn)。關(guān)于梯度提升樹算法的流程如下。c數(shù)據(jù)采集數(shù)據(jù)采集反欺詐引擎分布式解析引擎存儲(chǔ)Portal分布式應(yīng)用前端服務(wù)詐騙數(shù)據(jù)指標(biāo)同步大數(shù)據(jù)服務(wù)詐騙電話數(shù)據(jù)總部鷹眼數(shù)據(jù)解析省分?jǐn)?shù)據(jù)解析語(yǔ)音詳單總部模型檢出數(shù)據(jù)省分模型檢出數(shù)據(jù)IQ指標(biāo)解析全量IQ數(shù)據(jù)庫(kù)IQ指標(biāo)MySQL數(shù)據(jù)庫(kù)反欺詐解析反欺詐引擎語(yǔ)音詳單數(shù)據(jù)字段注冊(cè)中心系統(tǒng)管理關(guān)圖2詐騙電話數(shù)據(jù)處理流程圖2/0961AISecurity基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究b)對(duì)迭代輪數(shù)t=1,2,?T，進(jìn)行以下操作。 歸樹，得到第t顆回歸樹，其對(duì)應(yīng)的葉子節(jié)點(diǎn)區(qū)域?yàn)镽tj，j=1,2,?J。其中J是回歸樹t的葉子節(jié)點(diǎn)個(gè)數(shù)。 (c)對(duì)葉子節(jié)點(diǎn)區(qū)域j=1,2,?J，計(jì)算最佳擬合值cc (d)更新強(qiáng)學(xué)習(xí)器。c)得到強(qiáng)學(xué)習(xí)器表達(dá)式。2.4模型效果及創(chuàng)新點(diǎn)件，結(jié)合現(xiàn)階段詐騙涉案特征集，開展生產(chǎn)環(huán)境實(shí)踐。正樣本：根據(jù)公安提供的警情涉案數(shù)據(jù)和用戶舉報(bào)數(shù)據(jù)，提取本場(chǎng)景的詐騙號(hào)碼，選取其被報(bào)案日的歷史前7天及當(dāng)天數(shù)據(jù)，將經(jīng)初篩剩余的號(hào)碼作為初樣本過少，樣本不均衡，采取過采樣，將正樣本復(fù)制為3數(shù)據(jù)，通過初篩的號(hào)碼查詢網(wǎng)絡(luò)標(biāo)簽，將去除詐騙標(biāo)簽剩余的樣本作為負(fù)樣本，經(jīng)過初篩及過濾標(biāo)簽，最終負(fù)樣5805個(gè)。將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，進(jìn)行5折的交叉驗(yàn)證，最終的混淆矩陣如下。a)5折訓(xùn)練集混淆矩陣展示。如表1所示，其準(zhǔn)b)測(cè)試集混淆矩陣展示。如表2所示，其AUC為表15折訓(xùn)練集混淆矩陣展示字段名預(yù)測(cè)騙子預(yù)測(cè)正常用戶實(shí)際騙子6實(shí)際正常用戶4表2測(cè)試集混淆矩陣展示字段名預(yù)測(cè)騙子預(yù)測(cè)正常用戶實(shí)際騙子0實(shí)際正常用戶1測(cè)試集上ROC曲線及AUC值如圖3所示。TPRTPRAUC=0.99990.20.00.4F0.20.00.4FPR0.8圖3測(cè)試集上ROC曲線及AUC值模型創(chuàng)新點(diǎn)有2個(gè)，一是在正樣本較少的情況下，正負(fù)樣本極度不均衡，通過初篩對(duì)負(fù)樣本進(jìn)行隨機(jī)欠采樣(ROS)，很好地解決了樣本不均衡帶來的問題；二是對(duì)模型的精準(zhǔn)度要求很高的同時(shí)，對(duì)覆蓋也有高要求，放寬了初篩的條件，讓更多的數(shù)據(jù)能進(jìn)入模型，迭代特征集合選取現(xiàn)階段最優(yōu)的特征集合。3系統(tǒng)功能介紹3.1外部接口功能系統(tǒng)已具備標(biāo)準(zhǔn)的B域基礎(chǔ)數(shù)據(jù)接口，并采用SFTP進(jìn)行加密傳輸，保證了數(shù)據(jù)的機(jī)密性。系統(tǒng)與集團(tuán)鷹眼數(shù)據(jù)接口采用API接口方式，獲取鷹眼系統(tǒng)的I他系統(tǒng)直接操作數(shù)據(jù)庫(kù)，降低系統(tǒng)數(shù)據(jù)庫(kù)由于誤操作帶來的風(fēng)險(xiǎn)。3.2自定義規(guī)則及監(jiān)控功能系統(tǒng)從用戶信息、狀態(tài)信息、通話信息、漫游信欺詐工作人員可根據(jù)經(jīng)驗(yàn)，靈活配置使用自定義的監(jiān)控規(guī)則，預(yù)測(cè)新的不良號(hào)碼。同時(shí)，還可新增支持更多指標(biāo)閾值設(shè)置，支持指標(biāo)的與或非邏輯、概率函數(shù)運(yùn)算等。業(yè)務(wù)實(shí)現(xiàn)處理流程見圖4，具體說明如下。622022/09/DTPT基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究人工智能安全AISecurity自定義規(guī)則與監(jiān)控?cái)?shù)據(jù)源B域話單指標(biāo) (24項(xiàng))B域話單指標(biāo) (24項(xiàng))Q (32項(xiàng))平臺(tái)指標(biāo) (4項(xiàng))OO域信令指標(biāo) (12項(xiàng))數(shù)據(jù)接收與提取指標(biāo)數(shù)據(jù)提取(多服務(wù)器并行處理)平臺(tái)提取指標(biāo)存儲(chǔ)與存取自定義規(guī)則任自定義規(guī)則任務(wù)調(diào)度指標(biāo)數(shù)據(jù)大數(shù)據(jù)存儲(chǔ)中心規(guī)則展示自定自定義規(guī)則不良號(hào)碼攔截處置匹配指標(biāo)結(jié)果結(jié)不良號(hào)碼攔截處置匹配指標(biāo)結(jié)果結(jié)束生產(chǎn)系統(tǒng)關(guān)停監(jiān)控規(guī)則圖4業(yè)務(wù)實(shí)現(xiàn)流程a)指標(biāo)展示。展示相關(guān)的指標(biāo)項(xiàng)，設(shè)置指標(biāo)的范圍以及監(jiān)控周期。b)規(guī)則的校驗(yàn)和添加。規(guī)則添加時(shí)，使用昨日指標(biāo)數(shù)據(jù)校驗(yàn)當(dāng)前規(guī)則設(shè)置是否合適，合適則添加，不合適直接返回提示信息。c)規(guī)則任務(wù)的拆分。將添加的規(guī)則，拆分成可以執(zhí)行的任務(wù)。d)規(guī)則匹配與結(jié)果數(shù)據(jù)的存儲(chǔ)。從數(shù)據(jù)存儲(chǔ)中心獲取匹配的指標(biāo)數(shù)據(jù)，并將結(jié)果數(shù)據(jù)存儲(chǔ)至本地?cái)?shù)據(jù)庫(kù)。e)關(guān)停。關(guān)停不良號(hào)碼。4數(shù)據(jù)輸出及結(jié)果驗(yàn)證4.1數(shù)據(jù)輸出根據(jù)上述規(guī)則輸出模型數(shù)據(jù)，包括GOIP、漫游通用模型、仿冒公檢法、仿冒領(lǐng)導(dǎo)熟人等每月輸出檢出表3月數(shù)據(jù)輸出時(shí)間GOIP漫游通用模型仿冒公檢法仿冒領(lǐng)導(dǎo)熟人總數(shù)2022年1月59177197582022年2月42126424532022年3月806972022年4月871754.2核驗(yàn)方法針對(duì)2022年3月份業(yè)務(wù)部門反饋的模型結(jié)果進(jìn)行核驗(yàn)還不足以驗(yàn)證系統(tǒng)模型檢出異常號(hào)碼的準(zhǔn)確性，所以本文引入集團(tuán)鷹眼詐騙模型分布情況與平臺(tái)檢出結(jié)果進(jìn)行對(duì)比，如表4所示。命中率最高的模型規(guī)則為仿冒領(lǐng)導(dǎo)熟人，其命中率達(dá)到100%，命中率最低的模型規(guī)則為基于lac的GOIP模型(B域)的模型規(guī)則，其命中率為4%。表4數(shù)據(jù)檢出驗(yàn)證詐騙模型規(guī)則檢出量命中數(shù)命中率/%仿冒公檢法詐騙922932漫游通用模型6042于lac的GOIP模型(B域)788354仿冒領(lǐng)導(dǎo)熟人5模型部署及應(yīng)用本文提出的基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)模式創(chuàng)新建立的反詐模型已應(yīng)用于黑龍江反詐態(tài)勢(shì)感知大數(shù)據(jù)平臺(tái)。運(yùn)營(yíng)商反詐人員通過反詐監(jiān)控獲取整體反詐情況，如圖5所示，該平臺(tái)可以直觀的呈現(xiàn)各類月度趨勢(shì)及當(dāng)日走勢(shì)，實(shí)現(xiàn)反詐集中運(yùn)營(yíng)與監(jiān)控。6結(jié)束語(yǔ)面對(duì)當(dāng)前不斷翻新的詐騙手段，變化多端的通信欺詐行為，運(yùn)營(yíng)商的管控任務(wù)艱巨。本文通過反詐態(tài)勢(shì)感知大數(shù)據(jù)平臺(tái)，針對(duì)常見的詐騙話務(wù)行為進(jìn)行分析，借助反欺詐業(yè)務(wù)模型及機(jī)器學(xué)習(xí)模型的迭代調(diào)郵電設(shè)計(jì)技術(shù)/2022/0963丆丆丆丆丆丆丆丆丆丆丆丆作者簡(jiǎn)介：丆丆丆丆丆丆丆丆丆丆丆丆作者簡(jiǎn)介：AISecurity基于大數(shù)據(jù)+AI機(jī)器學(xué)習(xí)的反詐模型研究黑黑龍江反詐態(tài)勢(shì)感知大數(shù)據(jù)平臺(tái)圖5黑龍江反詐態(tài)勢(shì)感知大數(shù)據(jù)平臺(tái)優(yōu)，建立針對(duì)詐騙電話的事前風(fēng)險(xiǎn)預(yù)防、事中風(fēng)險(xiǎn)阻斷、事后風(fēng)險(xiǎn)處理的全流程閉環(huán)反詐管控體系，降低了詐騙號(hào)碼誤判率，有效減少反詐人員工作量，提高勞動(dòng)生產(chǎn)率，在實(shí)際應(yīng)用中取得了良好的效果。此外，在反欺詐防控過程中，因?yàn)樗惴ň瓤赡艽嬖诓糠钟脩籼?hào)碼偏差。因此，未來可在以下2個(gè)方面進(jìn)一步提高反欺詐模型的精度：一是不斷迭代新模型+社會(huì)工程學(xué)來適應(yīng)各種欺詐場(chǎng)景；二是嘗試通過貝葉參考文獻(xiàn)： [1]張一乾.電信反欺詐相關(guān)技術(shù)研究[D].北京：北京郵電大學(xué)，2014. J.信息通信技術(shù)，2015，9(6)：50-56，72. [3]韓利強(qiáng).垃圾短信與騷擾電話攔截技術(shù)[J].通訊世界，2017(1)：66-67. [4]姚偉.業(yè)務(wù)系統(tǒng)異常行為檢測(cè)[J].郵電設(shè)計(jì)技術(shù)，2016(1)：70-73. [5]石強(qiáng).反欺詐中的用戶手機(jī)號(hào)數(shù)據(jù)研究[J].智能計(jì)算機(jī)與應(yīng)用， [6]孫世奇，張治邦，宋丹.