引擎優(yōu)化之路與“芯”探索-安天引擎的效率改善回顧與展望

——安天引擎的效率改善回顧與展望安天技術(shù)委員會威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗CONTENTS01安天引擎的發(fā)展歷程02引擎效率優(yōu)化回顧03基于異構(gòu)計算的威脅檢測04引擎加速芯片展望威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗安天引擎的發(fā)展歷程Page4威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗安天引擎的發(fā)展歷程Page5威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗Page7威脅框架：細(xì)粒度對抗在目標(biāo)達(dá)成與資源消耗矛盾中不斷挑戰(zhàn)與突破的20年?反病毒引擎是一組可擴(kuò)展的程序模塊，該程序模塊在相配套的數(shù)據(jù)描述集合的支撐下來完成對病毒的檢測和清除，而這一數(shù)據(jù)描述集合則被通俗地稱為“病毒庫”或者?對象格式的不斷豐富?對象大小的快速膨脹?對象復(fù)雜度的不斷提高導(dǎo)致模塊日趨膨脹，分支越來越多，規(guī)則海量擴(kuò)展2000-2013惡意代碼的變種總量統(tǒng)計1000000080000006000000400000020000000由于卡巴斯 基后臺分析 與同源合并2000-2013惡意代碼的變種總量統(tǒng)計1000000080000006000000400000020000000由于卡巴斯 基后臺分析 與同源合并 一些病毒家 族和變種發(fā) 此無法連續(xù) 體種類膨脹 超過400倍。60000004000000200000002006/11/102012/11/272013/11/42000/10/242006/11/102012/11/272013/11/4WormVirusTrojanWormVirusHackToolSpywareRiskWareHackToolSpyware分類/日期2000/10/24Worm354049435247Virus21006277602994030060726209484237514968217502301076Spyware48992145703407510258002014012015-2018惡意代碼的變種總量統(tǒng)計2015/6/252018/9/4WormVirus Trojan HackToolSpywareRiskWare2015/06/252018/09/0429397299803283882528900662234440133844580352020年安天樣本庫惡意代碼變種數(shù)Trojan10,338,715Virus49,430Worm276,946HackTool385,361RiskWare1,055,4932020年安天樣本庫惡意代碼變種數(shù)Trojan10,338,715Virus49,430Worm276,946HackTool385,361RiskWare1,055,493GrawWare2,640,863總計14,746,8082020年惡意代碼檢測規(guī)則數(shù)總計52,684,4462000年安天病樣本惡意代碼變種數(shù)Trojan3,066Virus21,006Worm512HackTool260RiskWare0GrawWare37總計24,8812000年安天引擎檢測規(guī)則數(shù)總計約6000條2020年云檢測規(guī)則數(shù)總計664,870,674安天引擎的檢測本地規(guī)則數(shù)量，由2000年的不足1萬條，增加到2020年超過5000萬數(shù)量膨脹基本一致。2020安天引擎可識別文件格式規(guī)則文件格式規(guī)則數(shù)41,292,256安卓7,918,221腳本1,219,258ELF189,332宏病毒141,812溢出6,430其他文件191,7132020安天引擎可解析格式文件格式種類數(shù)軟件數(shù)據(jù)包裹41可執(zhí)行格式41媒體35文檔31圖片22文本腳本9其他文件7核心行為標(biāo)簽AdToolEmailP2PSpoofAdWareExploitPackedSpyArcBombFakeAVPorn-DialerSuspiciousPackerAVToolFlooderPorn-DownloaderToolBackdoorFraudToolPorn-ToolVirToolBadJokeGameThiefProxyWebToolbarBankerGarbagePSWModifierClickerHackToolPSWToolAutoRunClient-IRCHoaxRansomInjectorClient-P2PRemoteAdminPhishingClient-SMTPRiskToolToolbarConstructorJokeRootkitKeyLoggerCrackToolMailfinderServer-FTPFilecoderDDoSMonitorServer-ProxyAdDisplayDialerMultiPackedServer-TelnetLockScreenDoSServer-WebSpammerDownloaderNetToolSMSHLLWDropperNotifierSpamToolSnifferBundlerRoguePage10主機(jī)引擎（2000年）?引擎發(fā)展選擇了在主機(jī)側(cè)快速檢測清除木馬，并進(jìn)行系統(tǒng)關(guān)鍵點(diǎn)修復(fù)的技術(shù)路線?有效還原被害系統(tǒng)10000000800000060000004000000200000002000-2013惡意代碼的變種總量統(tǒng)計2000/10/242006/11/102012/11/272013/11/4WormVirusTrojan HackToolSpywareRiskWare威脅框架：細(xì)粒度對抗Page11威脅框架：細(xì)粒度對抗網(wǎng)絡(luò)側(cè)引擎（2002年?當(dāng)時網(wǎng)絡(luò)上病毒蠕蟲已經(jīng)多達(dá)數(shù)萬種，但網(wǎng)絡(luò)協(xié)議棧性能并不足以支持當(dāng)時主流?對大量惡意代碼重新提取特征，用于高速在線靜態(tài)匹配采用基于x86通用平臺還是專用硬件？?此外還有用于防火墻的包頭處理專用硬件芯片?GPU適合處理邏輯簡單、能高度并行的計算?在反病毒引擎中，哈希計算、模式匹配適合GPU來完成，而各環(huán)節(jié)的銜接調(diào)度、預(yù)處理、解包等操作，還是適合CPU執(zhí)行?安天在科研項目中研發(fā)了AvlScope、AvlScope2硬件加速方案Page12威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗03基于異構(gòu)計算的威脅檢測基于通用計算平臺的高速檢測引擎發(fā)展瓶頸?規(guī)則數(shù)量的膨脹帶來存儲資源的壓力?分支眾多，預(yù)處理深度加深帶來計算處理資源的壓力?熱數(shù)據(jù)集龐大，局部性差導(dǎo)致cache失效的性能惡化Page14威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗信創(chuàng)背景下高速檢測的挑戰(zhàn)?飛騰、申威、龍芯、鯤鵬、兆芯等國產(chǎn)CPU與Intel、AMD最新產(chǎn)品性能尚有較大差距?單核性能相當(dāng)于i3-530Page15威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗I通用vs.專用威脅框架：細(xì)粒度對抗將沿著“標(biāo)準(zhǔn)化”與“定制化”交替發(fā)展的路線前進(jìn)，每十年波動一次。Page16威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗芯片的定位?加速芯片不是要顛覆已有的技術(shù)結(jié)構(gòu)?引擎加速芯片是20年引擎技術(shù)發(fā)展的自然延申，以現(xiàn)有的軟硬件體系為依托可組合、堆疊，可縮放，性能、成本與應(yīng)用場景適配Page19威脅框架：細(xì)粒度對抗威脅框架：細(xì)粒度對抗威脅框架：細(xì)