SANGFOR_AC_SG_32新產(chǎn)品培訓(xùn)ppt課件

1、SANGFORAC 3.2&SG3.2 新產(chǎn)品培訓(xùn).培訓(xùn)內(nèi)容培訓(xùn)目的AC3.2&SG3.2新產(chǎn)品培訓(xùn)能說(shuō)出三種以上AC3.2&SG3.2版本解決的問(wèn)題。掌握什么情況下需要選用AC3.2&SG3.2版本。掌握3.2版本數(shù)據(jù)審計(jì)及數(shù)據(jù)同步原理.目錄一、3.2詳細(xì)處理了哪些問(wèn)題二、日志審計(jì)三、日志同步四、中間表五、日志精簡(jiǎn)六、晉級(jí)及本卷須知七、FAQ.1.數(shù)據(jù)庫(kù)插入速度慢。 在帶寬較大大于240Mb的情況下，產(chǎn)生日志的速度大于數(shù)據(jù)庫(kù)插入的速度，產(chǎn)生漏審計(jì)。2.數(shù)據(jù)恢復(fù)機(jī)制差。 在數(shù)據(jù)庫(kù)異常解體后，會(huì)喪失全部歷史日志。3.同步與統(tǒng)計(jì)數(shù)據(jù)慢。 3.2之前版本日志量大(A表日志超越2000萬(wàn)條，附件數(shù)超越

2、25萬(wàn))的時(shí)候，日志同步速度慢或異常停頓，3.2版本支持A表6000萬(wàn)條日志同步。4.審計(jì)冗余日志過(guò)多。 冗余日志太多，導(dǎo)致審計(jì)性能下降。5.數(shù)據(jù)庫(kù)收縮。 處理數(shù)據(jù)庫(kù)表刪除后，數(shù)據(jù)庫(kù)占用硬件空間大小沒(méi)有釋放的問(wèn)題。一、3.2詳細(xì)處理了哪些問(wèn)題.培訓(xùn)內(nèi)容培訓(xùn)目的日志審計(jì)能說(shuō)出3.2版本在寫(xiě)日志方面較之前版本有哪些改進(jìn)。能說(shuō)出高性能模式和普通模式的區(qū)別。能說(shuō)出MYSQL改用存儲(chǔ)引擎解決了什么問(wèn)題。二、日志審計(jì).3.2之前版本日志審計(jì)3.2以前的版本由aclog直接寫(xiě)內(nèi)置 mysql數(shù)據(jù)庫(kù)，經(jīng)過(guò)insert命令逐條插入數(shù)據(jù)庫(kù)的，如圖，日志寫(xiě)入速度及同步速度比較慢。1、對(duì)比之前版本.3.2版本日志審計(jì)

3、AC3.2版本Aclog改動(dòng)日志逐條地插入到數(shù)據(jù)庫(kù)中的機(jī)制，而是生成日志文件sync_file和load_file，再由日志導(dǎo)入模塊Loader擔(dān)任將日志批量導(dǎo)入到數(shù)據(jù)庫(kù)中。處理以往版本由aclog直接將日志逐條插入數(shù)據(jù)庫(kù)的效率低問(wèn)題。1、對(duì)比之前版本續(xù). aclog將日志寫(xiě)到兩個(gè)文件中：sync_file和load_file。sync_file是5分鐘寫(xiě)一個(gè)文件，load_file間隔時(shí)間比較短5s。 sync_file主要功能是：向外置數(shù)據(jù)中心同步數(shù)據(jù)或者恢復(fù)內(nèi)置mysql。它里面保管的日志和內(nèi)置mysql一樣。 load_file主要功能是：日志中轉(zhuǎn)，實(shí)現(xiàn)批量向內(nèi)置的mysql插入數(shù)據(jù)，

4、而且它里面的日志在被loader導(dǎo)入完成后自動(dòng)刪除。1、對(duì)比之前版本續(xù). 在客戶日志量很大的情況下，為了提高AC數(shù)據(jù)同步性能，AC可以啟用高性能方式，在高性方式下，aclog只會(huì)寫(xiě)sync_file下的文件，不會(huì)寫(xiě)load_file的文件，所以內(nèi)置數(shù)據(jù)中心無(wú)日志記錄，只進(jìn)展外置數(shù)據(jù)日志同步。啟用高性能方式如以下圖。2、高性能方式.2、高性能方式續(xù). AC3.2版本采用日志批量導(dǎo)入數(shù)據(jù)庫(kù)及日志損壞自動(dòng)修復(fù)機(jī)制，分別由load和recover程序?qū)崿F(xiàn)。處理了日志寫(xiě)入慢及日志庫(kù)損壞無(wú)法修復(fù)的問(wèn)題，loader和recover同樣適用于外置數(shù)據(jù)中心。如上圖3、日志導(dǎo)入及恢復(fù)機(jī)制.3.1.Loader經(jīng)

5、過(guò)檢測(cè)能否存在load_file文件5S，假設(shè)存在那么將load_file里面的日志導(dǎo)入數(shù)據(jù)庫(kù)。3.2.Loader向MYSQL導(dǎo)入數(shù)據(jù)，正常結(jié)導(dǎo)入勝利后，把load_file文件進(jìn)展刪除。3.3.假設(shè)Loader導(dǎo)入表失敗并且自行修復(fù)表，那么調(diào)用Recover進(jìn)展修復(fù)。3.4.Revocer從sync_file中，把導(dǎo)入失敗的表，進(jìn)展重新復(fù)原導(dǎo)入。導(dǎo)入勝利那么前往給Loader。3.5.假設(shè)導(dǎo)入不勝利，償試三次都失敗。那么回復(fù)相應(yīng)的錯(cuò)誤給Loader，并且交還控制權(quán)給Loader。3、日志導(dǎo)入及恢復(fù)機(jī)制續(xù). AC3.2版本數(shù)據(jù)中心采用myisam數(shù)據(jù)庫(kù)存儲(chǔ)引擎，AC3.2之前版本采用inno

6、db數(shù)據(jù)庫(kù)存儲(chǔ)引擎，innodb存儲(chǔ)引擎存在以下兩個(gè)問(wèn)題：無(wú)法釋放數(shù)據(jù)庫(kù)空間 某天或某幾天的表?yè)p壞，能夠?qū)е抡麄€(gè)數(shù)據(jù)庫(kù)損壞，從而導(dǎo)致整個(gè)日志喪失。Myisam存儲(chǔ)引擎有效地處理了上述兩個(gè)問(wèn)題4、數(shù)據(jù)庫(kù)存儲(chǔ)引擎myisam.Myisam存儲(chǔ)引擎特點(diǎn)是每天的每種表都是單獨(dú)存儲(chǔ)的，益處是某個(gè)表?yè)p壞了，還可以再重新load一次修復(fù)。這種方式的數(shù)據(jù)庫(kù)會(huì)有很多文件，比如20211130的A表就會(huì)產(chǎn)生三個(gè)文件：A20211130.frm構(gòu)造表、A20211130.MYI索引表、A20211130.MYD日志表。4、數(shù)據(jù)庫(kù)存儲(chǔ)引擎myisam(續(xù)).5.1、3.2日志審計(jì)不再由aclog直接寫(xiě)數(shù)據(jù)庫(kù)。改成ac

7、log直接把日志寫(xiě)到sync_file和load_file兩個(gè)文件中。每隔一段時(shí)間，一次性導(dǎo)入一批日志記錄，從而極大提高了效率。5.2、sync_file文件存在硬盤(pán)上，用于同步到外置數(shù)據(jù)中心和內(nèi)置數(shù)據(jù)庫(kù)恢復(fù)運(yùn)用，每五分鐘生成一個(gè)文件。Load_file用于導(dǎo)入到內(nèi)置數(shù)據(jù)庫(kù)中，導(dǎo)入勝利后便刪除，每5s左右導(dǎo)入一次。5.3、Sync_file與內(nèi)置數(shù)據(jù)中心存放著一樣的日志，所以產(chǎn)生一個(gè)問(wèn)題，磁盤(pán)運(yùn)用率降低一半。5.4、支持某一天的日志表壞了，可以直接從日志文件(sync_file)中恢復(fù)。只支持恢復(fù)當(dāng)天的，暫時(shí)不支持內(nèi)置數(shù)據(jù)庫(kù)完全掛掉后，全盤(pán)恢復(fù)。但是可以運(yùn)用外置數(shù)據(jù)中心，把日志文件中的日志導(dǎo)出

8、。5.5、啟用高性能方式的時(shí)候，aclog只寫(xiě)sync_file文件，內(nèi)置數(shù)據(jù)中心無(wú)日志。5.6、MYSQL改myisam為存儲(chǔ)引擎，處理數(shù)據(jù)庫(kù)收縮問(wèn)題。5、日志審計(jì)總結(jié).培訓(xùn)內(nèi)容培訓(xùn)目的日志同步。了解數(shù)據(jù)同步整體過(guò)程了解外置數(shù)據(jù)日志導(dǎo)入load及日志恢復(fù)recover功能能說(shuō)出什么情況下建議用壓縮算法三、日志同步. 3.2之前 版本日志同步采用每條日志同步及每條日志寫(xiě)入外置數(shù)據(jù)中心mysql的方式缺陷：同步速度慢，每天同步的日志大約2000w條左右，日志量比較大的客戶，經(jīng)常出現(xiàn)日志同步速度跟不上日志產(chǎn)生速度，同步滯后。 3.2版本數(shù)據(jù)采用新的同步機(jī)制，內(nèi)置數(shù)據(jù)中心每隔5分鐘生成一個(gè)日志文件，

9、日志同步時(shí)，直接將日志文件同步到外置數(shù)據(jù)中心，然后由我們的load程序批量load到數(shù)據(jù)庫(kù)。優(yōu)點(diǎn)：大大提高 了同步效率，高端設(shè)備一天支持6000w的日志同步，處理了同步速度慢的問(wèn)題。1、對(duì)比之前版本.上圖為日志同步的整體過(guò)程， 同步過(guò)程中涉及三種表，配置表，日志表和附件 ，同步的先后順序?yàn)椋号渲帽砣罩颈砀郊?、日志同步整體流程.這里所說(shuō)的配置表，指的是用戶表，組織架構(gòu)表及運(yùn)用表等，如左圖。2.1、配置表同步.2.1、配置表同步續(xù) 配置表的同步由同步客戶端程序datasync將配置表同步至外置數(shù)據(jù)中心，然后由外置數(shù)據(jù)中心效力端程序調(diào) 用load導(dǎo)入器，將配置表導(dǎo)入至mysql，完成配置表同步。每

10、次啟動(dòng)同步都會(huì)進(jìn)展配置表的同步，同步前先檢驗(yàn)各配置表的md5值，假設(shè)md5不一樣，那么以為配置表發(fā)生改動(dòng)，需求進(jìn)展同步。.2.1、配置表同步續(xù)配置表md5網(wǎng)關(guān)序號(hào)load.2.2、日志表同步日志表指的是用戶上網(wǎng)產(chǎn)生的真實(shí)日志，包括 A ，U， P， M， C， O， I， S， F， Q， T這些表。日志表的同步過(guò)程如下：.2.2、日志表同步續(xù).aclog把實(shí)時(shí)日志寫(xiě)進(jìn)日志文件sync_file下，如以下圖：日志文件的命名規(guī)那么如下:例20211130_1515_5F86F7A5_Q.dat，20211130為日期，1515為時(shí)間，5F86F7A5網(wǎng)關(guān)序號(hào)，Q表的命名，從圖中可以看出日志文件是

11、每隔5分鐘生成一次.2.2、日志表同步續(xù).同步客戶端直接從日志文件sync_file中讀取日志文件并同步至外置數(shù)據(jù)中心，同步順序?yàn)椋篈 -U- P- M- C- O- I- S- F- Q- T.外置數(shù)據(jù)同時(shí)調(diào)用load導(dǎo)入器將已同步過(guò)來(lái)的日志表導(dǎo)入至數(shù)據(jù)庫(kù)。外置數(shù)據(jù)中心日志表同步如以下圖：.2.3、附件同步 完成當(dāng)前5分鐘日志表的同步后，需求進(jìn)展當(dāng)前5分鐘附件的同步，直接由同步器將當(dāng)前5分鐘內(nèi)的附件打包，同步至外置數(shù)據(jù)中心進(jìn)展解包，便完成該5分鐘附件的同步。外置數(shù)據(jù)中心附件同步日志如以下圖：附件在內(nèi)置數(shù)據(jù)中心打包成20211209_1530_5F86F7A5_X.dat這種方式進(jìn)展同步。.

12、外置數(shù)據(jù)中心同樣具有l(wèi)oad和recover機(jī)制，原理和內(nèi)置數(shù)據(jù)中心一樣，差別的是，內(nèi)置數(shù)據(jù)中心load和recover不斷在運(yùn)轉(zhuǎn)，而外置的load和recover只是在需求的時(shí)候才調(diào)用，如以下圖：3、外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能.3.1.Datacenter同步完成sync_file之后，會(huì)調(diào)用Loader.exe。3.2.Loader.exe把sync_file文件中相關(guān)日志，導(dǎo)入到MYSQL數(shù)據(jù)庫(kù)中。導(dǎo)入勝利后，Loader.exe程序退出任務(wù)，等待下一次datacenter對(duì)其進(jìn)展調(diào)用。3.3.假設(shè)Loader在導(dǎo)入數(shù)據(jù)庫(kù)表的時(shí)候出現(xiàn)錯(cuò)誤，并且進(jìn)展簡(jiǎn)單的repair還無(wú)法修復(fù)，那么調(diào)

13、用 Recover.exe進(jìn)展修復(fù) 。3.4.Recover.exe被調(diào)用起來(lái)后，把無(wú)法修復(fù)的表進(jìn)展drop，drop完之后，再?gòu)膕ync_file里面，把對(duì)面的表進(jìn)展恢復(fù)。假設(shè)勝利，那么把控制權(quán)交還給Loader，并退出。3.5.假設(shè)Recover失敗超越三次，剛前往給Loader相關(guān)錯(cuò)誤信息，然后退出。3、外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能續(xù).4、緊縮算法同步日志運(yùn)用緊縮算法： LZO和LZMA，默許是LZO，運(yùn)用LZMA緊縮算法可以在界面上配置，可以將緊縮比率提高1倍，但是同步時(shí)間并不一定會(huì)會(huì)由于緊縮比率添加而縮短，由于緊縮也會(huì)占用較長(zhǎng)的時(shí)間了。留意：?jiǎn)⒂迷撍惴ㄓ心軌虮炔粏⒂迷撍惴ǜ?，由?/p>

14、緊縮比較耗時(shí)，也在內(nèi)網(wǎng)環(huán)境下不建議運(yùn)用。在帶寬缺乏的情況下，如經(jīng)過(guò)vpn，多個(gè)分支向總部同步日志，可以啟用。.5.1、內(nèi)置到外置數(shù)據(jù)中心同步，每次傳五分鐘的sync_file內(nèi)容和五分鐘相關(guān)的附件。傳輸完成后，外置數(shù)據(jù)中心，立刻調(diào)用導(dǎo)入器(Loader)對(duì)日志文件進(jìn)展導(dǎo)入。5.2、同步日志的順序?yàn)榕渲帽?日志表-附件，其中日志表的同步順序?yàn)椋?A -U- P- M- C- O- I- S- F- Q- T5.3、LZMA算法，緊縮比雖然提高 ，但是同步速度不一定提高。建議內(nèi)網(wǎng)環(huán)境不啟用，帶寬缺乏時(shí)再啟用。5.4、內(nèi)置數(shù)據(jù)中心Loader過(guò)的日志文件(load_file)會(huì)被刪除，而外置數(shù)據(jù)中心

15、Loader過(guò)的日志文件不會(huì)被刪除。5.5、Recover只能修復(fù)當(dāng)天的數(shù)據(jù)庫(kù)，無(wú)法修復(fù)整個(gè)數(shù)據(jù)庫(kù)。5.6、sync_file中的日志文件刪除機(jī)制同數(shù)據(jù)庫(kù)日志刪除機(jī)制5、日志同步總結(jié).培訓(xùn)內(nèi)容培訓(xùn)目的中間表能在進(jìn)行日志統(tǒng)計(jì)，報(bào)表生成時(shí)合理利用中間表，以提高速度四、中間表. 隨著審計(jì)日志量的添加，數(shù)據(jù)中心查詢、統(tǒng)計(jì)、生成報(bào)表等速度越來(lái)越慢，為了滿足客戶運(yùn)用數(shù)據(jù)中心可以在短時(shí)間內(nèi)呼應(yīng)并給出結(jié)果的需求，提出中間表的實(shí)現(xiàn)機(jī)制。中間表由后臺(tái)程序midtable實(shí)現(xiàn)，將原始表中具有求和意義的字段流量，時(shí)間，行為等按組、用戶、IP、運(yùn)用類(lèi)型及詳細(xì)運(yùn)用做二次統(tǒng)計(jì)，一定程度上提高查詢、統(tǒng)計(jì)的頁(yè)面呼應(yīng)。1、為什么

16、要引入中間表. 3.0之前的中間表直接從數(shù)據(jù)庫(kù)中讀取日志，每半個(gè)小時(shí)作為一個(gè)時(shí)間段，生成中間表。中間表運(yùn)用有限，假設(shè)要統(tǒng)計(jì)四個(gè)小時(shí)的流量，那么需求查詢8次中間表。 3.2版本較之前版本發(fā)生了變化，生成中間表的原始數(shù)據(jù)不是從數(shù)據(jù)庫(kù)中讀取，直接從sync_file下的文件中讀取，另外也不僅僅是取半個(gè)小時(shí)內(nèi)置的數(shù)據(jù)生成中間表，可以取半個(gè)小時(shí)，一個(gè)小時(shí)，4個(gè)小時(shí)內(nèi)的數(shù)據(jù)生成相應(yīng)的中間表，這樣要統(tǒng)計(jì)四個(gè)小時(shí)內(nèi)的流量，只需求查詢一次中間表即可，提高了統(tǒng)計(jì)的速度2、對(duì)比之前版本. 3.2版本中間表程序會(huì)讀取sync_file下的日志文件生成A、F、T、U四種原始表的中間表。不同類(lèi)型日志的中間表有不同的時(shí)間段

17、，如下，中間表一覽：3、中間表一覽.中間表命名規(guī)那么：如： MidFGA1H20211026 其中Mid表示該表為中間表，F(xiàn)表示該表為流量表的中間表，GA分別表示“組和“詳細(xì)運(yùn)用，1H表示中間表為一張1小時(shí)的中間表，20211026表示中間表的生成時(shí)間。結(jié)合前面的中間表一覽，假設(shè)需求統(tǒng)計(jì)某個(gè)用戶13：00至17：00這段時(shí)間的流量情況，需求查幾次中間表？3、中間表一覽續(xù).培訓(xùn)內(nèi)容培訓(xùn)目的日志精簡(jiǎn)了解日志精簡(jiǎn)對(duì)哪些應(yīng)用做了精簡(jiǎn)。五、日志精簡(jiǎn).其他運(yùn)用：一樣源IP、目的IP, 5min記一次P2P：一樣源IP, 5min記一次游戲/炒股：一樣源IP、詳細(xì)運(yùn)用, 10min記一次回絕日志：一樣源IP

18、、詳細(xì)運(yùn)用、域名, 10min記一次PS：優(yōu)化日志記錄也做了一些小修正從原來(lái)的5S記錄一次添加到30S一次。1、日志精簡(jiǎn)方案由于其它運(yùn)用，p2p及回絕類(lèi)的較多，現(xiàn)采用了以下日志精簡(jiǎn)方案.2、日志精簡(jiǎn)設(shè)置.六、晉級(jí)及本卷須知培訓(xùn)內(nèi)容培訓(xùn)目的升級(jí)及注意事項(xiàng)能說(shuō)出從低版本升級(jí)上來(lái)，有哪些注意事項(xiàng).1、晉級(jí)之前最好將之前的日志同步一下，否那么晉級(jí)后日志就不會(huì)同步了。 由于晉級(jí)之后，同步文件只存在于sync_file文件里面，而老的數(shù)據(jù)照舊存在于mysql數(shù)據(jù)庫(kù)里。所以假設(shè)晉級(jí)前沒(méi)有同步到外置數(shù)據(jù)中心的數(shù)據(jù)，將不再被同步。但是內(nèi)置照舊可以查到相關(guān)的日志記錄。2、從低版本如3.0版本晉級(jí)到3.2，必需運(yùn)用update5.0版本晉級(jí)客戶端。并且要開(kāi)啟晉級(jí)授權(quán)序列號(hào)，才干進(jìn)展晉級(jí)。運(yùn)用update4.0