網(wǎng)絡(luò)安全數(shù)據(jù)集介紹

1、網(wǎng)絡(luò)安全數(shù)據(jù)集介紹盛川1/21 IDS Dataset2/211、KDD99 Dataset模擬美國空軍局域網(wǎng)一個(gè)網(wǎng)絡(luò)環(huán)境，搜集了9周時(shí)間網(wǎng)絡(luò)連接和系統(tǒng)審計(jì)數(shù)據(jù)，仿真各種用戶類型、各種不一樣網(wǎng)絡(luò)流量和攻擊伎倆。類別含義詳細(xì)分類標(biāo)識(shí)NORMAL正常統(tǒng)計(jì)normalPROBE監(jiān)視與其它探測(cè)活動(dòng)ipsweep，mscan，nmap，portsweep，saint，satanDOS拒絕服務(wù)攻擊apache2，back，land，mailbomb，neptune，pod，processtable，smurf，teardrop，udpstormU2R普通用戶對(duì)當(dāng)?shù)爻?jí)用戶特權(quán)非法訪問buffer_over

2、flow，httptunnel，loadmodule，perl，ps，rootkit，sqlattack，xtermR2L來自遠(yuǎn)程機(jī)器非法訪問ftp_write，guess_passwd，imap，multihop，named，phf，sendmail，snmpgetattack，snmpguess，spy，warezclient，warezmaster，worm，xlock，xsnoopKDD99將攻擊類型分為4類，然后又細(xì)分為39小類，每一類代表一個(gè)攻擊類型.3/21KDD99數(shù)據(jù)集中每個(gè)連接用41個(gè)特征來描述TCP連接基本特征（共9種 ）（1）duration. 連接連續(xù)時(shí)間，以秒為單位

3、，連續(xù)（2）protocol_type. 協(xié)議類型，離散，共有3種（3）service. 目標(biāo)主機(jī)網(wǎng)絡(luò)服務(wù)類型，離散，共有70種（4）flag. 連接正常或錯(cuò)誤狀態(tài)，離散，共11種（5）src_bytes. 從源主機(jī)到目標(biāo)主機(jī)數(shù)據(jù)字節(jié)數(shù)，連續(xù)（6）dst_bytes. 從目標(biāo)主機(jī)到源主機(jī)數(shù)據(jù)字節(jié)數(shù)，連續(xù)（7）land. 若連接來自/送達(dá)同一個(gè)主機(jī)/端口則為1，不然為0，離散（8）wrong_fragment. 錯(cuò)誤分段數(shù)量，連續(xù)（9）urgent. 加急包個(gè)數(shù)，連續(xù)例：0, tcp, smtp, SF, 787, 329, 0, 0, 0,0, 0, 1, 0, 0, 0, 0, 0, 0,

4、0, 0, 0, 0, 1, 1, 0.00, 0.00, 0.00, 0.00, 1.00, 0.00, 0.00, 76, 117, 0.49, 0.08, 0.01, 0.02, 0.00, 0.00, 0.00, 0.00, normal.4/21KDD99數(shù)據(jù)集中每個(gè)連接用41個(gè)特征來描述TCP連接內(nèi)容特征（13種）（10）hot. 訪問系統(tǒng)敏感文件和目錄次數(shù)，連續(xù)（11）num_failed_logins. 登錄嘗試失敗次數(shù)，連續(xù)（12）logged_in. 成功登錄則為1，不然為0，離散（13）num_compromised. compromised條件（*）出現(xiàn)次數(shù)，連續(xù)（14

5、）root_shell. 若取得root shell 則為1，不然為0，離散，root_shell是指取得超級(jí)用戶權(quán)限（15）su_attempted. 若出現(xiàn)”su root” 命令則為1，不然為0，離散（16）num_root. root用戶訪問次數(shù)，連續(xù)（17）num_file_creations. 文件創(chuàng)建操作次數(shù)，連續(xù)（18）num_shells. 使用shell命令次數(shù)，連續(xù)，0, 5。（19）num_access_files. 訪問控制文件次數(shù)，連續(xù)（20）num_outbound_cmds. 一個(gè)FTP會(huì)話中出站連接次數(shù)，連續(xù)（21）is_hot_login.登錄是否屬于“ho

6、t”列表（*），是為1，不然為0，離散（22）is_guest_login. 若是guest 登錄則為1，不然為0，離散例：0, tcp, smtp, SF, 787, 329, 0, 0, 0,0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0.00, 0.00, 0.00, 0.00, 1.00, 0.00, 0.00, 76, 117, 0.49, 0.08, 0.01, 0.02, 0.00, 0.00, 0.00, 0.00, normal.5/21KDD99數(shù)據(jù)集中每個(gè)連接用41個(gè)特征來描述例：0, tcp, smtp, SF, 787,

7、329, 0, 0, 0,0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0.00, 0.00, 0.00, 0.00, 1.00, 0.00, 0.00, 76, 117, 0.49, 0.08, 0.01, 0.02, 0.00, 0.00, 0.00, 0.00, normal.基于時(shí)間網(wǎng)絡(luò)流量統(tǒng)計(jì)特征 （共9種）（23）count. 過去兩秒內(nèi)，與當(dāng)前連接含有相同目標(biāo)主機(jī)連接數(shù)，連續(xù)（24）srv_count. 過去兩秒內(nèi)，與當(dāng)前連接含有相同服務(wù)連接數(shù)，連續(xù)（25）serror_rate. 過去兩秒內(nèi)，在與當(dāng)前連接含有相同目標(biāo)主機(jī)連接中，出現(xiàn)“

8、SYN” 錯(cuò)誤連接百分比，連續(xù)（26）srv_serror_rate. 過去兩秒內(nèi)，在與當(dāng)前連接含有相同服務(wù)連接中，出現(xiàn)“SYN” 錯(cuò)誤連接百分比，連續(xù)（27）rerror_rate. 過去兩秒內(nèi)，在與當(dāng)前連接含有相同目標(biāo)主機(jī)連接中，出現(xiàn)“REJ” 錯(cuò)誤連接百分比，連續(xù)（28）srv_rerror_rate. 過去兩秒內(nèi)，在與當(dāng)前連接含有相同服務(wù)連接中，出現(xiàn)“REJ” 錯(cuò)誤連接百分比，連續(xù)（29）same_srv_rate. 過去兩秒內(nèi)，在與當(dāng)前連接含有相同目標(biāo)主機(jī)連接中，與當(dāng)前連接含有相同服務(wù)連接百分比，連續(xù)（30）diff_srv_rate. 過去兩秒內(nèi)，在與當(dāng)前連接含有相同目標(biāo)主機(jī)連接中

9、，與當(dāng)前連接含有不一樣服務(wù)連接百分比，連續(xù)（31）srv_diff_host_rate. 過去兩秒內(nèi)，在與當(dāng)前連接含有相同服務(wù)連接中，與當(dāng)前連接含有不一樣目標(biāo)主機(jī)連接百分比，連續(xù)6/21KDD99數(shù)據(jù)集中每個(gè)連接用41個(gè)特征來描述例：0, tcp, smtp, SF, 787, 329, 0, 0, 0,0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0.00, 0.00, 0.00, 0.00, 1.00, 0.00, 0.00, 76, 117, 0.49, 0.08, 0.01, 0.02, 0.00, 0.00, 0.00, 0.00, nor

10、mal.基于主機(jī)網(wǎng)絡(luò)流量統(tǒng)計(jì)特征 （共10種）（32）dst_host_count. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)連接數(shù)，連續(xù)（33）dst_host_srv_count. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)相同服務(wù)連接數(shù)，連續(xù)（34）dst_host_same_srv_rate. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)相同服務(wù)連接所占百分比，連續(xù)（35）dst_host_diff_srv_rate. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)不一樣服務(wù)連接所占百分比，連續(xù)（36）dst_host_same_src_port_rate. 前100個(gè)連接中，與當(dāng)

11、前連接含有相同目標(biāo)主機(jī)相同源端口連接所占百分比，連續(xù)（37）dst_host_srv_diff_host_rate. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)相同服務(wù)連接中，與當(dāng)前連接含有不一樣源主機(jī)連接所占百分比，連續(xù)（38）dst_host_serror_rate. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)連接中，出現(xiàn)SYN錯(cuò)誤連接所占百分比，連續(xù)（39）dst_host_srv_serror_rate. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)相同服務(wù)連接中，出現(xiàn)SYN錯(cuò)誤連接所占百分比，連續(xù)（40）dst_host_rerror_rate. 前100個(gè)連接中，與當(dāng)前連接含有

12、相同目標(biāo)主機(jī)連接中，出現(xiàn)REJ錯(cuò)誤連接所占百分比，連續(xù)（41）dst_host_srv_rerror_rate. 前100個(gè)連接中，與當(dāng)前連接含有相同目標(biāo)主機(jī)相同服務(wù)連接中，出現(xiàn)REJ錯(cuò)誤連接所占百分比，連續(xù)7/212、NSL_KDD A new version of KDD99KDD99 數(shù)據(jù)集一個(gè)主要缺點(diǎn)是：存在大量冗余數(shù)據(jù)。影響：1）造成IDS算法更傾向于出現(xiàn)更頻繁統(tǒng)計(jì)；2）大量冗余數(shù)據(jù)使IDS算法測(cè)試結(jié)果普遍偏高，不能真實(shí)反應(yīng)算法有效性。8/21數(shù)據(jù)處理方法Randomly create three smaller subsets of the KDD train set each o

13、f which included fifty thousand records of information. Employ 21 learned machines (7 learners, each trained 3 times) to label the records of the entire KDD train and test sets.KDDTrain+KDDTest+KDDTrain-21KDDTest-219/213、CICIDS10/21ProfilesBenign ProfileTool: B-Profile system Profile: behavior of no

14、rmal userAttack ProfilesTool: existing toolsProfile: Brute Force Attack，Heartbleed Attack，Botnet，DoS Attack，DDoS Attack，Web Attack，Infiltration Attack 11/21Dataset12/21Canadian Institute for Cybersecurity13/214、Other DatasetsSEA DatasetUser behavior logsHTTP Dataset CSIC Web service requestsCERT-IT

15、DatasetInsider Threat DatasetADFA Dataset ADFA _LD and ADFA _WD Host-level intrusion detection system datasetWUIL DatasetLogs of Windows-users operating filesEmber Malware Data SetBenign and malicious PE files14/214、Other Datasets15/21 Honeypot Dataset16/211、The Honeynet ProjectAug 4 23:32:00 lisa s

16、nort17482: SCAN-SYN FIN: 76:109 - 9:109Aug 4 23:32:00 lisa snort17482: SCAN-SYN FIN: 76:109 - 01:109Aug 4 23:32:00 lisa snort17482: SCAN-SYN FIN: 76:109 - 02:109Aug 4 23:32:00 lisa snort17482: SCAN-SYN FIN: 76:109 - 03:109數(shù)據(jù)集是由HoneyNet組織搜集黑客攻擊數(shù)據(jù)集，能很好地反應(yīng)黑客攻擊模式，數(shù)據(jù)集包含從4月到年2月，累計(jì)11個(gè)月Snort報(bào)警數(shù)據(jù)，每個(gè)月大約60-300

17、0多條Snort報(bào)警統(tǒng)計(jì)，其網(wǎng)絡(luò)由8個(gè)IP地址經(jīng)過ISDN連接到ISP。17/212、Kyoto DatasetNov. 01, - Dec. 31, 樣例數(shù)據(jù)：Other0000.000.000.0038380.000.000.00REJ000-1fda2:69aa:1f1a:1195:2cb7:1511:3740:15221490fda2:69aa:1f1a:a767:7d53:27de:0fc6:1646330600:00:01tcp0.00689414 conventional featuresbased on KDD Cup 99 data set10 additional feat

18、ures18/21 Modern Enterprise TrafficLBNL Dataset ICS DatasetSWaT Testbed19/21Dataset Evaluation Framework ()Eleven CharacteristicsAttack DiversityAnonymityAvailable ProtocolsComplete CaptureComplete InteractionComplete Network ConfigurationComplete TrafficFeature SetHeterogeneityLabellingMetadata20/21參考文件_The Honeynet Project Trapping the Hackers_A First Look at Modern Enterprise Traffic_A Detailed Analysis of the KDD CUP 99 Data Set_A Preliminary Analysis of TCP Performance in an Enterprise Network_Generation of a new IDS test