网络流量模型的异常检测方法及原理

核心提示： 另一方面对于已知攻击种类和行为的数据集进行学习还能对人为选取的攻击组合特征进行优化，使之更能反映该攻击行为的特点，网络流量模型的异常检测方法及原理(3)，由于数据集是通过对网络流量实时提取获得的，真实地反映了网络的实时状态，这为将来的异常检测提供了一个较好的数据平台，具有比较好的可扩展性，

另一方面对于已知攻击种类和行为的数据集进行学习还能对人为选取的攻击组合特征进行优化，使之更能反映该攻击行为的特点。由于数据集是通过对网络流量实时提取获得的，真实地反映了网络的实时状态，因而通过共享该数据集可以为网络中不同管理域之间异常检测系统提供一个协同运行和控制的平台。

网络流量基本特征数据集是整个网络流量异常算法的基础。为了保证该算法的可靠性和比较强的可扩展性，就要求基本特征能够比较完备地描述网络流量的特征。但同时由于网络的异常检测有实时性的要求，以及考虑到现有计算机的计算能力等问题，基本特征的选取不能对所有流量信息进行提取，而必须对之进行选择。

除此以外在基本特征集中还预留了大约100个保留项，以便将来的扩展之需。由这些保留项以及上述各个提取的内容共同组成了一个有256项的基本特征集。该基本特征集有以下几方面的特点：

(1)比较详细地涵盖了现有网络中主要流量的各种统计信息。

(2)不含敏感信息，比如IP地址，包内容信息等。

(3)其存储空间完全有限，如果每隔30秒统计一次，一个月大约有30×24×60×2=86400条记录，每条记录由256个数字组成，如按照文本格式保存大约是2048个字节。因而按照这种方式保存一年的数据所需空间大约是2048×8×86400×12=16986,931200bits，这大约是17GB的空间。

实验过程

本试验采用的试验数据为1999 DARPA提供的试验数据。其中第一周由于不含攻击，因而可以作为训练数据进行训练，第二周的数据作为检测数据。

我们选取其中的MailBomb和Neptune作为试验检测的项目。将试验数据按五分钟分割成各个数据点，我们可以得到1280个数据点。

其中L1～L5表示的是包长分布在32～63、64～127、128～255、256～511和512～1023各个段落中的包的个数。

在整个基于网络流量模型的异常检测框架下，能比较方便地通过组合不同的基础特征实现对不同种类的异常攻击的检测，并能取得比较好的检测效果。同时我们还可以看到，针对某种攻击如果选取不同的特征组合，其检测的结果之间还是有区别的，选取过程中如果缺少必要的基础特征将导致漏报率的变大，而选取过多的无关基础特征则会降低检测误报率的性能。这就要求我们在选取标示某种攻击的特征组合时必须在必要基础特征的基础上根据检测的网络的实际流量模型，对特征组合进行具体的优化。

方法评测

基于网络流量的异常检测方法通过组合不同的基础特征能比较灵活地检测不同的网络攻击，同时每种组合特征又标示着某种攻击，所以能使网络流量异常的报警更具实际意义。

基于网络流量的异常检测方法提供了一个压缩比较高且能比较全面反映实际网络流量的基础特征，这为将来的异常检测提供了一个较好的数据平台，具有比较好的可扩展性，同时该数据集还能为不同域之间异常检测信息的交互提供一种可能。