随着通信网络近些年的快速发展，其规模已经相称弘大，在网络中每天都会产生告警信息，并且这些信息数据量弘大、突发故障多，当网络设备涌现故障并引发告警时，与它关联的设备也会引发相应的故障，并在短韶光内产生大量告警信息［1-2］。
由于一个故障的产生每每会引发多个告警事宜，与故障干系的设备以及业务过程都会发出干系的告警信息，同时多个故障引发的告警信息会叠加到一起，把真正的告警信息淹没在里面，导致故障识别十分困难。
当前网络告警的监控和管理紧张依赖人工完成，网络运营掩护本钱高昂，处理过程十分耗时，在发生大量故障告警时基本不能知足告警处理的实时性哀求。

告警干系性剖析是网络故障诊断的主要方法之一，告警干系性剖析采取的方法有很多，例如基于规则的告警干系性剖析、基于事例的告警干系性剖析、基于因果模型的干系性剖析、基于神经网络的干系性剖析等。
但是这些方法都存在一定的缺陷，例如基于事例的方法对付网络变革处理反响不敏感，这是由于它由特定运用领域决定，而不存在一个各个领域通用的事例，基于规则的方法难以适应大规模和技能繁芜的通信网络模型，这是由于它须要人工来掩护大量告警规则。
目前我国的综合网络管理市场上，大部分干系产品，都提出了告警干系性剖析的支持功能，也有部分公司表明其产品实现了告警干系性的剖析，但实在只是实现了一些比较根本的告警过滤、告警规避等功能，规则的天生有待进一步实验研究［3-7］。

本文提出一种利用规则挖掘及基于规则的关联方法［8］，紧张是将当前告警系统领域的告警知识包含在一组规则凑集中，通过对检测到的告警进行剖断，并利用相应的推理规则来分类一个或者多个告警的发生是否符合某一个规则，进而确定详细的故障类型［9］。
其事情事理紧张是依赖于规则库和推理引擎。
在规则库中将很多实践中获取的知识通过适当编码形成IF-THEN式的规则，递归向下匹配规则，定位终极的故障源。
当发生新的告警时，系统将启用推理引擎来对告警进行处理。
这种方法表现形式单一、直不雅观，以是不须要永劫光的培训学习，也不须要理解网络的底层架构，就可以定位网络中发生的故障。

2 网络告警剖析处理系统设计

告警剖析处理分为2个阶段：告警规则挖掘阶段、告警剖析处理阶段。
告警规则挖掘阶段是为了实现基于历史告警数据的大数据剖析，从历史数据中得到告警之间的关联规则，形成规则数据库；告警剖析处理阶段目的是基于所得到的规则数据库中的关联规则，对网络中确当前告警进行剖析和处理，获得当前告警中的根源告警及衍生告警。

告警规则挖掘阶段采取离线处理的办法，对历史数据进行剖析和挖掘，不哀求实时性。
初次支配时，获取大量网络历史告警，进行规则挖掘初始化，形成规则数据库，在网络中支配后，采取定期挖掘规则的形式，对规则数据库进行增量更新和补充。

告警剖析处理阶段采取在线处理的办法，对当前告警进行处理，哀求实时性。
在软件支配后，便通过网管后台接口与网管进行通信，实时对网络告警进行处理。

图1给出了告警剖析处理系统总体架构。

2.1 告警数据统计剖析

本文对网络告警类型涌现频次做了初步统计，如图2所示。
从分布图可以看出，告警信息集中在少数几种类型中，例如PK_LOS，RCONTEXT_PACKET_LOS，VP_RDI，RCONTEXT_PACKET_LOS，E1_AIS等告警类型霸占了约90%以上的信息，而M_BCFGRDIF，VP_MMG，MANUAL_SWITCH等告警类型所占比例远远小于1%，告警类型不屈均分布给后期的剖析处理带来了极大的寻衅。

图2 告警类型频次分布图

2.2 告警规则挖掘阶段

告警规则挖掘阶段的示意图如图3所示。

图3 告警规则挖掘

a） 由IPRAN的网管系统导出历史告警数据文件，作为规则挖掘所学习的数据。

b） 数据预处理，读取历史告警数据后，检测所有数据的有效性，筛除个中无效数据，并对告警数据进行编码，导入到告警数据库中；告警数据库中同时导入网络拓扑、业务信息、告警层次信息等。

c） 数据聚类，从告警数据库中提取出聚类所需数据关键字段，进一步实现对告警数据的聚类，将数据在时域和地理位置进行划分。

d） 规则挖掘，获取聚类结果，同时从告警数据库中提取告警数据，对每一簇告警数据进行关联剖析，实现规则挖掘。

e） 将挖掘出的规则导入到告警数据库中，经由专家的人工干预，实现有效规则的筛选。

2.3 告警剖析处理阶段

图4给出了告警剖析处理。

a） 由IPRAN的网管系统经由后台接口，将数据传入数据接口中。

b） 数据接口读取到当前告警数据后，经相应处理导入到告警数据库中；告警数据库中同时导入网络拓扑、业务信息、告警层次信息等。

c） 数据聚类从告警数据库中提取出带剖析告警数据的关键字段，进一步实现对当前告警数据的聚类，将数据在时域和地理位置进行划分。

d） 告警处理剖析，获取聚类结果，同时从告警数据库中提取告警数据。
从规则数据库中遍历所有告警规则，对每一簇告警数据进行剖析，得到根源告警，实现告警压缩。

3 网络告警关联剖析处理方法

3.1 数据聚类

聚类属于无监督的机器学习办法。
聚类根据未知标签样本的数据集内部的数据特色，将数据集划分成多个不同的类，使得同一类的数据样本尽可能地相似，不同类的数据样本之间相似度尽可能地小。
传统的关联规则剖析在统计告警信息时，每每是用韶光硬滑窗之后再进行统计，但是韶光硬滑窗不能充分利用信息，有可能把过多的告警放入一个类，或者把本来属于同一个故障的告警切成了不同的类，这样就会把不同根源告警及其衍生告警稠浊到一起，统计结果精确度不足，以是提出先对告警信息聚类，根据告警信息的数据属性把不同的根源告警及其衍生告警区分开来，即每一类代表一个根源告警及其衍生告警，然后再做关联规则剖析，精确度能提高。
实验中紧张做了聚类方案，基于地点和韶光的信息聚类（见图5）。

图5 聚类示意图

基于地点和韶光信息聚类：利用准确的地点信息（例如网元），对告警数据进行“硬划分”；利用告警的开始韶光及结束韶光，利用DBSCAN算法［10-11］在韶光维度进行聚类。

3.2 规则挖掘

规则挖掘的方案设计如图6所示。

告警规则挖掘紧张分为3个过程，首先是由聚类结果天生告警关联矩阵（ACM——Alarm Correlation Matrix）［13-15］，然后从告警关联矩阵中挖掘出潜在规则，通过设置阈值过滤或者人工干预的手段，得到有效的告警规则。
下面针对上述3个过程进行详细描述。

3.2.1 聚类结果天生告警关联矩阵

对海量告警信息进行聚类之后，在聚类结果中挖掘告警信息之间的关系。
挖掘2个告警之间的关系时，利用2个评价指标：支持度和置信度。
支持度指的是有序告警对（a→b）在聚类结果中涌现的次数，即关联频次。
置信度指的是在告警a涌现的条件下，告警b接着涌现的条件概率。
同时，还定义了后件置信度，后件置信度的提出是为理解决置信度忽略规则后件中项集的支持度，前件置信度a→b统计结果100%，则解释有a就一定有b，后件置信度为100%，就解释b前面一定有a，当前件置信度很低，但是后件置信度很高时，认为规则a→b也是有效的。
以是引入了后件置信度［12］，即在告警b被创造的条件下，告警b由告警a导致的条件概率。
支持度可以用来衡量有序告警对（a→b）涌现是否频繁，而置信度和后件置信度则用来解释有序告警对（a→b）之间的关联强度。
置信度和后件置信度越高，解释有序告警对（a→b）之间的关联强度越大。

得到了聚类结果之后，在聚类结果等分别统计支持度、置信度、后件置信度。
统计完成之后，可以得到3个告警关联矩阵，在这个方阵中，元素的行代号代表在前的告警，元素的列代号代表在后的告警。
如表1赤色数字所示，代表的是04告警→02告警的支持度。

表1 告警关联矩阵示意图

3.2.2 告警关联矩阵挖掘潜在规则

告警关联矩阵中信息较多，为了筛选出潜在的规则，定义2个参数：衍生强度derive和后件衍生强度bderive，用来衡量有序告警对（a→b）的衍生强度。
衍生强度和后件衍生强度的公式如下。

衍生强度和后件衍生强度基于的假设是：告警之间不能两两互推，如果存在（a→b），就不存在（b→a）。
如果衍生强度或者后件衍生强度大于1，则a→b要比 b→a更加可信，更加符合统计规则。

从式（1）和（2）中可以看出，告警之间的自推是没有的，由于derivea→b和bderivea→b都会即是1，会被过滤掉。
根据上述的原则，可以得到潜在的告警关联规则。
置信度包括后件置信度解释的是a→b的关联强度，值越大解释关联强度越大。
但并不能完备解释a能推导出b，由于在这种情形下b→a的置信度包括后件置信度也有可能很高。
为了避免一部分有效的规则被过滤掉，在由告警关联矩阵挖掘潜在高等规则时，算法当中的一些阈值可以设定得低一些，那么得到的潜在规则就会相应地多一些。

3.2.3 设置阈值过滤及人工干预得到有效规则

在得到潜在规则之后，通过进一步设置阈值过滤或者人工干预得到有效的规则。
通过人工检讨可以将一部分缺点的告警规则剔除，进一步提高告警规则的准确度。

在实际运用中，潜在的告警规则规模可能会比较大，人工的检讨事情量很大。
为了降落人工检讨的事情量，可以将阈值提高，进一步缩小潜在的告警规则规模。
但是阈值提高越多，被剔除的有效规则也就越多，须要对两者进行权衡。

3.3 告警处理剖析

告警处理剖析采取先聚类后过滤的处理方法，详细的处理剖析步骤分为：

a） 根据有效的关联规则，形成告警关系层级和根源衍生告警关系。

b） 根据聚类后的告警数据，对每一条告警判断其是否与其根源告警并存，若有则该告警被打消，若不是则该告警保留，直至遍历所有告警数据后得到根源告警数据集。

c） 将被打消的衍生告警添加标记，将根源告警添加标记后上报网管实现进一步过滤。

得到了一系列的有效规则之后，按照有序的顺序把这些告警标出来，就会得到一个有向图。

3.4 告警处理剖析示例

告警剖析处理，输入是一系列的告警，这些告警经由了聚类的处理，将同一个故障引起的告警尽可能地放在一个聚类中。
在仿真过程中利用的样本数据如表2所示。

表2 告警数据样本

根据告警信息的韶光属性进行聚类，得到如表3所示结果。

表3 聚类结果

然后根据规则树对不同类中的告警信息判断根源告警和衍生告警，规则树是在告警规则挖掘阶段根据精确规则产生的，每个节点表示告警类型，例如VP_LOC，VC_LOC等，节点之间的有向线段VP_LOC [→] VC_LOC 表示告警VP_LOC可以导致告警VC_LOC产生，如图7所示。

图7 根据精确规则描述的规则树

根据规则树挖掘的终极结果如表4所示。

4 结束语

告警信息体量已经达到了大数据规模，处理方法也该当与时俱进。
本文提出的聚类方法进行规则挖掘，基于规则的关联剖析对网络告警信息的剖析处理适应了告警信息体量剧增的征象。
网络告警信息处理的问题已经无法纯挚依赖人工来办理，必须结合人工智能的方法来处理，这也提出了更高哀求。

参考文献：

［1］ 邓歆，孟洛明.智能分布式通信网告警干系性模型及实现［J］. 电子与信息学报，2006，28（10）：1902-1905

［2］ 朱秋艳.基于关联规则挖掘的网络告警关联［D］. 北京：北京邮电大学，2008.

［3］ 于漫.电信网络智能化告警系统研究与实现［D］. 长春：长春工业大学，2010.

［4］ 黄宇.关联规则剖析在电信告警系统中的研究与运用［D］. 成都：电子科学技能大学，2007.

［5］ 王仲佳.具有动态加权特性的关联规则算法及其在电信故障告警序列模式发掘中的运用［D］. 长春：吉林大学，2005.

［6］ 杨一兵.移动通信网络告警及其关联剖析［D］. 哈尔滨：哈尔滨工程大学，2008.

［7］ 刘斌.移动通信网络故障告警关联剖析方法与系统实现［D］. 长沙：中南大学，2009.

［8］ HARRISON K A. Event Correlation in Telecommunication Network Management［Z］. INCL HP Labs，1994.

［9］ STERRITT R，BUSTARD D，MCCREA A . Autonomic computing correlation for fault management system evolution［C］// IEEE International Conference on Industrial Informatics. IEEE，2003.

［10］ ESTER M，KRIEGEL H P，XU X. A density-based algorithm for discovering clusters a density-based algorithm for discovering clusters in large spatial databases with noise［C］// International Conference on Knowledge Discovery and Data Mining. AAAI Press，1996：226-231.

［11］ OLIVEIRA D P D，JR J H G，SOIBELMAN L . A density-based spatial clustering approach for defining local indicators of drinking water distribution pipe breakage［J］. Advanced Engineering Informatics，2011，25（2）：380-389.

［12］ ZHU B，GHORBANI A A. Alert Correlation for Extracting AttackStrategies［J］. International Journal of Network Security，2006，3（3）：244-258.

［13］ SKINNER K，VALDES A. Probabilistic Alert Correlation［J］. Proceedings of Recent Advances inIntrusion Detection，4th International Symposium，（RAID 2001），LNCS2212：54-68.

［14］ A Toolkit for Intrusion Alert Analysis［EB/OL］.［2018-08-11］. http：//discovery.csc.ncsu.edu/software/correlator/ver0.4/index.html.

［15］ NING P，CUI Y. An Intrusion Alert Correlator Based on Prerequisites of Intrusions［M］. North Carolina State University at Raleigh，2002.

作者简介：

陆斌，清华大学硕士在读，紧张从事光网络方面的研究；华楠，毕业清华大学，副研究员，硕士生导师，紧张从事智能光网络管控及交流方面的研究；郑小平，毕业于清华大学，教授，博士生导师，面向国家宽带信息网络发展的重大需求，长期致力全光通信网络与微波光子学的研究；陈文军，工程师，研究领域为IPRAN设备4G、5G业务承载方案，对付IPRAN网络业务支配、告警产生机制、设备业务告警关联剖析有深入理解。