完成基础功能

2018/03/16 总结

Posted by WangXiaoDong on March 16, 2018
    今天是周五,我一天都在思考程序,最后终于完成了关于日志异常出来的编写。

今天周五,总结一下这周的进度:

3月12号,周一:

思考关于日志分类简化的方法: 在比较时可以先判断程序名,然后再进行匹配,因为不是一个程序的必然不属于一类。 优点:

  • 提高效率
  • 利于后续分析

3月13号,周二:

改进输出数据:

  • 增加所有程序的段位信息
  • 根据节点源头分析异常检测结果

3月14号,周三

根据改进的数据,把异常流量中的数据根据节点拆分开,根据两个规则得到可能出现异常的节点:

  • 规则一:单位时间片内出现日志的次数要大于一定值
  • 规则二:必须包含根据统计得出的异常类型

3月15号,周四

阅读《日志管理与分析权威指南》书籍中的重点页码与内容:

内容 页码
IP的正则表达式 P116
模式与特征图表 P147
规则关联的实践 P121
日志数据可视化工具 P170
推荐5min为时间片,日志可能为异常的类型 P176

将所有时间片内异常的类模式挑出来,研究如何自定义层次聚类法==》最长公共子序列倒数


3月16号,周五

完成层次聚类,分类结果研究

正则表达式得到异常日志中的IP,根据IP得到对应异常行为模式