今天周五,进行总结

2018/01/12 总结

Posted by WangXiaoDong on January 12, 2018

时间:2018年1月12日 天气:晴


Author:冬之晓
Email: 347916416@qq.com

今天周五,总结一下这周的进度:

1月8号,周一:

1.进行了日志测试 2.思考异常检测程序的编写,基本思路,根据时间戳排序的日志在Java中生成,得到类型向量文本文件,使用Python进行主成分分析和绘图
如下表:

内容 进度
测试赵老师给的日志(半年的日志) 20%
日志异常检测程序的编写 10%

1月9号,周二:

电脑继续测试日志
思考了一下日志处理的流程
关于分类的想法

日志模式优化方法和解释———— 日志模式类别本质是由常量决定的,因此分类要考虑常量对类别的影响,思考结果如下表:

优化目标 优化方向 使用方法
减少分类数目 增加常量部分对结果的影响 常量加权(如:以冒号结尾的字符串增加比较权重)
同上 减少变量对分类结果的影响 变量固定(如:192.168.1.1 => <IP>)
同上 增加匹配到的字符数量 最长公共子序列(LCS)

程序编写进度如下表:

内容 进度
测试赵老师给的日志(半年的日志) 20% => 40%
日志异常检测程序的编写 10% => 50%(Java编写完成,已生成类型向量)

1月10号,周三

程序编写进度如下表:

内容 进度
测试赵老师给的日志(半年的日志) 40% => 100%
日志异常检测程序的编写 50% => 85% (PCA方面和绘图已完成)

测试结果发给赵老师 研究Python主成分分析的API:测试得出输入数据确实需要先进行中心化在进行特征值分解。


1月11号,周四

内容 进度
日志异常检测程序的编写 50% => 100% (编写Q检测的函数)

结果图像已经出来,但是感觉不理想因为异常的点太多了!如下图所示:

这个图像可以看出在Q统计之上如果都是异常的话,那么实在是太多了,无法分析,我顿时没辙了……


1月12号,周五

上午,最后一节政治课,交了政治作业,

下午将电脑型号和日志数量交给赵老师,然后进行一周总结。


我感觉最近自己需要每天记录下工作学习的内容和一些思考,以后回忆时候也能很开心,感觉每天都在进步~