时间:2018年1月12日 天气:晴
Author:冬之晓
Email: 347916416@qq.com
今天周五,总结一下这周的进度:
1月8号,周一:
1.进行了日志测试
2.思考异常检测程序的编写,基本思路,根据时间戳排序的日志在Java中生成,得到类型向量文本文件,使用Python进行主成分分析和绘图
如下表:
内容 | 进度 |
---|---|
测试赵老师给的日志(半年的日志) | 20% |
日志异常检测程序的编写 | 10% |
1月9号,周二:
电脑继续测试日志
思考了一下日志处理的流程
关于分类的想法
日志模式优化方法和解释———— 日志模式类别本质是由常量决定的,因此分类要考虑常量对类别的影响,思考结果如下表:
优化目标 | 优化方向 | 使用方法 |
---|---|---|
减少分类数目 | 增加常量部分对结果的影响 | 常量加权(如:以冒号结尾的字符串增加比较权重) |
同上 | 减少变量对分类结果的影响 | 变量固定(如:192.168.1.1 => <IP>) |
同上 | 增加匹配到的字符数量 | 最长公共子序列(LCS) |
程序编写进度如下表:
内容 | 进度 |
---|---|
测试赵老师给的日志(半年的日志) | 20% => 40% |
日志异常检测程序的编写 | 10% => 50%(Java编写完成,已生成类型向量) |
1月10号,周三
程序编写进度如下表:
内容 | 进度 |
---|---|
测试赵老师给的日志(半年的日志) | 40% => 100% |
日志异常检测程序的编写 | 50% => 85% (PCA方面和绘图已完成) |
测试结果发给赵老师 研究Python主成分分析的API:测试得出输入数据确实需要先进行中心化在进行特征值分解。
1月11号,周四
内容 | 进度 |
---|---|
日志异常检测程序的编写 | 50% => 100% (编写Q检测的函数) |
结果图像已经出来,但是感觉不理想因为异常的点太多了!如下图所示:
这个图像可以看出在Q统计之上如果都是异常的话,那么实在是太多了,无法分析,我顿时没辙了……
1月12号,周五
上午,最后一节政治课,交了政治作业,
下午将电脑型号和日志数量交给赵老师,然后进行一周总结。
我感觉最近自己需要每天记录下工作学习的内容和一些思考,以后回忆时候也能很开心,感觉每天都在进步~