周五总结

2018/01/19 总结

Posted by WangXiaoDong on January 19, 2018
    今天,表哥芦思楠来北京出差,顺便和我见一面。然后一起去大表哥家附近吃饭。我们一家人都很感谢大表哥
韩恺,因为他给我们一家人帮了很多忙。楠楠哥哥就是在小恺哥哥的带领下进入了地产行业。然后慢慢成长起来,
到现在能够独当一面。不过楠楠哥哥真的非常努力,而且非常善于学习进步,这样才有了现在的成就。我们首先来
到小恺哥哥家,这时他还没有到家,只有嫂子在家,嫂子最近刚评上中国语言大学的教授,然后女儿————
(姌姌?字忘记怎么写了!)今年刚考上天津大学(需要点赞,好厉害!),所以现在感觉生活不再那么繁忙了。
我们聊了一会之后,小恺哥哥就回来了。看到小恺哥哥瘦了很多,我和楠楠哥哥都很担心小恺哥哥的身体,嫂子解释
说原来最近小恺哥哥检查身体,血糖有点高,所以就吃饭的时候少吃了一点,这样就显得有点瘦,听到这里我们就放心
了。小恺哥哥看我们也休息好了,就带上一瓶高级茅台酒,和我们一起去他家附近的酸汤鱼店。每次来小恺哥哥家都喝
他的好酒,还让他请客,感觉真是不好意思呀。其实我平常不喝酒,因此对酒的研究并不到位,所以虽然每次小恺哥哥
拿的酒都值2K左右,但是我都感觉不出来其内在的美妙,所以内心总是感觉自己喝了这么贵的酒真的是好浪费呀。
今天晚上,主要是楠楠哥哥和小恺哥哥聊天,内容主要是当年小恺哥哥创业时的经历和回忆,我没有经历过,因此也
是听不懂,但是却能听出小恺哥哥这么多年的努力……
    最后,我们吃饱喝足后,短暂的相聚结束了,我们一一不舍的告别了小恺哥哥和嫂子,带着嫂子送我的U盘和送给
楠楠哥哥的围巾离开了小恺哥哥家,楠楠哥哥一直给我送到了宿舍门口才肯离去。最后我和楠楠哥哥相约过年
一起在姥姥家相聚,希望楠楠哥哥和嫂子一切安好!

下面先上一张和表哥一起照的照片,纪念一下: 糟糕:图片显示失败,请通知我,非常感谢!

时间:2018年1月19日 天气:晴


Author:冬之晓
Email: 347916416@qq.com

今天周五,总结一下这周的进度:

1月15号,周一:

  1. 尝试使用层次聚类对输入的日志特征进行分析:发现使用的时间非常多,最后,电脑卡死了…… 思考一下层次聚类需要的(周末的时候仔细研究了一下层次聚类)
  • 思考如何对日志进行关联分析,初步想法使用关联规则算法,将日志的时间片特征作为输入, 然后通过Apriori或PF-Growth算法

  • 调研Python的关联规则库,发现pymining库可以使用。


1月16号,周二:

今天读了一天赵老师的论文,然后仔细思考了一下老师在评价方面的图表,为什么Messages日志会在 不同的测试下得到不同的结果。还有老师提出的LCS-M算法模型的优势:LCS-M的时间优势在于使得日志 的分类数目减少,其本身如果在同样条件下和一对一匹配模式进行比较的话并不占优势,反而会使得时间增加。 因此当其使得分类数目减少到一定程度时,LCS-M的时间优势才能体现出来。

考察学习了一下N-Gram模型


1月17号,周三

思考如何将异常检测的结果更有意义,即:使得检测到的异常更小? 两个潜在条件参数:

  • 抽取日志的时间间隔->时间间隔变长
  • 主成分分析方差占比->方差占比变小

程序编写进度如下表:

内容 进度
Java:将特征段位加入到日志的输出 50%
Python:将日志异常检测的结果可视化点变小 100%

1月18号,周四

程序编写进度如下表:

内容 进度
Java:将特征段位加入到Java日志的输出 50% => 100%
Java:优化输出文件函数,可自定义输出段位 100%
Python:异常检测结果返回需要检测的日志 100%

将时间间隔调节为5min,感觉异常点明显变小!如下图所示:

糟糕:图片显示失败,请通知我,非常感谢!

这个图像可以看出在Q统计之上如果都是异常的话,那么还可以接受,下一步是将异常的日志挑出来仔细观察


1月19号,周五

今天进行一周总结。