今天是周三，因为本周收到“张海阔”师兄的回复，要更他讨论深度学习相关的方法，因此我觉定提前把相关的论文
阅读一下，防止到时候完全不会。今天主要阅读两篇关于神经网络的日志分析论文。这两篇论文是同一个作者先后完成
的工作。
（1）第一篇是《Recurrent Neural Network Language Models for Open Vocabulary Event-Level Cyber Anomaly
Detection》，这篇论文发表在17年CCF-A类会议AI的一个Cyber Security的workshop上。主要讲的是使用深度学习方法
进行日志分析。当然，深度学习技术在学术上这几年比较热，因此在各个领域都有使用。在对日志进行分析研究上本文
并不是第一篇。早在2016年BigData会议上，就有论文《Automated IT system failure prediction:
A deep learning approach》使用深度学习LSTM方法进行日志的异常检测。不过那篇论文使用的输出是二分类问题
对系统日志进行预测，本文使用的是完全无监督方法进行预测！
本文之所以能够把深度学习模型当做无监督方法，是因为本文中使用了事实更新模型，即本文中使用每一天的模型
训练当天的网络并更新权重，然后用使用模型的交叉熵的值进行打分，该分越高，则说明输入的异常越大。这个思路
真的是非常奇妙，让我从新对无监督异常检测方法有了新的认识，原来还可以这样做！
网络结构到时没有创新，实际上就是简单的单词到句子两层LSTM，底层是词，高层是句子。这样就考虑到了
句子的上下文信息。
（2）第二篇是《Recurrent Neural Network Attention Mechanisms
for Interpretable System Log Anomaly Detection》。方法跟第一篇一样，就是增加了attention机制。作者发现
增加这个机制效果更好，并且得到了热图。显示出最为异常的词的信息。这篇论文发表在一个18年B类的workshop上面。
