总结attention机制

2018/09/15 绘图

Posted by WangXiaoDong on September 15, 2018
    今天是周六,早晨和师兄去健身,主要原因是昨天晚上师兄有事情,因此就临时改到了今天早晨。之后我就
在屋子里洗了一下衣服。

古诗生成模型(续)

背景

本文后续章节安排如下:

  • 介绍
  • 详细说明attention机制所使用的方法以及如何将输出的attention结果绘制出正确的图像
  • 最后总结全文

介绍

之前在这篇文章里面已经介绍了如何使用神经网络 进行生成模型的使用,在那篇文章里面我使用的attention机制并没好好介绍,并且如何使用之绘图也没有详细 说明,最近仔细研究了一下,得出了结论。

方法

attention机制原理以及核心代码

为了实现attention,首先需要将时间步进行全连接网络训练,这是因为attention机制的核心就是直接作用于时间步上, 尝试直接通过时间的连接找到其中的重要性差异。对于LSTM,我参考了网上比较简单的实现方法

attention机制绘制出对应图片的方法

为了将结果绘制出来,我们需要知道权重具体在哪一层。通过因为具体的数据得到后才能根据数据绘图。 keras里面有方法可以得到需要的输出层,不过一定要使用贯序模型。

结论

本文通过介绍LSTM实现的