开始尝试自定义层

2018/07/30 自定义

Posted by WangXiaoDong on July 30, 2018
    今天周一,新的一周开始,我充满自信的准备实现一个attention机制里面的特殊层,局部权重连接层,作为
attention机制的关键,但是令人遗憾的是,我思考了一天也没有把这个问题解决!哎,非常的失望!
    下午快要下班的时候,小明给我联系,说他帮忙开会的地方有一些水果,要给我一些,最后我发现水果和糕点
非常多,拿到之后非常感动,谢谢小明!晚上和师兄去锻炼的路上,我把今天的问题告诉孙师兄,师兄听了后立刻
给我一个解决方案!直接在返回的时候乘以一个Mask矩阵,即不需要权重的位置设置为零,需要的位置设置为1!
我听了以后豁然开朗,师兄真的是太厉害了!明天我要好好尝试一下!