[神经机器翻译理论与实作] 重新检视有无注意力机制的Encoder-Decoder

前言

今天是个美丽的错误，本来预计将昨日写好的 Encoder 、Decoder 、 LuongAttention 类别整合进单一个继承自 tensorflow.keras.Model 的模型类别，只可惜一直无法成功除虫
由於 Keras API 是基於 Tensorflow 框架的高阶函式库，要自行定义模型类别，需要对於 Tensorflow 的变数型态有基本的掌握，今日就无法产出有质量的内容了。因此我後来还是选择了直接呼叫 Keras 的 functional APIs 来建模，并比较它们在同一份文本上预测精准度的差异。

seq2seq预测准确度比较

我们一样使用之前的英文－西班牙文双语平行语料库进行训练：

使用 Luong 注意力机制的 Encoder-Decoder 训练历程

未使用 Luong 注意力机制的 Encoder-Decoder 训练历程

结语

关於 Seq2Seq 的专篇讨论就到此告一段落，明天我将会重新回溯资料的准备以及机器学习的训练及推论流程，并着手进行中文－英文语料库的文本处理，建立翻译器所需之训练资料。大家晚安！

阅读更多

1. Making new Layers and Models via subclassing