Day29 - 集成学习 (ensemble learning) part2

今天要继续介绍另外两个集成学习的方法 max-out unit 结合与内插(interpolation)。

max-out unit 的结合方式如图 1。为了使三种模型最後输出的向量维度一致，做了些以下的修改:

• RNN: 移除输出层(5个神经元的全连接层)
• CNN: 将输出层修改为60个神经元 activation function 为 tanh 的全连接层
• MLP: 移除输出层(5个神经元的全连接层)并将隐藏层修改为60个神经元 activation function 为 tanh 的全连接层

经过上述的修改後，三种模型具有相同维度的输出向量(60维)。接着我们使用 max-out unit 从三个60维的向量中选出最大值并将此经过挑选後的60维向量传递至输出层中(dim=5, softmax)。

图 1: 透过 max-out unit 结合静态(MLP、CNN)、动态模型(RNN)

分类结果如表 1:

表 1: Maxout-unit 结合分类结果混淆矩阵

集成学习的最後一部份我们采用内插的方式做结合

其中，、与分别为三种模型(LSTM-RNN with attention mechanism、multi-
scale CNN with attention mechanism 及 MLP)对於测试集所输出的事後机率， 即为内插後的事後机率 ()。
结果如下表2:

表 2: 内插结合分类结果混淆矩阵

从所有模型的结果来说，rest 类别的分类是最困难的部份。与其它四类(angry、emphatic、neutral、positive)不同的是，rest 类是由所有不属於其它四类的类别所组成的。因此，rest 类别资料的特徵具有高度的差异性，使得神经网路的学习变得更加困难。