Day 12 Self-attention(六) Multi-Head Self-attention

Multi-Head Self-attention

前面介绍的方法是one head的方法，这边要来讲multi-head
在某些情况下，multi-head的结果可能会比one head来的好，例如说翻译

这边来介绍multi-head的计算方法

将原先的q、k、v分别乘上两个不同的矩阵，会得到qi,1，qi,2
k跟v也做一样的操作
会得到下面的图

另外一个input也做相同的操作

再来我们对1的部分做weight sum，会得到bi,1

再来我们对2的部分做weight sum，会得到bi,2

最後将结果再经过一个transform，得到bi後，就会在送入下一层
这就是multi-head的计算过程