Day 11 Self-attention(五) KQV矩阵整理

QKV矩阵

昨天讲到Self-attention会产生三种矩阵

• Q(query)
• K(keys)
• V(values)
  并且提到这三个矩阵是利用矩阵相乘的方法得到的
  接下来要提到alpha是怎麽利用矩阵做计算的

alpha计算

由於所有的k都要跟q1做矩阵相乘，因此我们可以把k1~k4做成一个大的矩阵，再去跟q1相乘，这样就可以一次得到q1的所有alpha值

那如果我们把q1到q4都组合起来，去跟k1~k4的转置矩阵做相乘，就会得到所有需要的alpha值，再将这些值做softmax的处理，就会得到经过Activation function的矩阵

将经过Activation function的矩阵和v1~v4做相乘，就会得到我们最终要的结果，b1~b4
所以self-attention的运算基本上就是利用矩阵的计算来完成的

复习前面讲过的计算

I是input的矩阵，分别乘上Wq、Wk、Wv，得到QKV这三个矩阵

我们再把Q乘上K的转置，就会得到A这个矩阵，经过Activation Function後2的矩阵，称为Attention Matrix

将Attention Matrix跟V做相乘，就会得到O这个矩阵，O就是我们最後所需要的输出

在这一连串的计算中，只有Wq、Wk、Wv这三个矩阵是需要被训练的

今天的进度先到这边，明天会整理之前打的东西，并且将Attention的部分结束掉