Day14-Machine Learning : Self-attention

因为之後要用到，今天就简单阅读了这个，

投影片和内容都是来自台大李弘毅教授的youtube
https://www.youtube.com/watch?v=gmsMY5kc-zw&ab_channel=Hung-yiLee

• Network的input: vector or a set of vector
  output: 1.每个vector has a label(eg.sequence labeling)
  2.整个sequence has a label
  3.model自己决定输出labels的数量（eg.seq2seq)

先介绍output为每个vector皆有label- Sequence Labeling

给Fully-connected network整个window的资料
但因window没办法cover整个sequence
所以如要选取整个，使用self-attention

Self-attention

Self-attention会吃一整个sequence 的资讯，输入几个vector就输出几个

Input：一串vector
Output:考虑了整个input sequence才产生的
B1到b4是同时被计算出来的

?：a1和其他input的关联度,also called Attention score

Truncated self-attention:不看一整句话，只看一小个范围就好（人设定范围大小）（ex:只看前後），加快运算的速度

Self-attention is the complex version of CNN.
Cuz CNN only attends in a receptive field(范围由机器network 决定的）