Day 1 Survey主题

参赛前言

由於目前是硕二的学生，平常有在外面接专案，但是为了要毕业还是需要努力想出论文题目
第一天先简单介绍目前的规划进度，之後陆续做完会将笔记分享在铁人赛

在2017年的时候，一篇Google提出来的论文Attention Is All You Need，Attention有几个优点

1. 使用的参数少
2. 训练的速度快
3. 最後得到的准确率高

Attention的方法最主要就是只关注於图片中的某个重要的部分，而不是关注全部
因此比起CNN要对整张图片做Convolution，Attention只需要对需要关注的部分作训练就好
这也跟人类在识别东西的原理很像，我们并不会接收整个环境中所有的资讯，只会接收最重要的部分

前一段时间lab meeting的时候，我曾经在lab介绍过capsule network这个技术
这篇论文是在2017年，由大神Hinton所提出的，一般的neural network(NN)在计算得时候只会使用纯量来计算
因此会失去掉很多特徵，但是capsule network是用向量来储存资料，因此能够保留的特徵会比NN来的多

举例来说，假设要识别一个朝向右边的鸟嘴
NN只能识别这是一个鸟嘴，没办法识别是朝向哪边的鸟嘴
Capsule Network除了可以识别出鸟嘴外，还有办法训练出方向
缺点就是Capsule Network这样的作法，由於要接收的资讯更多，因此训练量会变大

这时实验室许多学长和老师提出，capsule跟self-attention的概念是不是有一点相同
由於我只大略知道attention是什麽，不确定self-attention的概念是什麽

因此这30天的目标就是搞懂capsule、self-attention、attention分别是什麽，并且由於实验室最近有
Recommended system相关的研究，因此也会学习要如何和Recommended system做结合

学习目标

一开始会先从李弘毅老师的自注意力机制开始
再来看懂Attention相关论文：Attention Is All You Need
Capsule相关论文：dynamic routing between capsules
研究目前最新的推荐系统
之後再去看这些论文相关的延伸论文
并且会将读过的文章整理成笔记到铁人赛上