Day 15 self-attention的实作准备(一)

前言

由於忘记今天要开学，而且还有一堂课要上，导致我只有两个小时研究self-attention的实作
今天先来分享我找到什麽跟遇到什麽问题，之後陆续的解决问题，并且将实作做出来

self-attention官方github

https://github.com/tensorflow/tensor2tensor
这一个github是attention is all you need中提到的github，在README.md中的Quick Start中有一个iPython notebook，主要先研究这一个notebook中的内容

这一个iPython notebook是写在google的colab，colab是一个基於jupyter notebook的免费软件，可以直接在网页上面撰写程序

由於这次的目标是自己建立环境并且实作self-attention，因此我尝试在Azure上建立一个环境来跑这只程序

Tensor2Tensor Intro

google colab的介面是这样，我有测试过，因为tensorflow改版的关系，所以现在这只程序没有办法跑，我有尝试在昨天建置好的Azure上面执行，但是执行也是会出错，今天会继续debug，明天有甚麽进度会在po上来

参考资料

https://github.com/tensorflow/tensor2tensor
https://colab.research.google.com/github/tensorflow/tensor2tensor/blob/master/tensor2tensor/notebooks/hello_t2t.ipynb