人工智慧7

前言

系列文章简介

大家好，我们是 AI . FREE Team - 人工智慧自由团队，这一次的铁人赛，自由团队将从0到1 手把手教各位读者学会 (1)Python基础语法 (2)Python Web 网页开发框架 – Django (3)Python网页爬虫 – 周易解梦网 (4)Tensorflow AI语言模型基础与训练 – LSTM (5)实际部属AI解梦模型到Web框架上。

为什麽技术要从零开始写起

自由团队的成立宗旨为开发AI/新科技的学习资源，提供各领域的学习者能够跨域学习资料科学，并透过自主学习发展协杠职涯，结合智能应用到各式领域，无论是文、法、商、管、医领域的朋友，都可以自由的学习AI技术。

资源

AI . FREE Team 读者专属福利 → Python Basics 免费学习资源

NLP(Natural Language Processing)

自然语言处理是让电脑把输入的语言变成有意思的符号和关系，然後根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言

自然语言处理在人工智慧里面算是一种序列型资料，意思是前後有相对应关系的data

从上图得知输入的资料是序列型资料，而输出可以是连续、不连续的值，也可能是序列型资料

那在把资料丢进去前，我们要如何处理资料呢?

电脑只看得懂数字

因此我们要将文字转换成数字，这种技术和one hot encoding很像，不过有很多格式

如上图，如果以英文来说，我们可以将一个word(单字)作为index(索引)，其实也可以以2个单字或是3个，句子也可以，就像查表那样，再将每个index摊平成阵列，因此如果今天资料集有10000个字，就有10000个index，每个阵列长度为10000

但是这样的表示方法不是很好

• 每个阵列只会有一个1，其他都是0，过於稀疏

• 词性、解释、文字之间无关联性

word Embedding

如上图，我们可以将one hot的阵列在乘上300维的向量，变成一个10000x300的矩阵，300维的每一维都有特定的意思，虽然这样会显得资料很大，在训练时可能会比较久，但是事实证明，这有助於电脑读懂每个文字之间的关系

在前处理後，可以先了解RNN(Recurrent Neural Networks)，这个与NLP非常契合的模型

简单来说RNN与一般神经元的计算是一样的，不过RNN的每一个神经元会参考前一个神经元的输出，因此每一个神经元除了输出出去之外，还可以当作下一个神经元的参考值，请参考下图

上图的input就是输入，hidden就是前一层的输出(如果为第一个就是0)，然後会combined(合并矩阵)，接下来就是看模型，可以选择输出也可以不用(i2o)，就一直重复直到全部的字跑完

在看完模型後，就可以知道RNN适合做那些任务

看完上图可以发现，RNN可以是多对多，多对一，一对多甚至像是机器翻译，m个输入，n个输出

反向传播

这里我们不解说反向传播(其实是自己不会XD)，读者只要大概知道一下，套件就会做完了

本次文章先到这，下次将会大家带来详细的NLP实作过程

想更深入认识 AI . FREE Team ？

自由团队 官方网站：https://aifreeblog.herokuapp.com/
自由团队 Github：https://github.com/AI-FREE-Team/
自由团队 粉丝专页：https://www.facebook.com/AI.Free.Team/
自由团队 IG：https://www.instagram.com/aifreeteam/
自由团队 Youtube：https://www.youtube.com/channel/UCjw6Kuw3kwM_il39NTBJVTg/

文章同步发布於：自由团队部落格
(想看更多文章？学习更多AI知识？敬请锁定自由团队的频道！)