[Day28] BERT(一)

一. 介绍

Bert全名为Bidirectional Encoder Representation from Transformers，目前Bert与其他以BERT为基底的模型都还是目前的主流模型之一，各位可以参考SQUAD2.0: https://rajpurkar.github.io/SQuAD-explorer/ 有需多为BERT衍生的模型所以BERT是非常重要重要的工具

二. 模型架构

从英文全名来看，BERT就是Transformer的encoder，他就是下图self-attention叠了12层的样子:

模型架构就是跟transformer的encoder一样，BERT的目的就是为了得到好的句子编码~~

三. 训练

接者来说说他的训练原理，他分为2个训练:

1. 掩码语言模型(Masked Language Model):

这个任务可以看成'克漏字填充'，随机将一个句字中的一些词转换成[Mask]这个标记，但这些标记为[MASK]的词大约占10%。
以一个句子来说，如果原句是"我今天很帅"，那麽可能会调整成 : 80%的 "我今天很[Mask]" + 10%的 "我今天很帅" + 10%的 "我今天很情"，藉由调整不同频率的句子，让BERT学会了解句子。

2. 後续句预测(Next Sentence Prediction):

在这个训练任务中，主要是让 BERT 去理解 NLI (蕴含推理，判断上下句间是否为相连)任务，因此需要输入前後不同的两句。像是'海水退了'与'就知道谁没穿裤子'，这2句就是相连的句子~~

以上就是BERT简单的介绍，明天会开始实作~~
((我知道最近内容真的很少QQ，未来会慢慢补齐的