Day10 - 除噪模型

在 Day01 的时候我们有提到过资料可能会有杂讯、噪音，因此所使用的模型架构可以分为两个阶段：除噪以及辨识。在除噪阶段，使用乾净的训练资料和含有噪音的训练资料来训练资料来训练除噪模型，训练完成後再将含有噪音的训练资料和测试资料输入到除噪模型进行除噪。得到降噪後的含有噪音的训练资料和测试资料，即完成第一阶段。

除噪模型的部分我们会用除噪自动编码器(De-noising Auto-encoder, DAE)
等等，那什麽是除噪自动编码器 ????

除噪自动编码器 (DAE) 是从类神经网路中的自动编码器变化
而来的。自动编码器的主要目的是要学习重构出输入资料，透过编码器(encoder)提
取输入资料的特徵，我们称做code，再经由解码器(decoder)来还原输入资料，如
图 1。一般来说编码器的输出小於输入资料，因此自动编码器可应用在资料压
缩(data compression)或是讯息检索(information retrieval)的任务上。

图1: 自动编码器架构，Encoder为编码器，code为编码器的输出，Decoder为解码器

除噪自动编码器并非是单纯学习一个重构的能力，而是让隐藏层学习强健性的特
徵，可参考以下论文

https://www.cs.toronto.edu/~larocheh/publications/icml-2008-denoising-autoencoders.pdf
让被破坏过的输入资料也能透过 DAE 还原出原始的状态。除噪自动编码器的
架构图可参考图 2。DAE 会由以下步骤从 x 以及 \hat{x} 去学习最小化重构误差：

图 2: 除噪自动编码器架构，\tilde{x} 是对输入添加噪音後的资料，\hat{x} 是DAE重构出来的资料

1. 从输入资料 中生成被破坏的训练样本
2. 由样本 经过编码器和解码器学习强健性的特徵，并且输出重构资料
3. 由 和 计算重构误差，透过以梯度为基础的优化演算法来更新编码器和解码器
   的参数

在实际训练中我们会将乾净无噪音的资料作为 ，有噪音的资料作为

实际实作上，我们会使用全连接类神经网路来实作全连接除噪自动编码器(fully connected denoising
autoencoder, FCDAE)，详细的模型架构图与参数设定让我们留到明天吧~