Day14 - 模型评估 part 1

在今天的文章中我们会使用词正确率来评估模型的效能，词正确率是由词错误率(Word Error Rate, WER)转换後得到。为 了计算词错误率，我们将预测出的结果以及正确的结果计算其取代错误(Substitution error, S)、删除错误(Deletion error, D)、插入错误(Insertion error, I)的数量，词错误率的计算方式如下：

其中 N 表示正确答案的总词数，因此词正确率就等於

我们将语音特徵不经过除噪模型，直接用於辨识得到的结果作为基准(baseline)。在 Day09 时有提过会对语音特徵做 CMVN 正规化，并使用高斯混合模型(HMM-GMM) 和 CTC 模型作後端的语音辨识。baseline 结果如表 1、表 2，使用 AFE 特徵在乾净的训练资料下，HMM-GMM 的词正确率是83.17%，CTC 模型是84.91%，含有噪音的训练资料，HMM-GMM 和CTC 模型的词正确率分别是 91.77% 和 92.71% ；而在 MFCC 特徵方面，在乾净的训练资料下，HMM-GMM 的词正确率是78.32%，CTC 模型是78.31%，含有噪音的训练资料，HMM-GMM 和 CTC 模型的词正确率分别是 89.88% 和 90.77%。

表 1: 乾净的训练资料 baseline

表 2: 含有噪音的训练资料 baseline

从结果中可以发现，因为测试资料是含有噪音的，所以使用乾净的训练资料训练的模型词正确率会比使用含有噪音的训练资料来得差。
明天会将 baseline 的结果跟加入除噪模型後的结果做比较，了解除噪模型的效能。