损失函数的演进--3

接下来在2017年，为了要解决人脸辨识常见的资料不均衡的问题，使用weight和feature normalization来处理，在人脸辨识系统中较容易发生类别资料不均衡，在解决这问题的方法有1.从训练资料解决，将训练资料样本平均，降低不平衡的问题。
2.在训练时解决问题，修改演算法来降低资料不平衡的影响，使模型训练时适应资料不平衡的问题。
但在人脸辨识上，资料无法收集到每个样本的数量都一致，因为无法收集完全，在训练时在正样本与负样本比例悬殊上使用演算法来解决，所以才有Focal loss来解决样本不平均的问题。

使用Weight Normalization是希望不论资料集的数量，每一种类别都是一样的权重让训练时不会受到资料数的影响，与batchnormalization 能减少计算量，还可让网路收敛的数度更快。

最後是large margin loss想要减少同一类间的距离，增加不同类别的距离。在SphereFace上使用(模型架构--2)，使用L-softmax loss就是在训练时增加原来的softmax loss的学习难度，来加强模型学习的成效。