Day 16: 人工神经网路初探 损失函数(上)

损失函数 Loss function

损失/误差函数（loss function）又叫做代价函数（cost function），是用来评估模型的预测值与真实值不一致的程度，也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的预测值就越接近真实值，模型的健壮性也就越好。

损失函数可以被大约分成三种类别:

• 回归损失函数(Regression loss function) 通常使用於当我们想要训练模组去预测连续值结果，像是股票价位与房屋价位。
• 二元分类损失函数 (Binary Classification) 通常使用於当我们想要训练模组去预测最大值的两个类别(classes)，像是猫和狗或者癌症或非癌症。
• 多元分类损失函数(Multi classification) 通常使用於当我们模组需要预测多於两个的类别，像是物件侦测。

Regression loss function

• Mean squared error (MSE)
  何时使用: 这是Regression问题的默认误差函数，推荐使用於目标变数是普遍或者高斯型态的分布状态

• Mean squared logarithmic error (MSLE)
  这个函数先计算预测值的对数值和计算MSE
  何时使用: 当目标变数具分散值和预测较大的值时，可能不希望惩罚模组像是MSE那麽严重。通常使用於你的模组在预测非刻度值时。

• Mean absolute error loss
  将其计算为期望值与预测值之间的绝对差平均值。
  何时使用: 当目标变数是普遍分散和有些离群值时。

Binary Classification Loss function

• Binary cross-entrpoy
  这是二元分类问题的预设损失函数，此函数优於其他函数。
  Cross-entropy计算了实数与预测第一类别机率分布的平均总和数，分数是被最小化的，且最好的值设定为零。
  何时使用: 当目标数值的范围在0到1之间。

• Hinge loss
  这个函数备主要使用於支援向量机，基於二元分类。
  何时使用: 当目标数值的范围在-1到1之间。

• Squared hinge loss
  此函数计算hinge loss的平方，平滑误差还数的表层，使其更容易使用在数值上。

参考资料:
https://kknews.cc/code/9opor8j.html