[Day 27] 损失视觉化 Loss Visualization

上回提到视觉化特徵图，这是一个可以用来解释模型学到了什麽的方法，今天介绍另一种技术：损失视觉化（Loss Visualization）。

我们考虑一个神经网路 $f_\theta$ 以及对应的损失函数 $\lambda (f_\theta(x), y)$，随机给定一个初始值 $\theta,\ \theta_1,\ \theta_2$，如果是二维视觉话的话，考虑 $\theta(\alpha) = \theta + \alpha (\theta - \theta_1)$，若是三维视觉化，则考虑 $\theta(\alpha, \beta) = \theta + \alpha (\theta_1 - \theta) + \beta (\theta_2 - \theta)$，则把 $\lambda(f_{\theta(\alpha)}(x), y)$ 或 $\lambda(f_{\theta(\alpha, \beta)}(x), y)$ 对於 $(\alpha, \beta) \in [0, 1] \times [0, 1]$ 给画出来，则如下图。

（图片取自：[1]）

参考资料

[1]：Li, H., Xu, Z., Taylor, G., Studer, C., & Goldstein, T. (2018). Visualizing the loss landscape of neural nets. In Advances in Neural Information Processing Systems (pp. 6389-6399).