- 今天我们来还债 XDD，还之前跳过的很多解释，还有如何更加灵活的调整神经网路
- 那就让我们一步一步来吧~
偷偷小声地说，今天这篇就让笔者水一篇吧 QQ，再去解释数学好累 QQ
Activation functions
- 我们前面看过好多次这个名词了，到底什麽是 Activation function ?
- Activation function 中文叫做激励函数，最主要的目的是应用於非线性变换，因为如果没有 Activation function，我们的计算 input 跟 output 都会是 linear 的，这样就会失去深度学习的意义
- 那 Activation functions 有非常非常多种，而我们比较常见的有
- Step function
- Sigmoid
- TanH
- ReLU
- Leaky ReLU
- Softmax
- ...
- 那我们这边就不特别解释这个部分，简单来说每种 Activation Function 都有优势和劣势，这个部分值得大家自己研究何尝试
- 那我们在前面的 Feed-Forward NN 用的 Activation function 是 ReLU，读者可以尝试看看换成 Sigmoid 或是换成别的去看看准确率阿等等不同的变化~
Hidden Layers
- Hidden Layer 是神经网络中除了 input & output layer 的中间神经元们，那我们可以发现如何定义这些 Hidden Layer 其实没有一个特别的规定，怎麽决定一层 Hidden Layer 要有几个神经元，要有几层，每一层之间的变化要怎麽变化?这些就是深度学习发展过程中研究的课题
- 大家也可以试着去调整看看我们 feed-forward NN 上的 Hidden Layer 状况~
- 那这边要注意，最後一层的 Hidden Layers 要考虑到输出，第一层的 Hidden Layers 要考虑输入
每日小结
- 其实还有更多可以注意和调整的东西，例如 batch_size 或是更细节的神经元抛弃之类的更深入的技巧，但是这些东西就需要大家自己更加深入理解这个领域之後再去做操作了，我们这边就不特别介绍了
- 神经网络是非常的灵活的东西，可以自行调整的东西也非常多，如何找到 "最佳" ，是一个非常困难的议题，也正是深度学习领域中大家努力的目标，因此大家可以多多尝试
- 那假设，我们今天已经成功训练了一个非常强大的模型了，花了一周的时间在训练，总不会使用时又要跑一个月吧 QQ，不用，明天就让我们来聊聊怎麽保存你的可爱模型~