如何找到一个函式(function)？(上)

接下来会以李宏毅老师在影片中讲的例子来做说明整理。
寻找一个输入为youtube後台资讯，输出为该频道隔天总点阅率的函式。

步骤一：写出一个带有未知参数的函式

• 初步猜测函数的数学式为
  : 今天频道预测的总观看人数
  : 昨天频道总观看人数(已知)
  : 未知参数

• Model:
  Feature:
  Weight:
  Bias:
  

步骤二：从训练资料定义损失函数(Loss)

• 损失函数：，损失函数的输入为Model里面的参数，即为 。输出为 数值的好坏，必须从训练资料进行计算。

假设 ，并将训练资料的点阅人数带入Model中，得出隔天预测的点阅人数 ，并与隔天实际点阅人数 相减得出， 为估测值与真实值的差距，再将所有误差加总，得到损失函数 ， 越大，代表这组参数 越不好，反之则越好。

• 损失函数选择：
  Mean absolute error(MAE):
  Mean square error(MSE):
  如果 都为机率分布，则会选择交叉熵(Cross-Entropy)。

步骤三：解最佳化问题

• 找一组能让Loss最小的参数

梯度下降法(Gradient Descent)

假设只有 这个参数，代不同的 进去会得到不同的Loss，产生图中曲线(error surface)。

• 随机选取初始点

• 计算参数对Loss的微分，即为切线斜率

• 斜率为负：增加 的值

• 斜率为正：减少 的值
  

• 参数调整范围大小取决於

  • 斜率大，调整范围大。斜率小，调整范围小。
  • 学习率(Learning rate) ：越大，参数更新快。越小，参数更新慢。

• 超参数(hyperparameters)：需自行设定、调整。
  

• 反覆进行前面的操作，即会找到解

需要注意的是梯度下降法有时会没有办法找到全域最佳解(global minima)，可能会找到区域最佳解(local minima)，根据初始点的不同有机率会找到不同的解。

重新回到考虑两个参数的情况，跟上述一样会先随机选取初始点，再个别对Loss进行微分，并更新参数。

参考资料

李宏毅老师 - 机器学习2021