Day-04 Python 的 Gradient 计算

• 在开始使用 Framework 之前，我们还是得先看看有没有办法利用纯手工的方式，先来解决一些基本的问题，那这样也更有助於我们去理解这些机器学习/深度学习的运作（当然重点是你会更加理解 Framework 有多好用...）
• 所以我们今天就直接先来看看如何利用 Python 达到 Gradient 的计算吧

Gradient 计算需要先知道什麽?

• 我们回顾一下之前提到过的 Gradient 概念，Gradient 其实就是偏微分的值组成的 vector
• 还记得 loss function 是什麽吗？它是用来判断现在选择的这个 function 有多差
• 那偏微分是对什麽做偏微分，就是利用我们的 Loss function 对变化参数（w, b, ...）去做偏微分，因此在计算 Gradient 之前，我们必须先知道我们的 Loss function 是什麽
• 那这边我们假设我们的 Loss function 是 mean square error（均方误差），这边已经不在赘述新的数学了，不了解的可以自己去查查看，那 MSE 的数学式子长怎样? 计算方法是求预测值（ ）与真实值（ ）之间距离的平方和
• 写成程序可以怎麽写

  def loss(y, y_predicted):
  
      return ((y_predicted-y) ** 2).mean()
  

• 那我们还需要知道总共有哪些变数，因此我们假设今天我们是在算 Regression，function 就是 ，变数就是一个 w
• 所以 MSE 也会写成

Gradient 怎麽算

• 所以我们现在的目标是 ，那我们的 loss function 是 ，所以偏微分之後会变成
• 写成程序就会变成（人工微分 OWO）

  def gradient(x, y, y_predicted):
  
      return np.dot(2*x, y_predicted - y).mean()
  

每日小结

• Python 的 Gradient 计算其实就是针对变数，loss function 等等，去先计算偏微分之後，带入运算
• 现在光一点点参数就感觉有点复杂，因此我们可以预期，如果参数变多，计算将会变更麻烦，所以我们之後再来看看如果是 PyTorch Framework 会变成怎样呢?
• 那明天让我们来看看如何利用现在这边的概念，实作简单 Regression