Day-15 Pytorch 的 Regression 实作

• 那我们之前看过了 Python 的 Easy Regression 实作，昨天也看过了 Pytorch 如何做到 Gradient Calculation，那我们今天就拿一样的 Example 来看看如果事 Pytorch 会长怎样吧~
• 本篇范例是对应 Day-05 的 Easy Regression Example 去做 Framework 上面的比较

直接上 Code

• 在这边我们做了一个大更新，就是把 Graient 的计算交给了 Pytorch，可以发现复杂的微分工作已经交给了 Backpropagation 来处理
• 这次的程序跟 Day-05 的最大差异就差在我们少了手工微分 Gradient function 了

import torch

# f = w * x
# f = 2 * x, we set w as 2
x = torch.tensor([1, 2, 3, 4, 5, 6], dtype=torch.float32)
y = torch.tensor([2, 4, 6, 8, 10, 12], dtype=torch.float32)

# init weight
# 这边要注意，我们希望 Pytorch 帮我们计算更新的 Gradient 变数是 w，所以一定要开 requires_grad 在这个变数上
w = torch.tensor(0.0, dtype=torch.float32, requires_grad=True)

# model prediction
def forward(x):
    
    return w * x
    
# set up loss function as mean square error
def loss(y, y_predicted):

    return ((y_predicted-y) ** 2).mean()

# Training
learning_rate = 0.01
n_iters = 10

for epoch in range(n_iters):
    # perdiction = forward pass
    y_pred = forward(x)

    # loss
    l = loss(y, y_pred)

    # gradient descent is where calculate gradient and update parameters
    # so gradient descent here includes gradients and update weights
    # 原本在 Python 的 example 还需要自己建立 Gradient 函式
    # gradients = backward pass
    l.backward() # calculate dl/dw

    # update weights
    with torch.no_grad():
        w -= learning_rate * w.grad

    if epoch % 1 == 0:
        print(f'epoch {epoch + 1}: w = {w:.3f}, loss = {l:.8f}')
    
    # zero gradients，要记得归零每次运算的 gradients，否则会累加
    w.grad.zero_()

print(f'Prediction after training: f(5) = {forward(5): .3f}')

每日小结

• 从上述的 Code 可以发现大体上概念并没有变化，但是这边的 Gradient 计算交给了 Backpropagation 的反向传递的概念，因此省略了我们自己微分 loss function 的部分
• 从上面的程序可以发现，利用 Pytorch Framework 确实在程序的撰写上变得更加简洁，我们需要自己特别操作运算建立的函式也变少了，但是基本元素和运算概念是和纯 Python code 并无区别，这也是为甚麽我们前面要花那麽多的时间在介绍基本概念，因为就算是 Framework 也没有跳脱这个框架，因此基本概念仍然是非常重要的，我们後面会示范从头开始建立一个类神经网路的，可以敬请期待，我们明天会在示范 Pytorch 实作 Backpropagation