Day-05 Easy Regression Example

• 昨天我们提过了 Regression 的流程就是有一个初始目标 -> 检查"糟糕程度" -> 找到最好
• 上面的流程也就是 Model -> Loss function -> Gradient Descent -> Find the best function
• 那我们要如何实作呢?

情境假设

• 我们先假定我们的目标函数是 ，也就是我们的答案
• 那在不知道答案的情况下，我们可以先假设 Model 会长 ，我们今天要解决的问题就是找出正确的 w
• 那回到训练的过程，一定需要资料对吧，因此我们就人为生成一些资料 ，答案的部分则是
• 那就基於这样的题目的话，我们要怎麽实作解决呢?

实作

• 下面就不另外写出来解释了，有 python 基础的 + 注解应该能够理解

import numpy as np

# f = w * x
# f = 2 * x, we set w as 2
x = np.array([1, 2, 3, 4, 5, 6], dtype=np.float32)
y = np.array([2, 4, 6, 8, 10, 12], dtype=np.float32)

# init weight
w = 0.0

# model prediction
# 这边之後会解释为啥叫做 forward，可以先视为计算函数而已
def forward(x):
    
    return w * x
    
# set up loss function as mean square error
def loss(y, y_predicted):

    return ((y_predicted-y) ** 2).mean()
    
# gradient
def gradient(x, y, y_predicted):

    return np.dot(2*x, y_predicted-y).mean()
    
print(f'Prediction before training: f(5) = {forward(5): .3f}')

# Training
learning_rate = 0.01
n_iters = 10

for epoch in range(n_iters):
    # perdiction = forward pass
    y_pred = forward(x)

    # loss
    l = loss(y, y_pred)

    # we know that gradient descent is where 
    # calculate gradient and update parameters
    
    # calculation of gradients
    dw = gradient(x, y, y_pred)

    # update weights
    w -= learning_rate * dw

    if epoch % 1 == 0:
        print(f'epoch {epoch + 1}: w = {w:.3f}, loss = {l:.8f}')

print(f'Prediction after training: f(5) = {forward(5): .3f}')

每日小结

• 从上面的 Example 应该可以发现，其实整体的计算和概念真的没有很难，机器学习并没有我们想像的复杂
• 那今天我们学过了 Regression，明天让我们聊聊 Classification 吧~