学习率

• 学习率为控制模型中梯度下降的速度，也有人称为步长。
• 公式：新权重 = 旧权重 - 学习率 * 梯度
• learning rate的设置很重要，一般大家都依照经验去设置初始learning rate，0.01-0.001，但这也没有一定哪个比较好，都得去尝试。
• 当learning rate设置过小时，会导致模型学习收敛较慢，且容易过拟合。而设置过大时，会容易导致模型学习过快，无法收敛，容易震荡甚至发散。如下图。图片来源：https://gino6178.medium.com/%E6%A8%A1%E5%9E%8B%E5%A3%93%E7%B8%AE%E5%8F%8A%E5%84%AA%E5%8C%96-learning-rate-c340a0b940e4
  图片来源：https://blog.csdn.net/u012526436/article/details/90486021

自定义学习率：LambdaLR

• 自己定义学习率的调整，以官网范例示范。

  optimizer = optim.SGD(params = model.parameters(), lr=0.05)
  lambda1 = lambda epoch:epoch // 10 
  lambda2 = lambda epoch:0.95 ** epoch 
  scheduler = lr_scheduler.LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
  

  • optimizer：选择搭配的优化器。
  • lr_lambda：自定义的学习率函数。
  • last_epoch：设置到哪个epoch就不再调整，预设为-1，到最後个epoch才会从初始学习率开始。

  发现会报错，如下图。

  

  他只需要一个lambda函数。於是我们将其拆开看。

• 用lambda1去尝试。

  scheduler = lr_scheduler.LambdaLR(optimizer, lr_lambda=lambda1)
  

  
  图片来源：https://www.shuzhiduo.com/A/kPzO4am3Jx/

• 用lambda2去尝试。

  scheduler = lr_scheduler.LambdaLR(optimizer, lr_lambda=lambda2)
  

  
  图片来源：https://www.shuzhiduo.com/A/kPzO4am3Jx/

• 我们也可以尝试自己去定义调整学习率的函数。

自定义学习率：MultiplicativeLR

• 与lambdaLR相似，差别在於lambdaLR是用初始学习率去乘lambda函数，而MultiplicativeLR是用前一个epoch的lr去乘上lambda函数去调整lr。

CyclicLR

• 与学习率衰减和固定学习率不同，他是有周期性的调整学习率，我个人认为有点类似CosineAnnealingLR和CosineAnnealingWarmRestarts都是一个周期就回到初始值再继续衰减，後又升起到初始值。

  torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=2000, step_size_down=None, mode='triangular', gamma=1.0, scale_fn=None, scale_mode='cycle', cycle_momentum=True, base_momentum=0.8, max_momentum=0.9, last_epoch=-1, verbose=False)
  

  • optimizer：选择搭配的优化器。
  • base_lr：初始学习率。
  • max_lr：每个循环周期的最大学习率。
  • step_size_up：在增加的半个周期中所要迭代的次数，预设2000次。
  • step_size_down：在下降的半个周期中所要迭代的次数，预设None。
  • mode：周期的模式。三种模式：triangular, triangular2, exp_range。
  • gamma：exp_range中的常量gamma**(cycle iterations)
    详细可参考：https://blog.csdn.net/zisuina_2/article/details/103236864

鞍点(Saddle Points)

• 当我们在训练的过程中，在梯度为0时，不一定是最佳解也不一定是最大值，梯度会保持在一个最小值，导致训练非常缓慢停滞不前，那就是卡在了鞍点(Saddle Points)。
  　　
  　　图片来源：https://www.twblogs.net/a/5c245d4ebd9eee16b4a7d124

• 如何解决鞍点这个问题，我们需要利用优化器搭配好的学习率，才能解决停滞在鞍点的问题。

今日小结

• 学习率衰减的方式有很多种，我个人比较常用CosineAnnealingLR，他带有周期循环的学习率，较不易有卡在鞍点的机会发生。

• 学习率要搭配优化器做梯度下降，试图找到全局最佳解，但往往没有那麽容易，明天跟大家介绍优化器的比较。