Pytorch教程[08]优化器

2022-12-01 114

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Pytorch教程[08]优化器

一.什么是优化器

pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签

导数：函数在指定坐标轴上的变化率

方向导数：指定方向上的变化率

梯度：一个向量，方向为方向导数取得最大值的方向

二.optimizer的属性

基本属性

• defaults：优化器超参数

• state：参数的缓存，如mom en tum的缓存

• params_groups：管理的参数组

• _step_count：记录更新次数，学习率调整中使用

class Optimizer(object):
  def __init__(self, params, defaults):
    self.defaults = defaults
    self.state = defaultdict(dict)
    self.param_groups = []
    param_groups = [{'params': param_groups}]

三.optimizer的方法

基本方法

• zero_grad()：清空所管理参数的梯度

• step()：执行一步更新

• add_param_group()：添加参数组

• state_dict()：获取优化器当前状态信息字典

• load_state_dict() ：加载状态信息字典

pytorch特性：张量梯度不自动清零

class Optimizer(object):
  def zero_grad(self):
    for group in self.param_groups:
      for p in group['params']:
        if p.grad is not None:
          p.grad.detach_()
          p.grad.zero_()

class Optimizer(object):
  def __init__(self, params, defaults):
    self.defaults = defaults
    self.state = defaultdict(dict)
    self.param_groups = []

class Optimizer(object):
def add_param_group(self, param_group):
  for group in self.param_groups:
    param_set.update(set(group['params’]))
  self.param_groups.append(param_group)

class Optimizer(object):
  def state_dict(self):
    return {
      'state': packed_state, 'param_groups': param_groups, 
      }
  def load_state_dict(self, state_dict):