开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI各种学习率的协同,大家有什么好的经验可以分享么?

机器学习PAI各种学习率的协同,大家有什么好的经验可以分享么? embedding_regularization: 5e-06
l2_regularization: 1e-06

initial_learning_rate: 0.001
decay_steps: 20000
decay_factor: 0.5
min_learning_rate: 1e-06
regularization的系数是否需要比min_learning_rate小一个数量级更合适?否则后期的学习就只有正则化的作用了,正常目标loss的作用就被淹没了?

展开
收起
夹心789 2024-06-03 07:50:18 37 0
1 条回答
写回答
取消 提交回答
  • 我一般用adam_asyncw_optimizer,embedding_regularization=0, l2_regularization=0
    train_config {
    optimizer_config {
    use_moving_average: false
    adam_asyncw_optimizer {
    weight_decay: 1e-6
    learning_rate {
    constant_learning_rate {
    learning_rate: 0.001
    }
    }
    }
    }
    sync_replicas: false
    save_summary_steps: 200
    log_step_count_steps: 200
    save_checkpoints_steps: 10000
    }
    adamWoptimizer本身就会执行正则化 ,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2024-06-03 11:36:41
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载