开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

请教个机器学习PAI问题~如果我想只训练一段时间的数据,有什么办法可以只补这段时间数据而不跑调度?

请教个机器学习PAI问题~如果我想只训练一段时间的数据,有什么办法可以只补这段时间数据而不跑调度?

展开
收起
cuicuicuic 2024-01-04 16:02:52 41 0
3 条回答
写回答
取消 提交回答
  • 在阿里云机器学习平台 PAI 中,如果你想只训练一段时间内的数据,并且在这段时间内不运行调度,你可以使用 PAI 的 DataWorks 服务来实现。DataWorks 提供了数据管道和数据集成的能力,可以帮助你管理和处理数据。

    以下是一种可能的解决方案:

    1. 首先,你需要创建一个新的数据集,这个数据集包含你想要训练的数据。你可以使用 DataWorks 的数据集成功能,从你的原始数据集中抽取你想要的时间段内的数据,然后将这些数据导入到新的数据集中。

    2. 然后,你可以使用 PAI 的 SQL 脚本组件,编写一个 SQL 脚本来查询这个新的数据集。这样,当你运行你的机器学习模型时,它只会训练这个新的数据集中的数据。

    3. 对于调度,你可以使用 PAI 的调度服务来控制你的模型的训练时间。你可以设置一个定时任务,只在特定的时间段内运行你的模型。这样,你就可以保证你的模型只在你想训练数据的时间内运行。

    以上只是一种可能的解决方案,具体的实现方式可能会根据你的具体需求和数据情况有所不同。如果你需要更详细的帮助,你可能需要联系阿里云的技术支持,他们可以根据你的具体情况提供更专业的建议。

    2024-01-05 10:45:34
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在机器学习中,有时我们可能只需要训练一段时间的数据。这种情况下,您可以利用PAI平台的特性,通过设置Batch大小和Epoch数量来达到只训练一段时间数据的目的。Batch大小决定了每次训练模型使用的数据量,Epoch则表示完成一次对整个数据集的训练。例如,假设您的数据集有1000条数据,您可以设置Batch大小为100,这样每次训练就会使用100条数据,并且需要进行10次迭代才能完成一次完整的训练(即一个Epoch)。

    如果您希望只针对一段时间内的数据进行训练,可以相应地调整Batch大小和Epoch数量。比如,您想针对最近10天的数据进行训练,可以将Batch大小设为10,每天的数据被视为一个Batch,然后设置Epoch为10,这样就可以在10天内完成所有数据的遍历和训练。

    此外,PAI平台还提供了可视化的机器学习组件,简单拖拽及配置即可构造机器学习解决方案,生成的算法模型可在PAI-EAS部署,提供在线预测服务。如果您在使用过程中遇到任何问题,也可以联系PAI平台的技术支持获取帮助。

    2024-01-04 20:44:13
    赞同 展开评论 打赏
  • 临时表名拼上yyyymmdd ,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2024-01-04 19:05:54
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    微博机器学习平台架构和实践 立即下载
    机器学习及人机交互实战 立即下载
    大数据与机器学习支撑的个性化大屏 立即下载