开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI的pyalink提交任务到flink集群上的时候怎么定义job name?

机器学习PAI的pyalink提交任务到flink集群上的时候怎么定义job name?

展开
收起
乐天香橙派 2023-08-09 09:53:00 62 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在使用pyalink向Flink集群提交任务时,可以通过Job参数设置任务的名称:

    python
    Copy
    from pyalink import train
    from pyalink import StreamOperator

    定义流处理图

    source_op = StreamSourceOp(...)
    train_op = LogisticRegressionTrainOp(...)

    构建Job对象

    job = train.JavaStreamJob(
    entry_point=source_op,
    result_sink=train_op
    )

    设置Job名称

    job.set_name("My Job Name")

    提交任务到Flink集群

    job.run(flink_client)
    或者也可以在构建链式流处理图时直接设置名称:

    python
    Copy
    source_op.link_as("job-name").link_to(train_op)
    此外,提交任务时也可以通过flink_client的set_job_name方法设置:

    python
    Copy
    flink_client.set_job_name("Job Name")
    job.run(flink_client)
    所以在pyalink中定义Flink任务名称主要有以下几种方法:

    设置Job对象的name属性
    在Link阶段给Operator设置名称
    调用Flink客户端的set_job_name方法

    2023-08-11 15:26:56
    赞同 展开评论 打赏
  • job name没放出来—此回答来自钉群“Alink开源--用户群”

    2023-08-09 11:11:33
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 相关电子书

    更多
    微博机器学习平台架构和实践 立即下载
    机器学习及人机交互实战 立即下载
    大数据与机器学习支撑的个性化大屏 立即下载