开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute中TASKS_HISTORY 中的 settings 字段会上报信息?

大数据计算MaxCompute中TASKS_HISTORY 中的 settings 字段会上报哪些信息?

展开
收起
cuicuicuic 2023-10-18 23:16:24 32 0
5 条回答
写回答
取消 提交回答
  • 在MaxCompute中,TASKS_HISTORY表中的settings字段会上报以下信息:

    1. 配置参数:settings字段会记录MaxCompute任务的配置参数,例如任务的并发度、资源限制、任务类型等。
    2. 状态信息:settings字段会记录MaxCompute任务的状态信息,例如任务的开始时间、结束时间、运行状态等。
    3. 错误信息:settings字段会记录MaxCompute任务的错误信息,例如任务的错误类型、错误描述、错误代码等。
    2023-10-19 22:02:42
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    TASKS_HISTORY中的settings字段在MaxCompute中会上报一些关于任务的运行信息,这些信息包括:

    • 任务类型:例如SQL、MapReduce等。
    • 任务状态:例如运行中、已完成、失败等。
    • 任务开始时间:即任务开始执行的时间点。
    • 任务结束时间:即任务成功结束或失败终止的时间点。
    • 任务运行时间:也就是任务从开始到结束所消耗的总时间。
    • 任务输入输出路径:描述了任务所使用的数据来源和结果输出的位置。
    • 任务优先级:表明了任务在系统中的执行优先级。
    • 任务队列名称:指示了任务所在的队列或调度池。
    2023-10-19 21:49:24
    赞同 展开评论 打赏
  • 在MaxCompute中,TASKS_HISTORY表的settings字段会上报一些任务执行过程中的设置信息。具体来说,它会包含以下信息:

    1. 项目名称(project_name):任务所属的项目名称。
    2. 任务名称(task_name):任务的名称。
    3. 任务类型(task_type):任务的类型,例如SQL任务、MapReduce任务等。
    4. 数据源(datasource):任务所使用的数据源,例如ODPS表、OSS对象存储等。
    5. 数据格式(format):数据的格式,例如CSV、JSON等。
    6. 数据路径(data_path):数据在MaxCompute中的路径。
    7. 数据大小(data_size):输入数据的大小,以字节为单位。
    8. 分区数(partition_num):输入数据的分区数。
    9. MapReduce作业配置(mapreduce_job_conf):MapReduce任务的配置信息,包括Mapper和Reducer的数量、内存分配等。
    10. SQL查询语句(sql_query):如果是SQL任务,这里会上报SQL查询语句。
    11. 其他自定义设置(custom_settings):用户自定义的其他设置信息。
    2023-10-19 15:52:54
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute的TASKS_HISTORY表中,settings字段记录了作业执行时的配置信息。这些配置信息包括以下内容:

    1. 任务类型(taskType):标识作业的类型,如MapReduce、SQL等。

    2. 输入表(inputTbls):作业的输入表列表。

    3. 输出表(outputTbls):作业的输出表列表。

    4. 参数(parameters):作业的参数设置,包括作业的运行模式、并行度、优化配置等。

    5. 资源配置(resources):作业执行时所使用的资源配置,如CPU、内存等。

    6. 文件资源(fileResources):作业所需的文件资源列表,如UDF函数、配置文件等。

    7. 用户定义的标签(userDefinedTags):用户自定义的标签信息,用于标识和分类作业。

    8. 其他配置项(otherSettings):其他与作业执行相关的配置项,具体内容根据不同的作业类型而有所不同。

    2023-10-19 13:56:57
    赞同 展开评论 打赏
  • 在MaxCompute中,TASKS_HISTORY表中settings字段包含了一些任务设置信息。这些信息通常包括:

    1. task_type:任务类型,如INSERT、UPDATE、DELETE等。
    2. table_name:任务处理的表名。
    3. task_status:任务状态,如PENDING、RUNNING、SUCCEEDED、FAILED等。
    4. cluster_name:任务运行的集群名。
    5. execute_date:任务开始执行的日期和时间。
    6. start_time:任务开始执行的时间。
    7. end_time:任务结束执行的时间。
    8. duration:任务执行的持续时间。
    9. job_id:任务的Job ID。
    10. job_status:任务的Job状态,如RUNNING、SUCCEEDED、FAILED等。
    11. retry_times:任务重试的次数。
    12. error_message:任务执行过程中出现的错误信息。
    2023-10-19 10:09:52
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载