开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks中的MaxCompute Writer参数说明是什么?

DataWorks中的MaxCompute Writer参数说明是什么?

展开
收起
cuicuicuic 2023-08-16 10:16:38 32 0
1 条回答
写回答
取消 提交回答
  • 问:MaxCompute Writer参数说明
    答:参数 描述 是否必选 默认值
    datasource 数据源名称,脚本模式支持添加数据源,该配置项填写的内容必须与添加的数据源名称保持一致。 是 无
    table 写入的数据表的表名称(大小写不敏感),不支持填写多张表。 是 无
    partition 需要写入数据表的分区信息,必须指定到最后一级分区。例如把数据写入一个三级分区表,必须配置到最后一级分区,例如pt=20150101, type=1, biz=2: 如果表为分区表,则必填。如果表为非分区表,则不能填写。 无
    column 需要导入的字段列表。当导入全部字段时,可以配置为"column": ["*"]。当需要插入部分MaxCompute列,则填写部分列,例如"column": ["id","name"]: 是 无
    truncate 通过配置"truncate": "true"保证写入的幂等性。即当出现写入失败再次运行时,MaxCompute Writer将清理前述数据,并导入新数据,可以保证每次重跑之后的数据都保持一致 。 因为利用MaxCompute SQL进行数据清理工作,SQL无法保证原子性,所以truncate选项不是原子操作。当多个任务同时向一个Table或Partition清理分区时,可能出现并发时序问题,请务必注意。 针对该类问题,建议您尽量不要多个作业DDL同时操作同一个分区,或者在多个并发作业启动前,提前创建分区。 是 无
    https://help.aliyun.com/document_detail/137466.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-16 13:46:18
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载