开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

在DataWorks我看其他有些小表,一样的配置,是不会切分的,只有一个,这是为什么?

在DataWorks我看其他有些小表,一样的配置,是不会切分的,只有一个,这是为什么?https://di-cn-hangzhou.data.aliyun.com/web/di/instanceLog?id=851465273&resourceGroup=S_res_group_276192026677312_1624093026080&requestId=5807798294_0_T3_2591770411&projectId=32718 https://di-cn-hangzhou.data.aliyun.com/web/di/instanceLog?id=850978770&resourceGroup=S_res_group_276192026677312_1624093026080&requestId=5807871051_0_T3_2590225580&projectId=32718

这个是没被切分的。俩任务的配置都是一样的,都是默认两个并发,全量抽取不做where限定

展开
收起
三分钟热度的鱼 2023-07-04 19:03:45 47 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    从日志信息中可以看到,该任务使用了 MySQL Writer 组件将数据写入到 MySQL 数据库中。在 MySQL Writer 组件的配置中,有一个参数是“并行度”,用于指定数据写入的并发度。

    如果该小表的数据量比较小,可能会导致并行度设置不起作用。在这种情况下,数据会被写入到目标表的一个分区中,而不会进行水平切分。此外,如果目标表中已经存在数据,也可能会导致并行度设置不起作用,因为 MySQL Writer 组件会将数据写入到已有数据的后面,而不会进行水平切分。

    如果您希望将数据水平切分到多个分区中,可以尝试调整 MySQL Writer 组件的并行

    2023-07-30 22:20:20
    赞同 展开评论 打赏
  • 这两份从日志上看都是切分了11个task 有多条sql lQLPJwbDhsSi81bNBQzNCcawSEZhuRUkFwMEktrWz4DVAA_2502_1292.png 此回答整理自钉群“DataWorks0群已满,新群请看群公告”

    2023-07-04 20:39:26
    赞同 展开评论 打赏
  • 在DataWorks中,小表的切分是由系统自动进行的,但有些小表可能不会被切分,可能有以下几种原因:

    切分策略问题:有些小表可能因为切分策略的原因而没有被切分。在DataWorks中,可以通过设置表的切分策略来控制表的切分方式,例如可以根据时间、字段、数据量等条件进行切分。如果表的切分策略设置不正确,可能会导致表无法被切分。 数据量问题:有些小表可能因为数据量太小而没有被切分。在DataWorks中,如果某个表的数据量太小,系统可能会将其作为一个整体进行处理,而不是将其切分为多个部分。 数据格式问题:有些小表可能因为数据格式的问题而没有被切分。在DataWorks中,如果表中的数据格式比较特殊或不符合系统要求,可能会导致表无法被切分。 系统配置问题:有些小表可能因为系统配置的问题而没有被切分。在DataWorks中,如果系统的配置参数设置不正确,可能会导致表无法被切分。 如果您希望对小表进行切分,可以尝试检查表的切分策略、数据量、数据格式和系统配置等因素,并根据需要进行调整。同时,您也可以联系DataWorks的技术支持团队,获取更详细的帮助和支持。

    2023-07-04 20:26:23
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多