开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

表格存储中mc表ots同步速度慢concurrent再加大,也没有效果,还有什么优化参数可以设置吗?

表格存储中mc表(按日分区,)-->ots同步速度慢,2500W条数据(一日的数据),同步需要15分钟,增加了concurrent=6,throttle=false,concurrent再加大,也没有效果,还有什么优化参数可以设置吗?对mc源表分区再小点呢?对ots目标表预分区呢?集团内是万M网卡,网络IO没有打满。

lQLPJxbm-hepMxLNAjPNBEWwaJKRD7Y8bc8De3-3bgBLAA_1093_563.png

DATAX的调优参数多点,但是阿里dataworks的ots同步配置文件,没那么多调优参数。

lQLPJxbm-kpTKm7NAe3NBHGw6QymFk5nQJsDe4AKYwBhAA_1137_493.png

展开
收起
fuxixi 2022-11-28 15:14:56 346 0
1 条回答
写回答
取消 提交回答
  • 绑 ODPS 外表,用 SQL 导入试试。此答案整理自钉钉群“表格存储技术交流群-2”

    2022-11-29 09:12:29
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
TableStore在社交类场景下的应用 立即下载
表格存储实时数据流Steam的技术揭秘和应用场景 立即下载
表格存储(TableStore) 立即下载