备案控制台

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

我有一张表有五亿多说句，需要同步过来，如果用数据集成特别慢，有没啥快点的办法

我有一张表有五亿多说句，需要同步过来，如果用数据集成特别慢，有没啥快点的办法

展开

收起

游客3oewgrzrf6o5c 2022-08-18 16:31:35 764 0

1 条回答

写回答

取消提交回答

游客mvss26javcocs

加并发和走内网是目前最有效的提速方式了（此答案整理自DataWorks交流群(答疑@机器人)）

2022-08-18 17:08:29

赞同展开评论打赏

问答分类：

大数据开发治理平台 DataWorks 数据集成 Data Integration

问答标签：

数据集成 Data Integration同步集成办法同步集成同步数据集成 Data Integration 数据集成 Data Integration表

问答地址：

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

DataWorks数据集成kafka同步数据到odpsGet kafka instance i...

24

1

0

应用研发平台EMAS iOS版集成了崩溃分析sdk后，有办法使用脚本自动上传dSYM么？

13

1

0

DataWorks数据集成同步到全密态mysql 报错？

3

1

0

DataWorks给的12个并行度但是同步时是分成了16个任务所以集成资源使用是100%

12

1

0

“DataWorks公共数据集成（调试）资源组下线”相关的任务切换资源组有办法批量切换资源组吗?

21

1

0

DataWorks所有的离线同步任务换成独享数据集成资源组后都是这样的，卡住不动怎么办？

20

1

0

DataWorks数据集成那边的表怎么关联在业务流程这？

21

1

0

DataWorks数据集成页面同步的表可以放在这边业务流程中吗？

38

10

0

大数据计算MaxCompute的dataX离线同步，针对业务表太大的情况，内部会分页循环嘛？

17

1

0

DataWorks中dataX离线同步，内部会分页循环嘛，针对业务表太大的情况，内部有优化机制嘛？

38

1

0

大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

热门讨论

热门文章

DataWorks我该如何访问A项目安装了项目的package资源？

数据来源：com.alibaba.fastjson.JSONException: syntax er

dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？

DataWorks undefined requestID: undefined？

DataWorks一个就是业务流程里面为空。还有一个就是在数据开发界面那边那个运行运行不了呀怎么办？

Dataphin和 Dataworks 有啥区别呢？

DataWorks中sql查询数字变成了科学计数怎么转为普通数字？

DataWorks数据地图这里的变更记录，对于OSS的外部表，所有的历史记录都会捕获到嘛？

请教一下DataWorks，doris和starRocks 选型，选哪个？

阿里云有敏感词检测的API吗？可以用在PyODPS吗？

展开全部

DataWorks售前咨询

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践

DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决

数据中台的智能进化—阿里巴巴十二年数据平台发展历程

《一站式大数据开发治理DataWorks使用宝典》官方电子书开放下载

DataWorks重磅推出Serverless资源组，实现低成本灵活付费和动态平滑扩缩容

DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？

DataWorks 数据服务 + BI 可视化分析报表 (搭建战报)

DataWorks OpenAPI 示例（元数据模块）

DataWorks操作报错合集之错误提示“ODPS-0130161: Parse exception - invalid token 'WITH', expect 'SEMICOLON'”，该怎么办

展开全部

相关课程

更多

阿里云 DTS是如何做实时数据集成的？

220

1

去学习

事件总线EventBridge生态集成课程

2217

3

去学习

消息队列 RocketMQ 消息集成

391

8

去学习

关系型数据库线上预习视频

1980

2

去学习

相关电子书

更多

集成智能接入网关APP：优化企业级移动办公网络 立即下载

《DataWorks 数据集成实时同步》 立即下载

云效助力企业集成安全到DevOps中 立即下载

相关实验场景

更多