DataWorks数据集成在离线同步场景下支持各种类型和网络环境下的数据同步，包括数据库、数仓、NoSQL数据库、文件存储、消息队列等近50多种不同异构数据源之间的数据同步。当源库或目标库是MC时，DataWorks离线数据集成会通过DataX这个阿里云 DataWorks数据集成的开源版本来进行数据的读取和写入。DataX被广泛应用于阿里巴巴集团内，实现了多种异构数据源之间高效的数据同步功能。因此，源库或目标库是MC时，走的是DataX而非Tunnel。
dataworks离线数据集成，源库或目标库是MC时，走的是Tunnel？ 还是走的是datax啊?
2023-12-25
164
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
dataworks离线数据集成，源库或目标库是MC时，走的是Tunnel？ 还是走的是datax啊?
目录
相关文章
|
8月前
|
数据采集
运维
DataWorks
DataWorks产品使用合集之查询mc分区表，如何按照天获取表数据
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
104
1
1
|
9月前
|
存储
JSON
DataWorks
DataWorks产品使用合集之如何通过数据集成将API接口产生的数据集成到DataWorks
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
133
7
7
|
9月前
|
消息中间件
分布式计算
DataWorks
MaxCompute产品使用合集之如何在DataWorks中引用MC资源
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
99
6
6
|
9月前
|
分布式计算
DataWorks
Java
DataWorks操作报错合集之使用ODPS Tunnel Upload功能时，遇到报错：Java 堆内存不足，该如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
135
1
1
|
10月前
|
DataWorks
Java
调度
DataWorks产品使用合集之进行离线同步时，如何使用DataX的Reader插件来实现源端过滤
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
118
0
0
|
10月前
|
DataWorks
安全
关系型数据库
DataWorks产品使用合集之想要删除MC表中的部分数据记录，该怎么操作
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
98
6
6
|
10月前
|
DataWorks
安全
关系型数据库
DataWorks产品使用合集之建了 polar 与clickhouse的数据源。为什么数据库这里总是mysql呢
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
93
5
5
|
10月前
|
数据采集
运维
DataWorks
DataWorks产品使用合集之如何更改修改了mc数据源名称的表的绑定引擎实例
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
67
3
3
|
10月前
|
分布式计算
DataWorks
DataX
DataWorks产品使用合集之DataX的ODPSReader和Tunnel是两种不同的读取MC（原名ODPS）数据的方式吗
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
141
3
3
|
9月前
|
分布式计算
DataWorks
关系型数据库
MaxCompute产品使用合集之如何在DataWorks中实现离线同步多个分表到MC的多级分区表
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
97
0
0
热门文章
最新文章
1
长文详解｜DataWorks Data+AI一体化开发实战图谱
2
【YashanDB知识库】DataX迁移Hive到崖山分布式
3
大数据& AI 产品月刊【2025年3月】
4
解锁政策红利：大数据时代的企业与个人发展新契机
5
大数据中的数据预处理：脏数据不清，算法徒劳！
6
让大数据成为你的决策外挂：一窥业务决策的“聪明”秘诀
7
数据治理：让大数据成为真正的“金矿”
8
大数据新视界--大数据大厂之MySQL 数据库课程设计：开启数据宇宙的传奇之旅
9
大数据项目成功的秘诀——不只是技术，更是方法论！
10
用大数据重塑客户关系管理：聪明企业的秘密武器
1
LarkXR云渲染平台：如何实现应用管理、访问权限控制，并与业务系统嵌入集成
32
2
GitHub官方开源MCP服务！GitHub MCP Server：无缝集成GitHub API，实现Git流程完全自动化
186
3
体验AnalyticDB无感集成（Zero-ETL）下的一站式数据分析，完成任务可领取300社区积分兑换各种商城好礼！
160
4
(网页系统集成CAD功能)在线CAD中配置属性的使用教程
34
5
1K star！这个开源项目让短信集成简单到离谱，开发效率直接翻倍！
55
6
通义灵码与魔搭 Notebook 深度集成：在线编码开箱即用，开发效率倍增
44
7
机器人研发与AI集成的加速策略：模块化生态创新革命
17
8
通义灵码与魔搭Notebook深度集成：在线编码开箱即用，开发效率倍增
75
9
DeepSeek R1 集成难题完美解决：DeepSeek4j来帮你解决
91
10
如何在 10 分钟内将 DeepSeek API 集成到您的应用程序
90