AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成离线同步底层组件是DataX，想请教一下实时同步用的底层组件是啥？

DataWorks数据集成离线同步底层组件是DataX，想请教一下实时同步用的底层组件是啥。实时增量采集MYSQL binlog用的是streamx 的 streamx-pump嘛？

展开
收起
真的很搞笑 2024-05-05 21:13:32 45 0
1 条回答
写回答
取消 提交回答
  • 芯在这

    实时采集还有flink-cdc能 都在dw里面 ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-05-05 21:28:08
    赞同 3 展开评论 打赏
问答分类：
DataWorks DataX 关系型数据库 MySQL 数据集成 Data Integration 大数据开发治理平台 DataWorks 云数据库 RDS MySQL 版
问答标签：
大数据开发治理平台 DataWorks集成 大数据开发治理平台 DataWorks离线 大数据开发治理平台 DataWorks数据集成 数据集成 Data Integration dataworks 大数据开发治理平台 DataWorks组件
问答地址：
开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答
相关产品：
大数据开发治理平台 DataWorks

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
DataWorks
dataworks 安装python组件库 例如pymysql怎么办？
7
0
0
开源datax的job如何批量迁到dataworks ？
8
1
0
DataWorks中dataX离线同步，内部会分页循环嘛，针对业务表太大的情况，内部有优化机制嘛？
14
1
0
DataWorks现在看浏览器的dw各个组件的icon，区分不大，不如以前的颜色容易区分怎么办？
10
1
0
在Dataphin中数据集成中，hive输出组件支持动态分区吗?
19
2
0
在大数据计算MaxCompute中dataworks的实时同步任务，底层用的是什么技术组件呢？
11
1
0
DataWorks离线同步MC的表到ADB，并发数是代表dataX的job的数量吗？
46
1
0
DataWorks中datax 同步任务时报错怎么办？
50
4
0
集成自动化自动创建的流程表单，审批人填写的人员和时间组件如何自动获取当前打开审批页面的人员和打开时间
163
1
0
DataWorks离线同步的组件是dataX怎么办？
53
1
0
大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

相关产品

  • 大数据开发治理平台 DataWorks
    文档详情 产品详情

    • 热门讨论

    热门文章

  • 想请教一下DataWorks同步任务创建虚拟节点失败，并报下面的错误：com.是什么原因呀？
    257
  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
    3967
  • DataWorks undefined requestID: undefined？
    473
  • 阿里云有敏感词检测的API吗？可以用在PyODPS吗？
    782
  • dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
    1560
  • 请问 Argument list too long怎么解决？
    1140
  • DataWorks failed: ODPS-0130071:[0,0] Semantic ana？
    712
  • dataworks 数据同步 源数据没有重复 但是同步到MySQL触发了主键约束
    43
  • DataWorks中odps和dataworks是什么关系？
    727
  • DataWorks我该如何访问A项目安装了项目的package资源？
    1104
    • 展开全部
  • 云上一指禅：大数据产品DataWorks每日问答
    1487
  • 2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
    26825
  • DataWorks售前咨询
    6345
  • 【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级
    58763
  • 数据中台的智能进化—阿里巴巴十二年数据平台发展历程
    8504
  • 享受成本分析自由，体验账单数据订阅及查询分析功能
    39
  • 《一站式大数据开发治理DataWorks使用宝典》官方电子书开放下载
    39070
  • 大数据&AI的16种可能，2020阿里云客户最佳实践合集下载
    72300
  • 解锁数据洞察：通过 DataWorks 获得深度数据分析
    34
  • 小红书推荐大数据在阿里云上的实践
    10080
    • 展开全部

    相关课程

    更多
  • 事件总线EventBridge生态集成课程
    2216
    3
    去学习
  • 消息队列 RocketMQ 消息集成
    389
    8
    去学习
  • 一站式大数据开发治理平台DataWorks初级课程
    984
    11
    去学习
  • DataWorks一站式大数据开发治理平台精品课程
    8237
    35
    去学习

    • 相关文章

  • 入职必会-开发环境搭建52-RabbitMQ安装
  • 如何安全的大数据量表在线进行DDL操作
  • MySQL 查询索引失效及如何进行索引优化
  • 入职必会-开发环境搭建48-Docker必会软件安装
  • IDEA插件-EasyCode

    • 相关电子书

    更多
    • 集成智能接入网关APP：优化企业级移动办公网络 立即下载
    《DataWorks 数据集成实时同步》 立即下载
    云效助力企业集成安全到DevOps中 立即下载

    相关实验场景

    更多
  • Dataworks数据建模
    1427
    2.0小时
    去实验