开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文
1
0
分享

DataWorks数据集成离线同步的原理是怎样的?

已解决

DataWorks数据集成离线同步的原理是怎样的?

展开
收起
甜甜的嘻嘻嘻 2022-09-29 16:50:22 770 0 发布于北京
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
大数据开发治理平台DataWorks
Serverless资源组抵扣包300CU*H
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • 推荐回答

    离线同步从源端到目标端是通过数据集成引擎实现的。基于数据库 JDBC 协议或数 据源的 SDK 进行源库数据的统筹拉取及分割任务,把一个任务分成多个 Task,可以并 发读取数据,加快数据同步。每个 task 里都有对应的读写子线程,读时可以从分割好的 区域抽取源库数据,并把数据放到缓存里,最后由写入端 writer 通过调用 JDBC 或者 S DK 的接口把数据灌入到目标端。

    以上内容摘自《一站式大数据开发治理DataWorks使用宝典》电子书,点击https://developer.aliyun.com/ebook/download/467可下载完整版

    2022-09-29 17:04:34 发布于北京 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    阿里邮箱—安全高效集成 立即下载
    集成智能接入网关APP:优化企业级移动办公网络 立即下载
    云效助力企业集成安全到DevOps中 立即下载
    AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等