云原生大数据计算服务 MaxCompute数据上云方面，全增量实时一键数据同步MaxCompute方
已解决云原生大数据计算服务 MaxCompute数据上云方面，全增量实时一键数据同步MaxCompute方案是怎样的？
展开
收起
1
条回答
写回答
写回答
-
推荐回答此处以MySQL业务数据库为例，假设有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute中进行数仓分析，数据集成传统方式是通过DataX进行全量同步或者依赖数据库表中有modify_time这种字段进行增量同步。但实际的生产场景中，数据库表里并不一定存在modify_time这种字段，传统的基于jdbc抽取的方式则没办法进行增量同步。
该场景主要抽象为三个核心需求点：
1.全量数据初始化；
2.增量数据实时写入；
3.增量数据和全量数据定时做合并写入新的全量表分区。
以上内容摘自《企业级云原生白皮书项目实战》电子书，点击https://developer.aliyun.com/ebook/download/7774可下载完整版
2022-10-17 18:57:04赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
DataWorks从maxcomputer作业运维里面任务的logview点进去这个权限是在哪里开？
69
解析并获取大json，是否更推荐json_tuple()？
1174
MaxCompute中执行SQL报错ODPS-0130071
23245
请问大数据计算MaxCompute有主键这种说法么?
604
Maxcompute中如何处理expect equality expression (i.e., o
877
MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
2381
DataWorks中MaxCompute Writer不支持数据路由写入 这是什么意思？
25
大数据计算MaxCompute中在生产环境中创建只能发布到运维中心，才能正式创建吗？
49
datawork实时同步有何区别？
22
大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
112
展开全部
PyODPS DataFrame 处理笛卡尔积的几种方式
13093
阿里云大数据计算平台的自动化、精细化运维之路
11739
AI加持的阿里云飞天大数据平台技术揭秘
8933
一文快速了解MaxCompute
6173
MaxCompute帮助创业公司中减轻MySQL存储压力
3005
2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据处理：通过StreamSQL分析视频日志》篇
2889
MaxCompute UDF系列之拼音转换
3348
一条SQL在 MaxCompute 分布式系统中的旅程
3258
MaxCompute_SQL_开发指南
3370
MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
1541
展开全部
相关文章
相关电子书
更多
