问题一:云原生大数据计算服务 MaxCompute数据上云方面,全增量实时一键数据同步MaxCompute方案是怎样的?
云原生大数据计算服务 MaxCompute数据上云方面,全增量实时一键数据同步MaxCompute方案是怎样的?
参考回答:
此处以MySQL业务数据库为例,假设有大量的数据存储在数据库系统里,需要将数据库中的全量及增量数据同步到MaxCompute中进行数仓分析,数据集成传统方式是通过DataX进行全量同步或者依赖数据库表中有modify_time这种字段进行增量同步。但实际的生产场景中,数据库表里并不一定存在modify_time这种字段,传统的基于jdbc抽取的方式则没办法进行增量同步。
该场景主要抽象为三个核心需求点:
1.全量数据初始化;
2.增量数据实时写入;
3.增量数据和全量数据定时做合并写入新的全量表分区。
以上内容摘自《企业级云原生白皮书项目实战》电子书,点击https://developer.aliyun.com/ebook/download/7774可下载完整版
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/463442?spm=5176.8068049.0.0.77566d196nrvCT
问题二:请问maxcompute数据迁移到oss时,可以指定以归档类型或者冷归档类型写入指定bucket吗?
请问maxcompute数据迁移到oss时,可以指定以归档类型或者冷归档类型写入指定bucket吗?
参考回答:
我理解的oss上的数据如果需要设置为归档类型或冷归档类型的话,需要后续操作,没办法指定的 相关文档 1:https://help.aliyun.com/document_detail/90090.htm?spm=a2c4g.11186623.0.0.a15073490rqkpe#section-yuy-2b0-giv 相关文档 2:https://help.aliyun.com/document_detail/128595.html
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/455413?spm=5176.8068049.0.0.77566d196nrvCT
问题三:请问maxCompute数据湖集成时RAM子账号没有访问权限怎么回事?已经授权过子账号了
请问maxCompute数据湖集成时RAM子账号没有访问权限怎么回事?已经授权过子账号了。
参考回答:
数据集成功能是DataWorks的权限,可以到配置中心看看是否给了对应子账户足够的角色。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/452156?spm=5176.8068049.0.0.77566d196nrvCT
问题四:数据服务不能对接MaxCompute数据源吗
参考回答:
嗯 还在优化改造中 建议创建hologres外表 使用holo数据源
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/446605?spm=5176.8068049.0.0.77566d196nrvCT
问题五:在maxcompute数据开发中手动运行的sql如何停止?刷新网页停止按钮无法使用
参考回答:
看截图现在已经是未运行状态
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/436088?spm=5176.8068049.0.0.77566d196nrvCT