问题一:大数据计算MaxCompute想对接mysql的binlog,做实时的增量同步应该怎么做?
大数据计算MaxCompute想对接mysql的binlog,做实时的增量同步应该怎么做?
参考回答:
若要实现实时的MySQL到MaxCompute的增量同步,通常的做法是:
- 使用阿里云的DataHub或Data Integration服务作为中间件,它们能够订阅MySQL的binlog并转换为实时流数据;
- 配置相应的数据通道,将MySQL的变更数据捕获后推送到MaxCompute;
- 在MaxCompute端配置对应的表结构接收增量数据,并通过定时任务或者流式处理来进行数据的整合和分析。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/606727
问题二:大数据计算MaxCompute dataworks又进不去了 咋回事?
大数据计算MaxCompute dataworks又进不去了 咋回事?
参考回答:
我这里可以。 你用Chrome无痕模式打开
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/606726
问题三:大数据计算MaxCompute现在读paimon上生产可行吗?
大数据计算MaxCompute现在读paimon上生产可行吗?
参考回答:
再等等
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/606724
问题四:大数据计算MaxCompute我用的是开源的解析器呀,我希望格式是parquet,而不是内置的tab
大数据计算MaxCompute我用的是开源的解析器呀,我希望格式是parquet,而不是内置的tab
参考回答:
是的,输出的底层其实是个parquet文件。
我这边确认了下。sink的数据就是parquet格式且没有带扩展名,如果验证的话可以本地用python环境试下,可参考
如果一定要带扩展名的话可以unload试下,参考:https://help.aliyun.com/zh/maxcompute/user-guide/unload-1?spm=a2c4g.11186623.0.i8#section-6bd-l70-9o0 ,
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/606723
问题五:大数据计算MaxCompute现在读paimon走的是公网流量对吗。支持谓词下推吗?
大数据计算MaxCompute现在读paimon走的是公网流量对吗。支持谓词下推吗?
参考回答:
正常走的是内网,flink里创建catlog用的都是内网endpoint。如果用的是公网endpoint,就有流量
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/606722