使用开源spark-datasource-v3.1写maxcompute丢失数据问题

当我使用https://github.com/aliyun/aliyun-maxcompute-data-collectors/tree/master/spark-datasource-v3.1 中开源的spark连接器往maxcompute写数据时有较大概率丢失数据,任务为批处理任务,但是任务不会报任何错误,且正常commiting以及commited,请问有什么方法可以解决该问题吗?

展开
收起
灵魂丶不语 2024-12-17 16:23:54 61 分享 版权
1 条回答
写回答
取消 提交回答

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

热门讨论

热门文章

还有其他疑问?
咨询AI助理