开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks通过datahub上传数据到maxcompute,如果上传的数据近阶段有重复的,?

DataWorks通过datahub上传数据到maxcompute,如果上传的数据近阶段有重复的,maxcompute会自动去重吗? java能直接读取maxcompute数据吗?

展开
收起
真的很搞笑 2023-06-17 16:26:02 74 0
1 条回答
写回答
取消 提交回答
  • 报错现象: Code:DATAX_R_ODPS_005:读取ODPS数据失败, Solution:[请联系ODPS管理员]. RequestId=202012091137444331f60b08cda1d9, ErrorCode=StatusConflict, ErrorMessage=The download session is expired.可能原因: 离线同步读取MaxCompute数据时,使用的是MaxCompute的tunnel命令来进行上传下载数据。Tunnel的Session在服务端的生命周期为24小时,所以离线同步任务如果执行超过24小时任务会失败退出,关于tunnel介绍详情请参见使用说明。解决方案: 您可以适当调大离线同步任务并发数,合理规划同步的数据量确保任务在24小时内同步完成。 https://help.aliyun.com/document_detail/146663.html 1)不会自动去重 2)可以参考看一下 https://help.aliyun.com/document_detail/120862.html?spm=a2c4g.34613.0.0.275d5b78qdP2u3,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-17 16:58:42
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载