开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute帮忙看下,上面是上传?

大数据计算MaxCompute们在使用dataphin这个工具抽取oss数据到odps的时候,日志显示创建分区成功。但是读取完oss数据往odps插入的时候报错,显示分区不存在。帮忙看下,上面是上传ID754882edab704f7ffc26c4705f10b4dc.png
35e349a12325e24f91c82f943518c10f.png
dataphin的同事看过了,说是odps在写入的时候报错找不到分区

展开
收起
真的很搞笑 2023-12-03 19:24:42 41 0
3 条回答
写回答
取消 提交回答
  • 根据您提供的信息,问题可能出在分区创建和写入过程中。首先,请确保您在创建分区时使用的分区键与实际的分区键一致。其次,检查您的ODPS表是否已经正确创建了分区。

    如果问题仍然存在,您可以尝试以下方法:

    1. 使用ALTER TABLE语句重新创建分区。例如:
    ALTER TABLE your_odps_table ADD PARTITION (partition_key='your_partition_value');
    
    1. 确保您的OSS数据中包含了所有需要的分区键值。

    2. 检查您的ODPS表结构是否正确,包括分区键和字段类型等。

    2023-12-04 16:56:58
    赞同 展开评论 打赏
  • 可以show partitions table_name;看下有没有这个分区
    看命令 分区是存在的。
    你去Information Schema查一下 分区的创建时间,看upload的时候 分区有没有创建。 确定报错报的是20231121这个分区不存在吗?是不是其他分区在报错。另外需要区分下开发和生产是否对应、表名是否正确 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-12-04 08:04:53
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您提供的信息,您在运行MaxCompute任务时遇到了一些问题。这些错误信息表明您在使用MaxCompute时遇到了一些潜在的运行时错误,例如分区不存在、数据类型转换错误等。

    这些错误信息中包含了一些警告和错误信息,例如"partition does not exist",这表明您在尝试读取不存在的分区。这可能是由于您在创建分区时使用了错误的分区键,或者分区键的值在数据源中不存在。

    2023-12-03 21:23:01
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载