开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute是在编译阶段产生的自动换行,如果纯文本不带\n\r的话就没办法还原吧?

大数据计算MaxCompute是在编译阶段产生的自动换行,服务器返回的报错信息如果纯文本不带\n\r的话就没办法还原吧?找驻场运维还是开发?

展开
收起
真的很搞笑 2023-12-03 19:55:12 70 0
3 条回答
写回答
取消 提交回答
  • MaxCompute在进行编译作业时,会根据分区数据的文件大小决定拆分的最小计算单元处理的数据量。如果小文件过多,会导致拆分过程耗时增加。这种情况可能是因为在上传数据使用Tunnel时,操作不正确,例如每上传一条数据就重新新建一个Upload Session。

    如果MaxCompute在运行过程中出现问题导致报错,该错误信息可以提供给开发团队或驻场运维进行问题定位和修复。在处理错误码时,可以根据错误码格式判断出现错误的模块、错误等级及产生原因,并根据提示信息修复错误。如果错误原因比较复杂,可以通过Logview工具定位错误。

    对于服务器返回的错误信息,如果是纯文本并且不带
    \r的话,确实可能会给还原带来一定困难。不过,MaxCompute实际上提供了数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间。您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。

    如果发现错误信息为InternalServerError或者Read timed out等异常,可能需要直接联系MaxCompute的值班同学进行排查和处理。

    2023-12-04 16:46:48
    赞同 展开评论 打赏
  • 开发 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-12-04 08:06:21
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute的编译器基于MaxCompute 2.0新一代的SQL引擎,能显著提升SQL语言编译过程的易用性与语言的表达能力。如果遇到问题,可以通过报错和告警信息进行排障。例如,任务运行失败的错误,可能的主要原因是表当中某些字段的值为空,这时候可以通过SQL将这些空值对应的record删除。MaxCompute的常见报错信息编号有规范定义,格式为:异常编号:通用描述 - 上下文相关说明。其中SQL、MapReduce、Tunnel的错误信息是不一样的。

    如果出现不支持的DDL导致实时任务失败的问题,可以进入数据集成 > 同步任务找到目标任务,单击更多 > 修改配置编辑全增量同步任务,通过先减表,提交执行流程,再加表,提交执行流程,触发此表的重新同步,跳过该表不支持的DDL。

    对于您提到的服务器返回的报错信息如果纯文本不带
    \r的情况,如果是使用Tableau连接MaxCompute时出现的问题,可以尝试查看报错信息的具体内容。如果是Tunnel上传数据的时候报错,可能需要检查当前的上传或下载状态。另外,也需要关注是否安装了JDK并正确配置了环境变量,以及系统的80端口是否打开,config配置文件是否正确配置等等因素。

    2023-12-03 21:42:24
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载