MaxCompute操作报错合集之大数据计算MaxCompute将数据存储为字符串后，在查询时发现数据变成了乱码而不是16进制，如何解决

问题一：在大数据计算MaxCompute中，求助这个缺少必填参数，是什么意思？

求助这个缺少必填参数，是什么意思？说没有指定reader插件odps的column

参考答案：

进入另一个产品群解决该问题。邀请入群地址：https://wx.dingtalk.com/invite-page/weixin.html?bizSource=____source____&corpId=dingd0cf799086f27cb135c2f4657eb6378f&inviterUid=A26F27643C000F2D94460A2FDF52346D&encodeDeptId=6B32040BBEAFAF1DE93FD50C752B256A

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/569095

问题二：大数据计算MaxCompute在配置的时候报了这个错？

大数据计算MaxCompute我这边需要通过dms的数据同步功能把adb的数据导入到polar mysql中，在配置的时候报了这个错？

参考答案：

这个问题可能是由于你在配置数据同步时，输入的IP地址格式不正确导致的。MaxCompute的数据同步功能需要输入正确的IP地址才能正常工作。

你可以尝试以下步骤来解决这个问题：

1. 检查你输入的IP地址是否正确。确保你输入的是公网可访问的IP地址，而不是域名或者其他字符串。
   
2. 如果你已经确认IP地址是正确的，但仍然遇到问题，你可以尝试更换一个新的IP地址。
   
3. 在某些情况下，你可能需要联系你的网络管理员或者云服务提供商，以获取正确的IP地址。
   
4. 你也可以尝试重启你的MaxCompute实例，看看是否可以解决问题。
   

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/568765

问题三：大数据计算MaxCompute从这个推断应该是转义符失效了，或者没法识别？

大数据计算MaxCompute我在dataworks上面创建了一个 oss 外表，外表配置参考图；oss 数据是日志服务投递过来的，通过【双引号】进行转义；昨天跑数是正常的，今天跑数据的时候报错了，逻辑没有变过。在尝试解决过程中发现了日志记录的逗号个数是61个，和切分的字段数62一致，从这个推断应该是转义符失效了，或者没法识别。虽然oss外表配置加了【'odps.text.option.use.quote'='true'】但是没有识别出来，而且加了【'odps.sql.text.schema.mismatch.mode'='ignore'】似乎也不起作用。截取部分关键报错：FAILED: ODPS-0123131:User defined function exception - Traceback:java.lang.RuntimeException: SCHEMA MISMATCH: External Table schema specified a total of [21] columns, but current text line parsed into [62] columns delimited by [,]. …… add odps.sql.text.schema.mismatch.mode = (ignore,truncate,error) in serdeproperty to handle schema mismatch. at com.aliyun.odps.udf.impl.builtin.storagehandler.BuiltinTextExtractor.extract(BuiltinTextExtractor.java:225) at com.aliyun.odps.udf.ExtractorHandler.next(ExtractorHandler.java:149)

参考答案：

oss外部表 odps.sql.text.schema.mismatch.mode' = 'truncate'

这个参数不支持和

odps.text.option.use.quote'='true'

混用

是开发表发布到生产环境之后DDL变了，配置的参数都没了。这俩参数目前看来是没有冲突的。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/568759

问题四：大数据计算MaxCompute在存成string后,已经变成乱码了,这种情况是正常的么？

大数据计算MaxCompute在存成string后,通过select语句查询 已经变成乱码了,不是16进制的了, 这种情况是正常的么？

参考答案：

改成utf-8编码

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/568740

问题五：大数据计算MaxCompute我在配置项里配置好像不生效，这是什么情况？

大数据计算MaxCompute我在配置项里配置 spark.hadoop.odps.cupid.disk.driver.device_size 好像不生效，这是什么情况？

参考答案：

先设置一下50吧，setproject odps.schema.evolution.enable=true;这个开关打开过吗？如果不确定，odpscmd或者SQL节点执行一下 setproject;select 1；查一下打印里也没有这个参数的设置，那我理解是这个问题。或者换一个spark版本试下，2.4.5的

https://help.aliyun.com/zh/maxcompute/user-guide/partition-and-column-operations-1?spm=a2c4g.11186623.0.i1#section-s3q-3je-mnq

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/568737