问题一:大数据计算MaxCompute为什么一直读不到表呢?
大数据计算MaxCompute为什么一直读不到表呢?直接用odps命令是可以读到那张表的,project也没错
参考答案:
如果您使用ODPS命令可以读取到表,但使用大数据计算MaxCompute时无法读取到表,可能是由于以下原因导致的:
- 访问权限问题:请确保您使用的账号和密码具有访问该表的权限。如果使用的是子用户,还需要检查子用户的权限设置是否正确。
- 项目名称或表名称错误:请确保您在代码中指定的项目名称和表名称与实际的项目名称和表名称一致。
- 数据格式问题:请确保您的数据格式与MaxCompute所支持的数据格式一致。例如,如果您的数据是CSV格式的,那么需要将分隔符设置为逗号(或其他MaxCompute所支持的分隔符)。
- 网络连接问题:请确保您的网络连接正常,并且能够访问到MaxCompute服务。
如果您仍然无法解决问题,建议您查看MaxCompute控制台的日志信息,以获取更详细的错误信息。同时,您还可以尝试重新创建项目和表,并再次进行测试。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/568729
问题二:请问spark引擎是可以直接访问大数据计算MaxCompute表的么?
请问spark引擎是可以直接访问大数据计算MaxCompute表的么?我尝试了spark2.3也不行
参考答案:
可以访问,
或者打成jar包放到DataWorks的spark节点上:https://help.aliyun.com/zh/maxcompute/user-guide/running-modes?spm=a2c4g.11186623.0.0.6396f54eubRv1b#section-uqe-uwt-q0b
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/568727
问题三:请问一下大数据计算MaxCompute,UDF目前只支持jdk1.8吗?
请问一下大数据计算MaxCompute,UDF目前只支持jdk1.8吗?工程里内置了一些阿里的jar包,如果引入第三方jar包可以吗?上传jar包的上限是200M这个是固定设置吗?可以调整吗?
参考答案:
大数据计算MaxCompute目前支持的JDK版本为1.8以上版本。因此,如果您的工程中使用了其他版本的JDK,可能需要进行相应的调整。
关于引入第三方JAR包的问题,一般情况下,MaxCompute支持引入第三方JAR包,但需要注意以下几点:
- 确保第三方JAR包的版本与您的工程兼容,并且与MaxCompute的版本兼容。
- 确保第三方JAR包没有违反MaxCompute的服务条款和法律法规。
- 引入第三方JAR包时,需要遵守相关的知识产权和许可协议。
关于上传JAR包的上限是200M的问题,这个限制是MaxCompute平台为了保护系统的稳定性和性能而设定的。如果您的JAR包超过了这个限制,需要进行相应的压缩或拆分。
另外,如果需要上传更大的JAR包,可以尝试使用MaxCompute的分布式文件系统(DFS)或其他云存储服务来存储和访问这些文件。这样可以避免上传过程中的限制和性能问题。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/568726
问题四:请教下大数据计算MaxCompute,不会对timestamp、之类的类型做格式是是不是?
请教下大数据计算MaxCompute,DI离线节点里面的dateFormat会对数据源抽取过来所有date字段做format是吗?但是不会对timestamp、datetime之类的类型做格式是是不是?
参考答案:
我看oss数据源里日期类型也是date,带了时分秒的话,应该是转换时的问题,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/568722
问题五:大数据计算MaxCompute外部表映射了oss中的csv文件,这是什么原因么?
大数据计算MaxCompute外部表映射了oss中的csv文件,csv文件中的数据有的是\N,然后映射到maxcomputer中\N数据变成了N,这是什么原因么?
参考答案:
如果数据需要是\N的话,可以用函数替换下
关于本问题的更多回答可点击进行查看: