问题一:请问大数据计算MaxCompute外部表,文件oss路径。读取这个表的时候不需要数据传输费用吧?
请问大数据计算MaxCompute外部表,文件oss路径。读取这个表的时候不需要数据传输费用吧?
参考答案:
location里面的oss endpoint是内网吗 内网应该没有费用。
公网应该会在oss有费用吧。 MaxCompute数据上传如果用的是公共数据传输资源组 不收费
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581879
问题二:大数据计算MaxCompute设置时间戳类型是在建表语句这样加吗?
大数据计算MaxCompute设置时间戳类型是在建表语句这样加吗?
参考答案:
确实,你可以在创建MaxCompute表时设置时间戳类型。具体来说,你可以使用"from_utc_timestamp"函数将一个UTC时间的时间戳转换为一个指定时区的时间戳。此外,你还可以使用"CURRENT_TIMESTAMP"来返回当前的时间戳。请注意,在设置时间戳字段时,需要确保你的输入时间是符合要求的,否则可能会遇到错误。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581877
问题三:大数据计算MaxCompute quickBI怎么设置会比较好一点?
大数据计算MaxCompute quickBI在使用maxcompute作为数据源的时候,创建数据集查询超时,数据集都无法保存,这个怎么设置会比较好一点?不想让其他的任务超时时间发生改变
参考答案:
可以尝试以下方法来解决MaxCompute数据集查询超时的问题:
- 增加查询超时时间:在创建数据集时,可以设置查询超时时间。将超时时间适当延长,以确保查询能够完成。
- 优化查询语句:检查查询语句是否存在性能问题,如使用大量的子查询、连接操作等。可以通过优化查询语句来提高查询效率,减少查询时间。
- 分批处理数据:如果数据集较大,可以考虑将数据分成多个批次进行处理。每次只处理一部分数据,避免一次性处理大量数据导致超时。
- 调整并发数:根据实际情况,可以适当调整并发数。增加并发数可以提高数据处理速度,但也需要注意不要超过系统承受范围。
- 升级硬件配置:如果以上方法都无法解决问题,可以考虑升级硬件配置,如增加计算资源、内存等,以提高系统性能和处理能力。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581876
问题四:大数据计算MaxCompute为什么 odps spark 任务运行那么慢,?
大数据计算MaxCompute为什么 odps spark 任务运行那么慢, 正常sql在 odps sql 运行只需要十几秒, 在 spark 要四五分钟, 而且形同数据量 spark 写入表里的存储大小, 是 sql 写的 10倍大 ?
参考答案:
我理解这个不能这么比,底层运行机制、环境都不一样。SQL正常来讲是比较快,这是正常的。MaxComputeSQL的性能本身是要比spark快的,因为存储的问题。可以看一下1029和1030的对比。命令:desc extended sale_detail partition (sale_date='2013');
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581875
问题五:大数据计算MaxCompute外网访问申请已经通过了, 是不是还有哪里需要配置 ?
大数据计算MaxCompute外网访问申请已经通过了, 现在访问还是超时的问题, 我这个程序没有使用到spark 你看看是不是还有哪里需要配置 ?
参考答案:
spark作业需要加一下参数
ODPS spark节点的话因为是spark作业类型,需要加一下访问外网的配置。
生产环境:加配置 + 提交发布后在运维中心运行下试试;
开发环境:提申请 + 加配置 + 冒烟测试;
关于本问题的更多回答可点击进行查看: