问题一:想问一下大数据计算MaxCompute这个定时任务跑了两个多月了都是正常的,是由于这个问题导致的吗?
想问一下大数据计算MaxCompute这个定时任务跑了两个多月了都是正常的,就是前天突然不能运行了,这也可能是由于这个问题导致的吗?任务并发执行数已达上限,正在等待在云端的gateway资源...
参考回答:
这个显示是说明等待调度资源。
公共调度资源组是共享模式,使用高峰期可能会出现不同用户间抢占资源的情况,无法保证任务及时调度执行。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/580025
问题二:大数据计算MaxCompute spark节点报这种错误是环境原因吗?
大数据计算MaxCompute spark节点报这种错误是环境原因吗?
参考回答:
如果是公有云,这个问题是因为安装MaxCompute客户端的设备的本地时间与MaxCompute服务器的时间不一致,时间相差超过15分钟就会导致请求被服务器认为超时而拒绝
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/580024
问题三:大数据计算MaxCompute的事务表能sync同步到本地的mysql数据库吗?
大数据计算MaxCompute的事务表能sync同步到本地的mysql数据库吗?报了Upsert is not supported,是不是无法同步?
参考回答:
现在应该是不支持同步事务表。 后面应该会有这方便的功能出来。
你先把事务表数据insert进普通表,再同步吧。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/578277
问题四:业务流程中【表】结构链接更新?
我在用sql语句把一个表名字修改之后,数据地图中可以按照新表名查到,show tables 也可以按照新表名查到,但是在业务流程【表】结构还是之前的名字,双击报错提示该表不存在。
怎么把业务流程中的表结构链接更新,是需要重新建吗?还是怎么操作呢
alter table stg_test01 rename to stg_test001
stg_test01:旧表名
stg_test001:新表名
参考回答:
在MaxCompute中,使用ALTER TABLE table_name RENAME TO new_table_name;命令可以更改表的名称。这会将表的数据、结构以及所有元数据(如分区信息)都移动到新表名下。从你的描述来看,你已经成功地将表名从stg_test01更改为stg_test001。
然而,在某些情况下,业务流程工具或者外部系统可能缓存了旧的表名,导致当你尝试访问新表名时出现错误。这种情况下,通常需要刷新或更新这些依赖于旧表名的服务或工具的信息。
对于这种情况,你可以尝试以下步骤:
- 刷新业务流程中的表信息:
- 如果有类似“刷新”、“同步”或“重新加载”的选项,请尝试执行该操作以确保系统获取最新的表信息。
- 检查和更新业务流程配置:
- 检查用于连接MaxCompute的配置文件或设置,确认它们是否仍然引用旧的表名。如果是,请更新为新的表名。
- 重启相关服务:
- 如果上述方法无效,可能需要重启依赖于旧表名的服务,以便它们重新加载表信息。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/578104
问题五:DataWorks拉取clickhouse4000w表报错, 显示超过限制时间, 为什么会这样?
DataWorks拉取clickhouse4000w表报错, 显示超过限制时间, 为什么会这样?
Caused by: java.lang.Throwable: Code: 160. DB::Exception: Received from ck-uf6lnm05qfws13r5d-sbni-clickhouse-s-0-r-0.ck-uf6lnm05qfws13r5d-sbni-clickhouse-headless.ck-1520293563732723.svc.cluster.local:3003. DB::Exception: Estimated query execution time (178735.48039242995 seconds) is too long. Maximum: 172800. Estimated rows to process: 610605372: While executing MergeTreeThread. (TOO_SLOW) (version 22.8.5.29)
参考回答:
查询超时 这个超时看着应该是服务端配置的 可以和ck的dba同学确认看下查询的超时时间设置的多长1)优化ck任务,加切分键 尽量使用业务主键 加并发,reader最终应该会拼接成查询语句 调整这些参数相当于优化查询sql2)ck数据源配置jdbc看是否可以加超时参数设置之类的3)ck服务端调整超时参数4)任务拆分执行 每次少同步写
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/577130