DataWorks关了分布式还是报错,很多个节点都在往es写东西,只有这一个节点报错？
DataWorks关了分布式还是报错,很多个节点都在往es写东西,只有这一个节点报错？https://di-cn-beijing.data.aliyun.com/web/di/instanceLog?id=648964880&resourceGroup=S_res_group_530067677829762_1652847884356&requestId=1000534400931_0_T3_2102686799&projectId=85257
写回答
-
北京阿里云ACE会长根据您提供的信息,很有可能是Elasticsearch集群存在问题,DataWorks作业节点才会报错。
以下是您需要检查的地方:首先请登录Elasticsearch控制台,查看集群是否有任何报警和异常提示。
检查Elasticsearch集群的每个节点是否都正常运行。如果有节点宕机,可能会影响DataWorks写数据。
查看Elasticsearch集群的负载情况,看CPU和内存消耗是否超限。集群压力会影响写入速度。
尝试用Kibana或Postman直接向Elasticsearch集群发条写请求,看是否能正常写入。排除网络问题。
DataWorks集群能写入部分节点,说明可能是一个或几个节点出现问题。需要检查对应节点日志。
您需要提供更多信息供分析:
报错的DataWorks作业ID
报错的Elasticsearch节点名称
DataWorks作业执行日志
Elasticsearch集群健康检查结果2023-08-09 14:52:20赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
