DataWorks操作报错合集之在运行数据分析任务时,底层依赖服务alisa.olap.submitjob出现了异常,如何解决

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

问题一:DataWorks数据分析界面运行任务报这个错 ?


DataWorks数据分析界面运行任务报这个错 ?

{"code":"CR001","requestId":"a21ef92d-b463-41a0-ac08-f76de0554227","url":"https://da-us-east-1.data.aliyun.com/api/v1/query_jobs"} 


参考回答:

这个错误提示表明在运行DataWorks数据分析任务时,底层依赖服务alisa.olap.submitjob出现了异常。为了解决这个问题,你可以尝试以下步骤:

  1. 检查依赖服务的状态:确保alisa.olap.submitjob服务正常运行,并且没有任何错误或警告信息。如果服务未启动或出现故障,你需要重新启动服务或者联系相关技术支持人员进行排查和修复。
  2. 检查网络连接:确保你的计算机与DataWorks平台之间的网络连接正常。你可以使用ping命令测试网络连通性,或者尝试访问其他网站来确认网络是否正常工作。
  3. 检查任务配置:仔细检查你的数据分析任务的配置,特别是与依赖服务相关的部分。确保任务中的依赖服务名称、参数等设置正确无误。
  4. 查看日志文件:查看DataWorks平台的日志文件,以获取更详细的错误信息和调试信息。日志文件通常位于DataWorks平台的安装目录下的logs文件夹中。
  5. 重启DataWorks平台:如果以上步骤都无法解决问题,你可以尝试重启DataWorks平台。这将清除可能存在的临时问题,并重新加载所有组件。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577233



问题二:DataWorks遇到过使用dataworks同步es数据至odps报这个错误吗?


DataWorks遇到过使用dataworks同步es数据至odps报这个错误吗:Types cannot be provided in get mapping requests, unless include_type_name is set to true. 怎么解决?


参考回答:

这个错误是因为在使用DataWorks同步ES数据至ODPS时,get mapping这个错误是因为在使用DataWorks同步ES数据至ODPS时,get mapping请求中包含了类型信息,但是没有设置include_type_name为true。要解决这个问题,你需要在获取mapping请求时设置include_type_name为true。

解决方法如下:

  1. 在获取mapping请求时,添加参数include_type_name=true
  2. 如果使用的是Python客户端,可以这样修改代码:
from elasticsearch import Elasticsearch
es = Elasticsearch()
index_name = "your_index_name"
doc_type = "your_doc_type"
response = es.indices.get_mapping(index=index_name, doc_type=doc_type, include_type_name=True)
  1. 如果使用的是其他编程语言的客户端,可以参考相应语言的文档,了解如何设置include_type_name参数。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577231



问题三:DataWorks已改参数,但是修改是对开发环境生效,对生产环境没有效果?


DataWorks已改参数,但是修改是对开发环境生效,对生产环境没有效果?


参考回答:

Merge任务运行失败https://help.aliyun.com/zh/dataworks/user-guide/troubleshoot-issues-of-a-merge-node-generated-by-a-one-click-real-time-synchronization-to-maxcompute-solution?spm=a2c4g.11186623.0.i139

Base table partition not exists.

原因:前一日的全量分区没有产生,一般较少出现,可能场景:

手动补数据运行Merge实例,但前一日实例没有运行,确保前一日Merge实例正常运行完成。

首次运行时离线全量或者加表后全量同步未执行完成,如果存在同步失败的表,解决方案中通过先减表再加表的方式重新初始化该表。

如果是其他原因,可能是触发了不支持的场景,请联系值班同学进一步排查。

Run job failed,instance:XXXX.

原因:有ODPS SQL子任务运行失败,搜索instanceId,定位到错误日志,通常日志类似如下:

Instance: XXX, Status: FAILED

result: ODPS-0110061: Failed to run ddltask - Persist ddl plans failed.

, Logview:

http://Logview.odps.aliyun.com/Logview/?h=http://service.ap-southeast-1.maxcompute.aliyun-inc.com/api&p=sgods&i=20220807101011355goyu43wa&token=NFBwc2tzaEpJNGF0OVFINmJuREZrem1OamQ4PSxPRFBTX09CTzo1OTMwMzI1NTY1MTk1MzAzLDE2NjAxMjYyMTEseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL3Nnb2RzL2luc3RhbmNlcy8yMDIyMDgwNzEwMTAxMTM1NWdveXU0M3dhIl19XSwiVmVyc2lvbiI6IjEifQ== ]

出现ODPS-XXXX这种错误提示,通常是代表ODPS内部执行错误,您可查看SQL错误码(ODPS-01CCCCX)文档查询报错以及解决办法,若文档中找不到或有其他问题,可以咨询MaxCompute技术支持人员。

Request rejected by flow control. You have exceeded the limit for the number of tasks you can run concurrently in this project. Please try later.

原因:Merge并发提交的SQL子任务过多,触发了ODPS对该project并发限流。

解决方案:

设置Merge任务并发参数concurrency降低并发。

更改Merge任务调度时间配置,打散Merge任务运行时间。

联系MaxCompute技术支持人员解决。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577226



问题四:DataWorks用这种方法删除生产环境的字段,参数已设置?


DataWorks用这种方法删除生产环境的字段,参数已设置?setproject odps .schema.evolution.enable=true; 仍报错FAILED: Catalog Service Failed, ErrorCode: 152, Error Message: ODPS-0110061: Failed to run ddltask-Schema evolution DDLs is not enabled in project:ytam_prod


参考回答:

这个问题可能是由于ODPS项目没有启用Schema Evolution功能导致的。你可以尝试以下方法解决这个问题:

  1. 登录到DataWorks控制台,进入数据建模与开发 > 数据开发页面。
  2. 在顶部菜单栏左侧找到并点击消息中心图标,选择消息类型为邮件。
  3. 填写邮件主题、收件人、正文等信息,并选择是否需要添加抄送人。如果需要添加附件,可以在这里上传。
  4. 在调度任务的回调方法中,调用DataWorks的消息发送接口,将任务完成的结果通过消息中心发送给指定的用户或团队。
  5. 在接收消息的用户或团队中,设置消息中心的接收方式为邮件。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577224



问题五:DataWorks启动实时flink计算的时候,运行失败,日志显示这个错误,这是意思啊?


DataWorks启动实时flink计算的时候,运行失败,日志显示这个错误,这是意思啊?


参考回答:

根据你提供的日志信息,这似乎是一个Java异常。具体来说,它看起来像是一个java.lang.RuntimeException,然后在堆栈跟踪中有一个java.lang.IllegalStateException

这个异常可能与Flink的Split Fetcher有关,因为日志中提到了"Split Fetcher thread"和"Split Fetcher.run"。然而,没有更多的上下文或详细信息,很难确定确切的原因。

关于第二个异常,它似乎是由于尝试读取MySQL binlog时发生的。binlog是MySQL的一种日志文件,用于记录对数据库的所有更改。如果服务器无法提供所需的binlog版本(在这个例子中为1.5.4.Final),那么就会出现这种错误。

要解决这个问题,你需要确保你的MySQL服务器正在提供正确的binlog版本,并且配置正确。如果你使用的是数据工场,你可能需要检查你的连接设置是否正确,或者尝试重新配置你的MySQL服务器以提供所需版本的binlog。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577222

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
3月前
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
10月前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
数据采集 DataWorks 监控
DataWorks产品使用合集之校验异常是什么意思
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
111 2
|
数据采集 DataWorks 监控
DataWorks产品使用合集之怎么把开发环境的任务调度运行到生产环境
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
165 0
|
SQL DataWorks 数据可视化
DataWorks操作报错合集之使用sql查询报错:系统异常,是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之如何通过API终止运行的流程
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
SQL DataWorks 安全
DataWorks产品使用合集之如何实现在参数里面配置获取运行的时间
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
739 4
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
在数字化时代,数据分析至关重要,而Python凭借其强大的数据处理能力和丰富的库支持,已成为该领域的首选工具。Python作为基石,提供简洁语法和全面功能,适用于从数据预处理到高级分析的各种任务。Pandas库则像是神兵利器,其DataFrame结构让表格型数据的处理变得简单高效,支持数据的增删改查及复杂变换。配合Matplotlib这一数据可视化的魔法棒,能以直观图表展现数据分析结果。掌握这三大神器,你也能成为数据分析领域的高手!
225 2

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks