DataWorks操作报错合集之在运行数据分析任务时,底层依赖服务alisa.olap.submitjob出现了异常,如何解决

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

问题一:DataWorks数据分析界面运行任务报这个错 ?


DataWorks数据分析界面运行任务报这个错 ?

{"code":"CR001","requestId":"a21ef92d-b463-41a0-ac08-f76de0554227","url":"https://da-us-east-1.data.aliyun.com/api/v1/query_jobs"} 


参考回答:

这个错误提示表明在运行DataWorks数据分析任务时,底层依赖服务alisa.olap.submitjob出现了异常。为了解决这个问题,你可以尝试以下步骤:

  1. 检查依赖服务的状态:确保alisa.olap.submitjob服务正常运行,并且没有任何错误或警告信息。如果服务未启动或出现故障,你需要重新启动服务或者联系相关技术支持人员进行排查和修复。
  2. 检查网络连接:确保你的计算机与DataWorks平台之间的网络连接正常。你可以使用ping命令测试网络连通性,或者尝试访问其他网站来确认网络是否正常工作。
  3. 检查任务配置:仔细检查你的数据分析任务的配置,特别是与依赖服务相关的部分。确保任务中的依赖服务名称、参数等设置正确无误。
  4. 查看日志文件:查看DataWorks平台的日志文件,以获取更详细的错误信息和调试信息。日志文件通常位于DataWorks平台的安装目录下的logs文件夹中。
  5. 重启DataWorks平台:如果以上步骤都无法解决问题,你可以尝试重启DataWorks平台。这将清除可能存在的临时问题,并重新加载所有组件。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577233



问题二:DataWorks遇到过使用dataworks同步es数据至odps报这个错误吗?


DataWorks遇到过使用dataworks同步es数据至odps报这个错误吗:Types cannot be provided in get mapping requests, unless include_type_name is set to true. 怎么解决?


参考回答:

这个错误是因为在使用DataWorks同步ES数据至ODPS时,get mapping这个错误是因为在使用DataWorks同步ES数据至ODPS时,get mapping请求中包含了类型信息,但是没有设置include_type_name为true。要解决这个问题,你需要在获取mapping请求时设置include_type_name为true。

解决方法如下:

  1. 在获取mapping请求时,添加参数include_type_name=true
  2. 如果使用的是Python客户端,可以这样修改代码:
from elasticsearch import Elasticsearch
es = Elasticsearch()
index_name = "your_index_name"
doc_type = "your_doc_type"
response = es.indices.get_mapping(index=index_name, doc_type=doc_type, include_type_name=True)
  1. 如果使用的是其他编程语言的客户端,可以参考相应语言的文档,了解如何设置include_type_name参数。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577231



问题三:DataWorks已改参数,但是修改是对开发环境生效,对生产环境没有效果?


DataWorks已改参数,但是修改是对开发环境生效,对生产环境没有效果?


参考回答:

Merge任务运行失败https://help.aliyun.com/zh/dataworks/user-guide/troubleshoot-issues-of-a-merge-node-generated-by-a-one-click-real-time-synchronization-to-maxcompute-solution?spm=a2c4g.11186623.0.i139

Base table partition not exists.

原因:前一日的全量分区没有产生,一般较少出现,可能场景:

手动补数据运行Merge实例,但前一日实例没有运行,确保前一日Merge实例正常运行完成。

首次运行时离线全量或者加表后全量同步未执行完成,如果存在同步失败的表,解决方案中通过先减表再加表的方式重新初始化该表。

如果是其他原因,可能是触发了不支持的场景,请联系值班同学进一步排查。

Run job failed,instance:XXXX.

原因:有ODPS SQL子任务运行失败,搜索instanceId,定位到错误日志,通常日志类似如下:

Instance: XXX, Status: FAILED

result: ODPS-0110061: Failed to run ddltask - Persist ddl plans failed.

, Logview:

http://Logview.odps.aliyun.com/Logview/?h=http://service.ap-southeast-1.maxcompute.aliyun-inc.com/api&p=sgods&i=20220807101011355goyu43wa&token=NFBwc2tzaEpJNGF0OVFINmJuREZrem1OamQ4PSxPRFBTX09CTzo1OTMwMzI1NTY1MTk1MzAzLDE2NjAxMjYyMTEseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL3Nnb2RzL2luc3RhbmNlcy8yMDIyMDgwNzEwMTAxMTM1NWdveXU0M3dhIl19XSwiVmVyc2lvbiI6IjEifQ== ]

出现ODPS-XXXX这种错误提示,通常是代表ODPS内部执行错误,您可查看SQL错误码(ODPS-01CCCCX)文档查询报错以及解决办法,若文档中找不到或有其他问题,可以咨询MaxCompute技术支持人员。

Request rejected by flow control. You have exceeded the limit for the number of tasks you can run concurrently in this project. Please try later.

原因:Merge并发提交的SQL子任务过多,触发了ODPS对该project并发限流。

解决方案:

设置Merge任务并发参数concurrency降低并发。

更改Merge任务调度时间配置,打散Merge任务运行时间。

联系MaxCompute技术支持人员解决。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577226



问题四:DataWorks用这种方法删除生产环境的字段,参数已设置?


DataWorks用这种方法删除生产环境的字段,参数已设置?setproject odps .schema.evolution.enable=true; 仍报错FAILED: Catalog Service Failed, ErrorCode: 152, Error Message: ODPS-0110061: Failed to run ddltask-Schema evolution DDLs is not enabled in project:ytam_prod


参考回答:

这个问题可能是由于ODPS项目没有启用Schema Evolution功能导致的。你可以尝试以下方法解决这个问题:

  1. 登录到DataWorks控制台,进入数据建模与开发 > 数据开发页面。
  2. 在顶部菜单栏左侧找到并点击消息中心图标,选择消息类型为邮件。
  3. 填写邮件主题、收件人、正文等信息,并选择是否需要添加抄送人。如果需要添加附件,可以在这里上传。
  4. 在调度任务的回调方法中,调用DataWorks的消息发送接口,将任务完成的结果通过消息中心发送给指定的用户或团队。
  5. 在接收消息的用户或团队中,设置消息中心的接收方式为邮件。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577224



问题五:DataWorks启动实时flink计算的时候,运行失败,日志显示这个错误,这是意思啊?


DataWorks启动实时flink计算的时候,运行失败,日志显示这个错误,这是意思啊?


参考回答:

根据你提供的日志信息,这似乎是一个Java异常。具体来说,它看起来像是一个java.lang.RuntimeException,然后在堆栈跟踪中有一个java.lang.IllegalStateException

这个异常可能与Flink的Split Fetcher有关,因为日志中提到了"Split Fetcher thread"和"Split Fetcher.run"。然而,没有更多的上下文或详细信息,很难确定确切的原因。

关于第二个异常,它似乎是由于尝试读取MySQL binlog时发生的。binlog是MySQL的一种日志文件,用于记录对数据库的所有更改。如果服务器无法提供所需的binlog版本(在这个例子中为1.5.4.Final),那么就会出现这种错误。

要解决这个问题,你需要确保你的MySQL服务器正在提供正确的binlog版本,并且配置正确。如果你使用的是数据工场,你可能需要检查你的连接设置是否正确,或者尝试重新配置你的MySQL服务器以提供所需版本的binlog。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577222

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
10月前
|
DataWorks
DataWorks任务如何现在执行最长时间?
设置任务执行最长时间
219 28
|
10月前
|
SQL 分布式计算 DataWorks
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?创建一个表的空分区,然后通过DataWorks去检查这个分区。
206 7
|
11月前
|
机器学习/深度学习 数据采集 DataWorks
数据分析经典案例重现:使用DataWorks Notebook 实现Kaggle竞赛之房价预测,成为数据分析大神!
Python是目前当之无愧的数据分析第一语言,大量的数据科学家使用Python来完成各种各样的数据科学任务。本文以Kaggle竞赛中的房价预测为例,结合DataWorks Notebook,完成数据加载、数据探索、数据可视化、数据清洗、特征分析、特征处理、机器学习、回归预测等步骤,主要Python工具是Pandas和SKLearn。本文中仅仅使用了线性回归这一最基本的机器学习模型,读者可以自行尝试其他更加复杂模型,比如随机森林、支持向量机、XGBoost等。
|
11月前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
SQL 机器学习/深度学习 分布式计算
dataworks节点任务
在DataWorks中,你可以通过拖拽节点以及连线来构建复杂的工作流,这样可以方便地管理多个任务之间的依赖关系。此外,DataWorks还提供了调度功能,使得这些任务可以在设定的时间自动执行。这对于构建自动化、定时的数据处理管道非常有用。
295 5
|
10月前
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
10月前
|
分布式计算 DataWorks 搜索推荐
DataWorks 产品评测与最佳实践探索!
DataWorks 是阿里巴巴推出的一站式智能大数据开发治理平台,内置15年实践经验,集成多种大数据与AI服务。本文通过实际使用角度,探讨其优势、潜力及改进建议。评测涵盖用户画像分析、数据治理、功能表现等方面,适合数字化转型企业参考。
250 1
|
11月前
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评
|
10月前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
457 1
|
11月前
|
SQL DataWorks 搜索推荐
DataWorks产品评测与最佳实践体验报告
DataWorks是阿里巴巴云推出的一款高效数据处理平台,通过内置的数据集成工具和ETL功能,实现了多源数据的自动化处理与分析。本文介绍了DataWorks在用户画像分析中的应用实践,展示了其如何帮助企业高效管理数据资源,支持决策制定及营销优化。同时,文章还评测了DataWorks的产品体验,包括开通流程、功能满足度等方面,并与其它数据开发平台进行了比较,突出了DataWorks在易用性、性能和生态完整性上的优势。最后,对Data Studio新版本中的Notebook环境进行了初步探索,强调了其在提升开发效率方面的价值。
389 16

相关产品

  • 大数据开发治理平台 DataWorks