DataWorks 数据集成日志查看 | 学习笔记

简介: 快速学习 DataWorks 数据集成日志查看

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课:DataWorks  数据集成日志查看】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1196


DataWorks  数据集成日志查看


内容简介:

一、DataWorks  数据集成日志相关介绍

二、数据集成任务完整日志打印印任务的总体状态

三、数据集成任务完整日志打印线程明细、执行过程和结果

四、常见问题

一、DataWorks  数据集成日志相关介绍

数据集成任务完整日志分为两大部分,第一部分主要打印任务的总体状态,第二部分打印线程明细、执行过程和结果等。

● 系统参数信息模块:

● 记录运行机器、地域信息、项目名、节点信息、参数值等。

● 需要关注点:

● 1.配置的参数是否被真实值替换。( 配置出错或者未解析会导致实际任务运行时找不到分区/查不到数据等)

● 2.运行任务的数据集成资源组类型(部分数据源仅支持独享数据集成资源组)

● 资源组标识:

● 运行在数据集成公共资源组上:  in Pipeline[basecommon_ group_ xxxxxxx]

● 运行在数据集成自定义资源组上:  in Pipeline[basecommon_ xxxxxxxx]

● 运行在数据集成独享资源组上:  in Pipeline[basecommon_ S_ res_group _xxx]

二、数据集成任务完整日志打印印任务的总体状态

日志第一部分: (同步任务的四个状态)分别为  submit、wait、 run、 success/failed。

submit  :提交任务,将数据集成任务提交到服务器执行。数据集成任务不允许同一个任务同时提交两次,所以当一个任务同时提交了多个实例时仅有一个会被服务器接收,另一个会提交失败(补数据和周期实例冲突、补数据和手动运行冲突、周期实例间隔时间段冲突、周期实例和手动触发任务提交,冲突这些情况都会导致任务提交失败) .所以当有多实例  job 冲突时,会造成  submit failed  的现象。

wait  :等待数据集成资源组分配资源使该任务运行。若数据集成资源组资源不足,则运行日志中会有长时间处于wait状态的现象且任务进度一直为0%。

run  :表示数据集成任务已经在资源组上运行了。run  状态时间较长;执行的任务较多包括预执行  preSql  (删除表数据等)、同步数据、数据写入目的端后执行  postSql (同步完成后执行的  sql,删除部分重复数据等)等。如果任务进度卡在某个百分点不动,可以检查下是否配置了预执行或者后执行sql语句。

Success/failed:  分别表示任务执行成功/失败

以上是同步任务日志第一部分主要打印信息,为任务渲染、提交、运行、执行完毕的日志,日志结束的标志信息:  DI Finish at: xxxxxxx。


三、数据集成任务完整日志打印线程明细、执行过程和结果

日志第二部分:任务执行明细、子线程执行情况及结果返回信息、数据写入信息等。该部分日志请在如图所示的运行日志中找detail log url这个标识符,可从该链接中查看详细日志。

大体可分为 6  个步骤:

1.任务渲染完毕后提交的实际配置以及参数替换结果的json配置。

2.数据源端的表信息、列信息。

3.对  odps  表做数据清理(如果配置了写入前清理数据)。

4.根据配置的切分键生成sql到数据源端读取数据(若是配置了querysq|那么会执行querysql 忽略切分键配置)。

5.执行取数  sql  并向目的端写入数据。

6.数据条数、速率的最终统计。


四、常见问题

1.0dps  表不存在(在生产环境运行任务报该异常一般是只创建了  odps  开发表后直接配置了数据集成任务然后就发布运行了,需要再创建生产表)

2.任务提交后直是  wait  状态 (当数据集成资源组不足时会出现该情况(公共数据集成资源组资源不足/独享数据集成资源组支持的并发数小于任务配置的并发数或者其他同步任务运行中导致剩余的资源不够下一个任务启动)

3.任务直处于 run  状态但是 卡在某个百分点不往下进行( 1.首先检查是不是配置了presql  或者  postsql  ,在准备数据写入或者数据已经写入后执行了该  sql  且该  sql执行时间过长2.查看  detaillog   排查是否某个子线程取数时数据库端迟迟没返回结果)

4.读取数据库端数据时报链接超时异常(该情况需要调整数据库超时时间参数或者优化取数  sql  等)。

5.网络不通(该情况需具体分析,一般情况为白名单没有加全或者独享资源组没有绑定装有网络)。

相关文章
|
SQL druid Oracle
【YashanDB知识库】yasdb jdbc驱动集成druid连接池,业务(java)日志中有token IDENTIFIER start异常
客户Java日志中出现异常,影响Druid的merge SQL功能(将SQL字面量替换为绑定变量以统计性能),但不影响正常业务流程。原因是Druid在merge SQL时传入null作为dbType,导致无法解析递归查询中的`start`关键字。
|
SQL 弹性计算 DataWorks
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
1036 6
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
569 12
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
1424 8
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
|
Java 程序员 API
Android|集成 slf4j + logback 作为日志框架
做个简单改造,统一 Android APP 和 Java 后端项目打印日志的体验。
1212 1
|
数据采集 SQL DataWorks
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第5天】本文通过一家电商平台的案例,详细介绍了阿里云DataWorks在数据处理全流程中的应用。从多源数据采集、清洗加工到分析可视化,DataWorks提供了强大的一站式解决方案,显著提升了数据分析效率和质量。通过具体SQL示例,展示了如何构建高效的数据处理流程,突显了DataWorks相较于传统工具如Excel的优势,为企业决策提供了有力支持。
673 3
|
数据采集 DataWorks 数据管理
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第10天】随着大数据技术的发展,企业对数据处理的需求日益增长。阿里云推出的DataWorks是一款强大的数据集成和管理平台,提供从数据采集、清洗、加工到应用的一站式解决方案。本文通过电商平台案例,详细介绍了DataWorks的核心功能和优势,展示了如何高效处理大规模数据,帮助企业挖掘数据价值。
558 1
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评