kettle开发篇-写日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: kettle开发篇-写日志

前言:


在前面我们讲了很多关于字段和行列的操作,今天我们来讲讲应用方面的操作,比如写日志、发送邮件等。因为我们知道我们将kettle 转换开发完成,我们都是通过定时任务来调度作业运行。从而实现自动化同步数据,但是在数据运行过程中总有偶尔突发情况,如因网络、字段长度不够导致数据异常等。此时最好追溯问题的办法就是查看日志,今天我们就重点来讨论写日志这个组件。


一、写日志


写日志主要是在调试的时候使用,把日志信息打印到日志窗口。

如下图所示写日志组件包括输入、功能、输出的详细信息,如输入的条数、写入数据的条数,具体写入信息是啥,如图所示对应I=2,W=2就是告诉我们输入输出两条记录,对应输入明细分别是张三和李四两条记录。

对应组件信息如下图所示,我们可以选定日志级别,默认为基本日志,如果我们确实遇到复杂的问题,我们可以将日志级别调整至详细日志,这样就可以在后台看详细的数据交换。下面字段为我们要打印字段的明细日志。

如下图所示我们写日志操作的时候可以选择日志级别,包括没有日志、错误日志、最小日志、基本日志、详细日志、调试、行级日志等从上到下越来越详细,然后我们再选择一个EXCEL输出,连接对应组件,运行后就可以看到我们详细的日志结果,这个东西对调试程序非常有作用哦。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
存储 监控 数据库
Django 后端架构开发:高效日志规范与实践
Django 后端架构开发:高效日志规范与实践
46 1
|
2月前
|
SQL 关系型数据库 MySQL
【MySQL】根据binlog日志获取回滚sql的一个开发思路
【MySQL】根据binlog日志获取回滚sql的一个开发思路
|
2月前
|
JSON 中间件 Go
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
本文详细介绍了如何在Go项目中集成并配置Zap日志库。首先通过`go get -u go.uber.org/zap`命令安装Zap,接着展示了`Logger`与`Sugared Logger`两种日志记录器的基本用法。随后深入探讨了Zap的高级配置,包括如何将日志输出至文件、调整时间格式、记录调用者信息以及日志分割等。最后,文章演示了如何在gin框架中集成Zap,通过自定义中间件实现了日志记录和异常恢复功能。通过这些步骤,读者可以掌握Zap在实际项目中的应用与定制方法
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
|
2月前
|
小程序 前端开发 API
微信小程序全栈开发中的异常处理与日志记录是一个重要而复杂的问题。
微信小程序作为业务拓展的新渠道,其全栈开发涉及前端与后端的紧密配合。本文聚焦小程序开发中的异常处理与日志记录,从前端的网络、页面跳转等异常,到后端的数据库、API调用等问题,详述了如何利用try-catch及日志框架进行有效管理。同时强调了集中式日志管理的重要性,并提醒开发者注意安全性、性能及团队协作等方面,以构建稳定可靠的小程序应用。
48 1
|
3月前
|
开发框架 缓存 前端开发
基于SqlSugar的开发框架循序渐进介绍(8)-- 在基类函数封装实现用户操作日志记录
基于SqlSugar的开发框架循序渐进介绍(8)-- 在基类函数封装实现用户操作日志记录
|
2月前
|
人工智能 Java Spring
Spring框架下,如何让你的日志管理像‘AI’一样智能,提升开发效率的秘密武器!
【8月更文挑战第31天】日志管理在软件开发中至关重要,不仅能帮助开发者追踪问题和调试程序,还是系统监控和运维的重要工具。在Spring框架下,通过合理配置Logback等日志框架,可大幅提升日志管理效率。本文将介绍如何引入日志框架、配置日志级别、在代码中使用Logger,以及利用ELK等工具进行日志聚合和分析,帮助你构建高效、可靠的日志管理系统,为开发和运维提供支持。
39 0
|
3月前
|
存储 开发框架 前端开发
循序渐进VUE+Element 前端应用开发(31)--- 系统的日志管理,包括登录日志、接口访问日志、实体变化历史日志
循序渐进VUE+Element 前端应用开发(31)--- 系统的日志管理,包括登录日志、接口访问日志、实体变化历史日志
|
2月前
|
JavaScript 开发工具
Electron 开发过程中主进程的无法看到 console.log 输出怎么办
Electron 开发过程中主进程的无法看到 console.log 输出怎么办
|
3月前
|
监控
若依修改-----其他功能,包括参数设置,通知公告,日志管理,验证码控制开关在参数设置里,若依的注册页面是隐藏的,在src的login.vue的97行注册开发,修改成true,通知公告,促进组织内部信
若依修改-----其他功能,包括参数设置,通知公告,日志管理,验证码控制开关在参数设置里,若依的注册页面是隐藏的,在src的login.vue的97行注册开发,修改成true,通知公告,促进组织内部信
|
3月前
|
存储
日志存储问题之日志在日常开发中可能被滥用如何解决
日志存储问题之日志在日常开发中可能被滥用如何解决
下一篇
无影云桌面