日志服务(原SLS)2018-1 月功能发布

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 2018年1月版本已发布,包含:Mysql Binlog/JDBC/Http Reqeust采集,IP位置/经纬度分析函数,Log4J/LogBack Appender,OSS访问日志分析等功能,欢迎试用!

[新地域] 亚太南(孟买)访问入口

[新功能] Log4J/LogBack/Consumer Library发布 使用案例

通过Appender/Producer Library可以在不改任何代码情况下,通过Config就能够非常容易完成日志实时采集工作。日志服务提供Appender有如下几大优势:

  1. 无需修改程序,修改配置即生效
  2. 异步化 + 断点续传:IO不影响主线程,支持一定网络和服务容错
  3. 高并发设计:满足海量日志写入需求
  4. 支持上下文查询功能:写入支持支持在服务端还原原始进程中精确上下文(前后N条日志)

[新功能] IP来源分析函数+功能 文档

日志服务发布IP系列分析函数,用户可以实时进行访客来源分析。

IP 系列函数能够将用户访问IP信息实时转化为国家、城市等地理位置,运营商,内外网等信息,方便进行用户来源分析与可视化。其中包括:

  1. ip_to_domain:判断IP所在的域,是内网还是外网。
  2. ip_to_country(ip) 判断IP所在的国家
  3. ip_to_province(ip) 判断IP所在的省份,如果是外国,则返回国家名称
  4. ip_to_city(ip) 判断IP所在的城市,如果是外国,则返回国家名称
  5. ip_to_geo(ip) 判断IP所在的城市的经纬度,范围结果格式为纬度,经度
  6. ip_to_provider(ip) 获取IP对应的网络运营商。

您可以根据IP分析函数,快速掌握访客的地理位置以及网络运营商等信息,构建更丰富的业务分析可视化报表。

[新功能] Logtail:MySQL Binlog采集 文档 , 使用案例

日志服务推出MySQL Binlog实时采集功能,支持自建/RDS 数据库数据采集。

MySQL Binlog采集由Logtail提供,原理类似 canal 功能,以MySQL slave的形式基于Binlog进行同步,性能较高。功能:

  1. 通过Binlog订阅数据库增量更新数据,性能优越,支持RDS等MySQL协议的数据库。
  2. 支持数据库过滤(支持正则)。
  3. 支持同步点设置。
  4. 支持Checkpoint保存同步状态。

通过该功能,可以一站式解决MySQL Binlog实时采集、分析与投递的问题。

[新功能] Logtail:JDBC查询结果采集 文档

日志服务推出JDBC查询结果采集功能,支持自建/RDS 数据库数据查询内容采集。

JDBC查询结果采集由Logtail提供,以SQL形式定期采集数据库中的数据,根据SQL可实现各种自定义采集方式。支持提供JDBC接口的数据库(包括RDS)。配置包含:分页设置,时区设置,超时设置,checkpoint状态保存,SSL,每次最大采集数量限制等功能。

通过该功能,可以一站式解决支持JDBC协议数据库查询结果实时采集问题。

[新功能] Logtail:HTTP请求结果采集 文档

日志服务推出HTTP请求结果采集功能,支持各种HTTP协议。

该功能由Logtail提供,HTTP输入可根据您的配置定期请求指定URL,将请求返回body值作为输入源上传到日志服务。功能包含:配置多个URL;请求间隔配置;支持HTTP方法配置;支持自定义header;支持设置method;支持HTTPS;支持检测body是否匹配固定pattern。

通过该功能,可以一站式解决HTTP类服务请求结果实时采集问题。

[新功能] Logtail:Nginx监控数据采集 文档

日志服务客户端(Logtail)新增Nginx监控数据采集功能,方便进行Nginx服务状态监控与分析。

Nginx服务器在打开统计(Status)情况下,可以使用Logtail HTTP查询结果采集功能,对status信息进行实时采集。通过日志服务后端查询、统计、仪表盘、自定义报警等功能,对Nginx集群进行全方位的监控。

通过该功能,可以一站式解决Nginx状态数据采集、监控与分析等问题。

[新功能] Go SDK支持Windows原生编译 Github

Go SDK 支持Windows原生编译:降低跨平台编译门槛。

在当前版本中,SDK剥离了平台相关依赖,更简洁与标准,可以方便进行跨平台的编译。

全面支持Windows、Linux和各种Go语言兼容平台与设备。

[新功能] 命令行工具(CLI)升级 工具地址, 文档

日志服务命令行控制台(CLI)功能提升,支持大数据量下载和跨Project复制。

用户可以通过CLI完成:

  1. 批量下载超百万行日志,并支持日志分行,可读时间格式输入等;
  2. 着支持跨Project复制: 包括报表/报警/快速查询/现有Logtail配置等

通过CLI可以轻松完成大规模日志下载,批量复制Project下配置功能。

[控制台] 页面新增快速分析功能

日志服务控制台新增数据源/图形/优化仪表盘性能。

用户在控制台上可以使用如下新增功能:

  1. 数据源:Logtail 支持原生Docker文件与标准输出(stdout)日志采集
  2. 图表类型:支持ip_to_province生成地图、条形图
  3. 仪表盘优化:支持一键切换x轴y轴、优化nginx仪表盘模板、优化图表渲染性能。

通过日志服务控制台功能提升,优化用户分析能力和便捷性。

[试用] OSS访问日志分析 介绍

OSS访问日志已和日志服务打通内测(延时10秒内), 提供多种开箱即用的报表, 支持深度交互查询,自制报表与异常报警。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
7月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
191 9
|
5月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
413 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
4月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
241 13
|
4月前
|
缓存 Java 编译器
|
4月前
|
存储 SQL Oracle
|
5月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
173 5
图解MySQL【日志】——Redo Log
|
4月前
|
运维 监控 虚拟化
除了实时性能监控,Hyper-V还支持日志记录和警报功能你知道吗?
Hyper-V不仅支持实时性能监控,还具备强大的日志记录和警报功能。通过事件查看器可访问详细的日志文件,涵盖虚拟机管理、配置及Hypervisor事件,帮助故障排查和性能分析。警报功能支持预定义和自定义规则,可通过多种方式通知管理员,确保及时响应问题,保障虚拟化环境的稳定运行。
|
4月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
372 0
|
6月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
227 7
MySQL事务日志-Undo Log工作原理分析
|
5月前
|
存储 关系型数据库 MySQL
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
173 0

相关产品

  • 日志服务