日志服务(原SLS)2018-1 月功能发布

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 2018年1月版本已发布,包含:Mysql Binlog/JDBC/Http Reqeust采集,IP位置/经纬度分析函数,Log4J/LogBack Appender,OSS访问日志分析等功能,欢迎试用!

[新地域] 亚太南(孟买)访问入口

[新功能] Log4J/LogBack/Consumer Library发布 使用案例

通过Appender/Producer Library可以在不改任何代码情况下,通过Config就能够非常容易完成日志实时采集工作。日志服务提供Appender有如下几大优势:

  1. 无需修改程序,修改配置即生效
  2. 异步化 + 断点续传:IO不影响主线程,支持一定网络和服务容错
  3. 高并发设计:满足海量日志写入需求
  4. 支持上下文查询功能:写入支持支持在服务端还原原始进程中精确上下文(前后N条日志)

[新功能] IP来源分析函数+功能 文档

日志服务发布IP系列分析函数,用户可以实时进行访客来源分析。

IP 系列函数能够将用户访问IP信息实时转化为国家、城市等地理位置,运营商,内外网等信息,方便进行用户来源分析与可视化。其中包括:

  1. ip_to_domain:判断IP所在的域,是内网还是外网。
  2. ip_to_country(ip) 判断IP所在的国家
  3. ip_to_province(ip) 判断IP所在的省份,如果是外国,则返回国家名称
  4. ip_to_city(ip) 判断IP所在的城市,如果是外国,则返回国家名称
  5. ip_to_geo(ip) 判断IP所在的城市的经纬度,范围结果格式为纬度,经度
  6. ip_to_provider(ip) 获取IP对应的网络运营商。

您可以根据IP分析函数,快速掌握访客的地理位置以及网络运营商等信息,构建更丰富的业务分析可视化报表。

[新功能] Logtail:MySQL Binlog采集 文档 , 使用案例

日志服务推出MySQL Binlog实时采集功能,支持自建/RDS 数据库数据采集。

MySQL Binlog采集由Logtail提供,原理类似 canal 功能,以MySQL slave的形式基于Binlog进行同步,性能较高。功能:

  1. 通过Binlog订阅数据库增量更新数据,性能优越,支持RDS等MySQL协议的数据库。
  2. 支持数据库过滤(支持正则)。
  3. 支持同步点设置。
  4. 支持Checkpoint保存同步状态。

通过该功能,可以一站式解决MySQL Binlog实时采集、分析与投递的问题。

[新功能] Logtail:JDBC查询结果采集 文档

日志服务推出JDBC查询结果采集功能,支持自建/RDS 数据库数据查询内容采集。

JDBC查询结果采集由Logtail提供,以SQL形式定期采集数据库中的数据,根据SQL可实现各种自定义采集方式。支持提供JDBC接口的数据库(包括RDS)。配置包含:分页设置,时区设置,超时设置,checkpoint状态保存,SSL,每次最大采集数量限制等功能。

通过该功能,可以一站式解决支持JDBC协议数据库查询结果实时采集问题。

[新功能] Logtail:HTTP请求结果采集 文档

日志服务推出HTTP请求结果采集功能,支持各种HTTP协议。

该功能由Logtail提供,HTTP输入可根据您的配置定期请求指定URL,将请求返回body值作为输入源上传到日志服务。功能包含:配置多个URL;请求间隔配置;支持HTTP方法配置;支持自定义header;支持设置method;支持HTTPS;支持检测body是否匹配固定pattern。

通过该功能,可以一站式解决HTTP类服务请求结果实时采集问题。

[新功能] Logtail:Nginx监控数据采集 文档

日志服务客户端(Logtail)新增Nginx监控数据采集功能,方便进行Nginx服务状态监控与分析。

Nginx服务器在打开统计(Status)情况下,可以使用Logtail HTTP查询结果采集功能,对status信息进行实时采集。通过日志服务后端查询、统计、仪表盘、自定义报警等功能,对Nginx集群进行全方位的监控。

通过该功能,可以一站式解决Nginx状态数据采集、监控与分析等问题。

[新功能] Go SDK支持Windows原生编译 Github

Go SDK 支持Windows原生编译:降低跨平台编译门槛。

在当前版本中,SDK剥离了平台相关依赖,更简洁与标准,可以方便进行跨平台的编译。

全面支持Windows、Linux和各种Go语言兼容平台与设备。

[新功能] 命令行工具(CLI)升级 工具地址, 文档

日志服务命令行控制台(CLI)功能提升,支持大数据量下载和跨Project复制。

用户可以通过CLI完成:

  1. 批量下载超百万行日志,并支持日志分行,可读时间格式输入等;
  2. 着支持跨Project复制: 包括报表/报警/快速查询/现有Logtail配置等

通过CLI可以轻松完成大规模日志下载,批量复制Project下配置功能。

[控制台] 页面新增快速分析功能

日志服务控制台新增数据源/图形/优化仪表盘性能。

用户在控制台上可以使用如下新增功能:

  1. 数据源:Logtail 支持原生Docker文件与标准输出(stdout)日志采集
  2. 图表类型:支持ip_to_province生成地图、条形图
  3. 仪表盘优化:支持一键切换x轴y轴、优化nginx仪表盘模板、优化图表渲染性能。

通过日志服务控制台功能提升,优化用户分析能力和便捷性。

[试用] OSS访问日志分析 介绍

OSS访问日志已和日志服务打通内测(延时10秒内), 提供多种开箱即用的报表, 支持深度交互查询,自制报表与异常报警。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
安全 Linux 网络安全
/var/log/secure日志详解
Linux系统的 `/var/log/secure` 文件记录安全相关消息,包括身份验证和授权尝试。它涵盖用户登录(成功或失败)、`sudo` 使用、账户锁定解锁及其他安全事件和PAM错误。例如,SSH登录成功会显示"Accepted password",失败则显示"Failed password"。查看此文件可使用 `tail -f /var/log/secure`,但通常只有root用户有权访问。
103 4
|
3天前
|
C++
JNI Log 日志输出
JNI Log 日志输出
12 1
|
3天前
|
存储 运维 大数据
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
|
9天前
|
XML Java Maven
Springboot整合与使用log4j2日志框架【详解版】
该文介绍了如何在Spring Boot中切换默认的LogBack日志系统至Log4j2。首先,需要在Maven依赖中排除`spring-boot-starter-logging`并引入`spring-boot-starter-log4j2`。其次,创建`log4j2-spring.xml`配置文件放在`src/main/resources`下,配置包括控制台和文件的日志输出、日志格式和文件切分策略。此外,可通过在不同环境的`application.yml`中指定不同的log4j2配置文件。最后,文章提到通过示例代码解释了日志格式中的各种占位符含义。
|
10天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录:log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式,而`logrus`提供更丰富的功能,如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题,如全局logger滥用、日志级别设置不当和过度依赖字段,并给出了避免错误的建议,强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践,开发者能提高应用监控和故障排查能力。
86 1
|
11天前
|
弹性计算 运维 Shell
|
14天前
|
SQL 分布式计算 监控
日志服务主要功能
本文介绍日志服务主要的功能。
30 2
|
15天前
|
缓存 Java 测试技术
Java多线程实战-实现多线程文件下载,支持断点续传、日志记录等功能
Java多线程实战-实现多线程文件下载,支持断点续传、日志记录等功能
|
18天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
89 0
|
21天前
|
SQL 存储 监控
SLS 查询新范式:使用 SPL 对日志进行交互式探索
像 Unix 命令一样支持多级管道级联,像加工预览一样实时处理查询结果,更便捷的交互,更丰富的算子,更灵活的探索半结构化日志,快来试试使用 SPL 语言查询日志数据吧~
46297 3

相关产品

  • 日志服务