日志服务(2018-08)6月新功能发布

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 阿里云日志服务6月新功能发布

Logstore支持Shard自动分裂

日志服务提供shard的split和merge功能,用户可以根据需求调整Logstore处理能力。在打开自动分裂后,服务会自动根据当前流量进行评估,当超过当前流量一段时间后系统会自动分裂Logstore下Shard数目,达到自适应流量目的。

查询分析(LogSearch/Analytics) 支持外部MySQL联合查询/结果写入

日志服务新增Join功能,可以在查询分析阶段对外部MySQL中数据进行联合查询,增强查询体验。同时支持将计算结果写入MySQL表中。(当前MySQL功能需要通过CLI 进行配置)

通过联合查询功能,可以进一步提升日志分析能力。

查询分析(LogSearch/Analytics) 新增JSON/Array/Map展开、空间几何运算、地理(GeoHash)函数支持

日志服务查询分析(LogSearch/Analytics)新增JSON/Array(unnest)展开、空间几何运算、地理(GeoHash)函数支持,主要包括:

  1. 对元素中的Json/Array/Map数据进行行展开
  2. Well-Known Text (WKT) 格式描述的几何实体之间的位置、距离、大小等运算
  3. 根据经纬度计算GeoHash位置

通过新增函数提升多样日志数据分析能力。

Logtail支持Beats/Logstash协议

日志服务Logtail支持Lumberjack协议作为输入源,可支持将Beats系列软件(MetricBeat、PacketBeat、Winlogbeat、Auditbeat、Filebeat、Heartbeat等)、Logstash采集数据转发到日志服务。支持各类软件/应用Metric、各类网络协议、审计、Windows事件等数据实时采集到日志服务,便于对这类数据有存储、检索、统计、监控需求的用户快速接入。

数据接入向导支持IIS日志配置

日志服务支持IIS日志采集,包括Microsoft IIS日志格式、NCSA公用日志文件格式、W3C扩展文件日志格式三种,默认格式为W3C。
通过数据接入向导,可以在不到1分钟时间内一站式完成IIS日志接入、配置以及可视化报表等功能。

Logtail 快速诊断工具升级

Logtail 快速诊断工具升级,提升异常诊断准确性以及交互体验

日志服务Logtail快速诊断工具功能升级,支持交互式诊断功能,根据诊断问题以及用户选择自动选择诊断项目,大大提升异常诊断准确性以及交互体验。

日志服务控制台体验优化

控制台体验完成如下优化:

  • JSON类型字段子项最大配置从20个提高到50个
  • 优化查询分析框换行功能,用户可根据喜好选择Ctrl+Enter换行还是Enter换行,并提供自动换行
  • 优化错误提示窗UI以及错误信息
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
XML Java Maven
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
这篇文章是Spring5框架的入门到实战教程,介绍了Spring5的新功能——整合日志框架Log4j2,包括Spring5对日志框架的通用封装、如何在项目中引入Log4j2、编写Log4j2的XML配置文件,并通过测试类展示了如何使用Log4j2进行日志记录。
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
|
Java Spring 容器
Spring5系列学习文章分享---第六篇(框架新功能系列+整合日志+ @Nullable注解 + JUnit5整合)
Spring5系列学习文章分享---第六篇(框架新功能系列+整合日志+ @Nullable注解 + JUnit5整合)
193 0
|
运维 监控 UED
阿里云EMAS远程日志发布新功能(支持移动端设备主动上报日志)
使用阿里云EMAS远程日志最新推出的主动上报日志服务,由移动端提供主动上报接口,通过代码逻辑控制是否主动上报设备日志,问题出现的同时获取设备日志,极大提升特殊场景的日志获取效率,提升问题排查体验和用户满意度。
888 0
阿里云EMAS远程日志发布新功能(支持移动端设备主动上报日志)
|
分布式计算 监控 Shell
新功能:日志服务IPython/Jupyter Notebook扩展发布
日志服务发布IPython/Jupyter Notebook扩展,可以轻松地使用Python对海量数据进行深度加工(ETL)、交互式分析(通过SQL、DataFrame)、机器学习与可视化等。
4586 0
|
SQL JSON 监控
新功能:日志服务命令行工具ETL发布!
日志服务命令行工具ETL发布,解决数据采集、分析查询、投递归档、外部整合过程中的数据规整痛点,提供实时、可靠、可扩展、可管理的运行模式支持,以及全面简单的ETL规则,并支持丰富的扩展支持。
3992 0
|
新零售 存储 数据采集
新功能: 阿里云爬虫风险管理利器 - 实时日志分析 (一)
阿里云反爬管理与日志服务打通,对外开放访问与机器人攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
3793 0
|
弹性计算 监控 关系型数据库
日志服务新功能发布(2)--弹性伸缩(Merge/Split)
在之前的文章[《日志服务(原SLS)新功能发布(1)--支持保序写入和消费》](https://yq.aliyun.com/articles/5581)中,我们提到了Shard支持Key映射的特性,通过这个特性能够支持对序有需求的应用场景。今天我们给大家介绍一个在削峰填谷或流量突增情况下的功能:弹性
1853 0
|
分布式计算 监控 负载均衡
日志服务(原SLS)新功能发布(3)--多实例协同消费库(loghub client library)
loghub client library是对LogHub消费者提供的高级模式,解决多个消费者同时消费logstore时自动分配shard问题。 例如在storm、spark场景中多个消费者情况下,自动处理shard的负载均衡,消费者failover等逻辑。用户只需专注在自己业务逻辑上,而无需关心
3605 0
|
存储 分布式计算 监控
日志服务(原SLS)新功能发布(4)-- 使用OSS进行日志存储与分析
对于大部分开发者而言,经常会面临这样一种场景:“我知道日志数据很宝贵,但今天没有明确需要,能否有一种成本很低的方案先把日志备份起来,不占用空间。有一天有明确需求时,能够快速、方便分析日志”。 日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投
2727 0
|
监控
日志服务(原SLS)新功能发布(15)--控制台支持查看协同消费组(ConsumerGroup)消费进度
日志服务中分区(Shard)是每个日志库下基本读写单元,每个分区能承载一定量的服务能力,随着日志数据不断增加,需要通过分裂增加Shard数量,对于多个Shard如果直接通过PullLogs接口拖取数据的话,需要处理负载均衡和故障恢复等各种问题
3757 0

相关产品

  • 日志服务
  • 下一篇
    开通oss服务