日志服务SLS
日志服务 (Simple Log Service,简称 SLS) 是云原生观测分析平台,为 Log/Metric/Trace 等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能,全面提升研发、运维、运营和安全等场景数字化能力。
日志服务 SLS 和开源 ELK 全面对比
本文阐述了阿里云日志服务 SLS 和开源 ELK 在性能、成本、功能等维度的对比分析。 如需了解从ES平滑迁移到SLS 攻略,请参考文章链接https://developer.aliyun.com/article/1412611
Logtail心跳问题排查手册(主机场景)
机器组有心跳是Logtail正常运行的重要基础,然而,机器组无心跳却是Logtail使用过程中非常常见的问题。事实上,这一类问题的排查有一套非常系统的流程,绝大多数问题均可在这个排查过程中得以解决。因此,本文将重点介绍如何系统排查主机场景下的机器组无心跳问题。
基于阿里云SLS日志服务的数据安全管理
伴随云原生的发展,以应用为核心的可观测监控越发得到广泛应用。在应用的可观测性中,日志的收集及内容监控是可观测性监控的一个重要内容,然而日志的监控数据,并不同于某项指标的测量结果数据,其往往都会包含业务或与用户相关的敏感性信息,因此,在落实日志的收集和监控的同时,我们也要注意日志数据的安全管理。
日志服务SLS助力Hago,积极开辟社交泛娱乐出海征程
针对HAGO出海过程中遇到的问题,阿里云为其提供了云原生可观测运维解决方案。该方案基于SLS 云原生可观测平台实现,以大数据源为支撑,兼容开源标准,可实现多场景适配 AI算法,进行大规模数据处理分析。是阿里云针对企业级大数据运维场景推出的解决方案,帮助企业在日常运维工作中轻松实现异常检测、根因分析、秒级响应以及实时预测。
鲲鹏展翅凌云志:iLogtail社区2022年度开源报告
iLogtail 作为一款阿里云日志服务(SLS)团队自研的可观测数据采集器,拥有的轻量级、高性能、自动化配置等诸多生产级别特性,可以部署于物理机、虚拟机、Kubernetes 等多种环境中,用于采集文件、容器输出、指标等各类可观测数据。iLogtail 的核心定位是帮助开发者构建统一的数据采集层,助力可观测平台打造各种上层的应用场景;此外,对于一些寻求轻量计算的场景,也可以使用 iLogtail 承担一些数据聚合、数据过滤、数据路由等功能。
一站式智能运维解决方案,企业系统的隐形守护者
数字化时代,创新迭代在加速,体验重要性在提升,IT系统架构在变革,运维数据与事件在爆发。阿里云智能运维解决方案,帮助用户高效定位问题、提升业务体验与洞察、快速创新迭代。
云原生架构下日志服务数据预处理
某家国际教育机构,提供在线教育服务,其用户主要分布在中美两地,该企业拥抱云计算,在架构设计上也全面采用了云原生服务,本实践将重点聚焦该客户以下几个典型场景: 场景一:跨地域/跨账号数据汇集 场景二:数据内容富化(join维表) 场景三:数据投递/归档、入湖分析 场景四:统一采集,按业务分发分析 场景五:数据监控与智能告警
阿里云日志服务(SLS)初体验
通过日志服务(SLS)官方文档指导进行了第一次的SLS服务体验,最终实现了SLS日志服务在所在项目上通过内嵌的方式进行日志仪表盘可视化的展示。本文通过这次开发中学习和理解的一些重点内容,进行了一次体验分享。
阿里云日志服务一直扣费关闭删除日志服务方法
阿里云日志服务开通后一直扣费,有同学删除了Project后发现还是扣费,事实上不仅要删除Project,在删除Project之前还要先删除Logstore,新手站长网来详细说下阿里云日志服务删除关闭教程
日志服务(SLS)数据模拟器初体验
日志服务SLS是阿里集团自研的一站式日志平台,用户无需开发就能能够开箱即用地使用它来提升运维、运营效率,建立 DT 时代海量日志处理能力。SLS数据模拟器是SLS提供的一个用于接入模拟数据的数据接入方式,支持丰富的数据模拟场景,包含各类阿里云云产品日志、自建开源/商业软件日志以及Metric日志等,助力用户一键式导入模拟数据。
日志服务(SLS)初体验:采集、加工、查询分析及可视化
日志服务(SLS)是阿里集团自研的一站式日志平台,它包含数据实时采集、数据加工、智能查询分析以及数据分发四大基础功能,用户无需开发就能能够开箱即用地使用它来提升运维、运营效率,建立 DT 时代海量日志处理能力。 为了让大家对日志服务有更直观的感受,本文将带着大家体验一下这些基础功能,以最常见的 Linux Syslog 作为对象,看看如何简单快速地实现对它的采集、加工、查询分析以及可视化。
基于日志服务数据加工分析Java异常日志
采集并脱敏了整个5月份的项目异常日志,准备使用日志服务数据加工做数据清洗以及分析。本案例是基于使用阿里云相关产品(OSS,RDS,SLS等)的SDK展开自身业务。需要对异常日志做解析,将原始日志中时间、错误码、错误信息、状态码、产品信息、请求方法、出错行号提取出来。然后根据提取出来的不同产品信息做多目标分发处理。对清洗后的数据做异常日志数据分析。
阿里云日志服务SLS 数据加工之多源分发详解
阿里云日志服务(SLS)**的[数据加工](https://help.aliyun.com/document_detail/125384.html?spm=a2c4g.11186623.6.883.39dd5cb5EEa920)功能是一个可托管、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。使用自建的DSL编排语法,让用户可以通过短短几行代码实现数据清洗和再投递的功能。这篇文章我们主要来介绍下数据加工下的投递功能。
将OSS数据导入日志服务操作实践
OSS与日志服务相比,OSS存储的成本更低,不过日志服务中查询、结果展示、实时监控、数据加工等功能是OSS所不具备的。所以,可以将历史数据投递到OSS进行长期保存,SLS存储近期有查询分析需要的数据。<br />当历史数据有查询、分析需求时可以将OSS中的数据重新导入到SLS。
基于日志服务数据加工与RDS MySQL做数据富化以及数据分析
准备基于sls日志服务对共享单车租赁信息进行加工分析。sls日志服务上记录2019年8月上海地区某共享单车的数据,已脱敏处理,供研究之用。因RDS数据库里保存的是每辆自行车的编号、品牌以及投放批次。因此需要使用日志服务数据加工将单车实时动态记录日志与保存在RDS上的静态数据做富化和数据分析处理。
使用dataworks投递日志服务数据到MaxCompute
日志服务提供了多种投递数据的方式,如: 在控制台直接配置投递任务,通过消费组获取数据然后再投递。控制台直接投递配置方式与dataworks类似,不过配置项更少,更容易操作。
日志服务权限配置问题
一. 权限介绍 1. 为什么需要授权 RAM授权 您可以通过RAM创建、管理用户账号(例如员工、系统或应用程序),并控制这些用户账号对您名下资源具有的操作权限。当您的企业存在多用户协同操作资源时,使用RAM可以让您避免与其他用户共享云账号密钥,按需为用户分配最小权限,从而降低您的企业信息安全风险。
日志服务在CDN流量指标中的异常检测实战(下)
阿里云开发工程师悟冥带来日志服务在CDN流量指标中的异常检测实战的分享,悟冥负责日志服务平台中时序异常和时序预测的算法研发,提升系统发现异常、处理异常的能力,致力于让算法更好的协助开发和运维人员。本次专题围绕以实时的视频流媒体数据为例,介绍常用时序异常检测算法、异常维度分析的具体应用。
日志服务在CDN流量指标中的异常检测实战(上)
阿里云开发工程师悟冥带来日志服务在CDN流量指标中的异常检测实战的分享,悟冥负责日志服务平台中时序异常和时序预测的算法研发,提升系统发现异常、处理异常的能力,致力于让算法更好的协助开发和运维人员。本次专题围绕以实时的视频流媒体数据为例,介绍常用时序异常检测算法、异常维度分析的具体应用。
日志服务索引那些事儿
日志服务索引那些事儿 简介 日志是排查问题最基本也是最重要的信息,排查问题原始的方式是登录机器查看日志,分布式场景下登录所有的机器代价太大,不利于问题排查。所以需要将日志集中采集,而且要快速查询到问题日志。
通过Alibaba Cloud Log Log4j Appender采集日志到阿里云日志服务
Log4j是Apache的一个开放源代码项目,通过使用Log4j,您可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等;您也可以控制每一条日志的输出格式;通过定义每一条日志信息的级别,您能够更加细致地控制日志的生成过程。
日志服务数据加工最佳实践: 使用正则与grok解析Ngnix日志
本篇介绍日志服务数据加工最佳实践: 使用正则表达式与grok解析Ngnix日志, 使用grok自带的400+模式实现最简化解析
小微企业阿里云最佳实践系列(四):云监控与 SLS 日志服务
本博文主要为大家介绍阿里云提供的基础云监控、日志服务两大产品,通过云监控与日志服务可以做到每天不需要时刻关注所开发的软件系统、服务器、数据库等健康状况就掌握异常情况,并能及时进行应急响应和处理。