iLogtail社区版使用入门 - 采集MySQL Binlog
MySQL Binlog记录了MySQL的变更日志,业界也有一些方案来同步Binlog的数据,如Canal、MaxWell、DTS等。不同的工具可以实现不同的目标,iLogtail也提供了便捷的Binlog同步功能,iLogtail采集到Binlog后,可以将结果输出到各类flusher,本文以采集到Kafka为例进行介绍。
从50家值得关注的数据领域创业公司,简单解读“最新数据基础设施”
这里,我们将一起了解最新数据领域的技术动态和分析其中所包含2020年至今的一些发展趋势。
SLS控制台日志下载功能全新升级
阿里云日志服务(SLS)支持将日志或查询分析结果下载到本地,并提供了控制台、Cloud Shell、SLS CLI以及SLS SDK四种下载方式下载日志。控制台下载的方式无需用户进行额外的配置或部署,只需一些简单的控制台操作便可完成下载,相较于另外三种方式更加便捷、易用,也更受大部分用户的青睐。
储留香:数据迁移上云避坑指南
常言道:人往高处走,水往四面八方流,而让数据如水一般流动则是IT人孜孜以求的。那么在如今这个风起“云”涌,不管是上云,还是换云都涉及到数据迁移的时代,如何做到这一点呢?今天,我们就来聊一聊。
【Logtail最佳实践】使用Logtail采集和解析Syslog数据
Syslog是一种行业标准的协议,可用来记录设备的日志。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 本文档介绍如何使用Logtail采集和解析Syslog数据。
表格存储2022年产品满意度调研
新一年的产品满意度调研开始了。作为一款云产品,最开心的事情就是陪伴客户业务一起成长。相信客户的业务也在经历大大小小的挑战,面临许许多多新的机会以及问题,而这些都会或多或少的化作对产品的要求。而这些要求以及在使用中或多或少的吐槽,就是我们产品最大的养分。这里过往的产品改进做了小结,期待大家对我们新的评价与建议。
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
阿里云文件存储NAS极速型NAS低时延,适合企业级时延敏感型核心业务;文件存储CPFS拥有高吞吐和高IOPS,适合高性能计算业务;通用型NAS大容量、高性价比、弹性扩展,支持低频介质,适合通用类文件共享业务。
一站式智能运维解决方案,企业系统的隐形守护者
数字化时代,创新迭代在加速,体验重要性在提升,IT系统架构在变革,运维数据与事件在爆发。阿里云智能运维解决方案,帮助用户高效定位问题、提升业务体验与洞察、快速创新迭代。
IT人才能嗑到的这对CP,甜!
提到文件存储,相信大家都不陌生,在浩瀚的存储发展史中,文件存储无疑是璀璨的,耀眼的。那么,在性能已经成为刚需,自动驾驶行业风起云涌的当下,文件存储与GPU这对CP又有怎样的含糖量呢?今天,我们就来嗑一嗑。
阿里云文件存储NAS(Apsara File Storage NAS)真是个好东西,相见恨晚。
阿里云文件存储NAS(Apsara File Storage NAS)是一个可大规模共享访问,弹性扩展的高性能云原生分布式文件系统。支持智能冷热数据分层,有效降低数据存储成本。
【最佳实践】使用Logtail采集MQTT协议数据
MQTT是一个为IoT设计的消息协议,是一种轻量级的基于Pub/Sub模式的通信协议,支持物联网设备与服务器之间的双向通信。广泛应用于自动驾驶、智能家居、制造业、电信等领域。 本文主要介绍如何使用日志服务Logtail作为订阅方来采集基于MQTT协议的消息。并将消息内容采集到日志服务的Logstore。
如何将“智能巡检”嵌入“业务系统”中?
智能巡检借助强大的SLS“告警2.0”消息系统,可以很好的桥接很多内部和外部的系统(EventBridge、FC等),也可以借助SLS的SDK和自定义的函数去解决针对“告警结果”的下一步“分析任务”,从而更好的实现对于问题的排查和解决。
今天的应用架构,正处在一个不可测的阶段
简介: 近几年,“可观测性”这个词在国内的 IT 圈子突然走红,阿里、百度、字节、腾讯等大厂纷纷跟进可观测性建设,更有多家基于可观测技术创业的公司陆续成立,可观测性领域的融资很火爆。这把名为“可观测性”的火,甚至从后端领域,延伸到了大前端,一些移动开发团队希望通过引入“可观测性”概念解决更深层次的应用架构问题,改善性能和业务体验。
【最佳实践】K8s挂载PVC日志采集“轻量级”玩法
本文提供一种相对Sidecar部署更轻量级的采集方式,只需要部署少量的Logtail容器,即可采集不同业务容器的日志。
数据洞察(2):描述性数据分析在日志场景的落地
随着互联网的极速发展,海量用户产生的海量日志,每天都在急剧膨胀。数据仓库就像一个个油井一样,我们都知道这里边有矿,但是怎么从矿里边挖出有价值的信息,一直是困扰矿主的最大问题。如果缺乏强大的分析工具,或者数据分析能力,积累再多的数据的数仓,都会变成数据坟墓:花了大力气采集过来数据,然后打包放到冷存仓库里边,一直没有任何访问,直到一天磁盘空间满了,把最老的数据清理掉。我们的决策,往往是依赖于个人的经验和直觉,而不是基于数据所呈现给我们的信息。而要从数据中挖掘出有用的信息辅助我们做决策,一方面需要强大的数据分析工具,一方面需要专业的数据分析经验。
K8S采集专题-稳定性:iLogtail容器重启数据可靠性探讨
容器场景下iLogtail容器的稳定性对于日志采集的可靠性尤为重要,特别是对于容器重启的情况需要通过特定的配置确保采集状态可恢复。本文简要讲解了iLogtail的状态持久化原理和容器场景状态持久化方案,并详细描述了在K8S和Docker环境下如何配置iLogtail参数和容器参数来解决这种情况下的数据采集的稳定性问题。
半天掌握日志存储 云启实验室系列课程 第五讲 | 日志服务之分析用户访问行为
本教程介绍如何使用日志服务采集NGINX日志,创建仪表盘分析用户访问行为。 专家支持:阿里云日志服务技术专家 执少
半天掌握日志存储 云启实验室系列课程 第四讲 | 日志服务之告警接入与管理
本教程介绍如何使用日志服务接入NGINX模拟数据,并配置告警规则来对NGINX访问错误进行监控。 专家支持:阿里云日志服务技术专家 寂之
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 本教程介绍如何使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储 专家支持:阿里云日志服务技术专家 王星宇 唐恺
半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计
半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。 专家支持:阿里云日志服务技术专家 灵圣
半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计
半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。专家支持:阿里云日志服务技术专家 灵圣
半天掌握日志存储 云启实验室系列课程 第一讲 | 日志服务之使用 Nginx 模式采集日志
半天掌握日志存储 云启实验室系列课程 第一讲 |日志服务之使用 Nginx 模式采集日志。 本文介绍如何通过日志服务控制台创建 Nginx 模式的Logtail 配置快速采集 Nginx 日志并进行多维度分析。专家支持:阿里云日志服务技术专家 沐自
使用Terraform玩转SLS数据加工自动化部署
本文主要介绍Terraform的安装、阿里云Terraform Provider的安装以及如何使用Terraform管理SLS数据加工。
IIS应用使用虚拟目录功能,将数据目录存放到阿里云SMB文件系统上实现弹性存储
阿里云SMB文件系统具有超大容量以及弹性扩展的能力,但是兼容性和性能相比虚拟机系统盘有差距。针对这个特性,可以将IIS应用的数据部分存放在云上文件系统中,应用核心还是在系统盘上运行,通过IIS虚拟目录功能将IIS应用与阿里云SMB文件系统的目录相连。 本文详述了如何配置IIS虚拟目录到阿里云SMB文件系统,实现存储海量扩展。
Electronic Design Automation (EDA) 数据上云解决方案
基于文件存储 CPFS 的 EDA 解决方案可大大加速 EDA 工作流,提高效能。 CPFS 提供高性能文件处理,缩短芯片上市周期;其云端的弹性扩展,使得业务快速上线;并行计算共享存储,加速工作流效率;同时提供简单易用的特性简化数据管理。本文详细剖析了 EDA 行业背景、EDA 芯片设计流程及 EDA 工具、EDA 工作流的存储需求和 IO 模型以及EDA 工作流的数据挑战。详细阐述了 EDA 数据上云整体解决方案以及基于 CPFS 的 EDA 解决方案、最佳实践及案例。
专访阿里云罗庆超:对象存储的过去、现在、未来
发展到现在,数据湖越来越受企业重视,美国知名科技企业风投机构 A16Z 经过调查发现数据湖已成为现代化数据分析架构中的中流砥柱,处于数据分析架构的核心位置。HDFS 和对象存储都是可以用来构建数据湖的组件,但对象存储更能适应当前存算分离的发展趋势,所以越来越多的企业转向了对象存储,阿里的数据湖在 2019 年也从 Hadoop 生态转向了对象存储 OSS。
使用Terraform玩转SLS告警
Terraform是有HashiCorp公司开源的IT基础架构的自动化编排工具,“Write,Plan and Create Infrastructure as Code”,Terraform的命令行接口(CLI)提供了一种简单的机制,用于将配置文件部署到阿里云或者其他任意支持的云上,并对其进行版本控制。 SLS告警告警是一站式告警监控、降噪、事务管理、通知分派的智能运维平台。包含日志/时序存储、告警监控、告警管理、通知管理等模块;强大的功能当然也有自动化配置的需求,本文将介绍如何使用Terraform进行简单的配置,即可完成在无界面的告警配置。
2022年AIOps热身赛数据可视化详解
本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解,希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下,如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/),各位可以去查阅。
在SLS上进行异常点的绘制
对于很多流量、访问量、延时等场景,很对同学在绘制大盘时想能在指标中,体现出来异常值的位置,这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来,我们一步步操作下,如何绘制异常点
通用数据库审计K8s部署实践
通用数据库审计是日志服务提供的一种轻量级、低成本数据库安全方案,在之前的文章《自建数据库没有审计方案?试试这套轻量级低成本方案》中介绍了通过部署Logtail和Packetbeat在应用服务器或者数据库服务器上的方法抓取数据库操作行为流量,从而实现数据库审计数据的采集。日志服务提供了开箱即用的审计报表和告警配置。 随着云原生技术的成熟,越来越多的应用部署在云原生环境,云原生环境的动态及灵活性给抓包工具带来了一些困难,本文主要介绍在K8s环境下如何部署这套轻量级、低成本审计方案。
通过日志服务实现数据库MySQL入湖OSS实践
日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。 本文主要介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践,并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。
零基础玩转SLS日志分析 - SLS Data Explorer发布
为了帮助用户改善查询分析体验,让更多不熟悉SQL语法的用户也能使用SLS进行日志分析,SLS推出了交互式查询分析功能(Data Explorer)。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景,助力用户专注于业务分析之上,而无需关注SQL语法细节。
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。