ECS-日志采集 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 ECS-日志采集

开发者学堂课程【阿里云日志服务使用教程ECS-日志采集学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/425/detail/5338


ECS-日志采集

日志服务

1.定义

日志服务(Log Service.简称 Log)是针对日志类数据一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。

用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立 DT 时代海量日志处理能力。

2.采集方式

(1)使用logtail 接入服务,通过简单的配置就可以收集服务器上的日志,而且不用修改任何应用程序代码。

(2)如果希望编程写入日志,loghub 提供多种语言

(Java/.NET/PHP/Python)的 SDK 方便您使用。

(3)通过 Tracking 功能支持 HTML、H5、iOS 和 Android 平台数据的采集,使用 tracking 方式写入日志要求您先开通 logstore 上的 Tracking 功能。

开通方法请参考 Web Tracking 接入用户端日志。

(4)如果需要通过其他语言代码写入日志,可以使用日志服务的 Rest 风格 API 来完成。

注意:

无论通过何种方式写入日志,服务端可以接受的日志字段中时间为以当前基点-7天-15分钟范围内数据。

否则,该日志数据将会被直接拒绝。具体请参考 PostLogStoreLogs 接口。

3.面向服务器采集

Agent (logtail)

日志服务 logtail 接入服务的客户端使用正则表达式从用户原始数据提取信息,组织成为符合日志服务日志数据模型的结构。

·单行日志

·Json 格式

·Delimiter 格式

·通用日志格式:参见正则表达式

以下是常见配置示例:

Nginx,Apache,Log4J,Wordpress,Python,NodeJS,分隔符

(Delimiter,如 CSV、TSV 等格式)、logstash,ThinkPHP,

IIS(Windows 平台,默认格式)/logstash。

4.采集日志

(1)选择数据源

(2)指定收集模式

(3)应用到机器组

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
监控 关系型数据库 MySQL
|
7天前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器,对 Kubernetes 环境下日志采集有着非常好的支持,本文跟随 iLogtail 的脚步,了解容器运行时与 K8s 下日志数据采集原理。
|
6天前
|
关系型数据库 MySQL 应用服务中间件
服务器端日志在哪里
服务器端日志在哪里
|
2月前
|
监控 应用服务中间件 网络安全
Nightingale——部署客户端采集其他服务器状态信息
Nightingale——部署客户端采集其他服务器状态信息
55 1
Nightingale——部署客户端采集其他服务器状态信息
|
2月前
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
|
2月前
|
Prometheus 监控 Cloud Native
Web服务器的日志分析与监控
【8月更文第28天】Web服务器日志提供了关于服务器活动的重要信息,包括访问记录、错误报告以及性能数据。有效地分析这些日志可以帮助我们了解用户行为、诊断问题、优化网站性能,并确保服务的高可用性。本文将介绍如何使用日志分析和实时监控工具来监测Web服务器的状态和性能指标,并提供具体的代码示例。
163 0
|
3月前
|
消息中间件 Kubernetes Kafka
日志采集/分析
日志采集/分析
57 7
|
2月前
|
存储 Kubernetes Java
在k8S中,容器内日志是怎么采集的?
在k8S中,容器内日志是怎么采集的?
|
2月前
|
数据采集 监控 Kubernetes
Job类日志采集问题之iLogtail以减小容器发现和开始采集的延时如何优化
Job类日志采集问题之iLogtail以减小容器发现和开始采集的延时如何优化
|
2月前
|
数据采集 Kubernetes Java
Job类日志采集问题之在日志中添加容器的元信息标签,如何操作
Job类日志采集问题之在日志中添加容器的元信息标签,如何操作
下一篇
无影云桌面