阿里云日志服务SLS全流程对接与深度使用指南

在数字化转型的浪潮中，企业系统产生的日志数据呈爆发式增长。传统的日志存储与分析方案面临着部署复杂、扩展性差、分析能力弱等痛点。阿里云日志服务（Simple Log Service，简称SLS）作为云原生的一站式可观测数据平台，为日志、指标、追踪数据提供大规模、低成本、实时的采集、存储、分析与可视化能力，完美解决企业日志管理难题。本文将从基础概念入手，系统讲解SLS的全流程对接与深度使用，帮助读者快速掌握这一强大工具。

一、SLS核心概念与架构解析

1.1 核心概念定义

SLS的核心数据模型与传统数据库有相似之处，但也具备日志场景的独特性，理解这些概念是使用SLS的基础：

Project（项目）：SLS的最高层级资源，相当于数据库中的Database，用于隔离不同业务或环境的数据，每个Project对应一个地域，创建后不可修改地域。
Logstore（日志库）：Project下的核心数据容器，相当于数据库中的Table，用于存储同一类型的日志数据，如Nginx访问日志、应用错误日志等，支持自定义字段与索引。
Logtail（采集器）：SLS自研的轻量级采集代理，部署在服务器、容器等节点上，负责采集本地日志文件、系统日志等数据，具备断点续传、自动发现新文件等能力。
Shard（分片）：Logstore的数据存储单元，每个Shard是一个读写分离的分区，数据写入时按Shard分散存储，查询时并行处理，提升吞吐与性能，Shard数量可动态调整。
索引（Index）：SLS为日志数据建立的查询索引，支持全文索引与字段索引，可按字段类型（文本、数值、布尔等）配置，实现秒级检索海量数据。

1.2 整体架构与核心优势

SLS采用云原生分布式架构，底层基于阿里云飞天盘古分布式文件系统，实现数据的高可靠、高可用存储，整体架构分为采集层、存储层、计算层、应用层四层。

采集层：支持多样化采集方式，包括Logtail代理采集、SDK/API采集、云产品原生集成（ECS、RDS、SLB等）、WebTracking前端采集、Syslog/Kafka标准协议接入等，覆盖主机、容器、应用、移动端等全场景数据源。

存储层：采用多副本机制（默认三副本）保障数据可靠性，支持热存储、冷存储、归档存储三种类型，热存储用于高频访问的实时日志，冷存储降低低频数据成本，归档存储用于长期归档，实现存储成本的智能优化。

计算层：内置高性能查询分析引擎，支持SLS DSL、标准SQL92、SPL（数据加工专用语言），提供文本处理、JSON解析、正则提取、字段映射等丰富函数，支持千亿级数据秒级查询分析。

应用层：提供可视化报表、告警管理、数据投递（到OSS、MaxCompute等）、AIOps智能分析（异常检测、根因分析）等功能，满足运维、运营、安全等多场景需求。

SLS的核心优势可总结为：全托管免运维，无需自建ELK集群，自动扩容与运维；极致性能，近实时写入、秒级查询千亿数据；高性价比，按量计费，无资源闲置成本；安全可靠，HTTPS加密传输、多副本存储、细粒度权限控制。

二、SLS服务开通与基础资源创建

2.1 服务开通

阿里云日志服务SLS为新用户提供免费额度，可直接开通使用，无需付费。

需要先登录阿里云控制台，点击：阿里云控制台

登录后，在顶部搜索框输入“日志服务SLS”，进入SLS产品控制台，点击“开通服务”，按提示完成开通即可。开通后，即可进入SLS管理控制台，进行后续资源创建。

2.2 创建Project（项目）

Project是SLS的基础容器，创建时需指定地域，建议选择与业务资源（如ECS、RDS）同地域，降低网络延迟与成本。

创建步骤：

在SLS控制台左侧导航栏，点击“项目管理”，进入项目列表页面；
点击右上角“创建项目”，在弹出的对话框中，填写项目名称（仅支持小写字母、数字、连字符、下划线，开头结尾为字母或数字）、选择地域、填写描述信息；
点击“确定”，完成Project创建，创建后地域不可修改。

2.3 创建Logstore（日志库）

Logstore用于存储具体日志数据，创建时需配置存储类型、Shard数量、数据保留时间、索引配置等关键参数。

创建步骤：

进入已创建的Project详情页，点击左侧“日志库”，点击“创建日志库”；
填写日志库名称（命名规则同Project）、选择存储类型（热存储/冷存储）、设置数据保留时间（1-3650天）、填写描述；
配置Shard数量：默认1个，可根据日志写入量调整，写入量越大，Shard数量越多，后续可动态扩容；
索引配置：默认开启全文索引，可按需开启字段索引，选择字段类型（text/long/double/bool），配置分词符（如逗号、空格、冒号）；
点击“确定”，完成Logstore创建。

2.4 获取访问密钥（AccessKey）

无论是控制台操作、SDK开发还是Logtail配置，都需要使用AccessKey进行身份认证，AccessKey包括AccessKey ID和AccessKey Secret，需妥善保管，避免泄露。

获取步骤：

登录阿里云控制台，点击右上角头像，选择“访问控制RAM”；
在左侧导航栏点击“用户管理”，创建RAM用户（建议不使用主账号AccessKey）；
为RAM用户授权SLS相关权限（如AliyunSLSFullAccess、AliyunSLSWriteOnlyAccess等）；
点击RAM用户详情页的“创建AccessKey”，获取AccessKey ID和AccessKey Secret，保存备用。

三、Logtail采集：主机与容器日志接入

Logtail是SLS推荐的采集方式，适用于服务器、容器等节点的本地日志文件采集，支持Linux、Windows、macOS系统，具备轻量、高效、稳定的特点。

3.1 阿里云ECS服务器采集（一键安装）

阿里云ECS服务器默认预装Logtail，可直接通过控制台配置采集规则，无需手动安装。

配置步骤：

进入SLS控制台，选择目标Project，点击左侧“Logtail配置”，点击“创建配置”；
配置名称：自定义，唯一标识采集规则；
输入配置：类型选择“文本日志”，日志路径填写ECS上的日志文件路径（如/data/nginx/logs/*.log），支持通配符**匹配多级目录；
日志处理配置：添加日志样例，配置解析规则（如正则解析、JSON解析、分隔符解析），将非结构化日志转为结构化数据；
应用机器组：选择ECS所在的机器组（默认自动创建ECS机器组），点击“确定”，完成配置；
验证：配置生效后，Logtail自动采集指定路径的日志，可在Logstore中查询到数据。

3.2 非阿里云主机采集（手动安装）

对于非阿里云主机（自建IDC、其他云厂商服务器），需手动安装Logtail并配置AccessKey，实现日志采集。

Linux主机安装步骤：

登录Linux主机，执行以下命令下载安装Logtail：
wget https://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh
chmod +x logtail.sh
./logtail.sh install
配置AccessKey与Endpoint：编辑/etc/ilogtail/conf.json文件，填写AccessKey ID、AccessKey Secret、Endpoint（如cn-hangzhou.log.aliyuncs.com）、Project名称；
重启Logtail服务：systemctl restart ilogtail；
在SLS控制台创建Logtail配置，关联该主机，完成采集配置。

Windows主机安装步骤类似，下载对应Windows版本的Logtail安装包，安装后配置conf.json文件，启动服务即可。

3.3 容器（K8s）日志采集

对于K8s集群（阿里云ACK、自建K8s），SLS提供专用的Logtail采集插件，支持容器标准输出、容器内日志文件采集。

阿里云ACK集群配置步骤：

进入ACK集群控制台，选择目标集群，点击左侧“应用”->“Helm”，点击“应用目录”；
搜索“ack-sls-logtail”，点击安装，配置SLS的AccessKey、Endpoint、Project名称；
安装完成后，Logtail自动部署到集群所有节点，采集容器日志；
在SLS控制台创建Logtail配置，选择容器日志类型，配置采集规则，即可收集容器日志。

四、SDK集成：应用程序日志直接写入SLS

SLS提供Java、Python、Go、PHP、Node.js等多语言SDK，支持应用程序直接将日志数据写入SLS，无需中间文件，适用于微服务、后端应用等场景。

4.1 Python SDK使用示例

Python SDK简洁易用，适合快速开发集成，以下为日志写入与查询的完整示例。

步骤1：安装Python SDK

pip install aliyun-log-python-sdk

步骤2：日志写入代码示例

from aliyun.log import LogClient, LogItem, PutLogsRequest
import os
import time
# 配置参数
endpoint = "cn-hangzhou.log.aliyuncs.com"  # 地域Endpoint
access_key_id = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_ID")  # 从环境变量获取AK
access_key_secret = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_SECRET")
project_name = "your-project"  # 你的Project名称
logstore_name = "your-logstore"  # 你的Logstore名称
# 创建客户端
client = LogClient(endpoint, access_key_id, access_key_secret)
# 构造日志数据
log_group = []
for i in range(10):
    log_item = LogItem()
    # 设置日志时间
    log_item.set_time(int(time.time()))
    # 设置日志字段（key-value）
    contents = [
        ("service_name", "user-service"),
        ("level", "INFO" if i % 2 == 0 else "ERROR"),
        ("message", f"User {i} login successfully"),
        ("ip", f"192.168.1.{i}")
    ]
    log_item.set_contents(contents)
    log_group.append(log_item)
# 写入日志
request = PutLogsRequest(project_name, logstore_name, log_group=log_group, compress=False)
try:
    response = client.put_logs(request)
    print("日志写入成功，RequestId:", response.request_id)
except Exception as e:
    print("日志写入失败:", str(e))

步骤3：日志查询代码示例（SPL查询）

from aliyun.log import LogClient
import os
# 配置参数
endpoint = "cn-hangzhou.log.aliyuncs.com"
access_key_id = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_ID")
access_key_secret = os.environ.get("ALIBABA_CLOUD_ACCESS_KEY_SECRET")
project_name = "your-project"
logstore_name = "your-logstore"
# 创建客户端
client = LogClient(endpoint, access_key_id, access_key_secret)
# SPL查询语句：查询ERROR级别的日志
query = "* | where level='ERROR' | limit 10"
# 执行查询
try:
    response = client.get_logs(project_name, logstore_name, query=query)
    print("查询结果:")
    for log in response.logs:
        print(log)
except Exception as e:
    print("查询失败:", str(e))

4.2 Java SDK使用示例

Java SDK适用于Java后端应用，以下为Maven依赖配置与日志写入示例。

步骤1：Maven依赖配置

<dependency>
    <groupId>com.aliyun.openservices</groupId>
    <artifactId>aliyun-log-java-sdk</artifactId>
    <version>0.6.85</version>
</dependency>

步骤2：日志写入代码示例

import com.aliyun.openservices.log.Client;
import com.aliyun.openservices.log.common.LogItem;
import com.aliyun.openservices.log.request.PutLogsRequest;
import com.aliyun.openservices.log.response.PutLogsResponse;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
public class SlsLogWriter {
    public static void main(String[] args) {
        // 配置参数
        String endpoint = "cn-hangzhou.log.aliyuncs.com";
        String accessKeyId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String accessKeySecret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
        String projectName = "your-project";
        String logstoreName = "your-logstore";
        // 创建客户端
        Client client = new Client(endpoint, accessKeyId, accessKeySecret);
        // 构造日志数据
        List<LogItem> logGroup = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            LogItem logItem = new LogItem();
            logItem.SetTime((int) (System.currentTimeMillis() / 1000));
            Map<String, String> contents = new HashMap<>();
            contents.put("service_name", "order-service");
            contents.put("level", "INFO");
            contents.put("message", "Order " + i + " created");
            logItem.SetContents(contents);
            logGroup.add(logItem);
        }
        // 写入日志
        PutLogsRequest request = new PutLogsRequest(projectName, logstoreName, logGroup);
        try {
            PutLogsResponse response = client.PutLogs(request);
            System.out.println("日志写入成功，RequestId:" + response.GetRequestId());
        } catch (Exception e) {
            System.out.println("日志写入失败:" + e.getMessage());
        }
    }
}

五、日志查询与分析：SPL与SQL实战

SLS支持两种查询分析方式：SPL（Search Processing Language）和标准SQL，SPL语法简洁灵活，适合实时查询；SQL兼容性强，适合复杂分析与报表。

5.1 SPL查询基础语法

SPL采用“查询语句 | 管道命令”的格式，支持过滤、字段提取、聚合、排序、分页等操作，常用命令如下：

*：查询所有日志；
where：按条件过滤，如where level='ERROR'；
fields：指定返回字段，如fields message,ip；
stats：聚合统计，如stats count(*) by level；
sort：排序，如sort by time desc；
limit：分页，如limit 10。

常用SPL查询示例：

# 查询最近1小时ERROR级别的日志，返回前10条
* | where level='ERROR' | sort by time desc | limit 10
# 统计各日志级别的数量
* | stats count(*) as cnt by level
# 统计每个IP的访问次数，按次数降序排列
* | stats count(*) as visit_cnt by ip | sort by visit_cnt desc
# 模糊查询包含"login"的日志
* | where message like '%login%'

5.2 SQL查询基础语法

SLS支持标准SQL92语法，可直接使用SELECT、FROM、WHERE、GROUP BY、ORDER BY等关键字，Logstore对应SQL中的表名。

常用SQL查询示例：

# 查询最近1小时ERROR级别的日志
SELECT * FROM `your-logstore` WHERE level = 'ERROR' LIMIT 10
# 统计各日志级别的数量
SELECT level, COUNT(*) AS cnt FROM `your-logstore` GROUP BY level
# 统计每个IP的访问次数
SELECT ip, COUNT(*) AS visit_cnt FROM `your-logstore` GROUP BY ip ORDER BY visit_cnt DESC
# 模糊查询包含"login"的日志
SELECT * FROM `your-logstore` WHERE message LIKE '%login%'

5.3 日志数据加工与结构化

原始日志多为非结构化文本，SLS支持在采集时、写入时、写入后进行数据加工，将非结构化日志转为结构化数据，提升查询分析效率。

常用加工方式：

正则解析：通过正则表达式提取日志中的关键字段，如Nginx日志中的status、request_uri；
JSON解析：直接解析JSON格式日志，自动提取字段；
字段映射：将原始字段映射为标准字段，统一日志格式；
数据脱敏：对手机号、身份证号等敏感数据进行脱敏处理。

六、可视化与告警：日志价值落地

日志的核心价值在于通过分析发现问题、定位故障、优化业务，SLS提供可视化报表与告警功能，帮助用户实时监控日志数据，及时发现异常。

6.1 可视化报表创建

SLS支持多种可视化图表，包括折线图、柱状图、饼图、表格、地图等，可快速创建自定义报表，直观展示日志数据。

创建步骤：

进入Logstore详情页，点击左侧“可视化”，点击“创建仪表盘”；
填写仪表盘名称，选择图表类型，配置查询语句（SPL/SQL）；
设置图表样式（标题、颜色、坐标轴），点击“确定”，完成图表创建；
可添加多个图表，组成综合仪表盘，支持全屏展示与导出。

6.2 告警规则配置

告警功能可实时监控日志数据，当满足预设条件时，通过短信、邮件、钉钉、企业微信等方式通知用户，及时发现异常（如错误日志激增、接口响应超时）。

配置步骤：

进入Logstore详情页，点击左侧“告警”，点击“创建告警规则”；
填写告警名称，配置查询语句（如查询ERROR日志数量大于10）；
设置告警条件（如连续3分钟满足条件）、告警级别（紧急/重要/一般）；
配置通知方式（短信、邮件、钉钉机器人），填写接收人信息；
点击“确定”，完成告警规则配置，启用后即可实时监控。

七、安全与权限管理：保障数据安全

日志数据常包含敏感信息（如用户手机号、业务数据），SLS提供完善的安全与权限管理机制，保障数据安全。

7.1 RAM权限精细化管理

通过阿里云RAM服务，可创建不同权限的子账号，实现最小权限授权，避免主账号权限过大带来的风险。

常用权限策略：

只读权限：仅允许查询日志，禁止写入、删除；
读写权限：允许写入、查询日志，禁止删除；
管理员权限：拥有SLS所有操作权限。

7.2 数据加密与访问控制

SLS支持传输加密（HTTPS）与存储加密（AES-256），保障数据传输与存储安全；支持IP白名单、VPC访问控制，限制访问来源，防止非法访问。

八、成本优化：高效使用SLS

SLS采用按量计费模式，主要费用包括存储费用、写入流量费用、查询流量费用、外网流量费用，合理配置可有效降低成本。

成本优化技巧：

选择合适存储类型：热存储用于实时日志，冷存储用于低频访问日志，归档存储用于长期归档，降低存储成本；
合理设置数据保留时间：根据业务需求设置保留时间，避免不必要的存储；
内网访问免流量：阿里云ECS、RDS等资源同地域内网访问SLS，免外网流量费用；
优化查询语句：避免全表扫描，使用索引字段过滤，减少查询流量；
关闭不必要的索引：仅对常用查询字段开启索引，减少索引存储开销。

九、常见问题与解答

Q1：SLS与自建ELK相比有哪些优势？

A1：SLS是全托管服务，无需部署、运维ELK集群，自动扩容；性能更强，支持千亿级数据秒级查询；成本更低，按量计费，无闲置资源成本；集成阿里云生态，可无缝对接ECS、RDS、OSS等产品。

Q2：Logtail采集不到日志怎么办？

A2：首先检查Logtail是否正常运行（systemctl status ilogtail）；其次检查日志路径是否正确、文件是否存在；然后检查AccessKey配置是否正确、权限是否足够；最后检查网络是否连通，防火墙是否拦截端口。

Q3：SLS日志可以导出到其他存储吗？

A3：可以，SLS支持数据投递功能，可将日志数据定时导出到阿里云OSS、MaxCompute、DataHub等存储或计算服务，实现数据的长期归档与离线分析。

Q4：SLS支持多语言日志吗？

A4：支持，SLS采用UTF-8编码，支持中文、英文、日文等全球主流语言，可正常解析与检索多语言日志数据。

Q5：SLS的日志数据可以保存多久？

A5：SLS支持自定义数据保留时间，范围1-3650天，同时支持归档存储，可长期保存日志数据，满足合规要求。

Q6：如何避免SLS日志数据泄露？

A6：通过RAM精细化权限管理，限制访问权限；开启数据加密（传输加密、存储加密）；配置IP白名单与VPC访问控制；对敏感数据进行脱敏处理，多重保障数据安全。

十、总结

阿里云日志服务SLS作为云原生一站式可观测数据平台，凭借全托管、高性能、高性价比、安全可靠的优势，成为企业日志管理的首选方案。本文从基础概念、服务开通、资源创建、Logtail采集、SDK集成、查询分析、可视化告警、安全权限、成本优化等方面，系统讲解了SLS的全流程对接与深度使用，帮助读者快速掌握SLS的核心能力与实操技巧。

在实际应用中，企业可根据业务场景选择合适的采集方式（Logtail/SDK），通过SPL/SQL进行高效查询分析，利用可视化与告警功能实现日志的实时监控与异常预警，结合安全权限与成本优化策略，构建安全、高效、低成本的企业级日志管理平台，为业务稳定运行与智能决策提供数据支撑。

阿里云日志服务SLS全流程对接与深度使用指南

阿里云日志服务SLS全流程对接与深度使用指南

一、SLS核心概念与架构解析

1.1 核心概念定义

1.2 整体架构与核心优势

二、SLS服务开通与基础资源创建

2.1 服务开通

2.2 创建Project（项目）

2.3 创建Logstore（日志库）

2.4 获取访问密钥（AccessKey）

三、Logtail采集：主机与容器日志接入

3.1 阿里云ECS服务器采集（一键安装）

3.2 非阿里云主机采集（手动安装）

3.3 容器（K8s）日志采集

四、SDK集成：应用程序日志直接写入SLS

4.1 Python SDK使用示例

4.2 Java SDK使用示例

五、日志查询与分析：SPL与SQL实战

5.1 SPL查询基础语法

5.2 SQL查询基础语法

5.3 日志数据加工与结构化

六、可视化与告警：日志价值落地

6.1 可视化报表创建

6.2 告警规则配置

七、安全与权限管理：保障数据安全

7.1 RAM权限精细化管理

7.2 数据加密与访问控制

八、成本优化：高效使用SLS

九、常见问题与解答

十、总结

热门文章

最新文章

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

阿里云日志服务SLS全流程对接与深度使用指南

阿里云日志服务SLS全流程对接与深度使用指南

一、SLS核心概念与架构解析

1.1 核心概念定义

1.2 整体架构与核心优势

二、SLS服务开通与基础资源创建

2.1 服务开通

2.2 创建Project（项目）

2.3 创建Logstore（日志库）

2.4 获取访问密钥（AccessKey）

三、Logtail采集：主机与容器日志接入

3.1 阿里云ECS服务器采集（一键安装）

3.2 非阿里云主机采集（手动安装）

3.3 容器（K8s）日志采集

四、SDK集成：应用程序日志直接写入SLS

4.1 Python SDK使用示例

4.2 Java SDK使用示例

五、日志查询与分析：SPL与SQL实战

5.1 SPL查询基础语法

5.2 SQL查询基础语法

5.3 日志数据加工与结构化

六、可视化与告警：日志价值落地

6.1 可视化报表创建

6.2 告警规则配置

七、安全与权限管理：保障数据安全

7.1 RAM权限精细化管理

7.2 数据加密与访问控制

八、成本优化：高效使用SLS

九、常见问题与解答

十、总结

热门文章

最新文章

相关电子书