技术博文

数据驱动创新，创新鉴于未来。

K8s丰富的controller为分布式任务编排提供了极大的便利，然而任务的时长可能很短（如定时清理数据的任务），甚至有些任务因为一启动就运行失败出现秒退的情况，这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案，分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。

iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)

本文档介绍如何将CDH6中本地HDFS数据迁移到文件存储HDFS版，并配置CDH上的HDFS服务、Hive服务、Spark服务、HBase服务使用文件存储HDFS版，实现存储计算分离。

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS版数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到文件存储HDFS版上。

SLS告警通知体验重磅升级，支持了移动端免登陆的能力，从而可以随时随地在手机上查看告警信息并进行后续的管理，提升运维效率。

本文档主要介绍如何在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Spark。

对象存储OSS是阿里云提供的云存储服务，能够以低成本为用户提供高可靠性的海量数据存储服务。作为基础服务，用户需要时刻关注OSS的使用状况，检测异常状态，从而及时作出响应。

除了在SLS控制台创建告警监控以外，SLS的SDK也提供了对告警的管理功能，其中主要包括了初始化告警资源，告警监控规则的增删改查，告警资源的增删改查等功能。

AES加密解密

Loki是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。用户既可以将Loki告警直接接入SLS开放告警，也可以先将Loki接入Grafana或Alert Manager，再借助Grafana或Alert Manager实现Loki间接接入SLS开放告警。

对于运维的日常工作来说，服务器监控是必须且最基础的一项内容。在企业基础设施运维过程中，管理员必须能够掌握所有服务器的运行状况，以便及时发现问题，尽可能减少故障的发生。本次主要介绍如何使用智能巡检，帮助您快速完成机器（ECS）相关指标的监控，降低您设置告警的复杂规则和冗余的设置。

阿里云的云监控服务用于监控阿里云资源和互联网应用，包括阈值告警和事件告警两种模式，支持配置多种告警通知渠道。您可以将日志服务开放告警配置为其中一个通知渠道，从而由日志服务告警系统完成告警降噪、静默等处理，并且接入包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道。

近期，我司处理了一个由10台华为OceanStor存储组成的vSAN超融合架构，其中一台存储闪存盘出现故障，用户取下后用新的闪存盘代替，然后对该闪存盘所在的磁盘组进行重建，导致集群中一台使用0置备策略的虚拟机数据丢失。

爬虫框架：Scrapy

文本主要介绍阿里云块存储团队同学们的踩坑经验，总结成案例和方法分享公示，实践和方法论不限于分布式系统。

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结，有错误之处欢迎交流。

Alibaba Cloud Lens 作为云产品可观测平台，可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度，提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下，低门槛实现对云产品的可观测。

Prometheus作为一个开源的云原生监控系统，具有很广泛的应用场景，通过各种Exporter收集各类设备，应用的指标，将各类指标抽象为时序数据，在Prometheus上可以使用PromQL进行高效的指标查询和分析。SLS告警是云上的一站式告警监控运维平台，支持各种Ops场景。SLS告警系统主要包括指标采集，监控系统，告警管理，通知管理等子系统。本文介绍如何将Prometheus告警无缝转换为SLS告警，并使用SLS告警的管理功能。

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据，例如日志、跟踪和指标，目前已经正是开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在主机环境进行安装、配置、使用的最简流程，帮助用户使用预编译版本快速上手ilogtail日志采集。

SLS发布了一款日志应用：告警管理中心；告警管理中心是一套以业务为中心告警管理运维平台，企业可以将同时将已有的监控告警平台如Zabbix，Prometheus，Datadog等产生的告警和SLS上的Project/Logstore等资源产生的告警添加到告警运维运维中心进行统一的告警管理和通知配置，将相关业务的告警收敛到一个地方进行运维管理，可以有效的提高运维效率。

当前 NVMe 云盘结合了业界最先进的软硬件技术，在云存储市场，首创性同时实现了 NVMe 协议 + 共享访问 + IO Fencing 技术。它在 ESSD 之上获得了高可靠、高可用、高性能，同时基于 NVMe 协议实现了丰富的企业特性，如多重挂载、IO Fencing、加密、离线扩容、原生快照、异步复制等功能。本文详细介绍了云上SAN和NVMe的发展历程，并做出了对未来的构想

为了方便用户观察Scheduled SQL任务的执行情况，日志服务为Scheduled SQL增加了告警功能，本文主要向用户介绍如何开启Scheduled SQL告警，以及追踪任务的执行情况，方便用户及时发现异常情况。

本文介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。

Kafka 以消息存储系统在业界闻名，近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams（流计算）、ksqlDB（基于 Kafka Streams 的类分析型 DB 系统）。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream Processing in Apache Kafka》做一些总结，梳理 Kafka Streams 在流处理场景上的设计思路。

本文主要介绍Jaeger最新的插件化后端的接口以及开发方法，让大家能够一步步的根据文章完成一个Jaeger插件的开发。此外SLS也推出了对于Jaeger的支持，欢迎大家试用。

本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。

SLS在2021年4月份正式发布了对OpenTelemetry Trace 1.0版本的支持，完全兼容OpenTelemetry Trace1.0版本的所有字段，提供了Trace显示、分析、拓扑展示等功能。在功能发布后，众多客户开始接入SLS Trace并深度使用，其中对我们也提出来非常多的建议和需求。从中我们提取出了呼声最高的一些功能和优化点，加入到了SLS的Trace方案1.1版本中。