本文主要介绍IDaaS EIAM两种日志（管理操作+用户行为）接入SLS日志审计的最佳实践

K8s丰富的controller为分布式任务编排提供了极大的便利，然而任务的时长可能很短（如定时清理数据的任务），甚至有些任务因为一启动就运行失败出现秒退的情况，这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案，分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。

2022年云栖大会期间，阿里云同观测云共同发布可观测性联合解决方案。

阿里云API网关服务提供API托管服务，提供了强大的适配和集成能力，可以将各种不同的业务系统API实现统一管理。API网关同时支持将API访问日志一键存储到日志服务，通过日志服务强大的查询分析能力，用户可以针对访问日志自定义计算多种指标，监测服务运行情况。继而通过定时SQL将结果指标直接存储到时序库，直接查询API网关指标，而且可以通过较低成本长期存储指标数据。 下面我们一步步从头开始，学习如何利用日志服务监测API网关及其代理的服务。

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结，有错误之处欢迎交流。

本文是学习总结，有错误处欢迎交流。

本文介绍三款 "schema-on-read" 类型日志系统。

本文对 Event Hubs（2014 年推出）产品及近半年 GA 的特性做一些解读。

2021 AWS Re-Invent 上发布了 MSK Serverless，本文从 Stream Storage 角度做一些调研解读。

通过基于IoT的全链路实时质量，业务使用狄仁杰进行全链路埋点后，可一键接入魔洛哥平台，实现终端问题的实时感知和链路分析，以及智能终端系统业务场景的全链路实时质量。整体方案接入成本低（分钟级别接入），可实现全链路的实时质量分析，以及精准的终端预警能力。帮助开发运维同学实时发现问题，快速问题的定位分析。

AWS Data Pipeline是AWS提供的一项用于在不同计算和存储服务之间大规模传输、转换和处理数据的Web服务。利用AWS Data Pipeline，用户在不用关心计算存储网络等资源的情况下轻松创建出高可用的复杂数据处理任务，可以定期地读取并处理用户存储在AWS上的数据，最终高效地将计算结果传输到如 Amazon S3、Amazon RDS、Amazon DynamoDB 和 Amazon EMR等各种AWS服务中。

使用C++作为主要开发语言的程序猿们应该会认同搭建开发环境是一件烦人的事情。笔者在运营iLogtail开源社区的过程中发现开发和调试环境问题也是成员问的最多的问题之一。利用 VSCode 的 Remote-Development 插件可以使整个开发环境运行在远程容器中，利用容器技术做到一致、可移植、天然隔离的环境开发编译。本文由浅到深带大家搭建这样的远端容器开发环境。

Alibaba Cloud Lens 作为云产品可观测平台，可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度，提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下，低门槛实现对云产品的可观测。

本文将会详细介绍使用iLogtail社区版进行日志采集时，对于常见日志格式的处理实战。为了便于调测，以下样例默认将采集到的日志，经过处理后，输出到标准输出，开发者可以根据实际需求进行适当的调整。

当前，主流的日志采集产品除了SLS的ilogtail，还有Elastic Agent、Fluentd、Telegraf、Sysdig、Logkit、Loggie、Flume等。详细的对比结果见下表： 备注： ○ 集群监控：表示工具可以查看管理采集端的运行状态、采集速度等数据 ○ 集群管理：表示工具可以对管理采集端的采集配置、运行参数等进行添加、修改、删除

本文将会详细介绍如何使用社区版iLogtail，并结合SLS云服务快速构建出一套高可用、高性能的日志采集分析系统

本文将会详细介绍如何使用iLogtail社区版将日志采集到Kafka中，从而帮助使用者构建日志采集系统。

Logging Operator是BanzaiCloud开源的一个云原生场日志采集方案，它整合了fluent 社区的两个开源日志采集器 FluentBit、Fluentd，以 operator 的方式自动化配置 k8s 日志采集pipeline。

Fluent Operator是由KubeSphere 社区于2021年捐献给Fluent 社区的，最初是为了满足以云原生的方式管理 Fluent Bit 的需求。Fluentbit Operator可以灵活且方便地部署、配置及卸载 Fluent Bit 以及 Fluentd。同时, 还提供支持 Fluentd 以及 Fluent Bit 的插件，用户可以根据实际需求进行定制化配置。

Fluent Bit 是一个开源的多平台日志采集器，旨在打造日志采集处理和分发的通用利器。2014 年,Fluentd 团队预测对于嵌入式 Linux 和 Gateways 等受约束的环境，需要更轻量级的日志处理器，于是便开发了Fluent Bit，并把该项目建设成为Fluentd 生态系统的一部分。

2022年05月，Kubernetes 1.24正式发布，比较引人注目的就是在这个版本中正式将dockershim 组件从 kubelet 中删除。从这个版本开始，用户使用Kubernetes时需要优先选择containerd 或 CRI-O作为容器运行时。如果希望继续依赖 Docker Engine 作为容器运行时，需要cri-dockerd组件。

Logtail是阿里云日志服务SLS提供的日志采集Agent，用于采集阿里云ECS、阿里云ACK、自建IDC、其他云厂商等服务器上的日志。阿里云作为第三大云服务提供商，terraform-alicloud-provider已经支持了包括SLS、OSS、SLB、RDS在内的众多云产品。本文将介绍使用Terraform实现logtail日志自动化采集的最佳实践。

Elastic Stack 是由 Elastic公司开发的一系列产品，核心产品包括Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。

本文介绍Elastic端采集统一接入。

Line是一款由NHN Japan（韩国Naver Corporation公司的子公司）在日本推出的即时通信软件，在日韩拥有较大的用户规模。Line支持构建机器人，并且通过API给机器人推送消息，添加了机器人的用户以及群聊就可以接收到机器人推送的消息。但是由于Line的服务器位于海外，SLS的告警无法直接发送通知。因此本文介绍了如何利用阿里云的其他服务来将SLS的告警通知到Line。

Pandas是一个十分强大的python数据分析工具，也是各种数据建模的标准工具。Pandas擅长处理数字型数据和时间序列数据。Pandas的第一大优势在于，封装了一些复杂的代码实现过程，只需要调用接口就行了，避免了编写大量的代码。Pandas的第二大优势在于灵活性，可以实现自动化批量化处理复杂的逻辑，这些工作是Excel等工具是无法完成的。因而Pandas介于Excel和自主编写程序之间，兼具灵活性和简洁性的数据分析工具。