简志_个人页

对Confluent一些解读

对Kafka母公司Confluent IPO、产品、技术一些看法

可观测系统存储分析最佳实践

分享在北京云峰会智能运维场的主题

SLS（日志服务）进入 DB-Engine

2020年4月，日志服务（Log Service，SLS）被DB-Engine收入，作为类Search Engine类型的泛数据库。

关于OpenTelementry一些思考

从KubeConf关于OpenTelemetry PPT中的一些思考

Go Consumer Library发布

信息摘要： Go SDK提供Consumer Library模式，提供断点续传、多实例负载均衡、弹性伸缩等实时消费能力适用客户： Go语言开发者版本/规格功能： Aliyun LOG Go Consumer Library是用Go语言编写的协同消费库，支持多个消费者同时消费logstore。

Azure Data Explorer（Kusto）学习笔记

Azure在2018年推出了Data Explorer产品，提供实时海量流数据的分析服务（非流计算），面向应用、网站、移动端等设备。以下是对于该产品的解读和学习笔记。

面向SecDevOps七种武器

既然Sec、Dev、Ops 有着同样的目标，处理同样规模的问题，那么在工作中是否会Share相同的工具？ 我们2009年开始写飞天第一行代码一刻起，就一直在经历和机器、系统、应用的搏斗过程。期间经历集群从70台增长到5000台过程，也经历了支撑W级用户背后的痛苦和摸索。

【功能发布】日志服务（SLS）11-12月功能合集

日志服务（SLS）11-12月功能发布合集

日志分析：SLS vs ELK

ES是一把锋利的军刀，支撑更新、查询、删除等更通用场景，在搜索、数据分析、应用开发等领域有广泛使用，ELK组合在日志分析场景上把ES灵活性与性能发挥到极致；SLS是纯定位在日志类数据分析场景的服务，在该领域内做了很多定制化开发。

数字IT基础-数据采集总线

日志服务是阿里自产自用的产品，在双十一、双十二和新春红包期间承载阿里云/蚂蚁全站、阿里电商板块、云上几千商家数据链路，每日处理来自百万节点几十PB数据，峰值流量达到每秒百GB， 具备稳定、可靠、低成本，生态丰富等特性。

【功能发布】日志服务（SLS）9-10月功能合集

日志服务9月功能发布

日志服务（2018-08）6月新功能发布

阿里云日志服务6月新功能发布

OSS访问日志分析（1）：概念+宏观指标

OSS访问日志分析教程第一篇，宏观介绍+宏观指标构建

游戏日志分析1：概览

介绍如何进行游戏日志处理与分析

日志服务（原SLS）2018-2 月功能发布

发布Json类型、中文分词、新增窗口/逻辑运算/二进制处理/Lamdba等分析函数，支持Kubernetes数据采集

日志服务（原SLS）2018-1 月功能发布

2018年1月版本已发布，包含：Mysql Binlog/JDBC/Http Reqeust采集，IP位置/经纬度分析函数，Log4J/LogBack Appender，OSS访问日志分析等功能，欢迎试用！

巧用 Img / JavaScript 采集页面数据

当我们有一个新内容时（例如新功能、新活动、新游戏、新文章），作为运营人员总是迫不及待地希望能尽快传达到用户，因为这是获取用户的第一步、也是最重要的一步。 以游戏发行作为例子：

日志服务（原SLS）2017-12 月功能发布

日志服务12月功能已上线，包括美东Region、嵌入式客户端（C-Producer）、Flink Connector、 CLI、API网关打通、告警优化、控制台快速分析等功能，欢迎试用

打通钉钉+WebHook: 日志服务(SLS)告警实践

用一个最最常用的案例（Nginx日志分析）来说明当前使用场景，告警要解决的3个问题：是否有错误；是否有性能问题；是否有流量急跌或暴涨

Azure Log Analytics产品API文档读后感

AUZRE LOG ANALYTICS 文档读后感

日志服务（原SLS）性能优化：一个SQL一秒分析一亿日志

日志服务（原SLS）提供LogSearch/Analytics在一秒内能：实时检索到该日志，并且提供5个组合条件查询10亿级数据，5个维度聚合SQL分析1亿条数据能力

日志系列-常见处理方案

我们以[阿里云日志服务](https://www.aliyun.com/product/sls)为基础，介绍一些常用日志处理方案

日志系列--计量日志处理方案

使用云服务最大好处是按量付费，无需预留资源，因此各云产品都有计量计费需求。这里我们介绍一种基于[日志服务](http://www.aliyun.com/product/sls/)计量计费方案，该方案每天处理千亿级计量日志，被众多云产品使用：

日志系列--程序日志处理挑战与方案

程序日志（AppLog）有什么特点？ * 内容最全：程序日志是由程序员给出，在重要的地点、变量数值以及异常都会有记录，可以说线上90%以上Bug都是依靠程序日志输出定位到 * 格式比较随意：代码往往经过不同人开发，每个程序员都有自己爱好的格式，一般非常难进行统一，并且引入的一些第三方库的

《Amazon Aurora: Design Considerations for HighThroughput Cloud-Native Relational Databases》SIGMOD 2017 读后感

发表在Sigmod 2017上，可以在Werner Vogels的Blog下载到，写了一篇读后感

5.22成都workshop：4. 游戏日志采集与分析

小吴负责公司的DevOps 以及 数据团队：在服务器和用户数上升后，开发花了非常多的时间在服务器查日志问题上。在支持移动入口、网页、推广渠道后，日志的来源也变得越来越多，加剧了他的困扰。除此之外，运营团队、BI团队、运维团队等对日志提出各自需求。

日志服务2.4版本发布：新增数值索引与区间查询

Day in the Life of a Netflix(SRE) Enginner

形形色色Trace系统（1）：AWS X-Ray

AWS 在2016 Re:Invent上推出了X-Ray，对如今微服务编程，以及ServerLess Architecture非常有前瞻性。另外近期一个比较大新闻是:Google Stack Driver开始支持Zipkin（Twitter 开源的Tracing系统）。

使用Logtail收集各网络日志数据

日志服务提供各种内网、私网、公网等[访问点](https://help.aliyun.com/document_detail/29008.html)，可以非常便捷地将混合网络中的数据进行接入

Uber市场部门日志实时处理-解读

Kafka 2016 Summit上Uber工程师Danny Yuan分享了一个Streaming Processing PPT，如何解决Uber里Operation Team所需要的需求。看了整个视频觉得介绍很细致，这对于大部分LBS （Location Based Service）有很好的借鉴意

日志处理实战：一个外卖网站解决方案（持续更新中）

“我要点外卖“是一个平台型电商网站，用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜；商家拿到订单后开始加工，并自动通知周围的快递员；快递员将外卖送到用户手中。我们希望通过该网站的案例，教会大家如何通过日志进行商业运营与决策。

Kafka在微软的使用

Kafka Summit 2016中有一个微软MS/Bing团队的分享。看了数据给大家分析下。微软有一套服务化的数据管道EventHub，作为云产品售卖。但在Bing、Ads、Office等场景上仍在使用Kafka，在整个公司规模上大概是一半 vs 一半。主要使用Kafka考虑是Kafka与开源流处

201608北京云栖大会Workshop - 使用登陆码获取用户信息

云栖大会准备步骤

201608北京云栖大会Workshop视频-入口

北京场云栖大会workshop-视频

《Kafka Stream》调研：一种轻量级流计算模式

流计算，已经有Storm、Spark，Samza，包括最近新起的Flink，Kafka为什么再自己做一套流计算呢？Kafka Stream 与这些框架比有什么优势？Samza、Consumer Group已经包装了Kafka轻量级的消费功能，难道不够吗？ 花了一些时间阅读[docs](http

使用日志服务LogHub替换Kafka

前几天有客户问到，云上有什么服务可以替换Kafka？ 怀着程序员的一丝小小的骄傲回复：日志服务（原SLS）下LogHub功能可以完全替代Kafka等产品，并且在性能、易用性和稳定性上更佳。 但客户将信将疑，于是花了一天时间整理一篇文章，简单从各个角度解释下为何建议用户从自搭Kafka换成

<Google Cloud Logging>调研

2015年3月做的Google Cloud Logging新产品调研，转给感兴趣的同学

201604深圳云栖大会Workshop - 入口

阿里云开放实验室深圳场入口

Azure EventHub调研

Azure EventHub, AWS Kinesis, Kafka 这几个产品在数据模型和功能上比较接近，附件是去年做的一个调研，有需要的可以拿去参考。

日志服务新功能发布(1)--支持保序写入和消费

日志服务新功能上线介绍，本文介绍日志服务如何支持日志严格保序的写入和消费。

日志客户端（Logstash,Fluentd, Logtail）横评

针对主流日志采集客户端（Logstash，Fluentd，以及日志服务客户端Logtail）进行功能、性能和稳定性测评

日志服务支持VPC（专有网）啦

日志服务已支持VPC（专有网）中日志收集、以及API访问

201601上海云栖大会Workshop - 通过日志服务采集、分析日志

通过日志服务采集、分析日志 (ETA: 20 分钟) 目标 掌握阿里云日志服务基本功能 成功收集Docker中日志，利用EMR（Spark Streaming，Hive）进行日志分析 准备工作 产品基本介绍(链接) 注意事项： 日志服务当前免费使用，无耗费 Docker运行集群会产

201601上海云栖大会Workshop - 入口

通过搭建个人站点，掌握阿里云容器服务、日志服务、访问控制、EMR等服务用法。

高效、便捷、一站式日志解决方案--阿里云日志服务