备案控制台
探索云世界

唐恺_个人页

个人头像照片 唐恺
个人头像照片 个人头像照片 个人头像照片
文章
33
问答
7
视频
0

个人介绍

阿里云 SLS 研发工程师

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

阿里云技能认证

详细说明
暂无更多信息

2024年04月

  • 04.22 16:58:59
    发表了文章 2024-04-22 16:58:59

    对 K8s 异常事件的定时 SQL 分析

    K8s 是基于状态机的设计，在不同状态之间迁移时会生成事件。正常的状态间转换会生成 Normal 事件，从正常状态转换为异常状态则会生成 Warning 事件。使用 K8s 集群，我们关注业务、容器、集群三个层面稳定性，最基础的依赖是 K8s node 要稳定。可能影响 pod 运行的节点问题包括：...
  • 04.22 16:58:58
    发表了文章 2024-04-22 16:58:58

    日志服务 Scan 功能工作机制与最佳实践

    大数据快速增长的需要泛日志（Log/Trace/Metric）是大数据的重要组成，伴随着每一年业务峰值的新脉冲，日志数据量在快速增长。同时，业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。从时效性角度看日志计算引擎：数仓覆盖 T + 1 日志处理，准实时系统（搜索引擎、OLA...
  • 04.22 16:48:47
    发表了文章 2024-04-22 16:48:47

    通过 SLS 实现日志大数据入湖 OSS

    数据湖技术在日志生态中扮演不可或缺的角色，而打通日志从生产端到数据湖的链路却比较复杂。本文将介绍基于 SLS 方案为日志入湖提供端到端（End-to-End）支持，帮助用户提升接入效率，并在费用、运维上有效降低成本。

2022年10月

2022年02月

2022年01月

  • 01.13 15:43:49
    发表了文章 2022-01-13 15:43:49

    日志数据入湖的设计与实践

    SLS 的队列功能及上下游生态可以为日志入湖提供端到端的支持，要修高速公路（PaaS/SaaS 数据源），也要去做“村村通”（端、开源软件）。 SLS 入湖支持包括四个部分： ● 可靠的采集能力覆盖 ● 弹性的写入与存储能力 ● 日志 ETL 与入湖准备工作 ● 围绕湖生态的模板支持与一键入湖

2021年09月

  • 09.13 16:05:02
    发表了文章 2021-09-13 16:05:02

    SIGMOD 2021《Kafka 流处理对一致性和完整性的设计》解读

    Kafka 以消息存储系统在业界闻名，近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams（流计算）、ksqlDB（基于 Kafka Streams 的类分析型 DB 系统）。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream Processing in Apache Kafka》做一些总结，梳理 Kafka Streams 在流处理场景上的设计思路。

2021年08月

  • 08.03 17:30:21
    发表了文章 2021-08-03 17:30:21

    对 K8s 异常事件的定时 SQL 分析

    使用 K8s 集群，我们关注业务、容器、集群三个层面稳定性，最基础的依赖是 K8s node 要稳定。阿里云容器服务（ACK）提供容器场景事件监控方案，通过 NPD（node-problem-detector）以及 kube-eventer 提供容器节点的事件采集、存储能力。本文介绍通过 Scheduled SQL 完成对 K8s 异常事件的定时分析及结果存储。

2021年07月

  • 07.19 09:46:16
    发表了文章 2021-07-19 09:46:16

    Nginx Access Log 指标预聚合实践

    Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比，access log 文件内容日积月累，占用大量磁盘的存储空间的同时，数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

2021年06月

  • 06.01 15:18:56
    发表了文章 2021-06-01 15:18:56

    基于 Scheduled SQL 对 VPC FlowLog 实现细粒度时间窗口分析

    针对VPC FlowLog的五元组和捕获窗口信息，在分析时使用不同时间窗口精度，可能得到不一样的流量特征，本文介绍一种方法将原始采集日志的时间窗口做拆分，之后重新聚合为新的日志做分析，达到更细粒度的分析效果。
  • 06.01 15:05:00
    发表了文章 2021-06-01 15:05:00

    Scheduled SQL： SLS 大规模日志上的全局分析与调度

    本文总结了大规模日志全局分析的需求，讨论SLS上现有的典型分析方案，并延伸到 SLS 原生数据处理方案，介绍 Schedueld SQL 功能与最佳实践。

2020年08月

  • 08.18 23:21:53
    发表了文章 2020-08-18 23:21:53

    基于实时ETL的日志存储与分析实践

    我们正处于大数据、多样化数据（非结构化）的时代，实时的机器数据快速产生，做一家数据公司的核心之一是如何充分利用好大量日志数据。本文将为大家介绍在 SLS 上兼顾日志数据灵活性、经济性的存储策略与实践。

2020年03月

2019年12月

  • 12.30 21:29:42
    发表了文章 2019-12-30 21:29:42

    Fivetran：自动化数仓集成服务

    Fivetran提供SaaS服务，它连接到业务关键数据源，提取并处理所有数据，然后将其转储到仓库中，以进行SQL访问和必要的进一步转换。

2019年11月

  • 11.05 15:34:50
    发表了文章 2019-11-05 15:34:50

    日志服务数据加工的设计与实践

    在日志类数据成为生产资料得到越来越多关注的今天，日志服务数据加工抽象了规整、分发、富化等操作，帮助数据在阿里云服务和开源生态间流动起来，让日志分析变得更容易。

2019年08月

  • 08.08 16:47:53
    发表了文章 2019-08-08 16:47:53

    日志服务（SLS）数据加工功能发布

    日志服务用户，您好！ 针对日志生命周期内存在的各种数据规整、分发、富化、清洗场景需求，阿里云日志服务（SLS）新推出了“数据加工”功能。 推荐在日志服务上进行数据规整、加工或联合其它数据源做分析的数据工程师使用。
  • 发表了文章 2024-04-22

    日志服务 Scan 功能工作机制与最佳实践

  • 发表了文章 2024-04-22

    通过 SLS 实现日志大数据入湖 OSS

  • 发表了文章 2024-04-22

    对 K8s 异常事件的定时 SQL 分析

  • 发表了文章 2022-10-27

    聊聊日志硬扫描，阿里 Log Scan 的设计与实践

  • 发表了文章 2022-10-18

    [SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化

  • 发表了文章 2022-10-18

    [SIGMOD 22 学习]《Adaptive Hybrid Indexes》解读

  • 发表了文章 2022-10-18

    三款“非主流”日志查询分析产品初探

  • 发表了文章 2022-10-18

    Azure Event Hubs 调研

  • 发表了文章 2022-10-18

    AWS MSK 调研

  • 发表了文章 2022-02-22

    SLS 数据投递 OSS 文章专栏

  • 发表了文章 2022-01-13

    日志数据入湖的设计与实践

  • 发表了文章 2021-09-13

    SIGMOD 2021《Kafka 流处理对一致性和完整性的设计》解读

  • 发表了文章 2021-08-03

    对 K8s 异常事件的定时 SQL 分析

  • 发表了文章 2021-07-19

    Nginx Access Log 指标预聚合实践

  • 发表了文章 2021-06-01

    基于 Scheduled SQL 对 VPC FlowLog 实现细粒度时间窗口分析

  • 发表了文章 2021-06-01

    Scheduled SQL： SLS 大规模日志上的全局分析与调度

  • 发表了文章 2020-08-18

    基于实时ETL的日志存储与分析实践

  • 发表了文章 2020-02-26

    SLS数据处理实践：加工延迟篇

  • 发表了文章 2019-12-30

    Fivetran：自动化数仓集成服务

  • 发表了文章 2019-11-05

    日志服务数据加工的设计与实践

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2020-03-15

    spark streaming读取loghub数据报错LogHubClientWorkerException: consumer group is not agreed, AlreadyExistedConsumerGroup，是什么情况

    LogHub消费组是一个客户端与服务端相配合的工作机制，在一些参数上需要两者保持一致，例如客户端超时时间、客户端是否按需消费shard等。。。

    当spark streaming作业启动后，如果服务端已经存在了同名消费组，作为loghub的客户端（使用工单到了消费组的client lib）会将消费组相关参数与服务端的消费组参数做对比。确保大家的协议一致。你看到的错误就是说，两者在部分参数上不同，客户端将退出。

    解决办法：

    1. 如果是新的消费起点（不依赖消费组在历史上消费位置断点），可以在控制台上删除该名字的消费组，然后重启spark streaming作业。

    https://help.aliyun.com/document_detail/43998.html?spm=a2c4g.11186623.6.1019.474e2760bf4fen#title-01t-y3r-by2

    1. 如果只是升级了spark作业，还希望从上次消费组的断点继续处理数据，那么你需要拿到客户端消费组参数，并使用Java SDK做UpdateConsumerGroup调用，将服务端的参数设置与客户端上的相同。之后再重启spark streaming作业。

    https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.70c02d4aBlOizO

    踩0 评论0
  • 回答了问题 2020-03-15

    日志推送sls只需要client.putLogs就可以吗？

    是的。

    例如Java/Golang/Python/C/PHP等sdk都提供了putLogs接口（各语言SDK实现是方法名可能略有差异），你可以参考示例：https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.eb2f4e31tMHmJo。

    数据写入到日志服务后，可以选择：

    1. 预览消费（https://help.aliyun.com/document_detail/120035.html?spm=a2c4g.11186623.6.1016.703b4056ChREW0） 2.
    2. 建立索引查看（https://help.aliyun.com/document_detail/90762.html?spm=a2c4g.11186623.6.801.40d58a385NRKtE）
    踩0 评论0
  • 回答了问题 2020-03-15

    sls另存为告警后，如何查看管理？

    日志服务SLS的告警是与仪表盘做关联的，你可以从对应点击进入仪表盘页面，点击右上角按钮做告警管理： https://help.aliyun.com/document_detail/99886.html?spm=a2c4g.11186623.6.1002.1d5f4eb18r1AMW#title-9k7-csv-y0j

    踩0 评论0
  • 回答了问题 2020-03-15

    想给自己的网站增加访问分析、点击热点图功能，可以使用阿里的日志服务吗？

    可以参考如下三个步骤来完成你的需求。

    1. 将数据接入日志服务Logstore 如果是架设在SLB 7层监听上的web服务，可以通过开启访问日志来推送访问请求到日志服务。参考：https://help.aliyun.com/document_detail/66828.html?spm=a2c4g.11186623.6.652.711947a244zSmU 或者你可以在机器上记录Nginx accesslog。参考：https://help.aliyun.com/document_detail/28988.html?spm=a2c4g.11186623.6.615.591c3bf02V597M 也可以在你的网页上进行卖点来采集数据。参考：https://help.aliyun.com/document_detail/31752.html?spm=a2c4g.11186623.6.742.c053319aPsKIGO 更多接入方式：https://help.aliyun.com/document_detail/28981.html?spm=a2c4g.11186623.6.586.522f6030TV0U8r

    2. 对Logstore数据做分析 开始日志服务Logstore的索引功能，可以通过SQL语法来做大数据规模的实时分析。 参考：https://help.aliyun.com/document_detail/53608.html?spm=a2c4g.11186623.6.799.14bd729acBexIn

    3. 完成可视化仪表盘 日志服务的SQL计算结果可以作为众多可视化方式的输入源，例如：https://help.aliyun.com/document_detail/102530.html?spm=a2c4g.11186623.6.987.315c6f206VZfWf 日志服务仪表盘（支持众多可视化空间，支持仪表盘嵌入到你自己的页面）： 开源Grafana：https://help.aliyun.com/document_detail/60952.html?spm=a2c4g.11186623.6.1181.563d1897y6Z1K4 DataV、Jaeger等其它系统

    踩0 评论0
  • 回答了问题 2020-03-15

    日志服务的一个Project里的Logstore数量不足

    在日志服务上，默认一个Project下最多支持200个Logstore，如果需要更多，你可以提工单到日志服务产品来申请上调Quota。 或者你可以选择扩展Project数目来解决。

    踩0 评论0
  • 回答了问题 2020-03-15

    日志服务接入slb产品日志-采集不到数据问题

    你好，记录SLB访问日志有几项要求： 1. 必须是7层监听协议（4层暂不支持）。 2. 主账号设立了正确的授权，登录RAM控制台，在角色管理页面查找是否存在AliyunLogArchiveRole。 3. 确认7层监听上有访问请求，有请求才会记录日志。 4. 如果SLB的访问QPS很高，请为接收日志的Logstore配置更多Shard以增加写入吞吐。一般建议8000QPS需要1个readwrite状态shard，以次类推。

    排查SLB访问日志未推送Logstore指南：https://help.aliyun.com/document_detail/128265.html?spm=a2c4g.11186623.6.794.72553d9fB5D5lE

    分裂shard：https://help.aliyun.com/document_detail/48998.html?spm=a2c4g.11186623.6.584.7f6d79c3A2t8pb#title-vu1-4wd-noo

    踩0 评论0
  • 回答了问题 2019-07-17

    logtail产品

    你好，可以考虑通过tcp或者syslog协议写入数据到logtail，这样的方案是不需要落盘的。
    可以参考： https://help.aliyun.com/document_detail/sls/user-guide/common-logformat/syslog.html?spm=5176.product8314976_sls.6.116.2ZlHOJ

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息