唐恺个人页面-阿里云开发者社区

个人头像照片

个人介绍

日志服务工程师

擅长的技术

  • Java
  • Python
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多

2020年08月

  • 08.18 23:21:53
    发表了文章 2020-08-18 23:21:53

    基于实时ETL的日志存储与分析实践

    基于实时ETL的日志存储与分析实践

2020年03月

  • 03.15 11:13:56
    回答了问题 2020-03-15 11:13:56

    spark streaming读取loghub数据报错LogHubClientWorkerException: consumer group is not agreed, AlreadyExistedConsumerGroup,是什么情况

    LogHub消费组是一个客户端与服务端相配合的工作机制,在一些参数上需要两者保持一致,例如客户端超时时间、客户端是否按需消费shard等。。。

    当spark streaming作业启动后,如果服务端已经存在了同名消费组,作为loghub的客户端(使用工单到了消费组的client lib)会将消费组相关参数与服务端的消费组参数做对比。确保大家的协议一致。你看到的错误就是说,两者在部分参数上不同,客户端将退出。

    解决办法:

    1. 如果是新的消费起点(不依赖消费组在历史上消费位置断点),可以在控制台上删除该名字的消费组,然后重启spark streaming作业。

    https://help.aliyun.com/document_detail/43998.html?spm=a2c4g.11186623.6.1019.474e2760bf4fen#title-01t-y3r-by2

    1. 如果只是升级了spark作业,还希望从上次消费组的断点继续处理数据,那么你需要拿到客户端消费组参数,并使用Java SDK做UpdateConsumerGroup调用,将服务端的参数设置与客户端上的相同。之后再重启spark streaming作业。

    https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.70c02d4aBlOizO

    踩0 评论0
  • 03.15 10:57:44
    回答了问题 2020-03-15 10:57:44

    日志推送sls只需要client.putLogs就可以吗?

    是的。

    例如Java/Golang/Python/C/PHP等sdk都提供了putLogs接口(各语言SDK实现是方法名可能略有差异),你可以参考示例:https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.eb2f4e31tMHmJo。

    数据写入到日志服务后,可以选择:

    1. 预览消费(https://help.aliyun.com/document_detail/120035.html?spm=a2c4g.11186623.6.1016.703b4056ChREW0) 2.
    2. 建立索引查看(https://help.aliyun.com/document_detail/90762.html?spm=a2c4g.11186623.6.801.40d58a385NRKtE)
    踩0 评论0
  • 03.15 10:53:51
    回答了问题 2020-03-15 10:53:51

    sls另存为告警后,如何查看管理?

    日志服务SLS的告警是与仪表盘做关联的,你可以从对应点击进入仪表盘页面,点击右上角按钮做告警管理: https://help.aliyun.com/document_detail/99886.html?spm=a2c4g.11186623.6.1002.1d5f4eb18r1AMW#title-9k7-csv-y0j

    踩0 评论0
  • 03.15 10:51:30
    回答了问题 2020-03-15 10:51:30

    想给自己的网站增加访问分析、点击热点图功能,可以使用阿里的日志服务吗?

    可以参考如下三个步骤来完成你的需求。

    1. 将数据接入日志服务Logstore 如果是架设在SLB 7层监听上的web服务,可以通过开启访问日志来推送访问请求到日志服务。参考:https://help.aliyun.com/document_detail/66828.html?spm=a2c4g.11186623.6.652.711947a244zSmU 或者你可以在机器上记录Nginx accesslog。参考:https://help.aliyun.com/document_detail/28988.html?spm=a2c4g.11186623.6.615.591c3bf02V597M 也可以在你的网页上进行卖点来采集数据。参考:https://help.aliyun.com/document_detail/31752.html?spm=a2c4g.11186623.6.742.c053319aPsKIGO 更多接入方式:https://help.aliyun.com/document_detail/28981.html?spm=a2c4g.11186623.6.586.522f6030TV0U8r

    2. 对Logstore数据做分析 开始日志服务Logstore的索引功能,可以通过SQL语法来做大数据规模的实时分析。 参考:https://help.aliyun.com/document_detail/53608.html?spm=a2c4g.11186623.6.799.14bd729acBexIn

    3. 完成可视化仪表盘 日志服务的SQL计算结果可以作为众多可视化方式的输入源,例如:https://help.aliyun.com/document_detail/102530.html?spm=a2c4g.11186623.6.987.315c6f206VZfWf 日志服务仪表盘(支持众多可视化空间,支持仪表盘嵌入到你自己的页面): 开源Grafana:https://help.aliyun.com/document_detail/60952.html?spm=a2c4g.11186623.6.1181.563d1897y6Z1K4 DataV、Jaeger等其它系统

    踩0 评论0
  • 03.15 10:44:12
    回答了问题 2020-03-15 10:44:12

    日志服务的一个Project里的Logstore数量不足

    在日志服务上,默认一个Project下最多支持200个Logstore,如果需要更多,你可以提工单到日志服务产品来申请上调Quota。 或者你可以选择扩展Project数目来解决。

    踩0 评论0
  • 03.15 10:42:00
    回答了问题 2020-03-15 10:42:00

    日志服务接入slb产品日志-采集不到数据问题

    你好,记录SLB访问日志有几项要求: 1. 必须是7层监听协议(4层暂不支持)。 2. 主账号设立了正确的授权,登录RAM控制台,在角色管理页面查找是否存在AliyunLogArchiveRole。 3. 确认7层监听上有访问请求,有请求才会记录日志。 4. 如果SLB的访问QPS很高,请为接收日志的Logstore配置更多Shard以增加写入吞吐。一般建议8000QPS需要1个readwrite状态shard,以次类推。

    排查SLB访问日志未推送Logstore指南:https://help.aliyun.com/document_detail/128265.html?spm=a2c4g.11186623.6.794.72553d9fB5D5lE

    分裂shard:https://help.aliyun.com/document_detail/48998.html?spm=a2c4g.11186623.6.584.7f6d79c3A2t8pb#title-vu1-4wd-noo

    踩0 评论0

2019年12月

  • 12.30 21:29:42
    发表了文章 2019-12-30 21:29:42

    Fivetran:自动化数仓集成服务

    Fivetran:自动化数仓集成服务

2019年11月

  • 11.05 15:34:50
    发表了文章 2019-11-05 15:34:50

    日志服务数据加工的设计与实践

    日志服务数据加工的设计与实践

2019年08月

  • 08.08 16:47:53
    发表了文章 2019-08-08 16:47:53

    日志服务(SLS)数据加工功能发布

    日志服务(SLS)数据加工功能发布
正在加载, 请稍后...
滑动查看更多
  • 发表了文章 2020-08-18

    基于实时ETL的日志存储与分析实践

  • 发表了文章 2020-02-26

    SLS数据处理实践:加工延迟篇

  • 发表了文章 2019-12-30

    Fivetran:自动化数仓集成服务

  • 发表了文章 2019-11-05

    日志服务数据加工的设计与实践

  • 发表了文章 2019-08-08

    日志服务(SLS)数据加工功能发布

  • 发表了文章 2018-10-23

    Serverless下日志采集、存储、分析实践

  • 发表了文章 2018-07-05

    LC3视角:Kubernetes下日志采集、存储与处理技术实践

  • 发表了文章 2018-07-04

    SLB访问日志分析:基于客户端来源和HTTP状态码的实践

  • 发表了文章 2018-05-07

    用好SLB访问日志,做实时可视化分析

  • 发表了文章 2017-12-29

    1分钟构建API网关日志解决方案

  • 发表了文章 2017-10-18

    日志服务+函数服务实战: 访问日志地域、运营商实时分析

  • 发表了文章 2017-04-28

    存储与计算分离:OSS构建表 + 计算引擎对接

  • 发表了文章 2017-01-23

    自定义LOG投递OSS数据Partition,优化你的计算

  • 发表了文章 2016-11-03

    日志服务发布Windows Logtail,完整支持两大平台

  • 发表了文章 2016-05-25

    日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤

  • 发表了文章 2016-05-09

    日志服务(原SLS)新功能发布(7)--使用logtail接入JSON/分隔符日志

  • 发表了文章 2016-03-07

    日志服务(原SLS)新功能发布(5)--使用Logstash接入数据

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2020-03-15

    spark streaming读取loghub数据报错LogHubClientWorkerException: consumer group is not agreed, AlreadyExistedConsumerGroup,是什么情况

    LogHub消费组是一个客户端与服务端相配合的工作机制,在一些参数上需要两者保持一致,例如客户端超时时间、客户端是否按需消费shard等。。。

    当spark streaming作业启动后,如果服务端已经存在了同名消费组,作为loghub的客户端(使用工单到了消费组的client lib)会将消费组相关参数与服务端的消费组参数做对比。确保大家的协议一致。你看到的错误就是说,两者在部分参数上不同,客户端将退出。

    解决办法:

    1. 如果是新的消费起点(不依赖消费组在历史上消费位置断点),可以在控制台上删除该名字的消费组,然后重启spark streaming作业。

    https://help.aliyun.com/document_detail/43998.html?spm=a2c4g.11186623.6.1019.474e2760bf4fen#title-01t-y3r-by2

    1. 如果只是升级了spark作业,还希望从上次消费组的断点继续处理数据,那么你需要拿到客户端消费组参数,并使用Java SDK做UpdateConsumerGroup调用,将服务端的参数设置与客户端上的相同。之后再重启spark streaming作业。

    https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.70c02d4aBlOizO

    踩0 评论0
  • 回答了问题 2020-03-15

    日志推送sls只需要client.putLogs就可以吗?

    是的。

    例如Java/Golang/Python/C/PHP等sdk都提供了putLogs接口(各语言SDK实现是方法名可能略有差异),你可以参考示例:https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.eb2f4e31tMHmJo。

    数据写入到日志服务后,可以选择:

    1. 预览消费(https://help.aliyun.com/document_detail/120035.html?spm=a2c4g.11186623.6.1016.703b4056ChREW0) 2.
    2. 建立索引查看(https://help.aliyun.com/document_detail/90762.html?spm=a2c4g.11186623.6.801.40d58a385NRKtE)
    踩0 评论0
  • 回答了问题 2020-03-15

    sls另存为告警后,如何查看管理?

    日志服务SLS的告警是与仪表盘做关联的,你可以从对应点击进入仪表盘页面,点击右上角按钮做告警管理: https://help.aliyun.com/document_detail/99886.html?spm=a2c4g.11186623.6.1002.1d5f4eb18r1AMW#title-9k7-csv-y0j

    踩0 评论0
  • 回答了问题 2020-03-15

    想给自己的网站增加访问分析、点击热点图功能,可以使用阿里的日志服务吗?

    可以参考如下三个步骤来完成你的需求。

    1. 将数据接入日志服务Logstore 如果是架设在SLB 7层监听上的web服务,可以通过开启访问日志来推送访问请求到日志服务。参考:https://help.aliyun.com/document_detail/66828.html?spm=a2c4g.11186623.6.652.711947a244zSmU 或者你可以在机器上记录Nginx accesslog。参考:https://help.aliyun.com/document_detail/28988.html?spm=a2c4g.11186623.6.615.591c3bf02V597M 也可以在你的网页上进行卖点来采集数据。参考:https://help.aliyun.com/document_detail/31752.html?spm=a2c4g.11186623.6.742.c053319aPsKIGO 更多接入方式:https://help.aliyun.com/document_detail/28981.html?spm=a2c4g.11186623.6.586.522f6030TV0U8r

    2. 对Logstore数据做分析 开始日志服务Logstore的索引功能,可以通过SQL语法来做大数据规模的实时分析。 参考:https://help.aliyun.com/document_detail/53608.html?spm=a2c4g.11186623.6.799.14bd729acBexIn

    3. 完成可视化仪表盘 日志服务的SQL计算结果可以作为众多可视化方式的输入源,例如:https://help.aliyun.com/document_detail/102530.html?spm=a2c4g.11186623.6.987.315c6f206VZfWf 日志服务仪表盘(支持众多可视化空间,支持仪表盘嵌入到你自己的页面): 开源Grafana:https://help.aliyun.com/document_detail/60952.html?spm=a2c4g.11186623.6.1181.563d1897y6Z1K4 DataV、Jaeger等其它系统

    踩0 评论0
  • 回答了问题 2020-03-15

    日志服务的一个Project里的Logstore数量不足

    在日志服务上,默认一个Project下最多支持200个Logstore,如果需要更多,你可以提工单到日志服务产品来申请上调Quota。 或者你可以选择扩展Project数目来解决。

    踩0 评论0
  • 回答了问题 2020-03-15

    日志服务接入slb产品日志-采集不到数据问题

    你好,记录SLB访问日志有几项要求: 1. 必须是7层监听协议(4层暂不支持)。 2. 主账号设立了正确的授权,登录RAM控制台,在角色管理页面查找是否存在AliyunLogArchiveRole。 3. 确认7层监听上有访问请求,有请求才会记录日志。 4. 如果SLB的访问QPS很高,请为接收日志的Logstore配置更多Shard以增加写入吞吐。一般建议8000QPS需要1个readwrite状态shard,以次类推。

    排查SLB访问日志未推送Logstore指南:https://help.aliyun.com/document_detail/128265.html?spm=a2c4g.11186623.6.794.72553d9fB5D5lE

    分裂shard:https://help.aliyun.com/document_detail/48998.html?spm=a2c4g.11186623.6.584.7f6d79c3A2t8pb#title-vu1-4wd-noo

    踩0 评论0
  • 回答了问题 2019-07-17

    logtail产品

    你好,可以考虑通过tcp或者syslog协议写入数据到logtail,这样的方案是不需要落盘的。
    可以参考: https://help.aliyun.com/document_detail/sls/user-guide/common-logformat/syslog.html?spm=5176.product8314976_sls.6.116.2ZlHOJ

    踩0 评论0
正在加载, 请稍后...
滑动查看更多