唐恺_个人页

LogHub消费组是一个客户端与服务端相配合的工作机制，在一些参数上需要两者保持一致，例如客户端超时时间、客户端是否按需消费shard等。。。

当spark streaming作业启动后，如果服务端已经存在了同名消费组，作为loghub的客户端（使用工单到了消费组的client lib）会将消费组相关参数与服务端的消费组参数做对比。确保大家的协议一致。你看到的错误就是说，两者在部分参数上不同，客户端将退出。

解决办法：

1. 如果是新的消费起点（不依赖消费组在历史上消费位置断点），可以在控制台上删除该名字的消费组，然后重启spark streaming作业。

https://help.aliyun.com/document_detail/43998.html?spm=a2c4g.11186623.6.1019.474e2760bf4fen#title-01t-y3r-by2

1. 如果只是升级了spark作业，还希望从上次消费组的断点继续处理数据，那么你需要拿到客户端消费组参数，并使用Java SDK做UpdateConsumerGroup调用，将服务端的参数设置与客户端上的相同。之后再重启spark streaming作业。

https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.70c02d4aBlOizO

是的。

例如Java/Golang/Python/C/PHP等sdk都提供了putLogs接口（各语言SDK实现是方法名可能略有差异），你可以参考示例：https://help.aliyun.com/document_detail/29068.html?spm=a2c4g.11186623.6.1156.eb2f4e31tMHmJo。

数据写入到日志服务后，可以选择：

1. 预览消费（https://help.aliyun.com/document_detail/120035.html?spm=a2c4g.11186623.6.1016.703b4056ChREW0） 2.
2. 建立索引查看（https://help.aliyun.com/document_detail/90762.html?spm=a2c4g.11186623.6.801.40d58a385NRKtE）

日志服务SLS的告警是与仪表盘做关联的，你可以从对应点击进入仪表盘页面，点击右上角按钮做告警管理： https://help.aliyun.com/document_detail/99886.html?spm=a2c4g.11186623.6.1002.1d5f4eb18r1AMW#title-9k7-csv-y0j

可以参考如下三个步骤来完成你的需求。

1. 将数据接入日志服务Logstore 如果是架设在SLB 7层监听上的web服务，可以通过开启访问日志来推送访问请求到日志服务。参考：https://help.aliyun.com/document_detail/66828.html?spm=a2c4g.11186623.6.652.711947a244zSmU 或者你可以在机器上记录Nginx accesslog。参考：https://help.aliyun.com/document_detail/28988.html?spm=a2c4g.11186623.6.615.591c3bf02V597M 也可以在你的网页上进行卖点来采集数据。参考：https://help.aliyun.com/document_detail/31752.html?spm=a2c4g.11186623.6.742.c053319aPsKIGO 更多接入方式：https://help.aliyun.com/document_detail/28981.html?spm=a2c4g.11186623.6.586.522f6030TV0U8r

2. 对Logstore数据做分析 开始日志服务Logstore的索引功能，可以通过SQL语法来做大数据规模的实时分析。 参考：https://help.aliyun.com/document_detail/53608.html?spm=a2c4g.11186623.6.799.14bd729acBexIn

3. 完成可视化仪表盘 日志服务的SQL计算结果可以作为众多可视化方式的输入源，例如：https://help.aliyun.com/document_detail/102530.html?spm=a2c4g.11186623.6.987.315c6f206VZfWf 日志服务仪表盘（支持众多可视化空间，支持仪表盘嵌入到你自己的页面）： 开源Grafana：https://help.aliyun.com/document_detail/60952.html?spm=a2c4g.11186623.6.1181.563d1897y6Z1K4 DataV、Jaeger等其它系统

在日志服务上，默认一个Project下最多支持200个Logstore，如果需要更多，你可以提工单到日志服务产品来申请上调Quota。 或者你可以选择扩展Project数目来解决。

你好，记录SLB访问日志有几项要求： 1. 必须是7层监听协议（4层暂不支持）。 2. 主账号设立了正确的授权，登录RAM控制台，在角色管理页面查找是否存在AliyunLogArchiveRole。 3. 确认7层监听上有访问请求，有请求才会记录日志。 4. 如果SLB的访问QPS很高，请为接收日志的Logstore配置更多Shard以增加写入吞吐。一般建议8000QPS需要1个readwrite状态shard，以次类推。

排查SLB访问日志未推送Logstore指南：https://help.aliyun.com/document_detail/128265.html?spm=a2c4g.11186623.6.794.72553d9fB5D5lE

分裂shard：https://help.aliyun.com/document_detail/48998.html?spm=a2c4g.11186623.6.584.7f6d79c3A2t8pb#title-vu1-4wd-noo

你好，可以考虑通过tcp或者syslog协议写入数据到logtail，这样的方案是不需要落盘的。
可以参考： https://help.aliyun.com/document_detail/sls/user-guide/common-logformat/syslog.html?spm=5176.product8314976_sls.6.116.2ZlHOJ