开发者社区> 问答> 正文

客户遇到了两个问题:1. 在将s3到sls的日志入库任务切换到sqs后,新的导入任务没有数据;...

已解决

客户遇到了两个问题:1. 在将s3到sls的日志入库任务切换到sqs后,新的导入任务没有数据;2. 加工任务在开启后的头十分钟无法看到任何数据,经过排查发现数据同步存在延迟。

展开
收起
提个问题! 2024-09-28 12:28:55 3 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答

    对于第一个问题,原因是由于初期使用的API请求限制导致一次只能处理少量数据,并且Bucket中的无用文件过多,进而导致了一段时期内的数据导入中断。解决方案是建议采用SLS提供的sqs方式进行日志处理。对于第二个问题,原因是初始查看时只有部分状态更新到控制面板中,包括加工进度、源存储桶等状态参数。解决方法是将检查的时间跨度加大,使所有状态及时更新。

    2024-09-28 12:28:56
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载