如何对日志的费用进行优化?
费用和两方面因素相关:
- 数据量。用户的数据量是业务决定的,无法优化。
- 配置。可以优化配置。使用和数据量相匹配的配置,选择最优的解决方案,才能使成本最小化。
优化配置
配置可以从以下两个方面进行优化:
分区个数
一个分区一天0.04元,最大可以处理5M/s的数据。只有readwrite的分区会收费。请调整分区个数,使其正好能处理5M/s的数据。减少分区个数请使用 “合并分区” 操作。
索引保存周期
针对您对日志的查询、存储的需求不同,建议您优化索引保存时间。有关如何调整索引生命周期,请 参考文档。
如果您收集日志是为了做流计算,建议您只使用LogHub,不创建索引。
如果您对最近90天的日志有查询需求而90天前的数据查询比较少,建议您把索引保存时间调整到90天,同时把数据导入MaxCompute。查询90天内数据,使用日志服务,查询90天前数据,使用MaxCompute。
如果您对日志有长时间存储和备份日志的需求,建议您配置 OSS Shipper,把日志导入到OSS。
其他优化建议
- 使用Logtail:有 Batch 与断点续传功能,在保障实时性的同时以最优算法传输数据。Logtail 消耗资源是开源软件(Logstash,FluentD)的1/4,减少CPU消耗。
- API写入用户尽量使用64KB~1MB大包写入,减少请求次数。
- 索引关键字段,例如UserID,Action等,对无用字段不配置索引。
收起
轩墨
2017-10-20 14:21:48
1755
0
0
条回答
写回答
取消
提交回答