开发者社区> 问答> 正文

如何对日志的费用进行优化?


费用和两方面因素相关:

  • 数据量。用户的数据量是业务决定的,无法优化。
  • 配置。可以优化配置。使用和数据量相匹配的配置,选择最优的解决方案,才能使成本最小化。


优化配置


配置可以从以下两个方面进行优化:

  • 分区个数
    一个分区一天0.04元,最大可以处理5M/s的数据。只有readwrite的分区会收费。请调整分区个数,使其正好能处理5M/s的数据。减少分区个数请使用 “合并分区” 操作。

  • 索引保存周期
    针对您对日志的查询、存储的需求不同,建议您优化索引保存时间。有关如何调整索引生命周期,请 参考文档
    如果您收集日志是为了做流计算,建议您只使用LogHub,不创建索引。

  • 如果您对最近90天的日志有查询需求而90天前的数据查询比较少,建议您把索引保存时间调整到90天,同时把数据导入MaxCompute。查询90天内数据,使用日志服务,查询90天前数据,使用MaxCompute。

  • 如果您对日志有长时间存储和备份日志的需求,建议您配置 OSS Shipper,把日志导入到OSS。


其他优化建议

  • 使用Logtail:有 Batch 与断点续传功能,在保障实时性的同时以最优算法传输数据。Logtail 消耗资源是开源软件(Logstash,FluentD)的1/4,减少CPU消耗。
  • API写入用户尽量使用64KB~1MB大包写入,减少请求次数。
  • 索引关键字段,例如UserID,Action等,对无用字段不配置索引。

展开
收起
轩墨 2017-10-20 14:21:48 1755 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载