开发者社区> 问答> 正文

如何保存和分析大量的日志

如果日志已经多到了用MySQL跑不出结果,而一些开源的分析工具又满足不了业务需求的时候,可以尝试将日志采集到ODPS中进行自主的深入分析。整个过程只需要三个步骤:

  1. 1 开通ODPS服务,创建日志采集的目标表
  2. 2 配置日志采集工具,将日志采集到ODPS表中
  3. 3 通过SQL、MapReduce等工具进行分析



对于整个过程完整的描述的效果,请参考墨迹天气日志分析的案例: 阿里云ODPS实践:墨迹为4亿用户提供个性化天气服务 (http://www.csdn.net/article/2015-12-17/2826506 ) 。
日志采集插件的安装可以参考: http://repo.aliyun.com/fluentd/  

展开
收起
yunyuan 2015-12-18 17:34:00 6916 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载