NOSQL 分析日志文件

对日志文件的处理, 主要考虑你的应用场景和最终的需要. 然后再来安排处理"办法".

NoSQL的高速, 很大原因在于它"简单",和 "内存".
个人认为, 它适合于分析日志的"过程", 而不适合用来"存放"日志.

我的日志只是要自己在用而已, 呵呵,我的处理方式比较粗暴.
我自己接触到的日志,基本上是Web的日志.
我对日志的处理, 最终只是把日志"可视化", 就是把它生成一个比较直观的图片.
txt 有它自己的优势,

1. 通用性高, 几乎任何软件都支持. 方便你用不同的软件来处理它, 哪怕你随手写的脚本.
2. 可压缩, 当日志文件每天以几G,几十G的增加, 你就知道"压缩"是多么重要. 不过我并没有对比过原始 txt 与格式化之后的 json 的压缩比.

如果你想"实时"分析日志, 可以考虑用"管道", 它可是个好东西. 不过需要注意,"读管道" 要尽量比"写管道"快.

我自己这边, 基本是在服务器打包日志, 传回本地分析, 再把分析结果写到服务器.