开发者社区> 问答> 正文

如何将多组日志文件合并成一组

现在有个需求,将多组日志(每组日志文件包含多个日志,每个日志20M)合并成一个,按照日志内容中的时间戳排序后,生成一组日志文件(每个日志100m)。
原有数据格式为:
URL
我目前的想法有两种,一种是将所有日志都存到内存里 然后排序。另外一种是读一段排一段,咨询了下别人,说有相关的多文件排序算法,所以想请教下。有没有简单的框架或者排序算法。

展开
收起
蛮大人123 2016-02-27 15:34:42 3009 0
1 条回答
写回答
取消 提交回答
  • 我说我不帅他们就打我,还说我虚伪

    如果源日志个数不多可以用方法一,简单粗暴有效,还可以用其他工具现成的排序方法。(比如我自己的应用就是1-4个日志文件合并之后展示,我就直接一个一个读出来追加到QT的表里,然后展示的时候按时间列排序)
    如果源文件个数多,而且本身已经是按时间排序的,那就用方法二,归并排序。

    2019-07-17 18:48:56
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载