开发者社区> 问答> 正文

请教一个关于海量数据的大文件统计问题

a123456678 2016-03-20 10:22:09 766

有一个大文件 20多G 里面一行一行的(csv格式,逗号隔开的那种)都是订单信息 主要的有用户id 商户id 还有就是订单id 需要求出的就是求出“每个商户”“每天的累计支付用户”和“每天的新增支付用户数”
PS:
最好能贴出代码,
最好可以用C或C++,php也ok,
还有就是内存不是很大 需要考虑内存原因
我需要求出的“累计支付用户”和“新增支付用户数”的uid是需要去除重复的
最终的展现效果类似于这种

PHP C++
分享到
取消 提交回答
全部回答(1)
  • a123456678
    2019-07-17 19:08:50

    如果windows平台,用内存映射最快,当然用随机读取也行。
    linux平台,用随机读取文件统计吧

    0 0

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程