开发者社区> 问答> 正文

hadoop号线不适合这种小文件的存储,还是将数据提取存储到nosql数据库中比较好?

物联网应用,数据为4ms采集一次,为了节省空间,全转换为8位二进制进行数据传递,app进行切割数据,15分钟为一个文件大约700k左右,想请教一下数据存储采用什么方式比较好,看了一下hadoop号线不适合这种小文件的存储,还是将数据提取存储到nosql数据库中比较好?

展开
收起
OSC开源社区 2024-05-29 22:31:46 35 0
1 条回答
写回答
取消 提交回答
  • 因为不知道数据规模大小,写入压力,后期对数据处理上的需求,所以方案不会很明确。
    从描述来看这应该是一个losf问题,haystack,ceph 对象存储,mongoDB gridfs,HDFS,都是我们在实践中用过的,不做太多特殊优化的情况下,支撑1-10亿这个规模的数据是没太大压力的,当然,有时候应用层针对不同存储的特性做一些调整也是必须的,也是效果明显的,比如将700K调高到70000K

    2024-05-30 12:38:34
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载