自己测试,建了个最简单的表
然后将图片数据存入f:img的列,每张图片差不多10兆大小,存的时候8g的数据需要半个小时时间,
读取数据就根据rowkey读取一行,耗时将近两秒,经过测试,时间主要消耗在创建连接
connection = ConnectionFactory.createConnection(conf)(0.3s)和执行
Result result = table.get(get)方法(1.1s)
集群是如下图
配置就是一般的办公电脑的配置
往大神们不吝赐教
一般来说,Hadoop是处理大数据量的,使用hdfs建立好集群能更好的发挥作用,如果仅仅在单机上操作,无法体现它的良好性能。
这个需求是小文件存储,建议将小文件直接定义名称放到hdfs指定路径,将路径名和文件名放到hbase表中。可以设置rowkey为文件名,value为路径,通过rowkey取的时候,可以取到路径,然后通过hdfs的API取的文件。这种方式的优点是,文件可以通过sftp导入到hdfs,而不是通过文件流。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。