如何批量向hbase中插入数据-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

如何批量向hbase中插入数据

2019-04-04 11:23:37 3905 2

如何批量向hbase中插入数据呀,我用thrift批量插数据,插入四百多万条数据要半小时?

取消 提交回答
全部回答(2)
  • 沐远
    2020-03-21 15:20:01

    目前hadoop社区有一套bulkload到hbase的工具,原理是使用mr或者spark并行的生成hfile存储在hdfs,然后调用hbase的bulkload直接把这些hfile加载到hbase表。代码参考:

    val hConf = HBaseConfiguration.create()
    hConf.addResource("hbase-site.xml")
    val hTableName = "test_log"
    hConf.set("hbase.mapreduce.hfileoutputformat.table.name", hTableName)
    val tableName = TableName.valueOf(hTableName)
    val conn = ConnectionFactory.createConnection(hConf)
    val table = conn.getTable(tableName)
    val regionLocator = conn.getRegionLocator(tableName)
    
    val hFileOutput = "/tmp/h_file"
    
    output.saveAsNewAPIHadoopFile(hFileOutput,
      classOf[ImmutableBytesWritable],
      classOf[KeyValue],
      classOf[HFileOutputFormat2],
      hConf
    )
    
    val bulkLoader = new LoadIncrementalHFiles(hConf)
    bulkLoader.doBulkLoad(new Path(hFileOutput), conn.getAdmin, table, regionLocator)
    
    0 0
  • hbase小能手
    2019-07-17 23:32:36

    量数据批量写入hbase时,建议mr或者spark生成hfile后使用BulkLoad 方式导入hbase数据库

    0 0
添加回答
相关问答

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 123050浏览量 回答数 10

20

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1220571浏览量 回答数 20

4

回答

【PDF下载】金融技术峰会之云数据库OceanBase架构

云栖技术 2017-08-17 16:04:00 20796浏览量 回答数 4

2

回答

ZooKeeper介绍、分析、理解

小柒2012 2016-02-24 19:00:06 14343浏览量 回答数 2

3

回答

HBase mslab.chunksize和G1HeapRegionSize间是否有关系

yauso 2019-07-17 17:14:06 115485浏览量 回答数 3

1

回答

linux下安装Mycat-web监控

小柒2012 2016-06-20 20:10:52 14381浏览量 回答数 1

17

回答

HBase的基本概念有哪些?

令人无语的八阿哥 2021-10-22 13:42:18 37463浏览量 回答数 17

5

回答

阿里技术架构简览

叔至 2015-07-06 15:08:01 21153浏览量 回答数 5

4

回答

【案例】从hadoop框架与MapReduce模式中谈海量数据处理

jack.cai 2014-08-25 20:55:43 18988浏览量 回答数 4

3

回答

请问分布式关系型数据服务DRDS开源吗?

缠豆 2013-10-21 18:07:06 26552浏览量 回答数 3
+关注
hbase小能手
HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。阿里云HBase技术团队共同探讨HBase及其生态的问题。
112
文章
338
问答
问答排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载