利用Python调用HBASE

简介:

利用Python调用HBASE的 需要安装thrift hbase-thrift 

启动hbase的thrift服务:bin/hbase-daemon.sh start thrift 默认端口是9090

mysql 到hbase的数据同步:

1、put 

2、Importtsv

3、编写MapReduce Job导入

4、sqoop

简单code:

#!/usr/bin/env python

#coding=utf-8

import sys

sys.path.append('/usr/lib/python2.6/site-packages/hbase')

from thrift import Thrift

from thrift.transport import TSocket

from thrift.transport import TTransport

from thrift.protocol import TBinaryProtocol

from hbase import Hbase

from hbase.ttypes import *

import csv

from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation, TRegionInfo

from hbase.ttypes import IOError, AlreadyExists

######

def client_conn():

transport=TSocket.TSocket("172.16.10.87",9090)

transport=TTransport.TBufferedTransport(transport)

protocol=TBinaryProtocol.TBinaryProtocol(transport)

client=Hbase.Client(protocol)

transport.open()

return client

def __del__():

transport.close()


if __name__=="__main__":

client=client_conn()

#获取表名字

print client.getTableNames()

##创建表

#client.createTable('name2',[ColumnDescriptor(name="user_id:",maxVersions=1),ColumnDescriptor(name="user_name"),])

#写入数据

client.mutateRow('name2','a1',[Mutation(column='user_id:1',value="1")])

client.mutateRow('ca_record','1',[Mutation(column='user_id:0',value='5')])

##获取数据


aa=client.getRow('name2','a1')

for r in aa:

    print 'row',r.row 

    print '\br'

    print 'value',r.columns.get("user_id:1").value

##删除表

#client.disableTable("t1")

#client.deleteTable("t1")

print client.getTableNames()

###获取表的行键值

#print client.scannerGet(client.scannerOpen('t2',"cmd",["a"]))

print client.scannerGet(client.scannerOpen('t2',"",["a"])) #当row key为空取第一个



print "------"

print client.getColumnDescriptors('t3')

#在自己开发环境  只要安装好thrift 及hbase-thrift的包,在import的时候不会出问题


本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1950002


相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
Python
C调用Python崩溃的记录
C调用Python崩溃的记录
135 0
|
计算机视觉 Python
百度人脸识别:最简单的Python调用
百度人脸识别:最简单的Python调用
150 0
|
Python
C调用Python的示例代码
C调用Python的示例代码
84 0
|
Java Python
Python:jpype模块调用Java函数
Python:jpype模块调用Java函数
77 0
|
Python
python之面向对象中子类调用父类的构造方法
python之面向对象中子类调用父类的构造方法
125 0
|
Java C# 决策智能
运筹优化学习09:一个示例带你入门如何使用C++、C#、Java、Python、Matlab调用Cplex(下)
运筹优化学习09:一个示例带你入门如何使用C++、C#、Java、Python、Matlab调用Cplex
运筹优化学习09:一个示例带你入门如何使用C++、C#、Java、Python、Matlab调用Cplex(下)
|
Java 测试技术 C#
运筹优化学习09:一个示例带你入门如何使用C++、C#、Java、Python、Matlab调用Cplex(上)
运筹优化学习09:一个示例带你入门如何使用C++、C#、Java、Python、Matlab调用Cplex
运筹优化学习09:一个示例带你入门如何使用C++、C#、Java、Python、Matlab调用Cplex(上)
|
NoSQL Redis 开发工具
python调用redis-cell(CL.THROTTLE)
python调用redis-cell(CL.THROTTLE)
207 0
python调用redis-cell(CL.THROTTLE)
|
Linux Python
linux qt 项目中QProcess调用命令行命令执行python脚本
linux qt 项目中QProcess调用命令行命令执行python脚本
linux qt 项目中QProcess调用命令行命令执行python脚本
|
数据采集 JSON 搜索推荐
Python 调用Zoomeye搜索接口
钟馗之眼是一个强大的搜索引擎,不同于百度谷歌,它主要收集网络中的主机,服务等信息,国内互联网安全厂商知道创宇开放了他们的海量数据库,对之前沉淀的数据进行了整合、整理,打造了一个名符其实的网络空间搜索引擎ZoomEye,运用Python接口可以灵活的实现数据采集。
207 0
Python 调用Zoomeye搜索接口