sunt_dota_高分内容_个人页_阿里云开发者社区

发表了文章 2018-02-02

hbase simple权限二

一：HBASE权限user HBASE的user底层使用的还是hadoop的user；构造connection类： public static Connection createConnection(Configuration conf, User u...

提交了问题 2018-01-30

hbase开发方向

发表了文章 2018-01-17

hbase simple权限一

一：shell执行： grant授权：查看commands目录下grant.rb文件： security_admin.grant(user, permissions, table_name, family, qualifier) 进入security.

发表了文章 2018-01-16

hbase二级索引secondary-index记录

一.已有可参考hbase二级索引方案： huawei：http://f.dataguru.cn/thread-202710-1-1.html；360：http://blog.csdn.net/dhtx_wzgl/article/details/49069081；Phoenix：https://phoenix.apache.org/secondary_indexing.html； xiaomi； Lily：第三方组件实现，不会给HBase带来入侵式的代码，而且不会影响写入性能；其他使用率比较小的方案。

发表了文章 2018-01-05

HBASE-LSM树

HBASE-LSM树 1.B+树关于B树、B+树、B树的了解参考：* http://blog.csdn.net/v_july_v/article/details/6530142 优点：走进搜索引擎的作者梁斌老师针对B树、B+树给出了他的意见（为了真实性，特引用其原话，未作任何改动）： “B+树还有一个最大的好处，方便扫库，B树必须用中序遍历的方法按序扫库，而B+树直接从叶子结点挨个扫一遍就完了，B+树支持range-query非常方便，而B树不支持。

发表了文章 2017-12-29

hbase scan客户端服务端流程

hbase scan客户端服务端流程一：基础知识了解： scanner可分为两种InternalScanner和KeyValueScanner,区别如下 1.

发表了文章 2017-12-15

hbase-region个数

hbase-region数量单个regionserver配置region个数的两种方案：根据官方推荐配置（硬盘容量）；根据内存配置一：官方推荐配置（硬盘容量）：官方文档给出的推荐： regionserver上的region个数范围在20~200；每个region的大小在10G~30G之间，比较符合实际。

发表了文章 2017-12-01

hbase meta表数据存储

hbase meta表数据存储 1.meta表存储了在系统上的一系列的region信息。以及meta表的信息存储在zookeeper上。 2.meta表结构如下（默认列族为info）： Key： Region key of the format ([...

发表了文章 2017-11-29

hbase过滤器filter及自定义filter

hbase过滤器filter及自定义filter 1.filter源码实现： hbase的filter定义在protobuf中（filter.proto文件）。

发表了文章 2017-11-28

zookeeper数据存储及查看hbase信息

zookeeper数据存储及查看hbase信息 1.zookeeper数据存储： 1.1内存数据存储、磁盘数据存储. 内存数据存储：数据模型是一棵树。

发表了文章 2017-11-24

hbase snapshot源码分析

snapshot操作在硬盘上形式： /hbase/.snapshots /.tmp <---- working directory /[snapshot name] <---...

发表了文章 2017-06-22

买房须知

看房屋看房子内部设施看地段、环境看合同看资格、看证书公摊面积商业贷款流程税费四金绿地率、绿化率交房 1.看房屋楼层、朝向、布局和结构。

发表了文章 2017-06-01

hbase region split源码分析

hbase region split ： split执行调用流程： 1.HbaseAdmin发起split：### 2.RSRpcServices实现类执行split（Implements the regionserver RPC services.）### 3.CompactSplitThread类与SplitRequest类用来执行region切割:### 4.splitRequest执行doSplitting操作### 4.1初始化两个子region### 4.2执行切割#### 4.2.1：（创建子region。

发表了文章 2017-05-09

hbase优化实践

hbase优化一：垃圾回收优化： region服务器处理过大的负载，内存分配策略无法安全地只依赖JRE对程序的行为的各种假设，需要使用JRE提供的选项调整垃圾回收策略应对。

发表了文章 2017-04-25

docker使用总结

1.docker的基本概念： Docker包括三个基本概念镜像（Image）容器（Container）仓库（Repository）理解了这三个概念，就理解了Docker 的整个生命周期。

发表了文章 2017-04-13

hbase协处理器Coprocessor（简介）

一：介绍把一部分计算也移动到数据的存放端；允许用户执行region级的操作；可以动态加载。二：使用场景： 1、使用钩子来关联行修改操作来维护辅助索引，或维护一些数据间的引用完整性。

发表了文章 2017-04-07

hbase安装问题记录

stop-hbase.sh stopping hbase................... Slave2: no zookeeper to stop because no pid file /var/hadoop/pids/hbase-root-zookeeper.

发表了文章 2017-04-07

zookeeper安装错误

问题：Using config: /usr/local/zk/bin/../conf/zoo.cfg Error contacting service. It is probably not running. 解决办法先stop 掉原zk zkServer.sh stop 然后以start-foreground方式启动，会看到启动日志 zkServer.sh start-foreground 原因：本人zoo.cfg配置文件中主机名写错，导致启动失败。

提交了问题 2017-03-25

大数据职业如何规划

发表了文章 2016-12-28

大数据开发（必备）

package：大数据开发（面试以及工作）技能 public class(java->大数据)： java转型大数据开发。调研技术。学习机制原理。熟悉源代码。

发表了文章 2016-11-29

mapreduce知识点记录

selfMapper extends Mapper< LongWritable, Text, Text, IntWritable> 其中LongWritable是某一行起始位置相对于文件起始位置的偏移量 FileSplit 继承extends InputSplit FileSplit fileSplit=(FileSplit) context.

发表了文章 2016-11-22

linux基本命令

一：linux命令 1.ls命令 -l ：列出长数据串，包含文件的属性与权限数据等 -a ：列出全部的文件，连同隐藏文件（开头为.的文件）一起列出来（常用） -d ：仅列出目录本身，而不是列出目录的文件数据 -h ：将文件容量以较易读的方式（GB，k...

发表了文章 2016-11-21

hadoop——hbase

一：hbase介绍： 1.介绍： hbase，hadoop家族一员，是一个开源的，分布式的，面向对象，非结构化数据的存储系统。 hbase存储基于列而不基于行。

发表了文章 2016-11-18

hadoop——hive学习

一、前言 Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它可以将结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能。还可以将 sql 语句转换为 MapReduce 任务运行。

sunt_dota_个人页

个人介绍

擅长的技术

hbase simple权限二

hbase开发方向

hbase simple权限一

hbase二级索引secondary-index记录

HBASE-LSM树

hbase scan客户端服务端流程

hbase-region个数

hbase meta表数据存储

hbase过滤器filter及自定义filter

zookeeper数据存储及查看hbase信息

hbase snapshot源码分析

买房须知

hbase region split源码分析

hbase优化实践

docker使用总结

hbase协处理器Coprocessor（简介）

hbase安装问题记录

zookeeper安装错误

大数据职业如何规划

大数据开发（必备）

mapreduce知识点记录

linux基本命令

hadoop——hbase

hadoop——hive学习

hbase simple权限二

hbase simple权限一

hbase二级索引secondary-index记录

HBASE-LSM树

hbase scan客户端服务端流程

hbase-region个数

hbase meta表数据存储

hbase过滤器filter及自定义filter

zookeeper数据存储及查看hbase信息

hbase snapshot源码分析

买房须知

hbase region split源码分析

hbase优化实践

docker使用总结

hbase协处理器Coprocessor（简介）

hbase安装问题记录

zookeeper安装错误

大数据开发（必备）

mapreduce知识点记录

linux基本命令

hbase开发方向

大数据职业如何规划