巴客
巴客_个人页
巴客
文章
6
问答
84
视频
0
个人介绍
研究spark/hive/hbase相关技术
擅长的技术
- Java
- Python
- Linux
- 数据库
获得更多能力
通用技术能力：
-
Java
高级
能力说明：
精通JVM运行机制，包括类生命、内存模型、垃圾回收及JVM常见参数；能够熟练使用Runnable接口创建线程和使用ExecutorService并发执行任务、识别潜在的死锁线程问题；能够使用Synchronized关键字和atomic包控制线程的执行顺序，使用并行Fork/Join框架；能过开发使用原始版本函数式接口的代码。
云产品技术能力：
暂时未有相关云产品技术能力~
阿里云技能认证
详细说明
暂无更多信息
暂无更多信息
-
发表了文章
2019-05-06
X-Pack Spark归档POLARDB数据做分析
-
发表了文章
2019-01-22
Phoenix客户端进化之由重到轻
-
发表了文章
2018-10-27
记一次HBase内存泄漏导致RegionServer挂掉问题
-
发表了文章
2018-10-14
利用EMR Hive关联云HBase
-
发表了文章
2018-09-10
阿里云EMR异步构建云HBase二级索引
-
发表了文章
2018-08-29
SQuirreL连接Phoenix
滑动查看更多
-
回答了问题
2019-07-17
phoenix的二级索引是先建好？还是先入了数据再创建的好？
一般历史数据比较大的情况，可以先导入数据表，然后异步建索引。
数据量不大先建好索引表再导数据。赞0 踩0 评论0 -
回答了问题
2019-07-17
Phoenix对带有索引表使用duplicate key写入数据报错
带有索引的表不支持duplicate value功能，容易导致索引数据不一致，需考虑其他方案解决。
赞0 踩0 评论0 -
提交了问题
2019-01-25
Phoenix对带有索引表使用duplicate key写入数据报错
-
回答了问题
2019-07-17
HBase写入数据报错“There is a hole in the region chain”
1.使用hbase hbck -details 查看hbase region状态 发现有些region无法上线
- hbase hbck -fixMeta -fixAssignments 命令修复 但是仍无法上线
- 查看磁盘空间df -h 发现磁盘空间使用99%
扩容解决
赞0 踩0 评论0 -
提交了问题
2019-01-25
HBase写入数据报错“There is a hole in the region chain”
-
回答了问题
2019-07-17
phoenix通过中间机器访问hbase，报region is not online
看下regionserver是否正常，日志看好像是挂掉了
赞0 踩0 评论0 -
回答了问题
2019-07-17
HBase shell创建的表和通过Phoenix创建的表区别大吗？
HBase shell创建表不需要执行表schema，写入数据时动态指定列名即可。
phoenix支持使用sql创建表，创建表需要定义好表结构，底层默认会对列名进行编码，且多出一个默认列。赞0 踩0 评论0 -
回答了问题
2019-07-17
phoenix原数据与索引数据是否是异步写？ 如果是，在索引数据写失败的情况下，怎么保证数据原子性？
phoenix索引是用coprocessor同步更新的，写索引表时会先写WAL，一旦索引数据写入失败则回放WAL，保证索引数据最终写入成功。
赞0 踩0 评论0 -
回答了问题
2019-07-17
hbase region预分片数量如何定？
最好是regionserver数目的整数倍，根据数据量提前预估，主要rowkey设计要合理，否则容易出现热点问题
赞0 踩0 评论0 -
回答了问题
2019-07-17
phoenix索引数据如何与hbase原始数据保持一致性？
phoenix索引通过coprocessor实现，原表数据更新时会触发phoenix数据更新。
赞0 踩0 评论0 -
回答了问题
2019-07-17
Hadoop集群监控工具
监控用ganlia试试
赞0 踩0 评论0 -
回答了问题
2019-07-17
[@小川游鱼][¥20]hbase的phoenix
最好是创建view的语句也发出来
赞0 踩0 评论0 -
回答了问题
2019-07-17
[@小川游鱼][¥20]我用hue执行hive SQL的时候 hbase报connectionException
看日志是连接超时了，可以设置下HBase客户端超时参数：
hbase.rpc.timeout=60000000；
hbase.client.scanner.timeout.period=60000000；赞0 踩0 评论0 -
回答了问题
2019-07-17
[@小川游鱼][¥20]HBASE数据导入问题
IMPORT工具会启动mr任务导入数据到hbase，可以观察mr，任务成功执行结束并load到hbase表就说明导入了。
验证条数的话可以先统计下原来数据条数，然后计算下hbase数据条数进行比对就可以。赞1 踩0 评论0 -
回答了问题
2019-07-17
为什么用phoenix建表后，插入的数据是二进制编码的
phoenix默认对列名进行编码。建表时你可以指定属性COLUMN_ENCODED_BYTES=0 可以看到原始列名。
赞1 踩0 评论0 -
回答了问题
2019-07-17
phoenix 的索引，key（a,b,c）include（d,e,f）使用
组合索引在查询时遵循最左前缀原则，查询条件需包含最左前缀列，否则不会走索引
赞0 踩0 评论0 -
回答了问题
2019-07-17
-
回答了问题
2019-07-17
Hbase的写入性能如何？内核是基于Java实现的？
HBase包括Hadoop生态组件基本都是使用java语言实现的。
HBase具有非常高的写吞吐能力，不同规格集群配置qps不同。
详细参考：https://help.aliyun.com/document_detail/59012.html?spm=a2c4g.11186623.6.555.3d8139dbvmQyvn赞0 踩0 评论0 -
回答了问题
2019-07-17
impala+hive+hbase
hive不支持创建hbase二级索引的。
目前阿里也有类似的解决方案，采用spark+phoenix的方案。
phoenix支持HBase二级索引，能够加速HBase复杂查询场景，对于多表复杂分析则用spark分析phoenix，也能够利用二级索引提升分析性能。赞0 踩0 评论0 -
回答了问题
2019-07-17
[@徐雷frank][¥20]HBase的rowkey 和 列族设计要遵循哪些规则
可以参考阿里云HBase官网，对于rowkey设计讲解的很完善。
https://help.aliyun.com/document_detail/59035.html?spm=a2c4g.11186623.6.574.415333e0ZlzbGE赞0 踩0 评论0
滑动查看更多
暂无更多信息