巴客个人页面-阿里云开发者社区

个人头像照片

个人介绍

研究spark/hive/hbase相关技术

擅长的技术

  • Java
  • Python
  • Linux
  • 数据库
获得更多能力
通用技术能力:
  • Java
    高级

    能力说明:

    精通JVM运行机制,包括类生命、内存模型、垃圾回收及JVM常见参数;能够熟练使用Runnable接口创建线程和使用ExecutorService并发执行任务、识别潜在的死锁线程问题;能够使用Synchronized关键字和atomic包控制线程的执行顺序,使用并行Fork/Join框架;能过开发使用原始版本函数式接口的代码。

    获取记录:

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
  • 发表了文章 2019-05-06

    X-Pack Spark归档POLARDB数据做分析

  • 发表了文章 2019-01-22

    Phoenix客户端进化之由重到轻

  • 发表了文章 2018-10-27

    记一次HBase内存泄漏导致RegionServer挂掉问题

  • 发表了文章 2018-10-14

    利用EMR Hive关联云HBase

  • 发表了文章 2018-09-10

    阿里云EMR异步构建云HBase二级索引

  • 发表了文章 2018-08-29

    SQuirreL连接Phoenix

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    phoenix的二级索引是先建好?还是先入了数据再创建的好?

    一般历史数据比较大的情况,可以先导入数据表,然后异步建索引。
    数据量不大先建好索引表再导数据。

    踩0 评论0
  • 回答了问题 2019-07-17

    Phoenix对带有索引表使用duplicate key写入数据报错

    带有索引的表不支持duplicate value功能,容易导致索引数据不一致,需考虑其他方案解决。

    踩0 评论0
  • 提交了问题 2019-01-25

    Phoenix对带有索引表使用duplicate key写入数据报错

  • 回答了问题 2019-07-17

    HBase写入数据报错“There is a hole in the region chain”

    1.使用hbase hbck -details 查看hbase region状态 发现有些region无法上线

    1. hbase hbck -fixMeta -fixAssignments 命令修复 但是仍无法上线
    2. 查看磁盘空间df -h 发现磁盘空间使用99%
      扩容解决
    踩0 评论0
  • 提交了问题 2019-01-25

    HBase写入数据报错“There is a hole in the region chain”

  • 回答了问题 2019-07-17

    phoenix通过中间机器访问hbase,报region is not online

    看下regionserver是否正常,日志看好像是挂掉了

    踩0 评论0
  • 回答了问题 2019-07-17

    两个不同hbase集群怎么同步数据?

    踩0 评论0
  • 回答了问题 2019-07-17

    HBase shell创建的表和通过Phoenix创建的表区别大吗?

    HBase shell创建表不需要执行表schema,写入数据时动态指定列名即可。
    phoenix支持使用sql创建表,创建表需要定义好表结构,底层默认会对列名进行编码,且多出一个默认列。

    踩0 评论0
  • 回答了问题 2019-07-17

    phoenix原数据与索引数据是否是异步写? 如果是,在索引数据写失败的情况下,怎么保证数据原子性?

    phoenix索引是用coprocessor同步更新的,写索引表时会先写WAL,一旦索引数据写入失败则回放WAL,保证索引数据最终写入成功。

    踩0 评论0
  • 回答了问题 2019-07-17

    spark怎么分析hbase的数据?

    踩0 评论0
  • 回答了问题 2019-07-17

    hbase region预分片数量如何定?

    最好是regionserver数目的整数倍,根据数据量提前预估,主要rowkey设计要合理,否则容易出现热点问题

    踩0 评论0
  • 回答了问题 2019-07-17

    phoenix索引数据如何与hbase原始数据保持一致性?

    phoenix索引通过coprocessor实现,原表数据更新时会触发phoenix数据更新。

    踩0 评论0
  • 回答了问题 2019-07-17

    Hadoop集群监控工具

    监控用ganlia试试

    踩0 评论0
  • 回答了问题 2019-07-17

    [@小川游鱼][¥20]hbase的phoenix

    最好是创建view的语句也发出来

    踩0 评论0
  • 回答了问题 2019-07-17

    [@小川游鱼][¥20]我用hue执行hive SQL的时候 hbase报connectionException

    看日志是连接超时了,可以设置下HBase客户端超时参数:
    hbase.rpc.timeout=60000000;
    hbase.client.scanner.timeout.period=60000000;

    踩0 评论0
  • 回答了问题 2019-07-17

    [@小川游鱼][¥20]HBASE数据导入问题

    IMPORT工具会启动mr任务导入数据到hbase,可以观察mr,任务成功执行结束并load到hbase表就说明导入了。
    验证条数的话可以先统计下原来数据条数,然后计算下hbase数据条数进行比对就可以。

    踩0 评论0
  • 回答了问题 2019-07-17

    在数量一定的情况下,怎么减少大合并的时间呢

    适当调整compact的线程数hbase.regionserver.thread.compaction.large默认是1,根据你集群配置调整。不建议配置太大,会消耗cpu资源。

    踩0 评论0
  • 回答了问题 2019-07-17

    Hive on hbase 分析10亿以上数据不是特别好?

    Hive分析HBase性能还是很慢的,可以参考下阿里云Spark+HBase的方案,对于分析做了一些优化,能够获取最大性能保障。https://help.aliyun.com/document_detail/93908.html?spm=a2c4g.11186623.6.595.28383110zyj82S

    踩0 评论0
  • 回答了问题 2019-07-17

    Apache phoenix适合多大数据量?

    Phoenix底层以HBase做为存储引擎,对于点查不会随着数据量增大而性能下降

    踩0 评论0
  • 回答了问题 2019-07-17

    OLAP on HBase的可选方案有哪些?

    phoenix可以做部分简单场景的OLAP,对于复杂大数据量无能为力,需要借助sparksql进行处理。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多