明朔_个人页

个人头像照片 明朔
个人头像照片 个人头像照片
6
40
0

个人介绍

长期从事大数据系统与产品研发。

擅长的技术

  • Java
  • Python
  • Linux
  • 数据库
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

阿里云技能认证

详细说明
暂无更多信息

2020年03月

2019年11月

  • 11.18 12:03:46
    发表了文章 2019-11-18 12:03:46

    为了实现在线库的复杂查询,你还在双写吗?

    做在线业务的开发者经常会碰到这样的难题:在线数据库上面运行稍微复杂点的查询,在线业务就挂了!不管是单机数据库如MySQL、PG,还是分布式数据库,HBase、MongoDB、Cassandra都有这个问题。

2019年06月

  • 06.19 20:10:34
    发表了文章 2019-06-19 20:10:34

    Phoenix on HBase+Solr = 易用一体化大数据在线宽表引擎

    在大数据场景中,HBase由于其高吞吐,高并发,实时可见等特性往往被作为在线主存储,云HBase团队融合了在线存储引擎和全文引擎的优势,解决了针对在线大数据存储的复杂查询难题,并提供SQL统一表达,降低用户使用门槛。通过一站式产品能力,用户可以更加灵活高效地解决业务问题。
  • 发表了文章 2019-11-18

    为了实现在线库的复杂查询,你还在双写吗?

  • 发表了文章 2019-06-19

    Phoenix on HBase+Solr = 易用一体化大数据在线宽表引擎

  • 发表了文章 2019-05-21

    阿里云HBase SQL(Phoenix)服务深度解读

  • 发表了文章 2019-05-21

    BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览

  • 发表了文章 2019-01-04

    Phoenix关于时区的处理方式说明

  • 发表了文章 2018-12-20

    HBase进化之从NoSQL到NewSQL,凤凰涅槃成就Phoenix

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2020-03-20

    hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

    动态伸缩参数,可以生效
    踩0 评论0
  • 回答了问题 2020-03-20

    spark 在idea调试时使用local模式可以跑通,改成集群模式报错

    用--jars之类,要把jar包上传的
    踩0 评论0
  • 回答了问题 2020-03-20

    spark读hive数据报错的。hdp3.0的?

    npe一般是bug,升级版本或者尝试阅读下源码吧
    踩0 评论0
  • 回答了问题 2020-03-20

    spark实时写入数据,现压缩队列上万频繁告警,有调优的办法吗?

    扩容hbase吧
    踩0 评论0
  • 回答了问题 2020-03-20

    Apache spark如何在数据湖中更新海量原始数据?

    可以考虑hudi,delta这种支持增量更新的数据格式
    踩0 评论0
  • 回答了问题 2020-03-20

    spark jdbc写入mysql 同一个表,越跑越慢有什么解决办法吗

    如果是mysql本身随着数据量增大而变慢,只能考虑扩容,或者使用polardb之类的方案。
    踩0 评论0
  • 回答了问题 2020-03-20

    spark on yarn 为什么 总起启动 2 个 executor ?如何设置多个呢?

    配置spark.executor.instances参数
    踩0 评论0
  • 回答了问题 2020-03-20

    使用Phoenix创建Hbase二级索引的时候,Phoenix支持的数据量有限制吗?

    没有
    踩0 评论0
  • 回答了问题 2020-03-20

    类似mysql的binlog,请问phoenix中怎么获得刚删除的数据?

    目前还没有现有的接口,不过可以通过解析hbase wal实现
    踩0 评论0
  • 回答了问题 2020-03-20

    hbase里面的一张表数据清空了,所对应的phoenix里面的索引表会自动被删除吗?

    不会
    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix建索引的索引键的问题

    不是必须的
    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix运行一段时间,百万条记录,select count变得很慢,又没人碰到过 ?

    count本来就很慢的,不建议在phoenix上执行count
    踩0 评论0
  • 回答了问题 2020-03-20

    通过spark写入phoenix,同时构建索引,之后有节点掉,还有死掉的core,是因为集群问题?

    要具体问题具体分析了
    踩0 评论0
  • 回答了问题 2020-03-20

    有人在生产环境用过phoenix的事务功能吗?

    最好不要用
    踩0 评论0
  • 回答了问题 2020-03-20

    Phoenix查询支持并发吗?

    支持的
    踩0 评论0
  • 回答了问题 2020-03-20

    hive读取phoenix 数据由于表数据量大,map内存设置小了自动就被yarn给杀了,请问怎么解

    yarn可以设置额外内存申请,你可以找下相关参数
    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix 异步创建二级索引是不是要在master上执行?

    没有这个强制要求
    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix5.0开启schema对应hbase中的namespace 后。。。

    参考下文档吧,需要用到mr
    踩0 评论0
  • 回答了问题 2020-03-20

    使用phoenix删除表后, 为什么hbase里面对应的表还在啊

    phoenix的删除不是原子的,你可以手动清理下
    踩0 评论0
  • 回答了问题 2020-03-20

    X-Pack Spark如何在后台通过定时任务创建作业

    可以的,xpack spark提供了livy接口可以提交作业
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息