明朔个人页面-阿里云开发者社区

个人头像照片
6
40

个人介绍

长期从事大数据系统与产品研发。

擅长的技术

  • Java
  • Python
  • Linux
  • 数据库
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
  • 发表了文章 2019-11-18

    为了实现在线库的复杂查询,你还在双写吗?

  • 发表了文章 2019-06-19

    Phoenix on HBase+Solr = 易用一体化大数据在线宽表引擎

  • 发表了文章 2019-05-21

    阿里云HBase SQL(Phoenix)服务深度解读

  • 发表了文章 2019-05-21

    BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览

  • 发表了文章 2019-01-04

    Phoenix关于时区的处理方式说明

  • 发表了文章 2018-12-20

    HBase进化之从NoSQL到NewSQL,凤凰涅槃成就Phoenix

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2020-03-20

    hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

    动态伸缩参数,可以生效

    踩0 评论0
  • 回答了问题 2020-03-20

    spark 在idea调试时使用local模式可以跑通,改成集群模式报错

    用--jars之类,要把jar包上传的

    踩0 评论0
  • 回答了问题 2020-03-20

    spark读hive数据报错的。hdp3.0的?

    npe一般是bug,升级版本或者尝试阅读下源码吧

    踩0 评论0
  • 回答了问题 2020-03-20

    spark实时写入数据,现压缩队列上万频繁告警,有调优的办法吗?

    扩容hbase吧

    踩0 评论0
  • 回答了问题 2020-03-20

    Apache spark如何在数据湖中更新海量原始数据?

    可以考虑hudi,delta这种支持增量更新的数据格式

    踩0 评论0
  • 回答了问题 2020-03-20

    spark jdbc写入mysql 同一个表,越跑越慢有什么解决办法吗

    如果是mysql本身随着数据量增大而变慢,只能考虑扩容,或者使用polardb之类的方案。

    踩0 评论0
  • 回答了问题 2020-03-20

    spark on yarn 为什么 总起启动 2 个 executor ?如何设置多个呢?

    配置spark.executor.instances参数

    踩0 评论0
  • 回答了问题 2020-03-20

    使用Phoenix创建Hbase二级索引的时候,Phoenix支持的数据量有限制吗?

    没有

    踩0 评论0
  • 回答了问题 2020-03-20

    类似mysql的binlog,请问phoenix中怎么获得刚删除的数据?

    目前还没有现有的接口,不过可以通过解析hbase wal实现

    踩0 评论0
  • 回答了问题 2020-03-20

    hbase里面的一张表数据清空了,所对应的phoenix里面的索引表会自动被删除吗?

    不会

    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix建索引的索引键的问题

    不是必须的

    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix运行一段时间,百万条记录,select count变得很慢,又没人碰到过 ?

    count本来就很慢的,不建议在phoenix上执行count

    踩0 评论0
  • 回答了问题 2020-03-20

    通过spark写入phoenix,同时构建索引,之后有节点掉,还有死掉的core,是因为集群问题?

    要具体问题具体分析了

    踩0 评论0
  • 回答了问题 2020-03-20

    有人在生产环境用过phoenix的事务功能吗?

    最好不要用

    踩0 评论0
  • 回答了问题 2020-03-20

    Phoenix查询支持并发吗?

    支持的

    踩0 评论0
  • 回答了问题 2020-03-20

    hive读取phoenix 数据由于表数据量大,map内存设置小了自动就被yarn给杀了,请问怎么解

    yarn可以设置额外内存申请,你可以找下相关参数

    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix 异步创建二级索引是不是要在master上执行?

    没有这个强制要求

    踩0 评论0
  • 回答了问题 2020-03-20

    phoenix5.0开启schema对应hbase中的namespace 后。。。

    参考下文档吧,需要用到mr

    踩0 评论0
  • 回答了问题 2020-03-20

    使用phoenix删除表后, 为什么hbase里面对应的表还在啊

    phoenix的删除不是原子的,你可以手动清理下

    踩0 评论0
  • 回答了问题 2020-03-20

    X-Pack Spark如何在后台通过定时任务创建作业

    可以的,xpack spark提供了livy接口可以提交作业

    踩0 评论0
正在加载, 请稍后...
滑动查看更多