明朔_个人页

2020年03月

• 03.20 09:57:04
  回答了问题 2020-03-20 09:57:04

  hi，有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗，这个参数对spark streaming会生效，但是没找到文档说spark structured streaming 是否会生效

  赞0 踩0 评论0
• 03.20 09:54:12
  回答了问题 2020-03-20 09:54:12

  spark 在idea调试时使用local模式可以跑通，改成集群模式报错

  赞0 踩0 评论0
• 03.20 09:52:53
  回答了问题 2020-03-20 09:52:53

  spark读hive数据报错的。hdp3.0的？

  赞0 踩0 评论0
• 03.20 09:51:21
  回答了问题 2020-03-20 09:51:21

  spark实时写入数据，现压缩队列上万频繁告警，有调优的办法吗？

  赞0 踩0 评论0
• 03.20 09:49:54
  回答了问题 2020-03-20 09:49:54

  Apache spark如何在数据湖中更新海量原始数据？

  赞1 踩0 评论0
• 03.20 09:48:22
  回答了问题 2020-03-20 09:48:22

  spark jdbc写入mysql 同一个表，越跑越慢有什么解决办法吗

  赞0 踩0 评论0
• 03.20 09:46:37
  回答了问题 2020-03-20 09:46:37

  spark on yarn 为什么 总起启动 2 个 executor ？如何设置多个呢？

  赞0 踩0 评论0
• 03.20 09:44:41
  回答了问题 2020-03-20 09:44:41

  使用Phoenix创建Hbase二级索引的时候，Phoenix支持的数据量有限制吗？

  赞0 踩0 评论0
• 03.20 09:44:21
  回答了问题 2020-03-20 09:44:21

  类似mysql的binlog，请问phoenix中怎么获得刚删除的数据？

  赞0 踩0 评论0
• 03.20 09:43:37
  回答了问题 2020-03-20 09:43:37

  hbase里面的一张表数据清空了，所对应的phoenix里面的索引表会自动被删除吗？

  赞0 踩0 评论0
• 03.20 09:43:24
  回答了问题 2020-03-20 09:43:24

  phoenix建索引的索引键的问题

  赞0 踩0 评论0
• 03.20 09:41:57
  回答了问题 2020-03-20 09:41:57

  phoenix运行一段时间，百万条记录，select count变得很慢，又没人碰到过 ？

  赞0 踩0 评论0
• 03.20 09:41:20
  回答了问题 2020-03-20 09:41:20

  通过spark写入phoenix，同时构建索引，之后有节点掉，还有死掉的core，是因为集群问题?

  赞0 踩0 评论0
• 03.20 09:40:44
  回答了问题 2020-03-20 09:40:44

  有人在生产环境用过phoenix的事务功能吗？

  赞0 踩0 评论0
• 03.20 09:40:28
  回答了问题 2020-03-20 09:40:28

  Phoenix查询支持并发吗？

  赞0 踩0 评论0
• 03.20 09:40:14
  回答了问题 2020-03-20 09:40:14

  hive读取phoenix 数据由于表数据量大，map内存设置小了自动就被yarn给杀了，请问怎么解

  赞0 踩0 评论0
• 03.20 09:39:29
  回答了问题 2020-03-20 09:39:29

  phoenix 异步创建二级索引是不是要在master上执行？

  赞0 踩0 评论0
• 03.20 09:38:52
  回答了问题 2020-03-20 09:38:52

  phoenix5.0开启schema对应hbase中的namespace 后。。。

  赞0 踩0 评论0
• 03.20 09:36:42
  回答了问题 2020-03-20 09:36:42

  使用phoenix删除表后, 为什么hbase里面对应的表还在啊

  赞0 踩0 评论0
• 03.20 09:32:53
  回答了问题 2020-03-20 09:32:53

  X-Pack Spark如何在后台通过定时任务创建作业

  赞0 踩0 评论0
• 03.20 09:30:47
  回答了问题 2020-03-20 09:30:47

  spark 的aggregate 函数查询出的数据不对? 好像是线程不安全的? 该怎么处理

  赞0 踩0 评论0
• 03.20 09:27:46
  回答了问题 2020-03-20 09:27:46

  spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉

  赞0 踩0 评论0
• 03.20 09:24:17
  回答了问题 2020-03-20 09:24:17

  通过spark-thriftserver读取hive表执行sql时，tasks 数量怎么设置

  赞0 踩0 评论0

2019年11月

• 11.18 12:03:46
  发表了文章 2019-11-18 12:03:46

  为了实现在线库的复杂查询，你还在双写吗？

  做在线业务的开发者经常会碰到这样的难题：在线数据库上面运行稍微复杂点的查询，在线业务就挂了！不管是单机数据库如MySQL、PG，还是分布式数据库，HBase、MongoDB、Cassandra都有这个问题。

  

2019年06月

• 06.19 20:10:34
  发表了文章 2019-06-19 20:10:34

  Phoenix on HBase+Solr = 易用一体化大数据在线宽表引擎

  在大数据场景中，HBase由于其高吞吐，高并发，实时可见等特性往往被作为在线主存储，云HBase团队融合了在线存储引擎和全文引擎的优势，解决了针对在线大数据存储的复杂查询难题，并提供SQL统一表达，降低用户使用门槛。通过一站式产品能力，用户可以更加灵活高效地解决业务问题。