明朔
明朔_个人页
明朔
文章
6
问答
40
视频
0
个人介绍
长期从事大数据系统与产品研发。
擅长的技术
- Java
- Python
- Linux
- 数据库
获得更多能力
通用技术能力：
暂时未有相关通用技术能力~
云产品技术能力：
-
Clouder
-
Apsara Clouder云计算专项技能认证：云服务器ECS入门
获得于2023-04-18 14:42:04
-
Apsara Clouder云计算专项技能认证：云服务器ECS入门
阿里云技能认证
详细说明-
发表了文章 2019-11-18
为了实现在线库的复杂查询，你还在双写吗？
做在线业务的开发者经常会碰到这样的难题：在线数据库上面运行稍微复杂点的查询，在线业务就挂了！不管是单机数据库如MySQL、PG，还是分布式数据库，HBase、MongoDB、Cassandra都有这个问题。
-
发表了文章 2019-06-19
Phoenix on HBase+Solr = 易用一体化大数据在线宽表引擎
在大数据场景中，HBase由于其高吞吐，高并发，实时可见等特性往往被作为在线主存储，云HBase团队融合了在线存储引擎和全文引擎的优势，解决了针对在线大数据存储的复杂查询难题，并提供SQL统一表达，降低用户使用门槛。通过一站式产品能力，用户可以更加灵活高效地解决业务问题。
-
发表了文章 2019-05-21
阿里云HBase SQL（Phoenix）服务深度解读
阿里云HBase SQL基于Phoenix 5.0版本，为云HBase2.0赋予NewSQL特性，降低kv接口使用复杂性，并提供Schema、Secondary Indexes、View 、Bulk Loading(离线大规模load数据)、Atomic Upsert、Salted Tables、Dynamic Columns、Skip Scan等特性的能力，大大降低了用户的使用门槛。
-
发表了文章 2019-05-21
BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览
数据库发展有三个明显的趋势：1. 越来越多的数据库会做云原生(CloudNative)；2. NoSQL正在解决BigData领域的问题；3. 越来越多的公司或者产品都是融合多个能力。 阿里云HBase经过公共云两年（单独的HBase在阿里内部已经发展快9年）的发展，融合开源Apache HBase、Apache Phoenix、Apache Spark、Apache Solr等开源项目，再加上一系列自研特性，满足 【一体化数据处理平台，提供一站式能力】。
-
发表了文章 2019-01-04
Phoenix关于时区的处理方式说明
开源版Phoenix对于时区的处理比较混乱，容易造成用户误解、误用。本文梳理了开源Phoenix对于时区的处理逻辑，以及介绍了阿里云Phoenix对时区问题的解决方案。
-
发表了文章 2018-12-20
HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix
数据爆炸使得传统单机数据库面临一系列挑战，HBase作为NoSQL数据库，解决了大规模数据实时读写的难题。Phoenix项目在HBase的基础上增加了SQL语言表达，算子原地执行，二级索引，加盐表等特性，进化成为了NewSQL数据库，更好用也更强大。
暂无更多信息
-
发表了文章
2019-11-18
为了实现在线库的复杂查询，你还在双写吗？
-
发表了文章
2019-06-19
Phoenix on HBase+Solr = 易用一体化大数据在线宽表引擎
-
发表了文章
2019-05-21
阿里云HBase SQL（Phoenix）服务深度解读
-
发表了文章
2019-05-21
BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览
-
发表了文章
2019-01-04
Phoenix关于时区的处理方式说明
-
发表了文章
2018-12-20
HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix
滑动查看更多
-
回答了问题
2020-03-20
hi，有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗，这个参数对spark streaming会生效，但是没找到文档说spark structured streaming 是否会生效
动态伸缩参数，可以生效
赞0 踩0 评论0 -
回答了问题
2020-03-20
spark 在idea调试时使用local模式可以跑通，改成集群模式报错
用--jars之类，要把jar包上传的
赞0 踩0 评论0 -
回答了问题
2020-03-20
spark读hive数据报错的。hdp3.0的？
npe一般是bug，升级版本或者尝试阅读下源码吧
赞0 踩0 评论0 -
回答了问题
2020-03-20
spark实时写入数据，现压缩队列上万频繁告警，有调优的办法吗？
扩容hbase吧
赞0 踩0 评论0 -
回答了问题
2020-03-20
Apache spark如何在数据湖中更新海量原始数据？
可以考虑hudi，delta这种支持增量更新的数据格式
赞1 踩0 评论0 -
回答了问题
2020-03-20
spark jdbc写入mysql 同一个表，越跑越慢有什么解决办法吗
如果是mysql本身随着数据量增大而变慢，只能考虑扩容，或者使用polardb之类的方案。
赞0 踩0 评论0 -
回答了问题
2020-03-20
spark on yarn 为什么 总起启动 2 个 executor ？如何设置多个呢？
配置spark.executor.instances参数
赞0 踩0 评论0 -
回答了问题
2020-03-20
使用Phoenix创建Hbase二级索引的时候，Phoenix支持的数据量有限制吗？
没有
赞0 踩0 评论0 -
回答了问题
2020-03-20
类似mysql的binlog，请问phoenix中怎么获得刚删除的数据？
目前还没有现有的接口，不过可以通过解析hbase wal实现
赞0 踩0 评论0 -
回答了问题
2020-03-20
hbase里面的一张表数据清空了，所对应的phoenix里面的索引表会自动被删除吗？
不会
赞0 踩0 评论0 -
回答了问题
2020-03-20
phoenix建索引的索引键的问题
不是必须的
赞0 踩0 评论0 -
回答了问题
2020-03-20
phoenix运行一段时间，百万条记录，select count变得很慢，又没人碰到过 ？
count本来就很慢的，不建议在phoenix上执行count
赞0 踩0 评论0 -
回答了问题
2020-03-20
通过spark写入phoenix，同时构建索引，之后有节点掉，还有死掉的core，是因为集群问题?
要具体问题具体分析了
赞0 踩0 评论0 -
回答了问题
2020-03-20
有人在生产环境用过phoenix的事务功能吗？
最好不要用
赞0 踩0 评论0 -
回答了问题
2020-03-20
Phoenix查询支持并发吗？
支持的
赞0 踩0 评论0 -
回答了问题
2020-03-20
hive读取phoenix 数据由于表数据量大，map内存设置小了自动就被yarn给杀了，请问怎么解
yarn可以设置额外内存申请，你可以找下相关参数
赞0 踩0 评论0 -
回答了问题
2020-03-20
phoenix 异步创建二级索引是不是要在master上执行？
没有这个强制要求
赞0 踩0 评论0 -
回答了问题
2020-03-20
phoenix5.0开启schema对应hbase中的namespace 后。。。
参考下文档吧，需要用到mr
赞0 踩0 评论0 -
回答了问题
2020-03-20
使用phoenix删除表后, 为什么hbase里面对应的表还在啊
phoenix的删除不是原子的，你可以手动清理下
赞0 踩0 评论0 -
回答了问题
2020-03-20
X-Pack Spark如何在后台通过定时任务创建作业
可以的，xpack spark提供了livy接口可以提交作业
赞0 踩0 评论0
滑动查看更多
暂无更多信息
