长期从事大数据系统与产品研发。
暂时未有相关通用技术能力~
阿里云技能认证
详细说明动态伸缩参数,可以生效
用--jars之类,要把jar包上传的
npe一般是bug,升级版本或者尝试阅读下源码吧
扩容hbase吧
可以考虑hudi,delta这种支持增量更新的数据格式
如果是mysql本身随着数据量增大而变慢,只能考虑扩容,或者使用polardb之类的方案。
配置spark.executor.instances参数
没有
目前还没有现有的接口,不过可以通过解析hbase wal实现
不会
不是必须的
count本来就很慢的,不建议在phoenix上执行count
要具体问题具体分析了
最好不要用
支持的
yarn可以设置额外内存申请,你可以找下相关参数
没有这个强制要求
参考下文档吧,需要用到mr
phoenix的删除不是原子的,你可以手动清理下
可以的,xpack spark提供了livy接口可以提交作业