AI 助理
备案控制台
开发者社区 问答 正文

hbase预分区个数和spark过程中的reduce个数相同么

hbase预分区个数和spark过程中的reduce个数相同么

展开
收起
茶什i 2019-10-29 11:18:29 1684 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 珍宝珠

    和spark的map个数相同，reduce个数如果没有设置和reduce前的map数相同。

    2019-10-30 14:50:01
    赞同 展开评论
问答分类：
分布式计算 分布式数据库 Spark Hbase 云数据库HBase版
问答标签：
apache spark分区 云数据库HBase版spark apache spark hbase 云数据库HBase版分区 apache spark reduce
问答地址：
开发者社区 > 数据库 > 问答
相关问答
使用maxcompute开发ODPS Spark任务，使用spark.sql 无法 rename分区
211
4
0
E-MapReduce使用Spark如何开发HBase Bulkload
73
1
0
针对Lindorm数据源分区数量少导致Spark执行效率低的问题，有哪些处理策略？
60
1
0
调整Spark读取ODPS离线表分区大小的方法是什么？
94
1
0
Spark SQL如何实现访问E-MapReduce HBase组件
72
1
0
Spark如何访问EMR HBase
76
1
0
请教一下，如何通过spark删除大数据计算MaxCompute分区数据啊？
168
3
0
大数据计算MaxCompute金融云odps spark 可以访问同区ECS自建的Hbase 么?
110
3
0
spark写kafka，如何让分区分布均衡呢？
372
1
0
请教一个问题。我在用spark读取hbase数据时，默认是一个regoin一个task。发现有些re
1196
0
0