3
条回答
写回答
写回答
-
BlockManager 是整个 Spark 底层负责数据存储与管理的一个组件，Driver 和 Executor 的所有数据都由对应的 BlockManager 进行管理。 Driver 上有 BlockManagerMaster，负责对各个节点上的 BlockManager 内部管理 的数据的元数据进行维护，比如 block 的增删改等操作，都会在这里维护好元数据 的变更。每个节点都有一个 BlockManager，每个 BlockManager 创建之后，第一件事即去向 BlockManagerMaster 进行注册
2020-03-19 19:41:48赞同 展开评论 打赏 -
每个数据分片都对应具体物理位置，数据位置是由blockManager管理，无论数据是在磁盘，内存还是tacyan，都由blockManager管理。
2019-10-30 21:38:33赞同 展开评论 打赏 -
答：每个数据分片都对应具体物理位置，数据的位置是被blockManager，无论 数据是在磁盘，内存还是tacyan，都是由blockManager管理
2019-10-28 16:30:17赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
