Spark中数据的位置是被谁管理的？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
BlockManager 是整个 Spark 底层负责数据存储与管理的一个组件，Driver 和 Executor 的所有数据都由对应的 BlockManager 进行管理。 Driver 上有 BlockManagerMaster，负责对各个节点上的 BlockManager 内部管理 的数据的元数据进行维护，比如 block 的增删改等操作，都会在这里维护好元数据 的变更。每个节点都有一个 BlockManager，每个 BlockManager 创建之后，第一件事即去向 BlockManagerMaster 进行注册
每个数据分片都对应具体物理位置，数据位置是由blockManager管理，无论数据是在磁盘，内存还是tacyan，都由blockManager管理。
评论
全部评论 (0)
你好，我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)