开发者社区> 问答> 正文

阿里在File Metadata中保存了共享存储文件相关的信息,它的结构是怎样的?

阿里在File Metadata中保存了共享存储文件相关的信息,它的结构是怎样的?

展开
收起
罗鹏大佬 2022-04-21 11:00:52 10969 0
来自:阿里技术
11 条回答
写回答
取消 提交回答
  • image.png

    Hash bucket:是为了在扩缩容的时候搬迁数据的时候,能够按照bucket来扫描,查询的时候,也是一个bucket跟着一个bucket;

    Level:是merge tree的层次,0层代表实时写入的数据,这部分数据在合并的时候有更高的权重;

    Physical file id:是文件对应的id,64字节是因为它不再与segment关联,不再只需要保证segment内table的唯一性,需要全局唯一;

    Stripe id:是因为一个oss文件可以包含多个bucket 的文件,以stripe为单位,方便在segment一次写入的多个bucket合并到一个oss文件中。避免oss小文件,导致性能下降,和oss小文件爆炸;

    Total count:是文件行数,这也是后台合并的一个权重,越大合并的权重越低 。

    Visibility bitmap记录了被删除的文件信息

    image.png

    Start_row对应32k对应一个delete bitmap。这个32000 4k,行存使用的32k的page可以保存7条记录。

    Delete count是被删除的数量。

    我们无需访问oss,可以直接得到需要merge的文件,避免访问oss带来的延迟,另外oss对于访问的吞吐也有限额,避免频繁访问导致触发oss的限流。

    2022-04-21 15:55:34
    赞同 展开评论 打赏
  • 1

    2022-04-21 15:04:39
    赞同 展开评论 打赏
  • 1

    2022-04-21 15:00:46
    赞同 展开评论 打赏
  • 1

    2022-04-21 14:57:18
    赞同 展开评论 打赏
  • 1

    2022-04-21 14:57:18
    赞同 展开评论 打赏
  • 1

    2022-04-21 14:54:58
    赞同 展开评论 打赏
  • 1

    2022-04-21 14:54:58
    赞同 展开评论 打赏
  • 虽然过去不能改变,未来可以!!!

    1

    2022-04-21 14:54:58
    赞同 展开评论 打赏
  • 无所不能的蛋蛋

    1

    2022-04-21 14:54:58
    赞同 展开评论 打赏
  • 1

    2022-04-21 14:46:14
    赞同 展开评论 打赏
  • 1

    2022-04-21 14:45:13
    赞同 展开评论 打赏
滑动查看更多
问答分类:
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_黄晓涛_通过FDW对大容量非结构化文件的管理和访问 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载