AI 助理
备案控制台
开发者社区 问答 正文

ADB PG如何解决写入时的小文件问题？

ADB PG如何解决写入时的小文件问题？

展开
收起
不吃核桃 2024-07-31 13:03:28 65 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 格格的阿里云

    ADB PG通过Group flush和流水线异步并行两种方式来解决写入时的小文件问题。Group flush将一批写入的数据合并到同一个OSS文件中，并使用ORC格式存储。流水线异步并行则将编码攒批和排序等CPU密集型任务与上传到OSS的网络IO密集型任务并行处理，以加快写入性能。

    2024-07-31 13:36:05
    赞同 1 展开评论
问答分类：
关系型数据库 云原生数据仓库 AnalyticDB PostgreSQL版
问答标签：
云原生数据仓库 AnalyticDB PostgreSQL版pg 云原生数据仓库 AnalyticDB PostgreSQL版pg小文件
问答地址：
开发者社区 > 数据库 > 问答
相关问答
在ADB PG中，如何减少Join操作的网络Shuffle开销？
79
1
0
为什么ADB PG选择Bloom Filter作为Runtime Filter的实现形式？
71
1
0
什么是Runtime Filter，它在ADB PG中有什么作用？
174
2
0
ADB PG中引入Slice的目的是什么？
101
1
0
ADB PG是基于什么项目构建的，并进行了哪些扩展？
134
1
0
ADB PG云原生版本的读性能测试覆盖了哪些场景？结果如何？
124
1
0
ADB PG云原生版本与弹性存储版本在写性能测试中的表现有何不同？
81
1
0
ADB PG云原生版本的扩缩容性能如何？
71
1
0
ADB PG云原生版本如何通过节点内并行优化join操作？
100
1
0
sort scan的多路归并算法与向量化的batch scan之间存在什么冲突，ADB PG如何解决
78
1
0