读取ORC文件的VectorizedRowBatch的最佳batchSize设置有什么建议？
在向量化读取orc文件时, 需要配置VectorizedRowBatch的batchSize, 用于设置每次读取的行数,
我知道根据orc索引, 读取orc文件最小的单位应该是row group(默认1w行), 底层会根据filter条件来精确到哪些row group,
那之前提到的batchSize设置为1000时 ， 那一个row group需要读取10次, 每个row group又是按列存储,
势必会存在非连续读取的可能, 这样岂不是做不到最大优化？ 是够将batchSize设置和row group配置一样才能读取效率最大化呢？
不知道我的理解是否正确.*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
1万行太大了，会占用太大内存。而且batchSize太大也不利于cache。
batchSize不一定要和row group一样，这种row group特别大的情况下，batchSize 够用就行了。*来自志愿者整理的FLINK邮件归档
2021-12-02 17:22:51赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
