现在9000多个文件,我现在将小文件即时合并ALTER TABLE <table_name> [pa

现在9000多个文件,我现在将小文件即时合并ALTER TABLE <table_name> [partition (<pt_spec>)] MERGE SMALLFILES;减少文件个数和提高存储效率,合并后物理上使用没啥区别吧,我这边全表扫描也能提高效率吧?image.png

展开
收起
真的很搞笑 2023-03-08 23:07:09 612 分享 版权
2 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    合并后,表在物理存储上并没有太大的区别,但是合并后的文件会更大,因此全表扫描的效率可能会有所提高,因为需要扫描的文件个数变少了。但是需要注意的是,全表扫描的效率还受到其他因素的影响,比如表的大小、存储格式、存储引擎等等。因此,无法保证全表扫描一定会有显著的性能提升,具体情况需要根据实际情况进行评估和测试。

    2023-03-12 14:48:30
    赞同 展开评论
  • 小文件合并一下,对SQL效率有效果,此回答整理自钉群“MaxCompute开发者社区1群”

    2023-03-08 23:28:37
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

收录在圈子:
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。
还有其他疑问?
咨询AI助理