开发者社区> 问答> 正文

数仓中海量数据处理常用方法外排序法是什么意思呢?

数仓中海量数据处理常用方法外排序法是什么意思呢?

展开
收起
游客ahv54x37wvm7u 2021-12-12 20:09:03 540 0
1 条回答
写回答
取消 提交回答
  • 外排序是相对于内部排序而言的,它是大文件的排序,由于内存限制,不能一下子把所有的待排内容都读到内存中进行排序,需要在内存和外部存储器之间进行多次数据交换才能达到对整个文件进行排序的目的。外排序适用于大数据的排序以及去重,但外排序的缺陷是回消耗大量的IO,效率不高。

    2021-12-12 20:09:16
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于云原生数据仓库AnalyticDB PG的最佳实践 立即下载
新氧云原生全栈数仓最佳实践 立即下载
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载