开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataWorks有一张12亿数据的表,怎么分批导出到csv文件,有什么好的办法吗?

dataWorks有一张12亿数据的表,怎么分批导出到csv文件,有什么好的办法吗?全量导出,本地

展开
收起
真的很搞笑 2023-09-17 16:55:02 56 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    当需要全量导出一张包含12亿数据的表到本地的CSV文件时,一次性导出可能会遇到内存和性能方面的挑战。为了有效地分批导出数据,可以考虑以下方法:
    image.png

    1. 分页查询:使用分页查询的方式逐页获取数据,并将每页的结果写入到CSV文件中。这样可以控制每次查询的数据量,减少内存压力。在每次查询时,在SELECT语句中通过LIMITOFFSET子句指定当前页数和每页记录数。
      image.png

    2. 分区导出:如果目标表是分区表,可以按照分区进行导出。先确定每个分区的范围,然后针对每个分区执行导出操作。这样可以将数据拆分为多个较小的文件,简化导出过程。

    3. 并行导出:将导出任务分成多个并行的子任务,每个子任务导出部分数据,并行执行。这样可以同时利用多个资源进行导出,加快导出速度。

    2023-09-18 14:02:09
    赞同 展开评论 打赏
  • 下载数据。

    【下载方式一】DataStudio查询结果下载
    限制:上限1万条。
    step1:项目管理员角色设置项目开启允许下载。
    image.png

    step2:DataStudio查询结果下载

    image.png

    【下载方式二】数据分析查询结果下载
    限制:,DataWorks标准版及以上上限20万条,基础版上限1万条。仅阿里云主账号和租户管理员可以访问编辑。
    step1:安全中心>安全策略>数据查询与分析管控,开启下载
    新版本:
    image.png

    老版本:数据分析-系统管理-设置允许下载。
    image.png

    step2:SQL查询结果下载。

    image.png

    【下载方式三】SQLTask配合Tunnel实现量数据导出
    限制:支持全量下载。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-18 08:40:36
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多