开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中MC数据导出到FTP数据源时支持Z文件方式压缩么?

DataWorks中MC数据导出到FTP数据源时支持Z文件方式压缩么?

展开
收起
真的很搞笑 2023-10-15 20:07:48 70 0
3 条回答
写回答
取消 提交回答
  • 确实如此,当您需要在DataWorks中将MC数据导出到FTP数据源时,是支持Z文件方式压缩的。具体操作步骤如下:首先打开DataWorks控制台,然后选择“数据集成”菜单进入数据集成页面。同时,MaxCompute也支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。这样,您就可以根据实际需求,将需要的数据顺利导出并使用Z文件方式进行压缩了。

    2023-10-31 20:41:48
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    DataWorks在导出数据时,支持对数据进行压缩,可以选择不同的数据压缩方式。然而,目前并未明确指出是否支持Z文件方式的压缩。您可以在实际操作中,选择数据导出的参数,查看是否有Z文件方式的压缩选项。同时,如果遇到任何问题,建议联系DataWorks的技术支持获取更详细的帮助。

    2023-10-16 16:41:55
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,MC 数据导出到 FTP 数据源时支持 Z 文件方式压缩。具体操作步骤如下:

    1. 打开 DataWorks 控制台,选择“数据集成”菜单,进入数据集成页面。
    2. 在数据集成页面中,选择“任务管理”选项卡,然后选择要导出的 MC 数据任务。
    3. 在任务详情页面中,点击“配置”按钮,进入任务配置页面。
    4. 在任务配置页面中,找到“ODPS配置”选项卡,然后在“高级”部分找到并修改“mapred.max.output.num”参数的值。该参数的默认值是 4096,可以根据实际情况进行调整。
    5. 在任务配置页面中,找到“输出”选项卡,然后在“数据源”部分选择“FTP”数据源。
    6. 在“FTP”数据源配置页面中,选择“Z 文件方式压缩”选项,然后设置压缩参数。
    7. 点击“保存”按钮,完成 MC 数据导出到 FTP 数据源的配置。
      需要注意的是,调整 ODPS 的 mapred.max.output.num 参数可能会影响 Spark 任务的性能和稳定性,因此需要根据实际情况进行权衡。此外,由于 ODPS 的 mapred.max.output.num 参数是在 Spark 任务运行时设置的,因此需要在 Spark 任务运行之前进行配置。
    2023-10-15 21:42:04
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多