开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

通过dataworks导出lindorm数据为parquet格式, 放到oss, 是什么原因?

通过dataworks导出lindorm数据为parquet格式, 放到oss, 这个任务一直速度很慢(200多kb/s), 是什么原因, 主要要调整什么参数? dataworks 已经16c32gB了?

展开
收起
cuicuicuic 2023-10-22 21:19:42 35 0
3 条回答
写回答
取消 提交回答
  • 可能的原因和调整参数如下:

    1. 网络带宽限制:检查网络带宽是否足够,如果不足,可以考虑升级网络带宽或者使用更高速的网络传输方式。

    2. 并发数设置:DataWorks中可以设置并发数,增加并发数可以提高导出速度。可以尝试增加并发数来提高速度。

    3. 数据量过大:如果数据量过大,可能会导致导出速度变慢。可以尝试分批次导出数据,或者将数据进行压缩后再导出。

    4. 系统资源利用率:检查DataWorks的资源利用率是否达到瓶颈,如CPU、内存等。如果资源利用率过高,可以考虑增加资源或者优化任务配置。

    5. 其他因素:还有一些其他因素可能会影响导出速度,如磁盘IO、操作系统等。可以根据实际情况进行调整和优化。

    2023-10-23 11:05:05
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据你提供的信息,你正在使用DataWorks将Lindorm数据导出为Parquet格式,并将数据上传到OSS,但是发现任务速度很慢,只有200多KB/s。以下是一些可能的原因:

    1. 网络带宽问题:如果你的网络带宽有限,那么可能会导致数据上传速度慢。在这种情况下,你可以尝试优化网络环境,提高网络带宽,以提高数据上传速度。
    2. 服务器配置问题:如果你的服务器配置不足,那么可能会导致数据上传速度慢。在这种情况下,你可以尝试升级服务器配置,提高服务器性能,以提高数据上传速度。
    3. 数据量问题:如果你的数据量很大,那么可能会导致数据上传速度慢。在这种情况下,你可以尝试优化数据量,减少数据量,以提高数据上传速度。
    2023-10-22 21:55:40
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载