开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks sql查询中,为什么导出数据变慢了?

DataWorks sql查询中,为什么导出数据变慢了?之前都是好用的。然后在开发界面里导出数据很快,只有在数据分析的sql查询中导出变慢了?image.png
一直卡在90%,数据量只有2000多行

展开
收起
cuicuicuic 2023-12-10 19:52:38 64 0
3 条回答
写回答
取消 提交回答
  • 查到被安全拦截 提交了加白名单的审批单 应该还需要些时间 辛苦先用电子表格下载下 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-11 11:00:59
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks SQL查询导出变慢的原因可能有多种。首先,网络不通可能导致数据导出速度变慢,您可以联系数据源配置Owner查看资源组与网络的联通性,尝试添加数据分析白名单自主解决。其次,如果需要使用的数据源未经授权,可以联系管理员在安全中心对需要查询的数据源进行授权。此外,新版本的SQL查询可能有一些变更,如数据源设置和可查询数据源的选项可能会有所减少,这也可能影响到数据的导出速度。

    如果您在开发界面里导出数据很快,但在数据分析的sql查询中导出变慢了,可能是因为这两种情况下使用的引擎实例不同,或者查询语句的复杂度不同。例如,某些复杂的查询语句在旧版本的SQL查询中可能运行得更快,但在新版的SQL查询中可能会变慢。

    2023-12-11 10:06:43
    赞同 展开评论 打赏
  • 导出数据变慢的原因可能与以下几个因素有关:

    1. 数据量增加:如果查询结果的数据量增加了,导致导出数据的时间变长是正常的。请确认是否查询的数据量较之前增加了,导致导出速度下降。

    2. 网络延迟:导出数据需要将数据从 DataWorks 传输到您的本地设备,如果网络连接不稳定或带宽受限,会导致导出速度较慢。您可以尝试在不同的网络环境下进行测试,或者检查网络连接是否存在异常。

    3. 集群资源压力:如果使用的 DataWorks 集群上的计算资源较为繁忙,可能会导致查询和导出任务执行速度变慢。这种情况下,可以尝试在非高峰时段执行导出任务,或者联系管理员对集群资源进行优化。

    4. 查询性能优化:如果查询语句中存在复杂的逻辑、大量的关联表或者没有正确的索引,会导致查询性能较差,进而影响导出数据的速度。建议对查询语句进行优化,确保查询逻辑合理、表关联正确,并根据需要创建索引以提高查询性能。

    5. 数据存储位置:数据导出的速度也可能与数据存储位置有关。如果数据存储在远程地区或者跨地域,可能会导致数据传输速度变慢。可以尝试将数据存储到更接近您的本地设备的位置,以提高导出速度。

    2023-12-10 21:32:25
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    SQL Server 2017 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载