开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks只是页面性能有影响吗?说的可能影响实际运行是为什么?底层资源划分有关?

DataWorks只是页面性能有影响吗?说的可能影响实际运行是为什么?底层资源划分有关?

展开
收起
真的很搞笑 2023-11-20 07:55:29 46 0
3 条回答
写回答
取消 提交回答
  • DataWorks的性能影响不仅仅局限于页面。实际上,DataWorks底层的资源划分和管理方式可能会对实际运行产生影响。例如,当使用DataWorks的数据服务功能调用数据API时,API调用请求会占用一定的资源组。此外,网络环境,如公网、内网或专线,对于同步性能也有一定的影响。DataWorks调度资源对于同步任务的影响也不容忽视,例如,如果同步任务设置的并发过高,可能会导致某一个任务受到影响。同时,DataWorks数据质量模块与数据开发调度深度集成,这也决定了其对底层统一元数据服务和任务调度服务的依赖性。因此,为了更好地在DataWorks上进行任务运行,需要了解和考虑上述各种因素。

    2023-11-29 15:27:32
    赞同 展开评论 打赏
  • 我理解影响不大 调度资源是单任务级别控制的 主要是上面的原因 但是建议还是1000个以内,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-20 21:52:53
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks本身并不会直接导致影响实际运行的情况发生,但是由于DataWorks是基于阿里云的大数据服务进行数据集成、开发和分析的工具,如果出现页面性能问题,可能是由于底层资源不足或者存在瓶颈所引起的。
    例如,如果一个DataWorks工作流中的计算任务需要大量的CPU或者内存资源,但集群中的资源已经不足以满足其需求,则可能导致该工作流的运行速度减慢甚至失败。这种情况下,调整底层资源的划分可以缓解问题。
    另外,如果底层网络环境较差,也可能会影响DataWorks的工作流调度和计算任务的执行效率。因此,优化底层网络环境也是提高DataWorks性能的重要措施之一。

    2023-11-20 13:27:53
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多