开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

那DataWorks这种是不是只能通过比如:python读取表数据,手动过滤然后手动写入目标表中,?

那DataWorks这种是不是只能通过比如:python读取表数据,手动过滤然后手动写入目标表中,这种python资源是实时回收吗?不会出现oom之类的错误吧?

展开
收起
真的很搞笑 2023-07-16 12:54:42 111 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,可以使用Python等编程语言来对数据进行处理,但这不是唯一的方式。DataWorks还提供了一些内置的数据处理节点,例如SQL节点、MapReduce节点、Spark节点等,可以通过这些节点来处理数据,并自动进行调度和运行。

    对于Python节点而言,由于其是基于Python编写的脚本,因此可以方便地进行数据处理和分析。但是,需要注意的是,Python节点需要手动编写代码来实现数据的读取、处理和写入等操作,相对来说,比较灵活,但需要一定的编程经验和技能。

    关于Python资源的回收和OOM问题,DataWorks中的Python节点使用的是集群模式,可以根据实际需求来动态调整资源的使用。

    2023-07-21 19:34:52
    赞同 展开评论 打赏
  • 在 DataWorks 中,你可以通过编写 Python 脚本来读取表数据、进行过滤和转换,并将结果写入目标表中。这种方式可以帮助你实现更复杂的数据处理逻辑。

    关于资源管理和错误处理方面,DataWorks 提供了一些功能来确保脚本的执行效率和稳定性:

    1. 资源管理:DataWorks 会根据任务配置和集群资源情况,动态分配和管理资源。它可以自动分配合适的计算资源给你的任务,以避免资源不足导致的 OOM 错误或性能问题。

    2. 并发控制:你可以在同步任务中设置并发度参数,指定同时运行的实例数。这样可以控制脚本的并发执行,防止资源竞争和负载过重。

    3. 异常处理:如果脚本执行出错,DataWorks 会记录日志并提供相应的错误信息。你可以检查日志来诊断和解决问题。另外,你还可以配置任务的告警规则,当脚本发生异常时,可以及时收到通知。

    2023-07-18 09:48:00
    赞同 展开评论 打赏
  • pyodps吗 一般任务结束 资源就会释放,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-16 12:56:39
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载