开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中odps和dataworks是什么关系?

DataWorks中odps和dataworks是什么关系?

展开
收起
真的很搞笑 2023-10-22 15:17:16 584 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    DataWorks和ODPS(MaxCompute)是阿里云提供的两个不同的大数据处理服务。
    ODPS(MaxCompute)是阿里云提供的一种分布式计算服务,主要用于海量数据的计算和分析。它提供了一种面向大规模数据处理的编程模型,可以在分布式集群上进行高效的数据处理和分析。
    DataWorks是阿里云提供的一种大数据开发和治理平台,它提供了一套完整的数据开发和治理工具,可以帮助用户快速构建、管理和监控大数据应用程序。DataWorks支持多种数据源和数据处理引擎,包括ODPS(MaxCompute)、Hadoop、Spark等。
    因此,DataWorks和ODPS(MaxCompute)是两种不同的大数据处理服务,它们可以相互配合,共同支持大数据应用程序的开发和运行。在DataWorks中,用户可以使用ODPS(MaxCompute)作为数据处理引擎,进行大规模数据处理和分析。同时,DataWorks还提供了一套完整的数据开发和治理工具,可以帮助用户快速构建、管理和监控基于ODPS(MaxCompute)的大数据应用程序。

    2023-10-23 14:12:09
    赞同 展开评论 打赏
  • DataWorks是阿里巴巴提供的一种全链路大数据开发治理平台,它基于多种大数据引擎,如MaxCompute、Hologres、EMR、AnalyticDB和CDP等,为数据仓库、数据湖和湖仓一体等解决方案提供服务。而ODPS(开放数据处理服务)则是阿里云提供的一种大数据计算服务,它支持海量数据的存储和分析。

    在DataWorks中,ODPS与MaxCompute紧密相关。DataWorks为用户提供了ODPS SQL节点,这可以用于周期性调度MaxCompute的SQL任务,并与其他类型的节点进行集成和联合调度。此外,DataWorks中的数据处理函数、数据查询函数和数据聚合函数都可以与ODPS函数结合使用,以实现更复杂的数据处理和查询任务。

    总的来说,DataWorks是一个大数据开发和治理平台,而ODPS(特别是与MaxCompute的集成)是其核心组成部分之一,为用户提供了强大的大数据处理能力。

    2023-10-22 20:19:29
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云DataWorks和ODPS(现在的MaxCompute)都是阿里巴巴旗下的大数据处理产品,它们之间有紧密的关系。ODPS是阿里巴巴通用计算平台提供的一种快速、完全托管的GB/TB/PB级数据仓库解决方案,现在已更名为MaxCompute。而DataWorks是一种数据开发与管理平台,用于支持数据的集成、开发、调度和监控。

    在DataWorks中,ODPS函数是一个函数库,为DataWorks提供了多种用于数据处理、查询和聚合的函数。这些函数可以帮助用户快速完成如数据清洗、数据转换、数据格式转换等数据处理任务。此外,DataWorks还提供了ODPS分区功能,这是对ODPS表数据进行逻辑划分和管理的一种机制。

    2023-10-22 18:56:00
    赞同 展开评论 打赏
  • DataWorks是开发治理平台,主要处理数据集成,开发,调度,建模等,分不同版本,按功能收费,以及资源保证调度任务等收费。

    DataWorks基于MaxCompute(odps)、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
    image.png

    ODPS,也就是MaxCompute产品,主要处理计算任务,数据存储等,有不同的规格。
    image.png

    通常二者搭配使用,通过DataWorks来创建任务,然后ODPS来处理,以及存储数据和分析结果。MaxCompute深度融合了DataWorks。

    ——-参考来自于阿里云官方文档

    2023-10-22 16:14:50
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载