开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks 项目空间,数据库,引擎实例三者是什么关系?

dataworks 项目空间,数据库,引擎实例三者是什么关系?

展开
收起
真的很搞笑 2023-11-06 13:33:08 140 0
4 条回答
写回答
取消 提交回答
  • DataWorks项目空间可以理解为开发调度的管理空间,MaxCompute计算引擎是云数据仓库 实现存储及计算 类似于hive ,DataWorks空间底层可以绑定MC引擎 (相当于绑定引擎实例),数据库是指mysql oracle等 可以通过DataWorks数据集成在数据库、数仓之间做数据传输,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 21:36:35
    赞同 展开评论 打赏
  • 在DataWorks中,“项目空间”、“数据库”和“引擎实例”之间存在紧密的相互依赖和协调关系。具体来说:

    1. 项目空间:它是DataWorks环境中的一组相关资源集合,其中包括ODPS数据库、MaxCompute数据库、MySQL数据库等。
    2. 数据库:它是一组相关表、函数和其他资源的集合,包括ODPS、MaxCompute、MySQL等。
    3. 引擎实例:它是指定资源的运行环境,如ODPS、MaxCompute、MySQL等。

    总的来说,一个Project Space下可以有多个Database,而每个Database又可以包含多个Engine Instance。您可以根据实际需求在不同的Project Space中创建不同的Database和Engine Instance,并为其分配适当的权限和资源。

    2023-11-06 22:11:05
    赞同 展开评论 打赏
  • 项目空间:在DataWorks中,项目空间是用来管理数据开发项目的空间,它包含了项目中所有的数据开发任务、资源、权限等信息。一个项目空间可以包含多个数据库和引擎实例。
    数据库:数据库是用来存储和管理数据的软件系统。在DataWorks中,你可以创建和管理多个数据库,这些数据库可以是关系型数据库、非关系型数据库、数据仓库等不同类型的数据库。
    引擎实例:在DataWorks中,引擎实例是用来运行数据开发任务的实例。它可以是一个分布式计算引擎、一个数据库连接实例或者其他数据处理引擎。一个项目空间可以包含多个引擎实例,用于处理不同的数据开发任务。

    关系:DataWorks平台通过项目空间来管理所有的数据开发任务和资源,包括数据库和引擎实例。在项目空间中,你可以创建和管理多个数据库和引擎实例,并将它们用于数据开发任务中。同时,DataWorks还提供了对数据库和引擎实例的统一管理和运维能力,帮助你更好地管理和维护这些资源

    实例购买功后会默认生成一个数据库postgres,但系统分配给该数据库的资源小仅供管理用途,实际业务需要新建数据。本小节将会为您介绍如何在HoloStudio中创建新的数据库。https://help.aliyun.com/zh/dataworks/user-guide/create-a-database?spm=a2c4g.11186623.0.i90

    在DataWorks实例任务中,E-MapReduce计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。https://help.aliyun.com/zh/dataworks/user-guide/use-the-engine-o-and-m-feature?spm=a2c4g.11186623.0.i95

    2023-11-06 14:24:47
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,项目空间、数据库和引擎实例有着密切的关联,它们共同构成了整个大数据开发平台的基础架构。

    • 项目空间 是在DataWorks中组织和管理各种资源的基本单位。它包含了所有数据库、引擎实例、数据表等资源,并为用户提供了一个统一的工作区。在一个项目空间内,用户可以方便地查看和访问所有的资源,并进行跨资源的操作。
    • 数据库 是用于存储、管理和检索数据的一种持久化数据存储系统。它可以被看作是一组数据表的集合,提供了更加丰富的数据操作功能。在DataWorks中,用户可以通过数据库来管理和查询各种不同类型的数据表。
    • 引擎实例 是运行各种数据处理引擎的地方,比如MaxCompute、Hive、Flink等。引擎实例中包含了相应的计算资源,并负责执行用户的SQL或Python等脚本任务。用户可以根据实际需要,灵活地选择不同的引擎实例来处理不同类型的数据任务。

    在DataWorks中,项目空间、数据库和引擎实例之间存在着紧密的相互依赖和协调关系。例如,当用户在一个项目空间中创建一个数据库时,实际上是在这个项目空间中创建了一组关联的引擎实例。这些引擎实例为数据库提供了必要的计算资源,并负责执行相应的SQL语句和其他数据处理任务。
    同样地,当用户在一个项目空间中创建一张数据表时,实际上是在这张表所属的数据库中创建了一张表。这张表会占用一部分数据库中的存储空间,并可以在引擎实例上执行相关的查询和处理任务。

    2023-11-06 14:04:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载