现在创建Ddataworks后,绑定MacCompute要先创建数据源了么?
在DataWorks中,创建工作空间后,您需要为该工作空间绑定MaxCompute引擎,然后将MaxCompute计算引擎项目绑定至DataWorks,作为DataWorks的底层计算引擎。DataWorks支持多种绑定MaxCompute引擎的模式,包括新增MaxCompute项目、绑定已有MaxCompute项目或绑定外部项目。
当您使用自建的MaxCompute数据源时,如果DataWorks项目没有绑定MaxCompute引擎,将无法创建MaxCompute SQL节点,从而导致全量同步标done节点创建失败。因此,绑定MaxCompute引擎是DataWorks项目能否成功创建并正常运行的必要步骤。
此外,数据源可以分为两类:一类是引擎绑定时自动生成的引擎数据源,例如绑定MaxCompute引擎后,将在数据源管理页面默认新增名为odps_first的数据源;另一类是通过在数据源管理页面新增数据源方式添加至DataWorks的外接数据源。
在DataWorks中,创建数据源和绑定MacCompute是两个不同的步骤,它们可以分别进行,也可以同时进行。通常情况下,你可以在创建DataWorks后,再创建数据源和绑定MacCompute。
以下是创建DataWorks和创建数据源以及绑定MacCompute的步骤:
在 DataWorks 中,MacCompute 是用于运行 MaxCompute 任务的计算引擎。在绑定 MacCompute 前,您需要先创建一个数据源,以便将源数据导入到 MaxCompute 表中或从 MaxCompute 表导出数据。
以下是一般情况下创建 MacCompute 和数据源的步骤:
创建数据源:
绑定 MacCompute:
在 DataWorks 中,创建数据源通常是在创建数据集成任务之前进行的。这是因为数据源是数据集成任务的输入和输出,因此需要先创建数据源才能进行数据集成任务的创建和配置。
在您创建 DataWorks 项目后,如果要绑定 MacCompute 服务,通常需要先创建数据源,然后在数据集成任务中配置 MacCompute 服务。在配置 MacCompute 服务时,您需要提供 MacCompute 服务的访问密钥和安全组信息,以确保 DataWorks 可以访问和使用 MacCompute 服务。
前提条件
已拥有DataWorks空间管理员权限。详情请参见添加及管理工作空间成员。
已将RAM用户(子账号)添加为工作空间成员:如果需要将RAM用户添加为生产环境访问身份,您需要先将其添加至该工作空间成员列表,详情请参见添加及管理工作空间成员。
背景信息
(必读)请您在操作引擎绑定前务必了解以下内容,这将决定您后续是否可以顺利开展数据开发工作。
引擎绑定注意事项(重点)。
必读:简单模式和标准模式的区别。
功能介绍
您可通过以下方式为DataWorks工作空间绑定MaxCompute引擎项目。
如果您需要为工作空间绑定新的MaxCompute项目,您可以选择为当前工作空间创建MaxCompute项目。
简单模式工作空间支持为DataWorks工作空间绑定已有MaxCompute引擎。
为当前工作空间已绑定的MaxCompute项目构建湖仓一体项目,详情请参见MaxCompute湖仓一体概述。
在DataWorks中,绑定MacCompute后,可以先创建数据源,也可以在创建数据流时直接绑定MacCompute。这是因为,DataWorks提供了数据流级别的MacCompute绑定功能,可以在创建数据流时直接绑定MacCompute,而不需要先创建数据源。
当你在创建数据流时,可以在“数据源”页面中选择“MacCompute”作为数据源类型,然后在“MacCompute”页面中配置MacCompute的参数,如实例类型、实例数量、存储类型等。在配置完成后,就可以将MacCompute绑定到数据流中了。
如果你已经创建了数据源,也可以在数据源页面中选择“MacCompute”作为数据源类型,然后在“MacCompute”页面中配置MacCompute的参数,将MacCompute绑定到数据源中。然后在创建数据流时,选择该数据源作为数据源,就可以将MacCompute绑定到数据流中了。
总的来说,绑定MacCompute的方式取决于你的需求和操作习惯。你可以根据实际情况选择适合自己的方式。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。