开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks企业版,如何从CDH 加载Load表结构,以及如何发布表结构到CDH引擎中呢?如果

DataWorks企业版,如何从CDH 加载Load表结构,以及如何发布表结构到CDH引擎中呢?如果CDH中有维度表,能直接加载进DW建模吗?我看MaxCompute是支持的

展开
收起
真的很搞笑 2023-07-01 17:01:36 62 0
4 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks企业版中,可以通过以下步骤从CDH加载Load表结构,并发布表结构到CDH引擎中:

    在DataWorks中创建CDH数据源,配置CDH连接信息、认证方式等信息。

    在DataWorks中创建数据表,并选择CDH数据源作为数据表的数据源。

    在数据表的“结构定义”页面中,选择“从CDH加载表结构”,即可将CDH中的表结构加载到DataWorks中。

    在数据表的“结构定义”页面中修改表结构,例如添加、删除、修改字段、修改分区等操作。

    将修改后的表结构发布到CDH引擎中。在数据表的“发布管理”页面中,选择“发布到CDH引擎”,即可将表结构发布到CDH引擎中。

    需要注意的是,如果CDH中有维度表,

    2023-07-31 22:28:11
    赞同 展开评论 打赏
  • 要从CDH加载表结构到DataWorks企业版中,可以按照以下步骤操作:

    1. 在DataWorks的项目空间中创建一个数据源连接。选择CDH作为数据源类型,并提供相应的连接信息(如主机地址、端口号、用户名和密码等)。

    2. 在数据集成页面中,使用数据源连接来创建一个数据源对象。在创建过程中,选择从CDH加载表结构。

    3. 选择需要加载的数据库和表,并指定目标表名称。此过程将会自动获取源表的结构信息,并在DataWorks中创建相应的表结构。

    要发布表结构到CDH引擎中,请按照以下步骤操作:

    1. 在数据开发页面中,创建一个表,在表的设计界面中定义表的结构和属性。

    2. 在发布表结构前,需要先确保已经在DataWorks中配置好了可用的CDH引擎资源。

    3. 在表的设计界面中,点击"发布"按钮。在发布对话框中,选择CDH引擎作为目标引擎。

    4. 配置好发布的相关参数,例如目标数据库和表名等。

    5. 点击"确认发布"按钮,即可将表结构发布到CDH引擎中。

    对于CDH中的维度表,可以直接加载进DataWorks的DW建模,前提是你已经将维度表的结构信息在CDH中创建好了。然后,按照上述步骤从CDH加载表结构到DataWorks中即可。请注意,在加载维度表时,确保在DW建模中正确定义维度表的关系和属性,以便进行后续的数据分析和建模工作。

    2023-07-01 17:38:21
    赞同 展开评论 打赏
  • DataWorks企业版可以从CDH加载Load表结构并发布到CDH引擎中。以下是具体步骤:

    准备CDH环境:确保您的CDH环境已经安装并配置好DataWorks所需的组件,如MaxCompute、Hive等。 创建Load表:在CDH的Hive中创建一个新的Load表,用于加载数据。Load表的结构需要与您的数据源表结构相同。 配置DataWorks任务:在DataWorks中创建一个新的任务,选择"从CDH加载数据"的节点类型。在节点配置页面中,选择要加载的数据表,并指定对应的Load表。 配置数据映射:在任务配置页面中,可以配置数据映射规则,将数据表中的字段与Load表中的字段进行映射。根据实际情况选择相应的映射规则,例如根据数据表的字段名或类型进行映射。 发布表结构:在任务配置页面中,可以发布表结构到CDH引擎中。勾选"发布表结构到CDH"选项,并选择要发布的表结构。发布表结构后,可以在CDH中查看和管理这些表结构。 对于CDH中的维度表,可以直接加载到DW建模中。在DataWorks中创建DW建模任务时,可以将维度表作为数据源之一,并将其与其他数据表进行关联。在DW建模任务中,可以进一步对数据进行清洗、转换和聚合等操作,以构建数据模型。

    需要注意的是,MaxCompute和CDH的版本需要兼容,并且需要正确配置MaxCompute和CDH之间的连接信息,以便在DataWorks中进行数据加载和查询操作。另外,对于不同的数据源和数据结构,可能需要进行相应的数据转换和适配操作,以确保数据的正确性和一致性。

    2023-07-01 17:20:25
    赞同 展开评论 打赏
  • 加载到哪里表结构?逆向建模目前仅支持这两种 image.png https://help.aliyun.com/document_detail/338355.html?spm=a2c4g.137670.0.i1,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-01 17:05:27
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多