开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks创建Data Lake Analytics节点操作步骤是什么?

DataWorks创建Data Lake Analytics节点操作步骤是什么?

展开
收起
cuicuicuic 2023-10-10 18:02:34 37 0
5 条回答
写回答
取消 提交回答
  • 打开DataWorks,选择要添加Data Lake Analytics节点的工作空间。
    在左侧导航栏中,点击“数据开发”选项卡。
    在数据开发页面中,选择“任务开发”选项卡。
    在任务开发页面中,点击右上角的“新建任务”按钮。

    2023-10-13 16:59:58
    赞同 展开评论 打赏
  • 是的,DataWorks可以将JSON数据从OSS迁移至MaxCompute。具体步骤如下:

    1. 在DataWorks中创建业务流程,选择“OSS”作为源数据,并选择“MaxCompute”作为目标数据。
    2. 在业务流程中配置源数据和目标数据的相关参数,如访问密钥、Bucket名称等。
    3. 在业务流程中编写SQL脚本,将JSON数据转换为MaxCompute支持的格式。
    4. 在业务流程中配置任务调度,定期执行JSON数据的迁移任务。

    注意:在迁移JSON数据时,需要确保JSON数据的格式是正确的,否则可能会导致数据无法正确迁移。

    2023-10-13 15:41:23
    赞同 展开评论 打赏
  • 在DataWorks中创建Data Lake Analytics节点的操作步骤如下:

    1. 登录DataWorks控制台:打开浏览器,访问DataWorks控制台(https://workbench.data.aliyun.com/console)。使用您的阿里云账号登录。

    2. 进入项目空间:在DataWorks控制台的首页,选择您要创建Data Lake Analytics节点的项目空间。

    3. 创建工作流:在项目空间页面,点击左侧导航栏中的"工作流设计",然后点击页面右上角的"新建工作流"按钮。给工作流命名,并设置其他相关信息。

    4. 添加Data Lake Analytics节点:在工作流设计页面,从左侧的组件面板拖动"Data Lake Analytics"节点到工作流画布中。

    5. 配置Data Lake Analytics节点:选中刚添加的Data Lake Analytics节点,在右侧的属性面板中配置节点的参数。具体配置项包括Data Lake Analytics执行计算模式、SQL语句、输入表、输出表等。

    6. 连接节点:根据需要,在工作流中连接Data Lake Analytics节点与其他节点,确保数据流的正确流向和处理逻辑。

    7. 保存工作流:完成配置后,点击页面右上角的"保存"按钮保存工作流。

    8. 调度工作流:如果需要定期自动执行工作流,可以配置调度策略。点击页面右上角的"调度"按钮,根据需要设置触发器和调度参数。

    9. 运行工作流:保存和配置完毕后,点击页面右上角的"运行"按钮来执行工作流。您可以选择手动触发运行或等待调度触发运行。

    2023-10-11 14:37:37
    赞同 展开评论 打赏
  • 进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。鼠标悬停至image.png
    图标,单击自定义 > Data Lake Analytics。您也可以打开相应的业务流程,右键单击自定义,选择新建 > Data Lake Analytics。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交。编辑Data Lake Analytics节点。选择数据源。选择任务要执行的目标数据源。如果下拉列表中没有需要的数据源,请单击右侧的新建数据源,在数据源管理页面新建,详情请参见配置Data Lake Analytics(DLA)数据源。编辑SQL语句。选择相应的数据源后,即可根据Data Lake Analytics支持的语法,编写SQL语句。通常支持DML语句,您也可以执行DDL语句。单击工具栏中的image.png
    图标。单击工具栏中的image.png
    图标,执行SQL语句。如果您需要修改在数据开发页面测试时使用的任务执行资源,请单击工具栏中的image.png
    图标,选择相应的独享调度资源组。说明 因为访问专有网络环境的数据源需要使用独享调度资源组执行任务,所以此处必须选择测试连通性成功的独享调度资源组。单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见基础属性。配置资源属性时,请选择调度资源组为已经和Data Lake Analytics网络连通的独享调度资源组,作为周期调度时使用的资源组。保存并
    https://help.aliyun.com/document_detail/137542.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-11 09:17:13
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中创建Data Lake Analytics节点的步骤如下:

    1. 登录DataWorks控制台,选择左侧菜单栏中的“数据开发”。
    2. 在数据开发页面,选择“工作空间”下的“新建工作空间”。
    3. 在新建工作空间页面,输入工作空间名称和描述,然后点击“下一步”。
    4. 在工作空间配置页面,选择数据源类型和数据源,然后点击“下一步”。
    5. 在工作空间设置页面,配置工作空间的访问权限和告警规则,然后点击“下一步”。
    6. 在工作空间创建页面,确认工作空间的配置信息,然后点击“创建”按钮。
    7. 在工作空间创建完成后,选择左侧菜单栏中的“数据开发”。
    8. 在数据开发页面,选择左侧菜单栏中的“任务开发”。
    9. 在任务开发页面,点击“新建任务”按钮,选择任务类型为“Data Lake Analytics”。
    10. 在任务配置页面,配置任务的输入和输出表,然后点击“下一步”。
    11. 在任务设置页面,配置任务的执行参数和运行环境,然后点击“下一步”。
    12. 在任务完成页面,确认任务的配置信息,然后点击“提交”按钮。

    以上就是在DataWorks中创建Data Lake Analytics节点的操作步骤。

    2023-10-10 22:40:18
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多