开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks中,想把oss 数据导入到hologres (除了数据湖DLK之外 ) 就只有先导

dataworks中,想把oss 数据导入到hologres (除了数据湖DLK之外 ) 就只有先导入到maxcompute 内表,然后再导入到hologres?

展开
收起
提个问题 2023-07-21 17:59:56 79 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,如果你想将OSS中的数据导入到Hologres,除了使用数据湖DLK(Data Lake)之外,还可以通过以下步骤进行导入:

    创建数据源:在DataWorks控制台,进入目标项目,点击左侧导航栏的「数据集成」,然后点击页面上方的「新建数据源」按钮。选择适合的数据源类型,并填写相关的连接信息,配置OSS数据源和Hologres数据源。

    创建同步任务:在数据集成模块,点击页面上方的「新建任务」按钮,选择「同步任务」。

    配置任务源和目的地:在同步任务配置页面,选择之前创建的数据源作为任务的源数据源,选择Hologres数据源作为目的地数据源。

    配置字段映射和转换:根据OSS数据和Hologres表的结构,配置字段映射和转换规则,确保数据能够正确地映射到Hologres表中。

    配置调度和调优:根据需要,配置任务的调度策略和性能调优选项。

    启动任务:完成任务配置后,点击页面上方的「启动任务」按钮,将任务提交并开始将OSS数据导入到Hologres,并根据配置定期执行任务。

    2023-07-30 18:01:11
    赞同 展开评论 打赏
  • 在DataWorks中,如果您想将OSS中的数据导入到Hologres,除了使用数据湖DLK(DataLake)之外,可以通过以下步骤进行操作:

    1. 创建MaxCompute表:首先,在MaxCompute中创建一个表用于存储从OSS导入的数据。您可以使用MaxCompute提供的命令或者在DataWorks中执行SQL语句创建相应的表结构。

    2. 创建ODPS数据源:在DataWorks中,创建一个ODPS数据源,用于连接和访问MaxCompute。

    3. 创建同步任务:在DataWorks中创建一个同步任务,将OSS中的数据导入到MaxCompute表中。配置源为OSS数据源,目标为ODPS数据源,并指定相应的表和字段映射关系。

    4. 执行同步任务:运行同步任务来将OSS数据导入到MaxCompute表中。DataWorks会自动将指定的数据从OSS读取并写入到MaxCompute中。

    5. 创建Hologres数据源:在DataWorks中,创建一个Hologres数据源,用于连接和访问Hologres数据库。

    6. 创建同步任务:在DataWorks中创建另一个同步任务,将MaxCompute表中的数据导入到Hologres中。配置源为ODPS数据源,目标为Hologres数据源,并指定相应的表和字段映射关系。

    7. 执行同步任务:运行同步任务来将MaxCompute表中的数据导入到Hologres中。DataWorks会自动将数据从MaxCompute读取并写入到Hologres数据库中。

    2023-07-21 21:26:56
    赞同 展开评论 打赏
  • 接受离线同步么 离线同步可以直接oss写入holo
    选择oss和holo https://help.aliyun.com/document_detail/181656.html
    配置方式:https://help.aliyun.com/document_detail/153351.html,
    此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-21 18:02:04
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    实时数仓Workshop(广州站)- 李佳林 立即下载
    阿里云实时数仓Hologres技术揭秘2.0 立即下载
    实时数仓Hologres技术实战一本通2.0版(下) 立即下载