开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何同步SLS日志到odps上?

DataWorks如何同步SLS日志到odps上?

展开
收起
真的很搞笑 2023-12-10 19:53:53 85 0
3 条回答
写回答
取消 提交回答
  • 使用数据集成离线同步任务可以 https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-11 11:01:00
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,同步SLS日志到MaxCompute(原ODPS)的步骤如下:首先,在"日志存储 > 日志库"页面中,找到并点击目标Logstore左侧的选项;其次,选择"数据处理 > 导出> MaxCompute(原ODPS)"。之后,将鼠标悬浮在MaxCompute(原ODPS)上,然后单击"+"进行操作。

    2023-12-11 09:56:54
    赞同 展开评论 打赏
  • 在 DataWorks 中,可以通过配置数据集成任务来实现将 SLS(Log Service)日志同步到 ODPS(MaxCompute)上。以下是一种常见的做法:

    1. 创建 ODPS 表:首先,在 ODPS 中创建一个用于存储 SLS 日志的表。您可以使用 ODPS SQL 或者 DataWorks Studio 的建表向导来创建表,并定义适当的字段和分区。

    2. 创建数据集成任务:在 DataWorks 中,创建一个数据集成任务。选择 "数据集成" -> "同步任务",填写任务名称和描述。

    3. 配置来源端:选择 "数据源类型" 为 "日志服务(SLS)"。然后,根据具体情况,填写 SLS 的相关配置信息,包括项目、日志库、日志主题等。

    4. 配置目标端:选择 "目标数据源类型" 为 "大数据计算(ODPS)"。填写 ODPS 的相关连接信息,包括项目、数据源和表等。

    5. 字段映射和数据转换:在数据集成任务中,需要进行字段映射和数据转换配置。根据 SLS 日志中的字段和 ODPS 表的字段进行映射关系的设置。如果需要对数据进行转换或清洗,可以使用 DataWorks Studio 提供的数据处理功能,例如 SQL 转换、ETL 脚本等。

    6. 调度配置:最后,根据需要设置数据集成任务的调度方式和频率。可以选择手动触发或定时调度任务。

    2023-12-10 21:32:32
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载