使用dataworks投递日志服务数据到MaxCompute

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志服务提供了多种投递数据的方式,如: 在控制台直接配置投递任务,通过消费组获取数据然后再投递。控制台直接投递配置方式与dataworks类似,不过配置项更少,更容易操作。

背景

本文将为您介绍如何通过数据集成(DataWorks)功能投递LogHub(SLS)数据至MaxCompute。

前提条件

总览

  1. 首先,需要确定日志服务中存在可供投递的数据;
  2. 然后,在DataWorks控制台中创建工作空间,以及日志服务的数据源、MaxComputer的数据源、MaxCompute的目标表;
  3. 最后,创建投递任务。

投递流程

一、通过Dataworks控制台创建MaxCompute表

温馨提示:如果已有MaxCompute表,可以跳过这一步。

1.进入DataWorks控制台工作空间列表页面,鼠标悬停至目标工作空间对应操作列的快速进入,单击数据开发。

        image.png

2.单击左侧数据开发 > 鼠标悬停至+新建图标,单击新建业务流程,弹窗内输入业务名称,然后单击新建即可完成业务流程的创建。

image.png

image.png

3.鼠标悬停至+新建图标,单击新建节点 > MaxCompute > ODPS SQL,弹窗内输入对应的节点类型路径名称,然后单击提交完成新建节点。

image.png

image.png

4.新建节点完成后,即会跳出sql页面,输入sql语句单击运行即可进行表的创建。

CREATE TABLE IF NOT EXISTS tableName
(
  c1  STRING,
  c2  STRING
)
PARTITIONED BY
(
  p1  STRING
)
LIFECYCLE 3;

image.png

二、创建数据源

1. 登录DataWorks控制台
2. 单击左侧导航栏的工作空间列表,单击目标工作空间操作列对应的管理,进入工作空间管理中心。        
image.png
3. 在管理中心页面单击左侧数据源,待数据源页面加载完毕后,单击新增数据源。

image.png

3.1.创建LogHub数据源。

a.在新增数据源弹框中选择LogHub。


    image.png

b.填写新增LogHub数据源对话框中的配置。  

    image.png  


参数

描述

数据源名称

数据源名称必须以字母、数字、下划线组合,且不能以数字和下划线开头。

数据源描述

对数据源进行简单描述,不得超过80个字符。

LogHub Endpoint

LogHub的Endpoint,格式为http://example.com。详情请参见服务入口

Project

目标日志服务的项目名称。

AccessKey ID

访问密钥中的AccessKey ID,您可以进入控制台的用户信息管理页面进行复制。

AccessKey Secret

访问密钥中的AccessKey Secret,相当于登录密码。

  c.单击测试连通性

  d.连通性测试通过后,单击完成

3.2.创建MaxCompute数据源。⚠️注意:如果已绑定MaxCompute引擎,默认会已创建好一个名为odps_first的数据源,可以跳过此步骤。

a.在新增数据源弹框中选择MaxCompute。

image.png

b.填写新增MaxCompute数据源对话框中的配置。

      image.png

参数

描述

数据源名称

数据源名称必须以字母、数字、下划线组合,且不能以数字和下划线开头。

数据源描述

对数据源进行简单描述,不得超过80个字符。

ODPS Endpoint

MaxCompute的Endpoint,格式为http://example.com。详情请参见服务入口

ODPS项目名称

MaxCompute项目名称。

AccessKey ID

访问密钥中的AccessKey ID,您可以进入控制台的用户信息管理页面进行复制。

AccessKey Secret

访问密钥中的AccessKey Secret,相当于登录密码。

三、离线同步方式(如需实时同步,请参考第四步骤)

  1. 数据源页面,单击左上角的图标,选择全部产品 > DataStudio(数据开发)进入数据开发页面。


image.png

image.png    

  1. 数据开发页面,鼠标悬停至新建图标,单击业务流程


      image.png

  1. 新建业务流程对话框中,输入业务流程名称描述,单击新建
  2. 展开已创建的目标业务流程,右键单击数据集成,选择新建 > 离线同步

      image.png

  1. 新建节点对话框中,选择业务流程路径,并输入节点名称

      image.png

  1. 单击确认,进入离线节点编辑页面,如下图:

      image.png

  1. 参考下图进行配置并测试连通性。

      image.png

  1. 测试连通性为可连通后单击下一步
  2. 任务配置字段映射参考下图示例。

      image.png

image.png

image.png

 10.单击保存 > 运行 > 运行,即可开启任务投递。

      image.png

image.png

 11.可以在控制台下方区域查看运行的日志。

      image.png

四、实时同步方式(如需离线同步,请参考第三步骤)

  1. 数据源页面,单击左上角的图标,选择全部产品 > DataStudio(数据开发)进入数据开发页面。

      image.png

image.png

  1. 数据开发页面,鼠标悬停至新建图标,单击业务流程

      image.png

  1. 新建业务流程对话框中,输入业务流程名称描述,单击新建
  2. 展开已创建的目标业务流程,右键单击数据集成,选择新建 > 实时同步

      image.png

  1. 新建节点对话框中,选择业务流程路径,并输入节点名称,然后单击确定完成业务流程的创建。

      image.png

  1. 单击确认后,则会进入实时节点编辑页面,如下图:

      image.png

  1. 输入选项中LogHub输出选项中MaxCompute分别拖拽至实时节点编辑页面。

      image.png

  1. 单击Loghub后会弹出Loghub节点配置弹窗请参考下图进行配置。

      image.png

  1. 单击MaxCompute后会弹出MaxCompute节点配置弹窗请参考下图进行配置。

      image.png

 10. 单击右侧边栏基本配置会弹出基本配置弹窗请参考下图进行配置。

      image.png

 11. 进行字段映射配置,先通过鼠标对LoghubMaxCompute进行连接,然后单击MaxCompute进行字段映射配置,请参考下图。

      image.png                        

image.png

image.png


12.点击保存 > 提交

image.png

13.点击提交后会弹出提示框,单击确定即可完成任务提交,此时已完成实时同步任务的基本配置。。

14.单击右侧边栏运维进入运维中心页面。

      image.png

15.单击左侧实时同步任务,即可加载出已提交的实时同步任务信息,随后请在操作列单击启动按钮则会弹出启动弹窗提示如下。

      image.png

16.在启动弹窗中根据自己需求点选相关配置后单击确定即可启动任务,并在当前页面观察任务运行状态等信息。

      image.png

五、查看MaxCompute表中数据

参考第三步骤《通过Dataworks控制台创建MaxCompute表》进入sql页面编写sql查询语句如下:

语句1查询分区:SHOW PARTITIONS tablename;

语句2以指定分区为条件查询数据:SELECT * FROM tablename WHERE p1 = '1111111';

    image.png

六、常见问题

1.投递后数据为空常见原因
  • 检查原始数据中是否存在该字段(只能投递日志服务中的字段,不支持json嵌套字段投递)
  • 日志服务的字段名称填写是否正确
  • MaxComputer侧的字段类型是否正确,日志服务中类型与MaxComputer不一样,所以建议在MaxComputer中创建String类型字段重新投递


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
4月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
20天前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
|
21天前
|
数据采集 运维 监控
|
5月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
466 117
|
3月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
303 4
|
8月前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
338 1
|
9月前
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
311 0
日志服务数据加工最佳实践: 加工多层数组对象嵌套的复杂JSON
许多程序的数据结构是一个复杂的包括多层数组嵌套的对象, 本篇介绍使用日志服务数据加工处理多层数组对象嵌套的复杂JSON.
1462 0
|
9月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
236 9

相关产品

  • 日志服务