阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》之《数据应用:数据服务》篇

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生 API 网关,700元额度,多规格可选
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文主要阐述在使用DataWorks(数据工场)的过程中如何使用数据服务模块,快速将已生成的数据给用起来。此功能可用于快速将数仓中的结果表生成API,通过API给下游应用使用,或者通过API服务完成数据共享等。

实验背景介绍
在进行本实验前,请先完成实验《数据采集:日志数据上传》、《数据加工:用户画像》、《数据治理:数据质量监控》。上述三个实验使用了DataWorks的三个模块,分别是数据集成模块(快速将数据上云),数据开发模块(完成数据的清洗和周期调度)和数据质量模块(配置数据的校验规则,保证数据产出质量)。本文将给大家讲述如何使用DataWorks的数据服务模块,快速完成数据共享,将整个数据研发流程达到闭环。

数据服务介绍

DataWorks数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,同时支持您将现有的API快速注册到数据服务平台以统一管理和发布。

数据服务已与API网关(API Gateway)打通,支持将API服务一键发布至API网关。数据服务与API网关为您提供了安全稳定、低成本、易上手的数据开放共享服务。

数据服务采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。

数据服务配置

在前三个课程中,我们已经产出了一系列的表,其中可以直接被报表系统使用的表有 rpt_user_info_d,可以被应用使用的明细表有 dw_user_info_all_d。本文我们会通过使用数据服务,快速的将这两个表生成API。

注册数据源

由于MaxCompute的特性是离线、批量大数据计算,所以直接连MaxCompute生成的数据服务API是无法快速响应的,那么MaxCompute计算引擎为了提升查询效率,推出了lightning加速引擎。那在数据服务中如何使用 lightning引擎呢?

在数据集成界面,新增数据,选择lightning 。
image

填写lightning引擎内容:
数据源名称: (建议为)当前项目名
数据源描述:日志数据表
Lightning Endpoint:lightning.cn-shanghai.maxcompute.aliyun-inc.com
Port:443
MaxCompute项目名称:当前项目名
AccessKey ID:访问者的AK信息
AccessKey Secret:访问者的AK信息
JDBC扩展参数:无需修改

以上信息,填写完成以后,点击测试连通性,测试连通性成功后,点击完成即可。

创建数据服务API

鼠标hover在右上角DataWorks的图标上,跳转至数据服务模块。

注:由于数据服务是结合API网关使用的,如果没有开通API网关的话,需要先开通API网关,具体开通流程本文不做详细概述。

鼠标选中API列表,右键选择新建分组。
image

输入分组名称。
image

创建完成分组后,鼠标右键单击分组名称,选择生成API,选择向导模式。
image

我们这里把 rpt_user_info_d 的数据快速生成api,故API的名称为 rpt_user_info_d ,路径与名称同名。
image

点击确认后,进入API的编辑界面,我们只需要简单的选择数据源类型、数据源名称、数据表名称即可,勾选上入参和出参,保存API。

注:这里建议大家勾选uid和分区字段dt为入参,出参可全选。

image

保存API完成后,点击右上角的测试,会弹出入参的填写框,入参中uid可以填写:0016359810821 ,dt可以填写昨天的日期。
image

测试通过后,可返回API编辑面板,点击右上角的发布,发布后的API就可以被正常访问了。可按照上述方法,将 dw_user_info_all_d 表也生成数据服务API。

API调用

生成的API如何调用呢?
首先你需要将API发布,在发布之前要先开通API网关

这个发布操作就会将数据服务生成的API发布到API网关。

在数据服务右上角,可以选择服务管理。在服务管理中,可以对已发布的API进行查看和授权操作。切换至服务管理后,可以在左侧的API调用模块下,看到API的调用信息。
image

然后通过API网关的SDK调用,详见这里

关于数据服务API的更多用法,可以参考文档:《海量大数据大屏分析展示一步到位:DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3月前
|
机器学习/深度学习 存储 监控
Elasticsearch 在日志分析中的应用
【9月更文第2天】随着数字化转型的推进,日志数据的重要性日益凸显。日志不仅记录了系统的运行状态,还提供了宝贵的洞察,帮助企业改进产品质量、优化用户体验以及加强安全防护。Elasticsearch 作为一个分布式搜索和分析引擎,因其出色的性能和灵活性,成为了日志分析领域的首选工具之一。本文将探讨如何使用 Elasticsearch 作为日志分析平台的核心组件,并详细介绍 ELK(Elasticsearch, Logstash, Kibana)栈的搭建和配置流程。
363 4
|
18天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
113 9
|
21天前
|
运维 监控 Cloud Native
一行代码都不改,Golang 应用链路指标日志全知道
本文将通过阿里云开源的 Golang Agent,帮助用户实现“一行代码都不改”就能获取到应用产生的各种观测数据,同时提升运维团队和研发团队的幸福感。
|
22天前
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
30 5
|
1月前
|
存储 SQL 监控
|
1月前
|
自然语言处理 监控 数据可视化
|
1月前
|
缓存 NoSQL 数据库
运用云数据库 Tair 构建缓存为应用提速,完成任务得苹果音响、充电套装等好礼!
本活动将带大家了解云数据库 Tair(兼容 Redis),通过体验构建缓存以提速应用,完成任务,即可领取罗马仕安卓充电套装,限量1000个,先到先得。邀请好友共同参与活动,还可赢取苹果 HomePod mini、小米蓝牙耳机等精美好礼!
|
2月前
|
人工智能 Cloud Native 容灾
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
|
2月前
|
缓存 弹性计算 NoSQL
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
|
2月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
92 3