阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》之《数据应用:数据服务》篇

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
云原生 API 网关,700元额度,多规格可选
简介: 本文主要阐述在使用DataWorks(数据工场)的过程中如何使用数据服务模块,快速将已生成的数据给用起来。此功能可用于快速将数仓中的结果表生成API,通过API给下游应用使用,或者通过API服务完成数据共享等。

实验背景介绍
在进行本实验前,请先完成实验《数据采集:日志数据上传》、《数据加工:用户画像》、《数据治理:数据质量监控》。上述三个实验使用了DataWorks的三个模块,分别是数据集成模块(快速将数据上云),数据开发模块(完成数据的清洗和周期调度)和数据质量模块(配置数据的校验规则,保证数据产出质量)。本文将给大家讲述如何使用DataWorks的数据服务模块,快速完成数据共享,将整个数据研发流程达到闭环。

数据服务介绍

DataWorks数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,同时支持您将现有的API快速注册到数据服务平台以统一管理和发布。

数据服务已与API网关(API Gateway)打通,支持将API服务一键发布至API网关。数据服务与API网关为您提供了安全稳定、低成本、易上手的数据开放共享服务。

数据服务采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。

数据服务配置

在前三个课程中,我们已经产出了一系列的表,其中可以直接被报表系统使用的表有 rpt_user_info_d,可以被应用使用的明细表有 dw_user_info_all_d。本文我们会通过使用数据服务,快速的将这两个表生成API。

注册数据源

由于MaxCompute的特性是离线、批量大数据计算,所以直接连MaxCompute生成的数据服务API是无法快速响应的,那么MaxCompute计算引擎为了提升查询效率,推出了lightning加速引擎。那在数据服务中如何使用 lightning引擎呢?

在数据集成界面,新增数据,选择lightning 。
image

填写lightning引擎内容:
数据源名称: (建议为)当前项目名
数据源描述:日志数据表
Lightning Endpoint:lightning.cn-shanghai.maxcompute.aliyun-inc.com
Port:443
MaxCompute项目名称:当前项目名
AccessKey ID:访问者的AK信息
AccessKey Secret:访问者的AK信息
JDBC扩展参数:无需修改

以上信息,填写完成以后,点击测试连通性,测试连通性成功后,点击完成即可。

创建数据服务API

鼠标hover在右上角DataWorks的图标上,跳转至数据服务模块。

注:由于数据服务是结合API网关使用的,如果没有开通API网关的话,需要先开通API网关,具体开通流程本文不做详细概述。

鼠标选中API列表,右键选择新建分组。
image

输入分组名称。
image

创建完成分组后,鼠标右键单击分组名称,选择生成API,选择向导模式。
image

我们这里把 rpt_user_info_d 的数据快速生成api,故API的名称为 rpt_user_info_d ,路径与名称同名。
image

点击确认后,进入API的编辑界面,我们只需要简单的选择数据源类型、数据源名称、数据表名称即可,勾选上入参和出参,保存API。

注:这里建议大家勾选uid和分区字段dt为入参,出参可全选。

image

保存API完成后,点击右上角的测试,会弹出入参的填写框,入参中uid可以填写:0016359810821 ,dt可以填写昨天的日期。
image

测试通过后,可返回API编辑面板,点击右上角的发布,发布后的API就可以被正常访问了。可按照上述方法,将 dw_user_info_all_d 表也生成数据服务API。

API调用

生成的API如何调用呢?
首先你需要将API发布,在发布之前要先开通API网关

这个发布操作就会将数据服务生成的API发布到API网关。

在数据服务右上角,可以选择服务管理。在服务管理中,可以对已发布的API进行查看和授权操作。切换至服务管理后,可以在左侧的API调用模块下,看到API的调用信息。
image

然后通过API网关的SDK调用,详见这里

关于数据服务API的更多用法,可以参考文档:《海量大数据大屏分析展示一步到位:DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4天前
|
数据采集 监控 数据可视化
BI工具在数据分析和业务洞察中的应用
BI工具在数据分析和业务洞察中的应用
25 11
|
20天前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
64 5
|
8天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
114 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
12天前
|
存储 SQL 监控
|
12天前
|
自然语言处理 监控 数据可视化
|
16天前
|
数据采集 数据可视化 数据挖掘
数据驱动决策:BI工具在数据分析和业务洞察中的应用
【10月更文挑战第28天】在信息爆炸的时代,数据成为企业决策的重要依据。本文综述了商业智能(BI)工具在数据分析和业务洞察中的应用,介绍了数据整合、清洗、可视化及报告生成等功能,并结合实际案例探讨了其价值。BI工具如Tableau、Power BI、QlikView等,通过高效的数据处理和分析,助力企业提升竞争力。
34 5
|
23天前
|
机器学习/深度学习 并行计算 数据挖掘
R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域
【10月更文挑战第21天】R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域。本文将介绍R语言中的一些高级编程技巧,包括函数式编程、向量化运算、字符串处理、循环和条件语句、异常处理和性能优化等方面,以帮助读者更好地掌握R语言的编程技巧,提高数据分析的效率。
39 2
|
24天前
|
人工智能 Cloud Native 容灾
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
|
8天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
1月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
64 3