一分钟“零代码”生成API,DataWorks数据服务快速上手指南

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生 API 网关,700元额度,多规格可选
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: DataWorks数据服务提供了快速生成API的能力,可以一分钟“零代码”生成API,本文是一篇快速上手指南,帮助你快速认识数据服务。

小王是一名数据开发工程师,某天晚上正要下班,老板火急火燎地把他叫到了一间小黑屋。

老板:小王啊,之前让你分析的数据,处理的怎么样了?

小王:都搞定了,包括数据集成任务、离线任务、流计算任务,并且采用了流批一体化开发模式,数据都在数据库中了。

老板:噢,效率很高啊,很好。这样,现在有个新的Case,你看下要多久,有业务部门的系统想访问我们的结果数据,你看看怎么提供给他们,但我不希望把整个表给他们。

小王:老板,好办,可以开发一个数据API,提供给他们。

老板:开发一个API给他们,大概有多少工作量?

小王:从零开发一个API,需要编写数据库连接代码、编写API查询逻辑代码,编写API鉴权、流控、计量、管理等功能代码及页面,搭建Web服务器,部署服务,满打满算,一两周还是要的,就算先搞个精减版,三五天是至少的。

老板挠头……

小王:对了,老板,后续还要运维,比如双11还要给他们扩容呢。

老板:这可不行,时间太久了,客户明天早上就要。

小王沉默。

老板:你知道DataWorks的数据服务产品吗,听说可以一分钟生成一个API,还不需要你写一行代码呢!

小王:世间竟有如此神器!!一分钟就能搞出一个API啊,还不用写代码~!!

老板点头。

“你先去调研一下,试用试用再说”,说完老板就走了。

image.png | left | 123x118

于是,小王打开了DataWorks数据服务页面。

传送门:

其他Region正在陆续开放中,敬请期待。

数据服务产品开通:
若您已经升级到了DataWorks 2.0(上海Region已经升级完成),则数据服务是默认开通,若还没有升级到DataWorks2.0,则可以加入文末的钉钉群,提供云账号,申请开通。

产品开通之后,可以从DataWorks的主菜单进入,如下所示:

image

大概看了一会,小王就觉得这事有戏了。原来数据服务提供了快速将数据表生成API的能力,通过可视化的向导,简单三步配置,无需写一行代码就可以生成API,手快的话,一分钟搞定一个API绝对是没问题的。小王喜出望外,看来今晚不用熬夜了。

“有了数据服务,以后甚至可以直接让产品经理、运营、分析师自己去搞需要的API了,省得天天给我提需求”,小王在心里窃喜,马上动手撸了个API。

Step 1:配置数据源

首先要配置一下数据源,数据服务支持丰富的数据源类型,基本上常见数据源都囊括了,包含:

RDS/DRDS/MySQL/PostgreSQL/Oracle/AnalyticDB(ADS)/TableStore(OTS)/MongoDB/Lightning

配置数据源到DataWorks数据集成的数据源页面(上海Region传送门)进行配置。

image

Step 2:生成API

配置好数据源其实就完成了一大半的工作,因为生成API实在是太快了!

打开数据服务的API列表页面,点击“生成API”按钮,选择向导模式。

image.png | left | 747x413

生成API只要三步,放心,比把大象装冰箱里要容易多了。

image.png | left | 827x190

第一:填写API基础信息

很简单,都不需要过多解释。

image.png | left | 747x411

第二步:配置API参数

这里以PostgreSQL数据源为例,选择要查询的表,设定好请求参数和返回参数即可。

image.png | left | 747x412

第三步:测试API

测试API是为了验证上一步配置的API是否成功,填写请求参数值,点击开始测试即可。若测试成功,可以点击右下角的“保存为正常返回示例”,将当前测试返回值作为返回示例,供未来的API调用者参考。

image.png | left | 747x411

至此,一个API生成了。

小王掐指算了下,根本不用1分钟!

回到API列表页面,点击“详情”可查看API的详情文档。连烦人的文档都不用我手写,真是棒极了。。

将API发布后,自己或者得到授权的人就可以调用这个API了。

image.png | left | 747x413

搞完了这些,小王如释重负,有了数据服务,创建一个API就是小Case!

好学的小王考虑到,如果我的数据是放在MaxCompute中,我是不是必须要将数据手工同步到MySQL等在线数据库中呢?

进一步研究后,小王发现,数据服务支持MaxCompute Lightning,借助Lightning引擎,可以对MaxCompute表进行查询加速,还能直接访问Druid表。目前对于1TB以内的数据量,MaxCompute表可以实现秒级实时查询。大部分场景下,这个性能够用了。好奇的小王还在MaxCompute帮助文档中找到了Lighting的介绍文档(传送门)。

那么,我们来现场撸个查询MaxCompute表的API如何?

MaxCompute表直接生成API

MaxCompute Lightning服务目前处于公测阶段,未对全网用户开放。如需使用,您可以通过我们在阿里云官网上提供的公测试用申请页面申请公测期间的服务开通。也可以加入文末的钉钉群咨询。

配置Lightning数据源

开通Ligthning服务后,首先要配置一个Lightning数据源。

Lightning支持JDBC连接,因此推荐使用PostgreSQL数据源进行连接。

Lightning JDBC连接信息详见这里

image

配置指南:

数据源类型:有公网IP

JDBC URL格式:jdbc:postgresql://endpoint:port/MaxCompute_Project_Name?sslmode=require

endpoint详见:Lightning访问地址(Endpoint)列表
port:443
MaxCompute_Project_Name:为你的MaxCompute项目名
注意:sslmode=require参数是必选的。(不能写成ssl=true)
用户名:访问用户的Access Key ID
密码:访问用户的Access Key Secret

生成API

生成API时,我们以脚本模式为例。脚本模式就是让你自己写查询SQL,功能比向导模式强大灵活很多,支持多表关联查询。

Select的字段就是API返回参数,请求参数在Where条件中指定,使用\${参数名}格式。编写好SQL后,点击“编辑参数”设置一下参数描述信息即可。

image.png | left | 747x393

点击下一步测试,1秒左右就可以完成查询,是不是如闪电一般!!在大部分取数、报表、大屏场景中,一两秒的查询性能完全够用了。

image.png | left | 747x396

同样的简单查询,直接查MaxCompute,大概需要耗费42秒。可见在这个case,Lightning的查询效率有约40倍的提升!有了Lightning引擎的加持,MaxCompute表可以实时查询,再也不需要手工来回同步数据啦!

image.png | left | 747x387

“妥了!”,试用到这里,小王惊叹了一声。DataWorks数据服务简直就是数据开发和数据分析师的神器,以后再也不用求后端开发写接口了。

三下五除二,小王随手就把老板需要的接口撸完了,给老板发个了钉,合上电脑,骑着小电驴下班扬长而去。

API调用

生成的API如何调用呢?
首先你需要将API发布,在发布之前要先开通API网关
这个发布操作就会将数据服务生成的API发布到API网关。

数据服务会默认在API网关中创建一个“dataworks_dataservice"应用,并将你的API授权到这个应用中。这个应用的AppKey会在数据服务的“API调用”页面展示。

然后通过API网关的SDK调用。

申请使用及产品咨询

欢迎加入钉钉答疑群:

image

群号:21993540

Enjoy it~

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
15天前
|
DataWorks 搜索推荐 数据挖掘
DataWorks: 驾驭数据浪潮,解锁用户画像分析新纪元
本文详细评测了DataWorks产品,涵盖最佳实践、用户体验、与其他工具对比及Data Studio新功能。内容涉及用户画像分析、数据管理作用、使用过程中的问题与改进建议,以及Data Studio的新版Notebook环境和智能助手Copilot的体验。整体评价肯定了DataWorks在数据处理和分析上的优势,同时也指出了需要优化的地方。
87 24
|
8天前
|
JSON API 数据安全/隐私保护
淘宝评论API接口操作步骤详解,代码示例参考
淘宝评论API接口是淘宝开放平台提供的一项服务,通过该接口,开发者可以访问商品的用户评价和评论。这些评论通常包括评分、文字描述、图片或视频等内容。商家可以利用这些信息更好地了解消费者的需求和偏好,优化产品和服务。同时,消费者也可以从这些评论中获得准确的购买参考,做出更明智的购买决策。
|
5天前
|
数据采集 监控 数据挖掘
常用电商商品数据API接口(item get)概述,数据分析以及上货
电商商品数据API接口(item get)是电商平台上用于提供商品详细信息的接口。这些接口允许开发者或系统以编程方式获取商品的详细信息,包括但不限于商品的标题、价格、库存、图片、销量、规格参数、用户评价等。这些信息对于电商业务来说至关重要,是商品数据分析、价格监控、上货策略制定等工作的基础。
|
18天前
|
API Python
【Azure Developer】分享一段Python代码调用Graph API创建用户的示例
分享一段Python代码调用Graph API创建用户的示例
41 11
|
22天前
|
API 网络安全
发送UDP数据免费API接口教程
此API用于向指定主机发送UDP数据,支持POST或GET请求。需提供用户ID、密钥、接收IP及端口、数据内容等参数。返回状态码和信息提示。示例中含公共ID与KEY,建议使用个人凭证以提高调用频率。
43 13
|
22天前
|
网络协议 API 网络安全
发送TCP数据免费API接口教程
此API用于向指定主机发送TCP数据,支持POST/GET请求,需提供用户ID、KEY、接收IP、端口及数据内容。返回状态码和信息提示,示例如下:{"code":200,"msg":"发送成功!"}。详情见:https://www.apihz.cn/api/datacstcp.html
35 11
|
22天前
|
API 数据安全/隐私保护 开发者
实时获取小红书详情 API 数据
小红书详情API数据获取指南:注册开发者账号,创建应用并申请接口权限,构建请求获取笔记详情,使用Python等语言处理响应数据。需遵守使用规则,注意调用频率和数据安全。
|
1月前
|
API
全国行政区划代码与经纬度查询免费API接口教程
该接口提供全国各行政区划代码及经纬度查询服务。通过POST或GET请求,输入用户ID、KEY及地点名称,可获取地区代码、省份、市级、区县级名称及经纬度等信息。示例URL:https://cn.apihz.cn/api/other/xzqhdm.php?id=88888888&key=88888888&sheng=北京&place=北京。返回数据包含状态码、信息提示及查询结果。
149 14
|
1月前
|
XML 数据可视化 API
商品详情数据实战案例,API接口系列
淘宝商品详情数据在电商领域具有广泛的应用价值,而淘宝商品详情API接口则为开发者提供了获取这些数据的重要途径。通过合理利用这些接口和数据,可以提升业务效率、优化用户体验,为电商行业的发展注入新的活力。
|
1月前
|
JSON API 数据安全/隐私保护
拍立淘按图搜索API接口返回数据的JSON格式示例
拍立淘按图搜索API接口允许用户通过上传图片来搜索相似的商品,该接口返回的通常是一个JSON格式的响应,其中包含了与上传图片相似的商品信息。以下是一个基于淘宝平台的拍立淘按图搜索API接口返回数据的JSON格式示例,同时提供对其关键字段的解释
下一篇
DataWorks