一分钟“零代码”生成API,DataWorks数据服务快速上手指南

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生 API 网关,700元额度,多规格可选
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: DataWorks数据服务提供了快速生成API的能力,可以一分钟“零代码”生成API,本文是一篇快速上手指南,帮助你快速认识数据服务。

小王是一名数据开发工程师,某天晚上正要下班,老板火急火燎地把他叫到了一间小黑屋。

老板:小王啊,之前让你分析的数据,处理的怎么样了?

小王:都搞定了,包括数据集成任务、离线任务、流计算任务,并且采用了流批一体化开发模式,数据都在数据库中了。

老板:噢,效率很高啊,很好。这样,现在有个新的Case,你看下要多久,有业务部门的系统想访问我们的结果数据,你看看怎么提供给他们,但我不希望把整个表给他们。

小王:老板,好办,可以开发一个数据API,提供给他们。

老板:开发一个API给他们,大概有多少工作量?

小王:从零开发一个API,需要编写数据库连接代码、编写API查询逻辑代码,编写API鉴权、流控、计量、管理等功能代码及页面,搭建Web服务器,部署服务,满打满算,一两周还是要的,就算先搞个精减版,三五天是至少的。

老板挠头……

小王:对了,老板,后续还要运维,比如双11还要给他们扩容呢。

老板:这可不行,时间太久了,客户明天早上就要。

小王沉默。

老板:你知道DataWorks的数据服务产品吗,听说可以一分钟生成一个API,还不需要你写一行代码呢!

小王:世间竟有如此神器!!一分钟就能搞出一个API啊,还不用写代码~!!

老板点头。

“你先去调研一下,试用试用再说”,说完老板就走了。

image.png | left | 123x118

于是,小王打开了DataWorks数据服务页面。

传送门:

其他Region正在陆续开放中,敬请期待。

数据服务产品开通:
若您已经升级到了DataWorks 2.0(上海Region已经升级完成),则数据服务是默认开通,若还没有升级到DataWorks2.0,则可以加入文末的钉钉群,提供云账号,申请开通。

产品开通之后,可以从DataWorks的主菜单进入,如下所示:

image

大概看了一会,小王就觉得这事有戏了。原来数据服务提供了快速将数据表生成API的能力,通过可视化的向导,简单三步配置,无需写一行代码就可以生成API,手快的话,一分钟搞定一个API绝对是没问题的。小王喜出望外,看来今晚不用熬夜了。

“有了数据服务,以后甚至可以直接让产品经理、运营、分析师自己去搞需要的API了,省得天天给我提需求”,小王在心里窃喜,马上动手撸了个API。

Step 1:配置数据源

首先要配置一下数据源,数据服务支持丰富的数据源类型,基本上常见数据源都囊括了,包含:

RDS/DRDS/MySQL/PostgreSQL/Oracle/AnalyticDB(ADS)/TableStore(OTS)/MongoDB/Lightning

配置数据源到DataWorks数据集成的数据源页面(上海Region传送门)进行配置。

image

Step 2:生成API

配置好数据源其实就完成了一大半的工作,因为生成API实在是太快了!

打开数据服务的API列表页面,点击“生成API”按钮,选择向导模式。

image.png | left | 747x413

生成API只要三步,放心,比把大象装冰箱里要容易多了。

image.png | left | 827x190

第一:填写API基础信息

很简单,都不需要过多解释。

image.png | left | 747x411

第二步:配置API参数

这里以PostgreSQL数据源为例,选择要查询的表,设定好请求参数和返回参数即可。

image.png | left | 747x412

第三步:测试API

测试API是为了验证上一步配置的API是否成功,填写请求参数值,点击开始测试即可。若测试成功,可以点击右下角的“保存为正常返回示例”,将当前测试返回值作为返回示例,供未来的API调用者参考。

image.png | left | 747x411

至此,一个API生成了。

小王掐指算了下,根本不用1分钟!

回到API列表页面,点击“详情”可查看API的详情文档。连烦人的文档都不用我手写,真是棒极了。。

将API发布后,自己或者得到授权的人就可以调用这个API了。

image.png | left | 747x413

搞完了这些,小王如释重负,有了数据服务,创建一个API就是小Case!

好学的小王考虑到,如果我的数据是放在MaxCompute中,我是不是必须要将数据手工同步到MySQL等在线数据库中呢?

进一步研究后,小王发现,数据服务支持MaxCompute Lightning,借助Lightning引擎,可以对MaxCompute表进行查询加速,还能直接访问Druid表。目前对于1TB以内的数据量,MaxCompute表可以实现秒级实时查询。大部分场景下,这个性能够用了。好奇的小王还在MaxCompute帮助文档中找到了Lighting的介绍文档(传送门)。

那么,我们来现场撸个查询MaxCompute表的API如何?

MaxCompute表直接生成API

MaxCompute Lightning服务目前处于公测阶段,未对全网用户开放。如需使用,您可以通过我们在阿里云官网上提供的公测试用申请页面申请公测期间的服务开通。也可以加入文末的钉钉群咨询。

配置Lightning数据源

开通Ligthning服务后,首先要配置一个Lightning数据源。

Lightning支持JDBC连接,因此推荐使用PostgreSQL数据源进行连接。

Lightning JDBC连接信息详见这里

image

配置指南:

数据源类型:有公网IP

JDBC URL格式:jdbc:postgresql://endpoint:port/MaxCompute_Project_Name?sslmode=require

endpoint详见:Lightning访问地址(Endpoint)列表
port:443
MaxCompute_Project_Name:为你的MaxCompute项目名
注意:sslmode=require参数是必选的。(不能写成ssl=true)
用户名:访问用户的Access Key ID
密码:访问用户的Access Key Secret

生成API

生成API时,我们以脚本模式为例。脚本模式就是让你自己写查询SQL,功能比向导模式强大灵活很多,支持多表关联查询。

Select的字段就是API返回参数,请求参数在Where条件中指定,使用\${参数名}格式。编写好SQL后,点击“编辑参数”设置一下参数描述信息即可。

image.png | left | 747x393

点击下一步测试,1秒左右就可以完成查询,是不是如闪电一般!!在大部分取数、报表、大屏场景中,一两秒的查询性能完全够用了。

image.png | left | 747x396

同样的简单查询,直接查MaxCompute,大概需要耗费42秒。可见在这个case,Lightning的查询效率有约40倍的提升!有了Lightning引擎的加持,MaxCompute表可以实时查询,再也不需要手工来回同步数据啦!

image.png | left | 747x387

“妥了!”,试用到这里,小王惊叹了一声。DataWorks数据服务简直就是数据开发和数据分析师的神器,以后再也不用求后端开发写接口了。

三下五除二,小王随手就把老板需要的接口撸完了,给老板发个了钉,合上电脑,骑着小电驴下班扬长而去。

API调用

生成的API如何调用呢?
首先你需要将API发布,在发布之前要先开通API网关
这个发布操作就会将数据服务生成的API发布到API网关。

数据服务会默认在API网关中创建一个“dataworks_dataservice"应用,并将你的API授权到这个应用中。这个应用的AppKey会在数据服务的“API调用”页面展示。

然后通过API网关的SDK调用。

申请使用及产品咨询

欢迎加入钉钉答疑群:

image

群号:21993540

Enjoy it~

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
4月前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
2月前
|
机器学习/深度学习 PyTorch 算法框架/工具
揭秘深度学习中的微调难题:如何运用弹性权重巩固(EWC)策略巧妙应对灾难性遗忘,附带实战代码详解助你轻松掌握技巧
【10月更文挑战第1天】深度学习中,模型微调虽能提升性能,但常导致“灾难性遗忘”,即模型在新任务上训练后遗忘旧知识。本文介绍弹性权重巩固(EWC)方法,通过在损失函数中加入正则项来惩罚对重要参数的更改,从而缓解此问题。提供了一个基于PyTorch的实现示例,展示如何在训练过程中引入EWC损失,适用于终身学习和在线学习等场景。
108 4
揭秘深度学习中的微调难题:如何运用弹性权重巩固(EWC)策略巧妙应对灾难性遗忘,附带实战代码详解助你轻松掌握技巧
|
2月前
|
人工智能 机器人 API
【通义】AI视界|谷歌Q3财报:Gemini API六个月增长14倍,公司超25%的新代码由AI生成
本文内容由通义自动生成,涵盖谷歌Q3财报、马斯克xAI融资、九巨头联盟挑战英伟达、Meta加大AI投入及麻省理工研究LLM与人脑相似性等热点资讯。更多精彩内容,请访问通通知道。
|
4月前
|
数据采集 DataWorks 数据挖掘
提升数据分析效率:DataWorks在企业级数据治理中的应用
【8月更文第25天】本文将探讨阿里巴巴云的DataWorks平台如何通过建立统一的数据标准、规范以及实现数据质量监控和元数据管理来提高企业的数据分析效率。我们将通过具体的案例研究和技术实践来展示DataWorks如何简化数据处理流程,减少成本,并加速业务决策。
500 54
|
4月前
|
SQL 分布式计算 DataWorks
利用DataWorks构建高效数据管道
【8月更文第25天】本文将详细介绍如何使用阿里云 DataWorks 的数据集成服务来高效地收集、清洗、转换和加载数据。我们将通过实际的代码示例和最佳实践来展示如何快速构建 ETL 流程,并确保数据管道的稳定性和可靠性。
210 56
|
2月前
|
JSON API 数据格式
低代码实现鸿蒙API返回JSON转TS及快速生成ArkUI代码
低代码实现鸿蒙API返回JSON转TS及快速生成ArkUI代码
50 0
低代码实现鸿蒙API返回JSON转TS及快速生成ArkUI代码
|
2月前
|
存储 数据管理 API
零代码能力:轻松搞定表单和API接口,少写80%后端代码,内含资源
小白接口(果创云 YesApi.cn)是一个零代码和低代码开发平台,提供一站式后端云服务,帮助开发者、学生、业余爱好者、工作室、中小企业及无IT技术人员的传统企业快速搭建应用、接口、服务和网站。平台提供500+免费API接口,支持在线API开发、在线表单、数据库管理、图片文件存储、会员管理等功能,无需后端开发经验,轻松实现数据处理和应用开发。
|
4月前
|
API 开发工具 网络架构
【Azure Developer】如何通过Azure Portal快速获取到对应操作的API并转换为Python代码
【Azure Developer】如何通过Azure Portal快速获取到对应操作的API并转换为Python代码
|
4月前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之ODPS数据怎么Merge到MySQL数据库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
数据采集 JSON DataWorks
DataWorks产品使用合集之支持哪些数据引擎
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    112
  • 2
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    109
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    106
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    95
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    97
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    111
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    119
  • 8
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    154
  • 9
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    88
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    126