开发者学堂课程【DataWorks 使用教程：DataWorks 数据服务功能介绍】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/107/detail/1861
DataWorks 数据服务功能介绍
内容简介：
一.数据服务的含义
二.数据服务使用流程
三.关键特性
四.数据服务功能解析
五.数据服务用法解析
DataWorks 构建了从数据集成，数据开发，数据服务到应用开发的全链路云研发平台。
一、数据服务
是“零代码”快速生成 API 服务，这个产品完全可以不写代码就可以生成 API 的服务，这是数据服务产品的优势。
传统模式下，开发一个接口服务需要七个步骤:
1. 准备好数据库
2. 开发数据库连接代码
3. 开发 API 逻辑代码
4. 开发 API 鉴权 流控逻辑
5. 搭建 web Server
6. 部署 API 接口服务
7. 服务运维扩容缩容。
鉴于 Serverless 架构的 dataworks 数据服务开发一个接口服务只需2步:
1. 准备好数据库
2. 配置API查询逻辑
应用场景:
1.数据源，生成 API，
2.现有 API，注册 API，发布到 API 网关，可以调用 API，也可分享数据.
二、数据服务使用流程
配置数据源，然后生成 API，再发布 API，最后授权 API，再然后调用 API，自己用则可以在发布 API后可以调用 API，注册API也可发布 API。
在线存储:
支持的关系型数据库:
RDS，MySQL，SQL Server，PostgreSQL，Oracle……
支持的非关系型数据库:
AnalyticDB，TableStore，MongoDB……
离线存储:
Maxcomputer，通过 lightning 引鉴查询加速
关于 Maxcomputer lightning
DataWorks mhadatn woR MaxCompute Lightning 是 MaxCompute 产品的交互式查询服务，支持以 PostgreSQL 协议及语法连接访问。
Maxcompute 项目，让您使用 JDBC 协议以标准 SQL 查询分析 MaxCompute 项目中的数据，秒级获取查询结果。
三、关键特性
1.兼容 PostgreSQL Lightning 提供兼容 PostgreSQL 协议的 JDBC 接口，可轻松地连接到 MaxCompute 项目。
2.显著提升性能针对 MaxCompute 表的快速查询进行了优化，对于GB级分区数据，能够实现秒级查询。
3.统一的权限管理 作为 MaxCompute产品内的服务，通过 Lightning 连接到MaxCompute项目的访问完全遵循 Maxcompute项目的权限体系，在访问用户权限范围内安全地查询数据。
4.开箱即用，按查询付费 Lightning 是在 MaxCompute 已有的计算资源之外提供的 Serverless 方式的计算服务，您不需要设置 管理或运维MaxCompute Lightning资源，通过 Lightning 连接后即可查询。
使用 Lightning 时，只需为 每次查询所实际处理的数据量付费，不查询时不产生费用。(目前为公测阶段，完全免费，商业化另 行通知)
通过 lighting 查询加速直接将 MaxComputer 表生成API。
架构图，最底层是计算引擎，中间有一个查询加速服务，将 lightning 作为一个数据源，通过 JDBC 去访问，然后数据服务就可以生成API，API就可以上承到应用APP，ERP，BI，大屏， API 市场，有了这个就不需手工同步 Maxcomputer 到 RDS 再通过 API 查询，lighting 支持 GB 级 Maxcomputer 表秒级查询。
四、数据服务功能解析
支持编写 Python 脚本对 API 结果进行二次加工（后置过滤器）
①数据服务可视化向导模式生成 API（零代码生成 API）
向导模式生成 API
支持通过可视化配置快速数据表生成 API
可视化配置，易上手，分析师和业务人员 也能生成 API 提供单表数据查询
.支持 API 返回结果分页
.支持字符串模糊匹配
.支持 IN 查询
②脚本模式生成 API
.支持通过 SQL 脚本，自定义数据API的复杂查询逻辑提供自定义查询 SQL 的功能
.支持复杂条件查询
.支持多表关联查询
.支持聚合函数
.支持 API 返回结果分页
.支持字符串模糊匹配 支持排序
③后置过滤器
支持编写 Python 脚本，对API结果进行二次加工过滤
.对查询结果进行二次处理
.自定义 API 返回结构
.数据脱敏
④注册 API
数据服务支持将您手里现成的 API 服务注册上来 与通过数据表生成的 API 统一管理和发布到 API 网 关，统一对接各类应用
.支持 Restful 风格的 API 注册
.支持 GET/POST/PUT/DELETE 四类常见请 求方式
.支持表单 /JSON/XML 三种数据格式
⑤自动生成 API 文档
生成的 API 及注册的 API，数据服务都支持自动 API 文档，无需您手工编写，包含有: .
.API 基本信息
.API 请求参数
.API 返回参数
.API 正常返回示例
. API 异常返回示例
.错误码
⑥一键发布至 API 网关
数据服务生成及注册的API，支持一键发布到 API 网关，由API网关提供 API 管理功能，包含、
.API 权限控制(授权与鉴权)
.API 调用 SDK
(支持 Objective-C/Android Java/PHP/Python/.NET/Node.JS 等语言)
.API 流量控制
.API 访问控制(IP白名单)
.支持将 AP 上架到阿里云 API 市场销售
⑦API调用鉴权 DataWorks make data work
数据服务提供了简单身份认证及加密签名身份认证两种方式，可针对不同场景灵活选择。
1. 简单身份认证:
AppCode 只需要获取一个 AppCode，并放在请求的 Query 或 Header 中即可调用 API，适用于报表、数据大屏等场景。 xxxxxxxxx&id=1&name=pony 如
http://example.com/api/path?appCode=xxxxxxxxxxxx.
2.加密签名身份认证:
AppKey&AppSecret 通过加密算法计算一个签名并放在请求的 Header 中即可调用 API，具备更高的安全性，适用于应用开发场景， 具体签名算法请参考 API 网关文档，或者直接使用 API 网关的 SDK 进行加密签名计算。
五.数据服务用法解析
1.向导模式生成 API
2.生成的 API 在 DataV 中应用
数据服务 FAQ1
DataWorks make data work
Q:数据服务收费吗?
A:数据服务当前是公测阶段，不收费。未来可能会收费，商业化另行通知。
Q:如何进行 IN 查询?
A:SQL中写法:in(${params})，向导模式中直接在操作符中选择 IN。字符串时传参写法:params='1',2’整型时传参写法params=1,2
Q:脚本模式中，如何实现可选参数?
A:当前参数配置中不支持可选参数，可以通过 case when 自行在 SQL 中实现可选参数。
Q:API 调用提示用户没有有效的应用
A:检查调用时，是否传入了 AppCode 或者 AppKey&AppSecret.
Q:API 调用提示用户没有权限
A:检查是否拥有 API 的调用权限，如果没有，可以向 API 的创建者申请授权。
Q:TableStore(OTS) 数据源只能按顺序选择入参
A:是的，这是 TableStore 的特性，查询的主键必须从前往后按顺序查，不能直接查后面的主键
Q:什么情况下必须用分页查询?
A:数据服务默认返回2000条数据，如果数据量超过2000条，请开启分页查询，以免丢失数据。
Q:已经发布的 API，如何查看 SQL 脚本?
A:目前暂不支持直接查看，可通过克隆一个 API，然后进入编辑状态查看。未来会提供查看已发布 API 配置的功能。
为何要保存正常返回示例?
因为正常返回示例系统无法自动产出，需要在测试的时候产出。保存正常返回示例是为了在 API 文档中展示，以方便 API 的调用者。
数据服务 FAQ 2
DataWorks miake dald wok
Q:Lightning 如何申请试用?
A:Lightning 现在是邀测阶段，公共云用户请钉钉联系@曲宁申请开通，申请时请提供应用场景等相关信息，以更快通过申请。弹内用户 可以直接使用
Q:Lightning 数据源如何创建?
A:公共云，可通过 PostgreSQL 数据源连接 Lightning;弹内用户直接通过 Lightning数据源连接。
Q:Lightning 查询有时调用出问题，有时又是正常的
A:在JDBC扩展参数中增加参数:prepareThreshold=0
Q:Lightning 查询提示分区数不能超过50个
A:一般是弹内出现此问题，需要在 JDBC 扩展参数中增加参数以调高分区数上限:axf_odps_partition_limit=N(N 为最大分区数)
Q:Lightning 可以用哪些函数?
A:支持 PostgreSQL 函数。MaxCompute 函数只支持 Max_PT，用于获取最新分区 Q:Lightning 查询有时会比较慢 A:检查数据表分区是否很大,是否查询了多个分区，建议将分区作为请求参数，分区数据控制在 GB 量级。
Q:提供 function ifxxx 不存在
A:不支持 if 函数，用 case when 替代
Q:Lightning 收费吗?
A:当前不收费，未来会根据查询时扫描的 MaxCompute 数据量计费，具体收费方式另行通知，请关注MaxCompute官网。
数据服务FAQ 3
DataWorks make cata work
Q:Lightning如何申请试用?
A;Lightning现在是邀测阶段，公共云用户请钉钉联系@曲宁申请开通，申请时请提供应用场景等相关信息，以更快通过申请。弹内用户 可以直接使用。
Q:Lightning数据源如何创建?
A:公共云，可通过PostgreSQL数据源连接Lightning;弹内用户直接通过Lightning数据源连接。
Q:Lightning查询有时调用出问题，有时又是正常的
A:在JDBC扩展参数中增加参数:prepareThreshold=O
Q:Lightning查询提示分区数不能超过50个
A:一般是弹内出现此问题，需要在JDBC扩展参数中增加参数以调高分区数上限:axf_odps_partition limit=N(N为最大分区数)
Q:Lightning可以用哪些函数?
A:支持PostgreSQL函数。MaxCompute函数只支持Max_PT，用于获取最新分区
Q:Lightning查询有时会比较慢
A:检查数据表分区是否很大，是否查询了多个分区，建议将分区作为请求参数，分区数据控制在GB量级。
Q:提供function ifxxxx不存在
A:不支持if函数，用case when替代
Q:Lightning收费吗?
A:当前不收费，未来会根据查询时扫描的MaxCompute数据量计费，具体收费方式另行通知，请关注MaxCompute官网。
