为API设置默认排序规则结果数据的正确性

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin数据服务支持API调用时通过OrderByList自定义排序,确保数据返回符合业务需求。默认排序在API设计时至关重要,因为它影响用户体验、数据一致性及查询正确性。新版本 Dataphin 提供了排序优先级设置,允许在SQL脚本或OrderByList中指定排序,以适应不同场景。

概述

Dataphin数据服务支持在API调用的时候通过OrderByList进行结果的排序,通过指定不同的排序字段及排序方式,可快速完成需自定义所需的排序规则,而不需要重新创建新的接口。但是在创建API时,常常被忽略但是至关重要的是结果的默认排序。

目标受众

  • API开发者
  • API调用者(应用开发者)

版本要求

Dataphin 4.1及以上版本

为什么需要默认排序规则

  1. 用户体验: 默认排序可以提供给调用方一个直观且易于理解的数据结果,减少应用开发者指定排序的设置。
  2. 一致性: 在没有明确排序请求的情况下,应用一致的默认排序逻辑能确保每次调用API时返回的数据顺序相同,增加系统的可预测性。
  3. 正确性:Dataphin数据服务API支持在调用时指定分页,通过分页查询获取全量的结果数据。但是在未指定排序保证结果数据的稳定排序时,数据库返回的结果有很大的概率是不一致的,导致多页拼装的结果是不正确的。比如第一次调用的结果为[1,2,3,4,5],取第1页(2条数据)获得1和2,而第二次调用的结果为[1,3,2,4,5],取第2页(2条数据)获得2和4。而客户的预期为3和4。指定排序可确保结果的正确性。

如何设定有效的默认排序规则

  1. 确定核心字段

分析API的主要使用场景,确定哪些属性最能反映数据的重要程度或关联性。例如,在电商API中,商品的销售量、上架时间或评分可能是关键排序依据。

  1. 选择排序逻辑

根据业务需求决定是采用升序(如日期由早到晚)还是降序(如热门程度从高到低)。通常,最新的或最受欢迎的内容会被置于前列。

  1. 考虑多字段排序

当单一字段不足以区分数据重要性或确定唯一排序时,可以采用多字段排序。例如,先按发布时间降序,再按评论数降序,以平衡新旧内容的展示。

  1. 处理空值和特殊值

明确定义如何处理缺失值或特殊值(如null值),避免这些记录在排序中导致不一致或异常。

  1. 性能考量

评估所选排序字段对数据库查询性能的影响,减少不必要的排序设置。针对不同的数据源考虑使用创建索引进行查询加速,提升查询性能。

产品功能概览

设置API的默认排序规则

1)通过向导式的方式基于服务单元创建API时,可通过界面化的方式设置排序。

比如在分页查询客户列表时,可通过对最近购买时间字段做降序排序,再对customer_id升序排序,以确保符合大部分的业务场景,并确保分页查询时结果的正确性

  1. 当使用SQL模式进行更加灵活的API定义时,在SQL代码中指定排序的方式,比如在MySQL中,使用order by指定排序的字段及排序方式

在API调用时,也可指定排序规则

在调用API时,我们还可以通过OrderByList的参数覆盖API配置的默认排序(特殊说明见排序优先级说明)。通过Dataphin数据服务提供的API测试功能、Postman等API调用工具或通过数据服务SDK可调用Dataphin已提交或已发布的API。以下的例子中我们用API测试功能进行说明。

  1. 传入customer name的查询参数,OrderByList参数留空,则使用默认的排序

排序的结果为按Last_purchase_date倒序排序(由于这里没有相同的last purchase date,这里没有体现出来对customer_id的升序排序

  1. 修改OrderByList,根据customer id升序排序

查询的结果变更为按照customer ID升序排序,即覆盖了默认的配置。

排序优先级说明

为了兼容历史已经发布的API以及已经上线的调用的结果的一致性,我们新版本中针对直连数据源-SQL模式的基础SQL模式和服务单元API-SQL模式,增加了排序优先级的设置,可支持设置排序生效的优先级,可选择SQL脚本或OrderByList。

  • SQL脚本:若SQL脚本中指定了排序,则公共请求参数中的OrderByList不生效
  • OrderByList请求参数:SQL脚本及OrderByList公共请求参数同时生效,OrderByList公共请求参数有更高优先级

历史的API升级新版本后设置为SQL脚本,新增的API默认为OrderByList请求参数。

  1. 若需要为已发布在使用中的API增加排序设置,请特别注意已存在调用的兼容性,与各个调用方进行排序规则的确认。
  1. 若调用方已通过OrderByList指定排序,增加排序设置将使已有的OrderByList失效,需要将排序优先级设置修改为“OrderByList请求参数”,但是由于OrderByList和SQL的排序语句同时生效,需要调用方确认结果是否符合业务预期。
  2. 若调用方未通过OrderByList指定排序,则增加排序设置后将修改默认的排序规则。

综上,当增加API排序设置时,建议修改排序优先级设置为“OrderByList请求参数”,但请与调用方进行业务的确认。

  1. 若需删除已发布使用中的API的排序设置
  1. 即使调用方已通过OrderByList指定排序,原本的API的SQL脚本中的排序也不生效,可安全的删除API的SQL脚本中的排序语句
  2. 若调用方未通过OrderByList指定排序,原本的API的SQL脚本中的排序生效,删除API的SQL脚本中的排序语句后,结果的排序将变更,需要与调用方确认是否符合业务预期。

下表为不同的API的类型支持排序设置的情况,以及调用时的排序的生效优先级:

API类型

API定义中设置排序

API调用时设置排序

排序生效规则

服务单元-向导模式

支持,支持界面化配置

支持,OrderByList设置

同时生效,但是API调用时的排序优先级更高

服务单元-SQL模式

支持,通过SQL的orderby语句设置

支持,OrderByList设置

按照API定义中的“排序优先级”设置生效:

  • SQL脚本:若SQL脚本中指定了排序,则公共请求参数中的OrderByList不生效
  • OrderByList请求参数:SQL脚本及OrderByList公共请求参数同时生效,OrderByList公共请求参数有更高优先级

数据源-SQL模式-基础

支持,通过SQL的orderby语句设置

支持,OrderByList设置

数据源-SQL模式-高级

支持,通过SQL的orderby语句设置

不支持修改

同时生效,但是API调用时的排序也会生效。但是由于参数的排序使用添加外层SQL查询的方式,原有的SQL脚本为子查询,在标准 SQL 中,对于子查询中的 ORDER BY 语句,其实只是对子查询自身返回的结果集进行排序,而并不保证外层查询对结果集的顺序。因此在一般情况下,子查询的排序并(即脚本中的排序逻辑)不会保留到外层查询的结果。为保证结果的稳定性,建议在参数中传入所有需要的排序字段。

我们建议新增的API的排序优先级设置为“OrderByList请求参数”,可指定默认排序,也可以在调用时自定义排序规则,灵活性与易用性均可兼顾。当然排序本身也会有一定的资源和时间的成本,在设置排序字段时也需要谨慎的处理。

总结

API的排序设置是一个需要谨慎评估的过程,不仅要考虑业务诉求,调用的便利性,也要考虑API的性能。产品的配置中提供了更加丰富和灵活的配置简化了部分配置的过程,还需要持续与业务方进行沟通,避免API实际作用与预期不符,造成数据的错误的问题或者稳定性问题。

相关文章
|
16天前
|
JSON API 数据处理
Winform管理系统新飞跃:无缝集成SqlSugar与Web API,实现数据云端同步的革新之路!
【8月更文挑战第3天】在企业应用开发中,常需将Winform桌面应用扩展至支持Web API调用,实现数据云端同步。本文通过实例展示如何在已有SqlSugar为基础的Winform系统中集成HTTP客户端调用Web API。采用.NET的`HttpClient`处理请求,支持异步操作。示例包括创建HTTP辅助类封装请求逻辑及在Winform界面调用API更新UI。此外,还讨论了跨域与安全性的处理策略。这种方法提高了系统的灵活性与扩展性,便于未来的技术演进。
74 2
|
28天前
|
开发框架 JSON API
震撼发布!Python Web开发框架下的RESTful API设计全攻略,让数据交互更自由!
【7月更文挑战第22天】在Python Web开发中,设计高效的RESTful API涉及选择框架(如Flask或Django)、明确资源及使用HTTP方法(GET, POST, PUT, DELETE)来操作数据。响应格式通常是JSON,错误处理也很重要。示例展示了使用Flask创建图书管理API,包括版本控制、文档化、安全性和性能优化是最佳实践。这样的API使数据交互更顺畅。
58 2
|
4天前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
18 1
|
11天前
|
XML JSON API
义乌购API接口揭秘:轻松获取海量商品列表数据
义乌购商品列表数据接口基于RESTful架构,支持HTTP协议,使开发者能按关键词或条件搜索商品列表。需先注册获取App Key/Secret,完成认证后使用Access Token调用接口。接口返回商品标题、价格等信息,适用于电商应用开发、数据分析及第三方服务对接。更多详情参阅:b.mrw.so/2Pv6Qu。
|
8天前
|
JSON API 网络架构
SharePoint REST API 设置SummaryLength属性
【8月更文挑战第10天】在SharePoint中,可通过REST API设定`SummaryLength`属性来控制列表或库内项目摘要的显示长度。首先确定目标URL,接着构建POST请求并指定JSON格式的新摘要长度值,例如设置为100字符。利用Postman等工具发送请求,并确保提供认证信息。成功后,摘要长度将按设定更新,注意操作权限及对用户体验的影响。
|
11天前
|
XML API 数据库
商品详情数据API接口概念(sku详情图属性等全面的解析)
商品详情数据API接口是指一种编程接口(API, Application Programming Interface),它允许开发者或系统以编程方式获取商品的详细信息,包括但不限于SKU(Stock Keeping Unit,库存量单位)的详细信息、商品图片、商品属性、价格、库存状态、用户评价等。这种接口通常由电商平台、商品数据库服务商或第三方数据提供商提供,旨在帮助开发者或企业快速集成商品数据到其应用程序或系统中。
|
18天前
|
JSON API 开发者
GET方式请求速卖通平台API 接口:商品列表数据获取指南
速卖通商品列表数据接口(如 `aliexpress.item_search`)让开发者获取商品信息列表, 包括名称、价格等关键数据。接口支持按关键词、分类ID等条件获取商品列表及详细信息, 并可通过分页与排序优化展示效果。开发者需在速卖通开放平台注册并创建应用获取API密钥, 构建HTTP请求并处理JSON响应数据。[体验API](http://b.mrw.so/2Pv6Qu)。
|
19天前
|
存储 开发框架 前端开发
基于SqlSugar的开发框架循序渐进介绍(10)-- 利用axios组件的封装,实现对后端API数据的访问和基类的统一封装处理
基于SqlSugar的开发框架循序渐进介绍(10)-- 利用axios组件的封装,实现对后端API数据的访问和基类的统一封装处理
|
19天前
|
开发框架 JSON 前端开发
利用查询条件对象,在Asp.net Web API中实现对业务数据的分页查询处理
利用查询条件对象,在Asp.net Web API中实现对业务数据的分页查询处理
|
4天前
|
开发框架 Unix Linux
LangChain 构建问题之在Unix/Linux系统上设置OpenAI API密钥如何解决
LangChain 构建问题之在Unix/Linux系统上设置OpenAI API密钥如何解决
17 0