【组件开发实践】菜鸟天工--高可用数据服务组件

简介: 源于菜鸟数据中台,将异构数据源(数仓、关系型数据库、KV型数据库、搜索引擎)转化为高可用数据服务接口供上层应用访问,并提供数据管控、调试、限流、缓存加速、主/备切换服务。

如果你在日常工作中碰到包括但不限于以下任何关于数据服务相关问题请联系我们菜鸟(联系人:杨锋 jandon.yangf@alibaba-inc.com),我们将会为您提供专业的数据服务解决方案!


“冗长、低效的数据服务提供流程”

将 DB里的数据提供服务(HSF/HTTP)给别人访问,但是每次新增、修改一个接口都需要冗长的开发流程(建变更...改代码...发布),同时也缺少有效的动态调试工具


“数据服务高可用场景需求”

典型的如大促保障场景,需要应用具备数据源主、备链实时切换的功能。如果提供数据服务给外部系统,还需要为数据服务(接口)提供限流、缓存等降级能力


“数据复用及质量管理问题”

对于数据生产者而言,同样数据在不同业务中使用,如果各自系统维护接口逻辑,有时还需分别存储在各个业务系统DB,容易产生数据孤岛,浪费存储并且也不利于数据质量管控,对于使用者而言都需要重复构建一套数据通道来获取数据


“异构数据源重复学习和管理成本高”

数据使用场景不一样决定了数据存储的多样化(关系型DB,KV型DB,搜索引擎 等等),为了从这些数据源中获取数据,开发同学需要学习各个数据源接入API。如果存在异构数据源切换需要各自维护一套动态切换数据源的逻辑


“线上接口出错问题排查困难”

应用线上服务器少则几台十几台,多则几十台上百台,一旦数据接口出现问题则定位困难


天工发展史

天工诞生于菜鸟数据中台,起初是为了收口菜鸟数仓对外提供数据服务。随着对接的业务场景越来越多,产品的功能也经过了一个快速的迭代周期,同时为了满足菜鸟业务团队对于数据服务高质量要求,(数据服务)稳定性、可用性也逐渐成为天工后续发展的核心建设要素。概括来讲,天工从2016年至今发展经过了三大的阶段:

image.png


系统介绍

架构设计

image.png

核心组件

  • tg-client
  • 天工客户端: 分为 中心版和去中心版(富客户端)。去中心版功能基本上和中心版保持一致,不依赖天工线上服务器,关注更高可用性业务团队请选择富客户端
  • tg-web
  • 天工产品配置端 ,主要功能:数据源、表、接口配置、管理,接口诊断等
  • tg-engine
  • 天工核心执行引擎, 主要负责接口SQL的解析、语法树构建、执行优化(非性能优化部分)、数据源适配及查询下推等核心执行逻辑
  • tg-metadata
  • 天工元数据: 数据源、接口、表、单元等元信息。中心化模式下元信息存储于天工DB,去中心化方式则通过OSS进行解耦,由天工提供的富客户端定时拉去元信息到应用端


核心能力介绍

image.png

丰富的数据源支持

得益于天工设计之初考虑到数据源扩展性,对数据源进行了插件化处理,可快速、稳定(新增数据源插件对已有数据源无干扰)实现新数据源接入

目前天工支持阿里经济体大部分常用数据源: TDDL/ADB/Hologres(Postgresql)/Lindorm/ZSearch/OpenSearch/HSF等

image.png

目前天工支持大部分标准SQL语法(Mysql/Postgresql),对于一些存在特殊查询语法的数据源,比如opensearch,query查询里的filter需要和where区分开,标准SQL语义暂时无法支持,天工底层采用ANTLR自定义查询语法解析。


分钟级数据服务配置

天工分离了查询场景核心要素: 接口->逻辑表->数据源,采用统一DSL(SQL)屏蔽了底层数据源查询差异,使用户可以采用标准sql的方式获取需要的数据,极大的提高了数据服务配置效率。同时,在执行层采用动态生成mybatis配置方式实现接口配置热加载

创建一个数据服务只需要三步: 配置数据源(自助添加) -> 配置(逻辑)表 -> 配置接口

image.png


高可用性服务保障

限流

天工提供了对数据源、接口多维度限流措施

image.png

说明: 目前的限流是天工自己实现的一套算法,暂时只能进行并发度限制,不支持限制QPS


降级

对非重点场景接口直接进行服务禁用

image.png


缓存

接口级别缓存(同接口、同查询条件命中缓存)

image.png


主/备实时切换 -- 大促保障神器

得益天工逻辑表设计,数据服务运行时逻辑表-物理表替换, 可实现不修改SQL的情况下一键切换查询表

image.png


去中心化设计

核心设计理念: 引擎执行逻辑下推、引擎插件按需加载,OSS元数据解耦

优势: 执行逻辑完全下沉到客户端,减少了对中心服务器的依赖,避免因中心服务器波动引起服务的波动,极大的提高了数据服务的稳定性,建议后续接入方尽量采用富客户端模式

image.png


全链路监控 -- 异常排查神器

数据端到端访问链路监控,让线上(数据服务)问题得到快速定位

image.png

image.png


天工“出弹”计划

image.png

场景一是作为数字供应链控制塔(DSCT)独立可插拔的数据服务底座交付出弹, 目前已初步完成弹外方案验证: 产品端独立部署+客户端去中心化。同时我们也在积极推进和阿里云云巧平台合作,将天工作为独立的数据服务组件上架到阿里云资产市场拓展更多场景

联系我们:菜鸟技术专家 杨锋(jandon.yangf@alibaba-inc.com

目录
打赏
0
2
0
2
54
分享
相关文章
AllData数据中台核心菜单十二:数据同步平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
AllData数据中台核心菜单十二:数据同步平台
AllData数据中台核心菜单十一:数据集成平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
AllData数据中台核心菜单十一:数据集成平台
LowCodeEngine:阿里开源的企业级低代码开发平台,提供预制的 UI 组件和模板,覆盖完整的研发周期
LowCodeEngine 是阿里巴巴开源的低代码开发框架,旨在通过拖拽、配置等简单操作,帮助开发者快速构建复杂的系统页面,提升开发效率和质量。
162 4
LowCodeEngine:阿里开源的企业级低代码开发平台,提供预制的 UI 组件和模板,覆盖完整的研发周期
新功能发布!AllData数据中台核心菜单汇总
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
新功能发布!AllData数据中台核心菜单汇总
前端研发链路之脚手架
本文首发于微信公众号“前端徐徐”。文章介绍了前端开发中脚手架工具的重要性及其工作原理。脚手架工具能够大幅提升开发效率,确保代码质量和项目一致性。文章详细探讨了脚手架的历史、工作原理、常见工具及其优势与潜在问题,并展望了其未来发展方向,帮助开发者更好地理解和应用脚手架工具。
106 4
前端研发链路之脚手架
前端研发链路之开发
本文首发于微信公众号“前端徐徐”,作者徐徐。文章介绍了前端研发链路中的开发部分,重点探讨了开发服务器(dev-server)、热更新(hot-reload)、数据模拟(mock)和代理(proxy)等关键技术,帮助开发者理解其基本原理和应用场景,提升开发效率和代码质量。
52 2
前端研发链路之开发
AllData数据中台核心菜单六:离线开发
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
9月前
|
基于jeecgboot的大屏设计器开发——数据源设计(三)
基于jeecgboot的大屏设计器开发——数据源设计(三)
109 1
基于jeecgboot的大屏设计器开发——数据源设计(三)
|
9月前
|
基于jeecgboot的大屏设计器开发——数据源设计(二)
基于jeecgboot的大屏设计器开发——数据源设计(二)
172 1
基于jeecgboot的大屏设计器开发——数据源设计(一)
基于jeecgboot的大屏设计器开发——数据源设计(一)
105 0

云巧

+ 订阅

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等