如果你在日常工作中碰到包括但不限于以下任何关于数据服务相关问题请联系我们菜鸟（联系人：杨锋 jandon.yangf@alibaba-inc.com），我们将会为您提供专业的数据服务解决方案！

“冗长、低效的数据服务提供流程”

将 DB里的数据提供服务(HSF/HTTP)给别人访问，但是每次新增、修改一个接口都需要冗长的开发流程(建变更...改代码...发布)，同时也缺少有效的动态调试工具

“数据服务高可用场景需求”

典型的如大促保障场景，需要应用具备数据源主、备链实时切换的功能。如果提供数据服务给外部系统，还需要为数据服务(接口)提供限流、缓存等降级能力

“数据复用及质量管理问题”

对于数据生产者而言，同样数据在不同业务中使用，如果各自系统维护接口逻辑，有时还需分别存储在各个业务系统DB，容易产生数据孤岛，浪费存储并且也不利于数据质量管控，对于使用者而言都需要重复构建一套数据通道来获取数据

“异构数据源重复学习和管理成本高”

数据使用场景不一样决定了数据存储的多样化(关系型DB,KV型DB,搜索引擎 等等)，为了从这些数据源中获取数据，开发同学需要学习各个数据源接入API。如果存在异构数据源切换需要各自维护一套动态切换数据源的逻辑

“线上接口出错问题排查困难”

应用线上服务器少则几台十几台，多则几十台上百台，一旦数据接口出现问题则定位困难

天工发展史

天工诞生于菜鸟数据中台，起初是为了收口菜鸟数仓对外提供数据服务。随着对接的业务场景越来越多,产品的功能也经过了一个快速的迭代周期，同时为了满足菜鸟业务团队对于数据服务高质量要求，(数据服务)稳定性、可用性也逐渐成为天工后续发展的核心建设要素。概括来讲，天工从2016年至今发展经过了三大的阶段:

系统介绍

架构设计

核心组件

• tg-client

• 天工客户端: 分为 中心版和去中心版(富客户端)。去中心版功能基本上和中心版保持一致，不依赖天工线上服务器，关注更高可用性业务团队请选择富客户端

• tg-web

• 天工产品配置端 ，主要功能：数据源、表、接口配置、管理，接口诊断等

• tg-engine

• 天工核心执行引擎, 主要负责接口SQL的解析、语法树构建、执行优化(非性能优化部分)、数据源适配及查询下推等核心执行逻辑

• tg-metadata

• 天工元数据: 数据源、接口、表、单元等元信息。中心化模式下元信息存储于天工DB，去中心化方式则通过OSS进行解耦，由天工提供的富客户端定时拉去元信息到应用端

核心能力介绍

丰富的数据源支持

得益于天工设计之初考虑到数据源扩展性，对数据源进行了插件化处理，可快速、稳定(新增数据源插件对已有数据源无干扰)实现新数据源接入

目前天工支持阿里经济体大部分常用数据源: TDDL/ADB/Hologres(Postgresql)/Lindorm/ZSearch/OpenSearch/HSF等

目前天工支持大部分标准SQL语法(Mysql/Postgresql)，对于一些存在特殊查询语法的数据源，比如opensearch,query查询里的filter需要和where区分开，标准SQL语义暂时无法支持，天工底层采用ANTLR自定义查询语法解析。

分钟级数据服务配置

天工分离了查询场景核心要素: 接口->逻辑表->数据源，采用统一DSL(SQL)屏蔽了底层数据源查询差异，使用户可以采用标准sql的方式获取需要的数据，极大的提高了数据服务配置效率。同时，在执行层采用动态生成mybatis配置方式实现接口配置热加载

创建一个数据服务只需要三步: 配置数据源(自助添加) -> 配置(逻辑)表 -> 配置接口

高可用性服务保障

限流

天工提供了对数据源、接口多维度限流措施

说明: 目前的限流是天工自己实现的一套算法，暂时只能进行并发度限制，不支持限制QPS

降级

对非重点场景接口直接进行服务禁用

缓存

接口级别缓存(同接口、同查询条件命中缓存)

主/备实时切换 -- 大促保障神器

得益天工逻辑表设计,数据服务运行时逻辑表-物理表替换, 可实现不修改SQL的情况下一键切换查询表

去中心化设计

核心设计理念: 引擎执行逻辑下推、引擎插件按需加载，OSS元数据解耦

优势: 执行逻辑完全下沉到客户端，减少了对中心服务器的依赖，避免因中心服务器波动引起服务的波动，极大的提高了数据服务的稳定性，建议后续接入方尽量采用富客户端模式

全链路监控 -- 异常排查神器

数据端到端访问链路监控，让线上(数据服务)问题得到快速定位

天工“出弹”计划

场景一是作为数字供应链控制塔(DSCT)独立可插拔的数据服务底座交付出弹, 目前已初步完成弹外方案验证: 产品端独立部署+客户端去中心化。同时我们也在积极推进和阿里云云巧平台合作，将天工作为独立的数据服务组件上架到阿里云资产市场拓展更多场景

联系我们：菜鸟技术专家 杨锋（jandon.yangf@alibaba-inc.com）