数据中台如何实现数据共享?用这个工具即可

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: DataAPI,通过双模式可视化配置生成与注册API,快速构建Oneservice数据服务,形成企业级的API市场和API服务管理平台,提高数据开放与共享效率

导语

如果把企业数字化转型比作一辆自行车,那么技术与数据便是这辆车的两个轮子,骑在车上的则是企业战略、文化以及各种资源,它们决定了转型将走向哪个方向。不管数字化转型之路多么正确、战术如何高明,其最终结果还是要通过这两个轮子落地。

DT时代,“大数据”不是强调量大,是指数据来源多、维度多。现在很多系统的数据没法给第三方用,只有打破这种壁垒,才会产生新的价值。在数智化转型过程中,实现数据开放共享,是企业在DT时代实现弯道超车的前提。

什么是数据共享服务

数据共享服务可简单概括为将数据中台的数据共享给其他系统,或将某组织的数据共享给其他组织,提供数据的方式也十分多样,如数据库读取、文件传输、API接口服务等。

如何通过数据API,对外提供数据服务,进行数据共享呢?

数据API,通过RestfulAPI的形式对外提供数据服务,适用于数据库不直接对外开放,通过接口提供高并发快返回的数据服务场景,如企业内部将数据中台加工的结果数据,通过数据API的方式,提供给上层数据应用、数据门户,可视化大屏等;证券公司将股票、债券等行情数据通过数据API的方式提供给外部客户;新媒体企业将资讯通过API的方式提供给外部客户等,主要解决数据对外快速共享的场景。

怎样生成数据服务

按照传统方式,生成API接口,往往需要后端开发人员通过Java或Python等语言进行编写。从开始生成到对外发布,中间再做一些鉴权、限流等,整个流程较长,且一个接口开发完成后,需要测试人员再进行测试验证,整个过程下来,投入成本较高。

以下是传统方式生成数据API的流程:

1

近几年,在数据中台的浪潮中,大数据平台产品供应也越来越俱全。国内部分优秀的大数据产品供应商,也有标准化的数据共享服务产品,其将数据服务能力进行封装,大部分功能在平台产品内部完成,面向用户的功能只是连接数据源、编写查询逻辑,大幅度缩短API流程,并降低开发成本。

利用标准化产品,一般开发流程如下:

2

在API生成中,经过以下步骤:

  • API生成:平台会封装API创建能力,用户只需在WEB界面上选库选表,设定请求参数、返回参数即可;对于复杂的API查询逻辑,有的平台也会提供自定义SQL写查询逻辑的模式,满足用户不同场景。
  • API发布:平台会集成API网关,无需用户自己写网关逻辑,API发布后,会直接发布在API网关上,形成API市场,对外提供数据服务。
  • API申请:有需要的用户可直接在API申请已发布的API,管理员进行审批,审批通过后,申请者可拿到API的调用地址和请求示例。
  • API授权:对API申请者的申请进行审批;
  • API管理:对企业来讲,一款标准化的产品提供了一个企业级数据服务统一管理平台与企业级的API市场。
    在API调用流程中,API网关可以进行鉴权、限流、数据解密等工作。

较于传统化的生成方式,标准化产品能带来什么?

  1. 开发效率的提升:将数据API开发流程缩短,一个API生成只需3分钟
  2. 人力成本的降低:传统方式需要后端开发写接口,现在只需更熟悉数据的开发,通过写SQL,就可完成数据API的开发。
  3. API接口服务更多的场景:除了用户原有需求外,标准化的产品可带来更多附加功能,如API、用户限流,API调用监控等。
  4. 企业级API市场:实现企业API统一管理,统一的API市场开放数据服务。

数栈DTinsight 的DataAPI产品正是面向以上场景,提供数据API的共享服务。

DataAPI,通过双模式可视化配置生成与注册API,快速构建Oneservice数据服务,形成企业级的API市场和API服务管理平台,提高数据开放与共享效率。

DataAPI可以做什么

DataAPI除以上介绍可解决的场景外,还在第三方数据服务、服务监控、数据服务安全深耕较多,提供给客户一个优秀的数据服务产品。

  • 双模式生成API
    通过向导模式、自定义SQL模式双模式生成API服务,3分钟可视化完成API创建。
  • 第三方服务注册
    除在平台上生成API服务,支持将原有的API服务注册至DataAPI,进行统一管理、发布至API市场,企业所有的API服务统一管理。
  • API调用监控
    平台从API管理者、API申请者视角分别提供API调用次数、调用日志、错误日志的监控。
  • API使用权限控制
    可控制单个API的用户使用权限,调用次数是多少,调用周期是多长。

数据服务安全

数据对外服务过程中,数据安全是非常重要的一部分,DataAPI保障数据安全,主要有三方面:

  • API调用
    API调用中提供2种加密方式,可对用户信息、API信息、数据信息进行加密,适用于不同安全级别的场景。
  • API限流
    针对API单秒调用次数、用户对API的调用次数可进行限流,保障数据服务的安全稳定性。
  • 黑白名单IP控制
    通过设置黑白名单,从IP级别控制IP的访问。

以上,便是数据共享服务DataAPI的初步介绍。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
3月前
|
机器学习/深度学习 敏捷开发 存储
数据飞轮:激活数据中台的数据驱动引擎
数据飞轮:激活数据中台的数据驱动引擎
|
4月前
|
SQL 运维 Oracle
【迁移秘籍揭晓】ADB如何助你一臂之力,轻松玩转Oracle至ADB的数据大转移?
【8月更文挑战第27天】ADB(Autonomous Database)是由甲骨文公司推出的自动化的数据库服务,它极大简化了数据库的运维工作。在从传统Oracle数据库升级至ADB的过程中,数据迁移至关重要。
72 0
|
2月前
LangChain-26 Custom Agent 自定义一个Agent并通过@tool绑定对应的工具 同时让大模型自己调用编写的@tools函数
LangChain-26 Custom Agent 自定义一个Agent并通过@tool绑定对应的工具 同时让大模型自己调用编写的@tools函数
72 3
LangChain-26 Custom Agent 自定义一个Agent并通过@tool绑定对应的工具 同时让大模型自己调用编写的@tools函数
|
3月前
|
机器学习/深度学习 数据可视化 数据挖掘
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
本文探讨了如何通过数据飞轮激活数据中台的潜力,实现数据驱动的创新。文章分析了数据中台面临的挑战,如数据孤岛和工具复杂性,并提出了建立统一数据治理架构、引入自动化数据管道和强化数据与业务融合等策略。通过实际案例和技术示例,展示了如何利用数据飞轮实现业务增长,强调了数据可视化和文化建设的重要性。旨在帮助企业充分挖掘数据价值,提升决策效率。
73 1
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
|
3月前
|
存储 机器学习/深度学习 数据管理
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
|
3月前
|
机器学习/深度学习 消息中间件 搜索推荐
【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在数据驱动时代,企业逐渐从数据仓库过渡到数据中台,并进一步发展为数据飞轮。本文详细介绍了这一演进路径,涵盖数据仓库的基础存储与查询、数据中台的集成与实时决策,以及数据飞轮的自动化增长机制。通过代码示例展示如何在实际业务中运用数据技术,实现数据的最大价值,推动业务持续优化与增长。
89 4
|
3月前
|
机器学习/深度学习 搜索推荐 算法
从数据中台到数据飞轮:企业升级的必然之路
在探讨是否需从数据中台升级至数据飞轮前,我们应先理解两者之间的关系。数据中台作为数据集成、清洗及治理的强大平台,是数据飞轮的基础;而要实现数据飞轮,则需进一步增强数据自动化处理与智能化利用能力。借助机器学习与人工智能技术,“转动”数据并创建反馈机制,使数据在循环中不断优化,如改进产品推荐系统,进而形成数据飞轮。此外,为了适应市场变化,企业还需提高数据基础设施的敏捷性和灵活性,这可通过采用微服务架构和云计算技术来达成,从而确保数据系统的快速扩展与调整,支持数据飞轮高效运转。综上所述,数据中台虽为基础,但全面升级至数据飞轮则需在数据自动化处理、反馈机制及系统敏捷性方面进行全面提升。
107 14
|
3月前
|
测试技术
基于LangChain手工测试用例转App自动化测试生成工具
在传统App自动化测试中,测试工程师需手动将功能测试用例转化为自动化用例。市面上多数产品通过录制操作生成测试用例,但可维护性差。本文探讨了利用大模型直接生成自动化测试用例的可能性,介绍了如何使用LangChain将功能测试用例转换为App自动化测试用例,大幅节省人力与资源。通过封装App底层工具并与大模型结合,记录执行步骤并生成自动化测试代码,最终实现高效自动化的测试流程。
|
2月前
LangChain-24 Agengts 通过TavilySearch Agent实现检索内容并回答 AgentExecutor转换Search 借助Prompt Tools工具
LangChain-24 Agengts 通过TavilySearch Agent实现检索内容并回答 AgentExecutor转换Search 借助Prompt Tools工具
33 0
|
2月前
|
机器学习/深度学习 JSON JavaScript
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
32 0
下一篇
无影云桌面