基于Apache doris怎么构建数据中台(六)-数据服务管理

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 上次讲数据质量的控制,那么针对据仓的数据及各种数据指标怎么快捷的对外提供数据服务,怎么快速的完成数据服务接口的开发,这次我们重点围绕这个进行展开。怎么实现接口开发零代码实现

上次讲数据质量的控制,那么针对据仓的数据及各种数据指标怎么快捷的对外提供数据服务,怎么快速的完成数据服务接口的开发,这次我们重点围绕这个进行展开。怎么实现接口开发零代码实现



数据服务从字面上理解就是数据相关的服务,和业务服务的最大不同之处它并不包含具体业务逻辑处理,与之产出的数据服务大多为统计、决策类的数据结果。很多时候大数据平台服务都是提供了数据分析的能力,分析的结果可以导出Excel,或直接查表来查看。如果要是对外提供服务的话,可能会由不同的业务团队对基础表产出相似的指标分析结果,这样的话就可能导致相同指标的结果数据不一致的情况。


数据服务是对各业务领域主体的分析结果,以统一数据服务的方式对外提供,有点类似one service意思。


数据服务平台架构:



统一数据服务作用:


  • 数据服务标准:数据结构标准化、在线查询实时化、数据开发可视化。


  • 数据结构标准化:针对数据交互,我们需要提供统一的接口视图,可进行数据的查询、权限管控。


  • 在线查询实时化:针对各业务的调用,我们需要提供指标级数据口径统一的实时数据结果。


  • 数据开发可视化:提供数据接口的可视化统一管理页面,开发人员通过通过可视化管理API,降低接口理解的难度,易于维护


数据服务化


数据服务提供快速将数据表生成数据 API 的能力,通过应用授权,供外部应用系统调用 API 获取数据,且对 API 进行统一管理和发布,支持一键创建数据抽取任务


  1. 提供向导模式和 SQL 模式,可以通过简单的配置即实现取数 API 的自动构建,屏蔽底层数据源细节,提高数据中台的整体效率


  1. 提供应用、表和 API 的关系链路,降低运维成本,解耦应用与底层表,提供统一的认证、权限和监控,确保数据应用质量。


  1. 提供数据服务流控功能,并和数据安全控制策略结合,确保数据安全


  1. 提供接口开发,调式、参数定义,返回结果说明等开发IDE


数据服务看板


image.png


具备 API 使用的监控统计能力,可查看调用次数、调用延时等信息,提供 API 库表和应用的关系查询 ,可以按照业务主题进行分组可以给数据服务设置数据安全等级,对于安全等级较高的服务进行数据访问限流,及审计数据应用开发通过API配置功能统一创建和发布的API,可以在服务概览页面查看API的调用详情,包括查看不同时间维度下的调用API数量、次数和成功的次数,且能够清晰的查看调用API的Top5和服务调用比例,同时,概览页面提供调用和未调用API列表,若API长时间未被调用或一直未被调用,可考虑下线或者删除。


数据服务权限管理


提供统一的认证、权限和监控,确保数据应用质量及数据安全


数据服务可视化开发


这里我们可以可视化的开发数据服务API,进行测试、发布。下线及接口的流控

新建接口


接口查看


这里我们是参考Mybatis自己实现了一套SQL引擎,你们也可以参考这个来实现,或者网上也有类似的开源系统可以作为参考实现:


  • magic-api :magic-api: magic-api 是一个基于Java的接口快速开发框架,通过magic-api提供的UI界面完成编写接口,无需定义Controller、Service、Dao、Mapper、XML、VO等Java对象即可完成常见的HTTP API接口开发 ,


  • Rocket-API: API敏捷开发框架,用于API接口功能的快速开发。不再定义Controller,Service,Dao,Mybatis,xml,Entity,VO等对象和方法.以springboot starter 形式集成使用


数据服务标准化的推动可以解决数据使用中的口径不统一,在数据开发层面以业务领域划分,收紧指标口径的产出,统一由相关人员产出,并以one service 的方式提供给数据业务前台、业务系统等。同时零代码的数据服务开发平台,结合元数据管理系统及血缘关系,可以大大提高数据服务的开发效率及业务响应速度。




相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
5天前
|
消息中间件 存储 Java
深度探索:使用Apache Kafka构建高效Java消息队列处理系统
【6月更文挑战第30天】Apache Kafka是分布式消息系统,用于高吞吐量的发布订阅。在Java中,开发者使用Kafka的客户端库创建生产者和消费者。生产者发送序列化消息到主题,消费者通过订阅和跟踪偏移量消费消息。Kafka以持久化、容灾和顺序写入优化I/O。Java示例代码展示了如何创建并发送/接收消息。通过分区、消费者组和压缩等策略,Kafka在高并发场景下可被优化。
14 1
|
6天前
|
SQL 存储 运维
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
|
9天前
|
存储 运维 OLAP
抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。
抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践
|
1天前
|
存储 大数据 关系型数据库
从 ClickHouse 到阿里云数据库 SelectDB 内核 Apache Doris:快成物流的数智化货运应用实践
目前已经部署在 2 套生产集群,存储数据总量达百亿规模,覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。
|
6天前
|
关系型数据库 MySQL BI
Apache Doris 2.0.12 版本正式发布
Apache Doris 2.0.12发布,含99项改进和修复。
|
8天前
|
SQL Java Apache
阿里云数据库 SelectDB 版内核 Apache Doris 2.1.4 版本正式发布
亲爱的社区小伙伴们,Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中,我们对数据湖分析场景进行了多项功能体验优化,重点修复了旧版本中异常内存占用的问题,同时提交了若干改进项以及问题修复,进一步提升了系统的性能、稳定性及易用性,欢迎大家下载使用。
|
9天前
|
SQL 运维 druid
深度分析:Apache Doris及其在大数据处理中的应用
Apache Doris是一款开源的高性能实时分析数据库,设计用于低延迟SQL查询和实时数据处理,适合大规模实时分析场景。与Apache Druid、ClickHouse和Greenplum相比,Doris在易用性和实时性上有优势,但其他产品在特定领域如高吞吐、SQL支持或数据处理有特长。选型要考虑查询性能、实时性、SQL需求和运维成本。Doris适用于实时数据分析、BI报表、数据中台和物联网数据处理。使用时注意资源配置、数据模型设计、监控调优和导入策略。
|
22天前
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。
165 5
|
2月前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错之Apache Flink中的SplitFetcher线程在读取数据时遇到了未预期的情况,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
2月前
|
数据处理 Apache 流计算

推荐镜像

更多