从0到1介绍一下开源大数据服务平台dataService

简介: 从0到1介绍一下开源大数据服务平台dataService

1.背景&现状

在大数据领域也已经工作了多年,无论所待过的大公司还是小公司,统计出来的数据经常需要查询展示,比如说:用做大屏或者报表或者给一些线上服务提供数据源,经常会要用代码写一套接口服务,需要进行开发-测试-上线等一套流程,开发效率非常低下,导致开发一个服务需要接近0.5天或者1天的时间。

不少大厂其实对于这个平台也有建设,甚至拿出来单独售卖((比如阿里datawork里面的数据服务、网易猛犸EasyDS)),但是收费确实不低,因此想着根据自己的工作经验,开发出这样一套产品,由于之前开源的数据对比平台命名为dataCompare,因此这个平台命名为dataService,即:数据服务

主要解决如下几个问题:

(1)开发一个api接口服务需要进行开发-测试-上线等一套流程,通常至少需要0.5天到1天

(2)为了满足不同的数据量要求,选择不同的数据存储,因此导致数据存储多样性(比如:Mysql、Oracle、Hbase、Doris等等),所以针对不同的存储开发代码不一致

(3)接口服务不规范,不同的开发人员,对于接口开发不一致

(4)数据和接口没办法复用,不同的业务选择相同的数据表,建立各自的接口服务,但是存在接口和数据冗余问题

(5)不清楚哪些数据被哪些应用访问,导致停掉数据加工任务并不清楚会影响哪些业务

2.目标

为了解决上述问题因此开发了开源大数据服务平台——dataService

(1)采用写sql低代码或者界面交互、勾选的方式即可api服务的开发、测试和上线,同时避免了针对不同的数据存储进行代码适配开发,开发效率至少提升50%

(2)接口规范化:通过数据服务平台实现接口规范化,避免不同的开发人员开发习惯不一致导致标准不一致

(3)构建api集市实现接口的可复用,避免数据和接口冗余问题

(4)通过数据血缘和接口血缘,打通数据加工和服务的全链路

3.系统核心功能介绍

目前dataService已经完成如下功能:

(1)通过简单配置或者写sql等低代码的方式即可实现api服务的开发和测试

(2)目前已经支持Mysql、Doris、Hive 等数据源

整体流程如下:

(1)流程一:新建数据源——新建API服务

流程一

(2)流程二:根据数据源类型创建数据源连接

流程二

(3)流程三:新建API服务——配置sql——测试API服务——上线

SELECT 
  name, 
  addr as address, 
  sum(num) as total_num 
FROM 
  table_name 
WHERE 
  user_id = ${uid}; 
(1) SELECT查询的字段即为API返回参数 
(2) 如果定义了字段别名,则返回参数名称为字段别名 
(3) 支持SQL函数 
(4) WHERE条件中的参数为API请求参数,参数格式为${参数名}

(4)流程四:发布API服务到API集市供业务方调用

4.系统架构设计

数据服务平台能够解决数据服务统一化,便于数据服务的治理、指标口径的统一。能够提升业务的开发效率,更快的面对业务的变化。数据服务平台主要分如下三层:

(1)数据应用接入层:主要是针对外部应用接入,包含:HTTP服务、RPC服务、Client 服务

(2)数据服务解析层:主要通过SQL方式访问各种数据存储,然后生成对应数据服务。核心功能:SQL解析、SQL校验、SQL路由、数据查询

(3)数据存储层:主要包含数据的存储管理,MySQL、Redis、Doris、Hive等等。都能很好的支持,提供API服务

5.系统功能演示

主页

添加数据源

数据源管理

新建api服务

api服务测试

6.后续规划

(1)上线api服务 pull方式的数据自动推送获取

(2)api服务限流和监控

(3)服务血缘探测、服务编排

7.核心代码开源

https://github.com/zhugezifang/dataService

https://gitee.com/ZhuGeZiFang/dataService


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
704 1
|
4月前
|
存储 SQL 分布式计算
开源大数据比对平台设计与实践—dataCompare
开源大数据比对平台设计与实践—dataCompare
65 0
|
4月前
|
SQL 存储 分布式计算
从0到1介绍一下开源大数据比对平台dataCompare
从0到1介绍一下开源大数据比对平台dataCompare
105 0
|
19天前
|
分布式计算 运维 数据挖掘
MaxCompute是一个强大的云数据仓库服务
【4月更文挑战第1天】MaxCompute是一个强大的云数据仓库服务
21 1
|
1月前
|
SQL 存储 监控
构建端到端的开源现代数据平台
构建端到端的开源现代数据平台
49 4
|
2月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
51 0
|
3月前
|
SQL 分布式计算 HIVE
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
|
3月前
|
SQL 消息中间件 分布式计算
开源湖仓一体平台(一):LakeSoul
开源湖仓一体平台(一):LakeSoul
|
3月前
|
数据可视化 大数据 数据挖掘
瓴羊荣获2023虎啸奖“年度十大AI&大数据服务公司”“数智营销案例铜奖”双重大奖
瓴羊荣获2023虎啸奖“年度十大AI&大数据服务公司”“数智营销案例铜奖”双重大奖
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0