Dataphin中集成SelectDB以支持报表分析和API查询

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 本文介绍了一家零售企业如何利用SelectDB进行BI分析及数据服务API的查询。通过Dataphin的数据集成、SQL研发等功能,将CRM、ERP等系统数据汇聚加工,并推送至SelectDB构建销售数据集市层,以支持报表分析及API查询。SelectDB具备实时、统一、弹性及开放特性,适用于多种实时分析场景。文章详细描述了在Dataphin中集成SelectDB的整体方案、数据源配置、数据集成、数据开发及数据服务流程。

1.业务背景

某零售企业的客户想要了解某产品在最近七天的成交量。通过这些数据来分析最近的销售情况,以便调整库存、制定营销策略和预测未来销售趋势。通过评估了数据量、分析的特性以及响应时长以及商务方面的评估,他们选择了SelectDB支持BI分析以及数据服务API的查询引擎。本文将介绍在Dataphin中如何与SelectDB集成,通过Dataphin的数据集成、SQL研发及的调度、数据服务API等功能,支持销售情况分析决策,以及通过API支持数据应用与管理

2.SelectDB是什么?

SelectDB 是基于Apache Doris构建的现代化实时数据仓库,支持大规模实时数据上的极速查询分析。它具有实时、统一、弹性和开放的四个特性,可实现实时数据写入与极速查询响应、支持各种分析负载、具有弹性架构实现高效资源管理、同时开放性的设计也更易与外围系统集成。基于以上特性,SelectDB广泛应用于实时报表分析、数据湖查询分析、日志存储与分析以及用户画像行为与分析等实时分析场景。

3.在Dataphin中如何集成和使用SelectDB?

3.1整体方案

通过Dataphin的数据集成,将企业的CRM、ERP、电商平台等业务系统的数据进行汇聚、加工,在MaxCompute等大数据引擎中形成数仓公共层及应用层。由于MaxCompute计算引擎是为了高并发的大规模的离线加工设计,因此为了支持BI交互式分析以及API查询等需要快速响应的场景,我们还需要通过将数据推送到SelectDB上构建销售数据集市层来满足。本文将重点介绍在Dataphin中如何集成和使用SelectDB用于支持报表分析及API查询数据。

image.png

3.2配置数据源

在Dataphin中,进入管理中心-数据源管理 页面,创建SelectDB数据源。该SelectDB数据源即可作为数据服务的查询引擎,以及作为数据集市层提供报表查询的引擎。

image.png

3.3数据集成

经过数据加工,应用层的数据已经在Dataphin的计算引擎(如MaxCompute)中加工完成,就可以将这些数据推送到SelectDB中,用于报表查询或提供API服务。这里我们通过Datpahin的数据集成功能,使用SelectDB输出组件,将数据输出到SelectDB数据源中。

进入研发-数据集成页面,创建离线集成任务。选择MaxCompute输入组件和SelectDB输出组件,连接并配置具体信息。

image.png

3.4数据开发

如果我们在SelectDB中需要进行少量的数据加工,比如基于轻度汇总表的基础上,在做筛选和聚合的处理,我们也可以用数据库SQL的方式进行研发和调度,统一的编排调度任务。

由于数据库SQL暂未支持SelectDB数据库,但是SelectDB兼容MySQL 的连接协议、语法,所以我们可以新建MySQL数据源,在MySQL数据源配置中使用SelectDB的JDBC连接SelectDB数据源。再通过数据库SQL对SelectDB中的数据进行少量数据加工。

1)创建MyQL数据源时,使用SelectDB数据库的连接信息连接。

image.png

2)创建数据库SQL计算任务,可对SelectDB数据源进行开发。

image.png

3.5数据服务

数据集成到SelectDB数据源后,支持对数据进行应用与消费。SelectDB可作为数据服务的查询引擎,用于API开发。API开发完成后,用户可申请API字段粒度的调用权限,SelectDB的数据通过API开放给开发人员、数据分析平台等对象使用。数据服务模块可以对SelectDB数据源的数据进行统一接口标准的API开发,统一平台的API管控以及监控运维,提高数据应用的效率、提高数据资源应用的安全性。

进入数据服务- API开发页面,选择“新建API-直连数据源-SQL模式”,利用SelectDB数据源数据开发“某商品最近七天的成交量”API。

相关文章
|
9天前
|
人工智能 运维 安全
聚焦API安全未来,F5打造无缝集成的解决方案
聚焦API安全未来,F5打造无缝集成的解决方案
57 26
|
1天前
|
JavaScript 前端开发 API
|
25天前
|
API
|
28天前
|
存储 消息中间件 前端开发
Web2py框架下的神秘力量:如何轻松集成第三方API,让你的应用不再孤单!
【8月更文挑战第31天】在开发现代Web应用时,常需集成第三方服务如支付网关、数据存储等。本文将指导你使用Web2py框架无缝接入第三方API。通过实例演示从注册获取API密钥、创建控制器、发送HTTP请求到处理响应的全过程。利用`requests`库与Web2py的内置功能,轻松实现API交互。文章详细介绍了如何编写RESTful控制器,处理API请求及响应,确保数据安全传输。通过本教程,你将学会如何高效整合第三方服务,拓展应用功能。欢迎留言交流心得与建议。
33 1
|
27天前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
65 0
|
27天前
|
API Java 数据库连接
从平凡到卓越:Hibernate Criteria API 让你的数据库查询瞬间高大上,彻底告别复杂SQL!
【8月更文挑战第31天】构建复杂查询是数据库应用开发中的常见需求。Hibernate 的 Criteria API 以其强大和灵活的特点,允许开发者以面向对象的方式构建查询逻辑,同时具备 SQL 的表达力。本文将介绍 Criteria API 的基本用法并通过示例展示其实际应用。此 API 通过 API 构建查询条件而非直接编写查询语句,提高了代码的可读性和安全性。无论是简单的条件过滤还是复杂的分页和连接查询,Criteria API 均能胜任,有助于提升开发效率和应用的健壮性。
59 0
|
1月前
|
机器人 API Python
智能对话机器人(通义版)会话接口API使用Quick Start
本文主要演示了如何使用python脚本快速调用智能对话机器人API接口,在参数获取的部分给出了具体的获取位置截图,这部分容易出错,第一次使用务必仔细参考接入参数获取的位置。
114 1
|
5天前
|
安全 API 开发者
Web 开发新风尚!Python RESTful API 设计与实现,让你的接口更懂开发者心!
在当前的Web开发中,Python因能构建高效简洁的RESTful API而备受青睐,大大提升了开发效率和用户体验。本文将介绍RESTful API的基本原则及其在Python中的实现方法。以Flask为例,演示了如何通过不同的HTTP方法(如GET、POST、PUT、DELETE)来创建、读取、更新和删除用户信息。此示例还包括了基本的路由设置及操作,为开发者提供了清晰的API交互指南。
27 6
|
29天前
|
存储 JSON API
淘系API接口(解析返回的json数据)商品详情数据解析助力开发者
——在成长的路上,我们都是同行者。这篇关于商品详情API接口的文章,希望能帮助到您。期待与您继续分享更多API接口的知识,请记得关注Anzexi58哦! 淘宝API接口(如淘宝开放平台提供的API)允许开发者获取淘宝商品的各种信息,包括商品详情。然而,需要注意的是,直接访问淘宝的商品数据API通常需要商家身份或开发者权限,并且需要遵循淘宝的API使用协议。
淘系API接口(解析返回的json数据)商品详情数据解析助力开发者
|
1月前
|
SQL 存储 数据处理