数据分析法宝,一个SQL语句查询多个异构数据源

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: NineData DSQL 是针对多个同异构数据库系统进行跨库查询的功能,当前支持对表和视图进行 SELECT 操作。您可以在一个查询中访问多个数据库,获取分散在各个数据库中的有用信息,并且将这些信息聚合为一份查询结果返回,轻松实现跨多个库、多个数据源,乃至跨多个异构数据源的数据查询。

随着企业数据量呈现出爆炸式增长,跨部门、跨应用、跨平台的数据交互需求越来越频繁,传统的数据查询方式已经难以满足这些需求。同时,不同数据库系统之间的数据格式、查询语言等都存在差异,直接进行跨库查询十分困难。

原生跨库查询的局限性

虽然 MySQL、Oracle、PostgreSQL 等数据库系统都提供了自身的跨库查询功能,但是存在诸多局限性:

  • 数据库类型限制:MySQL 的 Federated、Oracle 的 Database Links 功能均要求目标数据库也必须是相同类型的数据库,这限制了跨库查询功能的适用范围,不适用于异构数据库的跨库查询。
  • 额外性能损耗:自带的跨库查询功能可能会有 JOIN 操作带来的额外性能损耗,特别是在大规模数据查询或数据传输时,会增加系统负担,影响其他查询的效率。

这些局限性意味着数据库系统自带的跨库查询功能可能无法满足复杂多样的数据分析需求,特别是在异构数据库、大规模数据查询、有高性能高安全性方面需求等场景。

为解决这些问题,NineData DSQL 应运而生。

什么是 NineData DSQL ?

NineData DSQL 是针对多个同异构数据库系统进行跨库查询的功能,当前支持对表和视图进行 SELECT 操作。您可以在一个查询中访问多个数据库,获取分散在各个数据库中的有用信息,并且将这些信息聚合为一份查询结果返回,轻松实现跨多个库、多个数据源,乃至跨多个异构数据源的数据查询。

NineData DSQL 具有如下特性:

  1. 连接多个数据库系统:支持连接多个数据库系统,并确保这些数据库系统之间的兼容性。这些数据库系统可以来自不同的厂商或平台,且数据格式、存储方式、查询语言等可以存在差异。
  2. 统一的查询语法:DSQL 提供了统一的查询语法,您仅需使用一种语法即可跨多个异构或同构数据库进行查询,系统会自动将该语法解析并转换成不同类型数据源的查询语法进行下发查询。
  3. 结果整合和输出:整合同异构数据库系统的查询结果,并统一输出格式,方便您获取所需信息。您无需关心数据存储在哪个数据库中,只需通过一个查询就可以获得所需的结果。
  4. 数据隐私和安全保护:基于 NineData 的权限管控功能,支持对敏感数据进行脱敏处理、对访问权限进行控制等,保护数据的隐私和安全,防止数据泄露和非法访问。
  5. 图形化界面支持:提供一目了然的图形化界面,方便您进行可视化的查询和管理,提高您的工作效率。

易于记忆的 DSQL 查询语法

在 DSQL 中,无论是执行联表(视图)查询还是单表(视图)查询,指定来源数据源时都需要采用三段式语法,即.<库名|Schema 名>.<表名(视图名)>。

示例 1:跨异构源查询,从 DBLINK1(MySQL) 和 DBLINK2(Oracle) 中查询数据。

SELECT *
FROM DBLINK1.database_name.table_name a,
DBLINK2.schema_name.table_name b
WHERE a.id=b.id;

示例 2:单表(视图)查询,从 DBLINK1 中查询数据。

SELECT *
FROM DBLINK1.database.table_name
WHERE id=1;

如果您的库名或表(视图)名以数字开头,或使用了预留字段,则需要使用双引号("")包裹该名称,否则查询失败。例如:

SELECT * FROM dblink_mysql_3451."9zdbtest3".sbtest1;

什么情况下需要使用 DSQL?

  1. 企业级数据整合:企业经常需要从多个部门或系统中整合数据,以提供更全面的视角。通过 DSQL ,企业可以在一个查询中访问多个数据库,获取分散在各个数据库中的有用信息,然后将其整合在一起,方便数据分析和决策。
  2. 数据挖掘与分析:数据挖掘和分析需要大量的数据支持。通过 DSQL ,您可以在多个数据库中检索需要的数据,然后使用挖掘和分析工具对数据进行深入的研究和分析。
  3. 数据仓库:数据仓库是用于存储和管理大量数据的系统。通过 DSQL ,您无需搭建数据仓库,即可实现数据仓库的功能。

操作示例

5.1 查看需要查询的库表列信息

您可以在左侧导航栏查看需要查询的 DBLink 名、库名|Schema 名、表名、视图名、列名等信息,无需摸黑操作。

查看需要查询的库表列信息.gif

查看需要查询的库表列信息

5.2 编写跨库查询语句并执行

通过简单的查询 SQL 即可对多个同、异构数据源进行查询,支持对查询结果中的敏感字段进行脱敏。

编写跨库查询语句并执行.gif

编写跨库查询语句并执行

5.3 整合多表查询结果并导出

执行跨库查询后,系统会整合查询结果到一张表中,您可以对结果集执行导出操作。同时,还支持对结果集进行搜索。

整合多表查询结果并导出.gif

整合多表查询结果并导出

5.4 收藏常用 DBLink

如果 DBLink 很多,您可以收藏常用的几个 DBLink,方便查找。

收藏常用 DBLink.gif

收藏常用 DBLink

综上所述,NineData DSQL 提供了全局视角审视您的数据,在减少了数据处理的复杂性的同时,提高了数据利用率,为企业提供了更灵活、高效和安全的方式来处理数据,可促进数据驱动的决策和业务发展,助力企业降本增效。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
18天前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过使用 MongoDB Connector for BI 和 JDBC,开发者可以在 Java 中使用 SQL 语法查询 MongoDB 数据库。这种方法对于熟悉 SQL 的团队非常有帮助,能够快速实现对 MongoDB 数据的操作。同时,也需要注意到这种方法的性能和功能限制,根据具体应用场景进行选择和优化。
57 9
|
1月前
|
SQL 存储 人工智能
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
Vanna 是一个开源的 Python RAG(Retrieval-Augmented Generation)框架,能够基于大型语言模型(LLMs)为数据库生成精确的 SQL 查询。Vanna 支持多种 LLMs、向量数据库和 SQL 数据库,提供高准确性查询,同时确保数据库内容安全私密,不外泄。
141 7
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
|
27天前
|
SQL 数据挖掘 数据库
这可能是最适合解决 SQL 数据分析痛点的编程语言
数据分析师常需处理各种数据操作,如过滤、分组、汇总等,SQL 在这些基本需求上表现得心应手。然而,面对本地文件数据或更复杂需求时,SQL 的局限性显现。SPL(Structured Process Language)则提供了更灵活的解决方案,无需数据库环境,直接从文件计算,代码简洁易懂,调试工具强大,极大提升了数据分析的效率和交互性。
|
2月前
|
SQL Java
使用java在未知表字段情况下通过sql查询信息
使用java在未知表字段情况下通过sql查询信息
42 8
|
2月前
|
SQL 安全 PHP
PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全
本文深入探讨了PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全。
72 4
|
2月前
|
SQL 监控 关系型数据库
SQL语句当前及历史信息查询-performance schema的使用
本文介绍了如何使用MySQL的Performance Schema来获取SQL语句的当前和历史执行信息。Performance Schema默认在MySQL 8.0中启用,可以通过查询相关表来获取详细的SQL执行信息,包括当前执行的SQL、历史执行记录和统计汇总信息,从而快速定位和解决性能瓶颈。
|
2月前
|
SQL 存储 缓存
如何优化SQL查询性能?
【10月更文挑战第28天】如何优化SQL查询性能?
195 10
|
2月前
|
SQL 关系型数据库 MySQL
|
3月前
|
SQL 数据库 开发者
功能发布-自定义SQL查询
本期主要为大家介绍ClkLog九月上线的新功能-自定义SQL查询。
|
2月前
|
SQL 数据挖掘 Python
数据分析编程:SQL,Python or SPL?
数据分析编程用什么,SQL、python or SPL?话不多说,直接上代码,对比明显,明眼人一看就明了:本案例涵盖五个数据分析任务:1) 计算用户会话次数;2) 球员连续得分分析;3) 连续三天活跃用户数统计;4) 新用户次日留存率计算;5) 股价涨跌幅分析。每个任务基于相应数据表进行处理和计算。