《数据虚拟化:商务智能系统的数据架构与管理》一 1.8 数据虚拟化的不同实现

简介: 本节书摘来自华章出版社《数据虚拟化:商务智能系统的数据架构与管理》一 书中的第1章,第1.8节,作者:[荷]里克 F. 范德兰斯(Rick F. van der Lans),更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.8 数据虚拟化的不同实现

技术上来说,许多不同的方式都可以实现数据虚拟化层。以下是一些例子:
使用专用的数据虚拟化服务器,多个数据存储器看起来只是一个。应用程序只看见一个大的数据存储器,然而实际上数据存储在多个存储器中。
一个企业服务总线(ESB)可以用来开发一个允许对数据标准访问的服务层。调用这些服务的数据使用者不需要知道数据在哪里、怎样被保存、它的存储结构、它的原始资源接口或者其他技术细节。他们只会看见,例如,一个SOAP接口或一个ReST(表述性状态转移)接口。在这种情况下,ESB是数据虚拟化层。想要了解更多关于ESB的信息,见文献[11]。
把数据存储放到云中也是数据虚拟化的一种形式。访问一个数据存储时,数据使用者使用云API工作,它们并不知道数据本身存在哪里。数据的存储和管理是在本地还是远程是完全透明的。
在某种程度上,使用从多个物理数据库中加载出来的数据,在存储器中建立一个虚拟的数据库,同样可以被认为是数据虚拟化。真实数据的存储器结构、应用程序编程接口和位置对于访问内存数据库的应用程序来说都是透明的。这种解决方案有时被当作内存分析。
对象关系映射器(ORM)是工具,是用来将数据结构从数据存储转换到面向对象编程模型中使用的概念,如Java和C#。例如,ORM可以将SQL数据库的平台结构转换成Java中使用的面向对象的概念。这种影响使Java程序员不需要理解和处理SQL概念的特征,而只需要理解和处理Java概念。Hibernate、NHibernate和iBATIS都是ORM的例子。
组织机构同样也可以开发他们自己的数据虚拟化层,隐藏数据的存储位置和存储方式。
还存在很多开发数据虚拟化层的方法,但是因为这本书主要针对商务智能系统,所以重点是第一个方法:数据虚拟化服务器。数据虚拟化服务器是一个设计用来支持数据虚拟化的专用产品,这意味着它可以将多个异构数据存储成一个单独的逻辑存储展现给数据使用者。访问数据虚拟化服务器与登录数据库服务器很相似。在数据使用者不知道的情况下,来自不同数据存储器(甚至来自使用不同存储模型的数据存储器中)的数据连接在一起,数据被转换、清洗、聚集,等等。
本书主要关注数据虚拟化服务器的原因是,本质上这些产品已经被优化去处理大数据集,而不仅仅为了记录而记录加工过程,同时它们被设计来处理SQL查询。同时满足典型的商务智能报告和工具的要求。但是注意它们大部分可以部署在其他类型的环境中,例如面向服务的体系结构(见第9章)、消费者数据集成应用和网络应用。

相关文章
|
3月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
371 2
|
2月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
10天前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
55 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
3月前
|
SQL 缓存 前端开发
如何开发进销存系统中的基础数据板块?(附架构图+流程图+代码参考)
进销存系统是企业管理采购、销售与库存的核心工具,能有效提升运营效率。其中,“基础数据板块”作为系统基石,决定了后续业务的准确性与扩展性。本文详解产品与仓库模块的设计实现,涵盖功能概述、表结构设计、前后端代码示例及数据流架构,助力企业构建高效稳定的数字化管理体系。
|
2月前
|
机器学习/深度学习 存储 人工智能
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性,并探讨混合架构的应用策略。
153 10
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
|
19天前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
2月前
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
|
2月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
2月前
|
缓存 前端开发 BI
如何开发门店业绩上报管理系统中的门店数据板块?(附架构图+流程图+代码参考)
门店业绩上报管理是将门店营业、动销、人效等数据按标准化流程上报至企业中台或BI系统,用于考核、分析和决策。其核心在于构建“数据底座”,涵盖门店信息管理、数据采集、校验、汇总与对接。实现时需解决数据脏、上报慢、分析无据等问题。本文详解了实现路径,包括系统架构、数据模型、业务流程、开发要点、三大代码块(数据库、后端、前端)及FAQ,助你构建高效门店数据管理体系。
|
3月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
1046 24

热门文章

最新文章