《数据虚拟化:商务智能系统的数据架构与管理》一 1.8 数据虚拟化的不同实现

简介: 本节书摘来自华章出版社《数据虚拟化:商务智能系统的数据架构与管理》一 书中的第1章,第1.8节,作者:[荷]里克 F. 范德兰斯(Rick F. van der Lans),更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.8 数据虚拟化的不同实现

技术上来说,许多不同的方式都可以实现数据虚拟化层。以下是一些例子:
使用专用的数据虚拟化服务器,多个数据存储器看起来只是一个。应用程序只看见一个大的数据存储器,然而实际上数据存储在多个存储器中。
一个企业服务总线(ESB)可以用来开发一个允许对数据标准访问的服务层。调用这些服务的数据使用者不需要知道数据在哪里、怎样被保存、它的存储结构、它的原始资源接口或者其他技术细节。他们只会看见,例如,一个SOAP接口或一个ReST(表述性状态转移)接口。在这种情况下,ESB是数据虚拟化层。想要了解更多关于ESB的信息,见文献[11]。
把数据存储放到云中也是数据虚拟化的一种形式。访问一个数据存储时,数据使用者使用云API工作,它们并不知道数据本身存在哪里。数据的存储和管理是在本地还是远程是完全透明的。
在某种程度上,使用从多个物理数据库中加载出来的数据,在存储器中建立一个虚拟的数据库,同样可以被认为是数据虚拟化。真实数据的存储器结构、应用程序编程接口和位置对于访问内存数据库的应用程序来说都是透明的。这种解决方案有时被当作内存分析。
对象关系映射器(ORM)是工具,是用来将数据结构从数据存储转换到面向对象编程模型中使用的概念,如Java和C#。例如,ORM可以将SQL数据库的平台结构转换成Java中使用的面向对象的概念。这种影响使Java程序员不需要理解和处理SQL概念的特征,而只需要理解和处理Java概念。Hibernate、NHibernate和iBATIS都是ORM的例子。
组织机构同样也可以开发他们自己的数据虚拟化层,隐藏数据的存储位置和存储方式。
还存在很多开发数据虚拟化层的方法,但是因为这本书主要针对商务智能系统,所以重点是第一个方法:数据虚拟化服务器。数据虚拟化服务器是一个设计用来支持数据虚拟化的专用产品,这意味着它可以将多个异构数据存储成一个单独的逻辑存储展现给数据使用者。访问数据虚拟化服务器与登录数据库服务器很相似。在数据使用者不知道的情况下,来自不同数据存储器(甚至来自使用不同存储模型的数据存储器中)的数据连接在一起,数据被转换、清洗、聚集,等等。
本书主要关注数据虚拟化服务器的原因是,本质上这些产品已经被优化去处理大数据集,而不仅仅为了记录而记录加工过程,同时它们被设计来处理SQL查询。同时满足典型的商务智能报告和工具的要求。但是注意它们大部分可以部署在其他类型的环境中,例如面向服务的体系结构(见第9章)、消费者数据集成应用和网络应用。

相关文章
|
2月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
58 8
|
2月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
465 7
|
2月前
|
数据采集 搜索推荐 数据管理
数据架构 CDP 是什么?
数据架构 CDP 是什么?
74 2
|
5月前
|
机器学习/深度学习 数据采集 人工智能
揭秘!47页文档拆解苹果智能,从架构、数据到训练和优化
【8月更文挑战第23天】苹果公司发布了一份47页的研究文档,深入解析了其在智能基础语言模型领域的探索与突破。文档揭示了苹果在此领域的雄厚实力,并分享了其独特的混合架构设计,该设计融合了Transformer与RNN的优势,显著提高了模型处理序列数据的效能与表现力。然而,这种架构也带来了诸如权重平衡与资源消耗等挑战。苹果利用海量、多样的高质量数据集训练模型,但确保数据质量及处理噪声仍需克服。此外,苹果采取了自监督与无监督学习相结合的高效训练策略,以增强模型的泛化与稳健性,但仍需解决预训练任务选择及超参数调优等问题。
164 66
|
1月前
|
供应链 监控 安全
基于Quick BI的多部门组织下的数据共享及管理方案
本文介绍了企业在使用Quick BI时面临的数据共享与安全控制需求,涵盖技术、财务、销售等部门的具体挑战,并提出了基于角色组授权、工作空间隔离、行级权限管理等解决方案,确保数据既能高效共享又能安全可控。
159 5
基于Quick BI的多部门组织下的数据共享及管理方案
|
2月前
|
人工智能 算法 BI
聚焦AI与BI融合,引领数智化新潮流 | 【瓴羊数据荟】瓴羊数据Meet Up城市行第一站完美收官!
当BI遇见AI,洞见变得触手可及 —— 瓴羊「数据荟」数据Meet Up城市行·杭州站启幕,欢迎参与。
436 5
聚焦AI与BI融合,引领数智化新潮流 | 【瓴羊数据荟】瓴羊数据Meet Up城市行第一站完美收官!
|
4月前
|
存储 搜索推荐 数据库
MarkLogic在微服务架构中的应用:提供服务间通信和数据共享的机制
随着微服务架构的发展,服务间通信和数据共享成为关键挑战。本文介绍MarkLogic数据库在微服务架构中的应用,阐述其多模型支持、索引搜索、事务处理及高可用性等优势,以及如何利用MarkLogic实现数据共享、服务间通信、事件驱动架构和数据分析,提升系统的可伸缩性和可靠性。
60 5
|
3月前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。
|
5月前
|
安全 网络安全 数据安全/隐私保护
云原生技术探索:容器化与微服务架构的实践之路网络安全与信息安全:保护数据的关键策略
【8月更文挑战第28天】本文将深入探讨云原生技术的核心概念,包括容器化和微服务架构。我们将通过实际案例和代码示例,展示如何在云平台上实现高效的应用部署和管理。文章不仅提供理论知识,还包含实操指南,帮助开发者理解并应用这些前沿技术。 【8月更文挑战第28天】在数字化时代,网络安全和信息安全是保护个人和企业数据的前线防御。本文将探讨网络安全漏洞的成因、加密技术的应用以及提升安全意识的重要性。文章旨在通过分析网络安全的薄弱环节,介绍如何利用加密技术和提高用户警觉性来构建更为坚固的数据保护屏障。
|
5月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。

热门文章

最新文章