阿里云数据库产品HybridDB简介——OLAP数据库,支持行列混合存储,为用户提供基于开源 OLTP、OLAP、BigData 生态的一站式解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介:
12 月 9 日,阿里云宣布数据库产品 HybridDB 正式商业化。

  HybridDB(ApsaraDB HybridDB)是一款在线 MPP 大规模并行处理数据仓库的服务。它基于 Pivotal 公司的开源数据库项目 Greenplum Database 开发,并由阿里云数据库团队在云计算架构下深度扩展。

20161209-%e9%98%bf%e9%87%8c%e4%ba%91%e6%8e%a8%e5%87%ba%e4%ba%91%e6%95%b0%e6%8d%ae%e5%ba%93hybriddb

  该服务支持了 OSS 存储、JSON 数据类型、HyperLogLog 预估分析等功能特性。通过符合 SQL2008 标准查询语法及 OLAP 分析聚合函数,提供灵活的混合分析能力。提供在线扩容、备份、性能监测等服务。

  阿里云数据库产品研究员褚霸介绍,随着各行各业信息技术的发展催生了以数据分析场景为主要业务的企业。特别是物联网和广告分析领域的企业,对云上复杂场景数据分析有强需求。“这个产品可以简化大量工作,如数据库管理员、开发者以及数据分析师可以专注于如何通过 SQL 挖掘数据价值,无需再自行维护复杂的大规模并行数据集群。”

  HybridDB 是此款产品的名字,也体现了“混合”的特点。HybridDB 兼容数据类型多达 23 种,比市面上云计算厂商的同类产品多一倍。同时,它支持横向扩展,当用户数据量变大,内存及 CPU 计算能力需求增大时,随时可以添加节点,以线性扩展分析性能,提高计算能力。

  7 月公测以来的数据显示,JSON 和 GIS 类型的数据量高达 TB 级别时,查询也可以在 1 秒内完成。此外,广告分析领域的公司在做互联网海量数据的 PV、UV 预估分析时,统计性能提升 20-100 倍。

  在 MySQL 和 ProstgreSQL 之外,数据库用户为什么还需要全新的产品?褚霸表示,HybridDB 的混合数据类型及混合存储(行存、列存、OSS 外部表)能力,可以与阿里云现有的 RDS、NoSQL 数据库方案实现数据融合分析。同时补全了 EMR(Hadoop)分析场景中实时性不足的问题,为用户提供基于开源 OLTP、OLAP、BigData 生态的一站式解决方案

  Greenplum 诞生于 2006 年,是一个分布式大规模并行处理数据库,常用于大数据的存储引擎、计算引擎和分析引擎。它和 HybridDB 将形成云上云下业务场景的互补,软件开发过程中,云上 HybridDB 环境与云下 Greenplum 商业版本、Greenplum Database 开源版本环境可以采用同一套代码,节省开发及维护成本。

  阿里云数据库团队的愿景是打造一站式在线分析引擎。从数据的传输、存储、计算到管理,让客户的数据需求能够在同一个产品环境体系内实现,进一步降低数据处理的整体成本。未来,阿里云将围绕 HybridDB 做数据库生态的努力。一方面,加速与阿里云数据类产品实现互通,让用户可以通过 SQL 快速分析从不同渠道存储下来的数据。另一方面,引入合作伙伴认证机制,邀请更多 ISV 开发商及 BI/ETL 厂商支持,共同为用户创造价值。

  • 实时分析

  支持 SQL 语法进行分布式 GIS 地理信息数据类型实时分析,协助物联网、互联网实现 LBS 位置服务统计

  支持 SQL 语法进行分布式 JSON、XML、模糊字符串等数据实时分析,助金融、政企行业实现报文数据处理及模糊文本统计

  • 稳定可靠

  支持分布式 ACID 数据一致性,实现跨节点事务一致,所有数据双节点同步冗余

  分布式部署,计算单元、服务器、机柜三重防护,提高重要数据基础设施保障

  • 简单易用

  丰富的 OLAP SQL 语法及函数支持,众多 Oracle 函数支持,业界流行的 BI 软件可直接联机使用

  可与云数据库 RDS (PostgreSQL/PPAS)实现数据通讯,实现 OLTP+OLAP (HTAP)混合事务分析解决方案

  • 性能卓越

  支持行列混合存储,列存性能在 OLAP 分析时相比行存储可达 100 倍性能提升

  支持高性能 OSS 并行数据导入,避免单通道导入的性能瓶颈

  • 灵活扩展

  按需进行计算单元,CPU、内存、存储空间的等比扩展,OLAP 性能平滑上升致数百 TB

  支持透明的 OSS 数据操作,非在线分析的冷数据可灵活转存到 OSS 对象存储,数据存储容量无限扩展

 

转自:https://news.cnblogs.com/n/558691/














本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/6483247.html,如需转载请自行联系原作者

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
关系型数据库 MySQL 数据库
MyEMS开源系统安装之数据库
本文详细讲解MyEMS的安装步骤,重点介绍数据库架构与脚本部署。MyEMS支持MySQL 8.0、MariaDB 10.5及SingleStore 7.0等数据库服务器。通过命令行或客户端工具执行SQL脚本完成安装,包括多个数据库(如myems_billing_db、myems_energy_db等)。此外,提供解决常见问题的方法,如“用户拒绝访问”、“COLLATE设置”和“MAX_ALLOWED_PACKET错误”。注意,不建议在生产环境中将数据库安装于Docker容器内。
127 1
|
6月前
|
人工智能 运维 关系型数据库
|
8月前
|
存储 NoSQL 关系型数据库
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
463 2
|
8月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
348 3
|
8月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课14 纯享单机版
PolarDB不仅支持基于“共享存储+多计算节点”的集群版,还提供类似开源PostgreSQL的单机版。单机版部署简单,适合大多数应用场景,并可直接使用PostgreSQL生态插件。通过Docker容器、Git克隆代码、编译软件等步骤,即可完成PolarDB单机版的安装与配置。具体操作包括启动容器、进入容器、克隆代码、编译软件、初始化实例、配置参数及启动数据库。此外,还有多个相关教程和视频链接供参考,帮助用户更好地理解和使用PolarDB单机版。
369 1
|
8月前
|
存储 容灾 关系型数据库
PolarDB开源数据库进阶课11 激活容灾(Standby)节点
本文介绍了如何激活PolarDB容灾(Standby)节点,实验环境依赖于Docker容器中用loop设备模拟共享存储。通过`pg_ctl promote`命令可以将Standby节点提升为主节点,使其能够接收读写请求。激活后,原Standby节点不能再成为PolarDB集群的Standby节点。建议删除对应的复制槽位以避免WAL文件堆积。相关操作和配置请参考系列文章及视频教程。
148 1
|
6月前
|
SQL 人工智能 数据可视化
16.1k star! 只需要DDL就能一键生成数据库关系图!开源神器ChartDB让你的数据结构"看得见"
ChartDB是一款开源的数据库可视化神器,通过一句智能查询就能自动生成专业的数据库关系图。无需安装客户端、不用暴露数据库密码,打开网页就能完成从数据建模到迁移的全流程操作,堪称开发者的"数据库透视镜"。
1134 67
|
8月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
140 0
|
8月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课7 实时流式归档
本文介绍了如何在PolarDB RAC一写多读集群中实现实时归档,确保WAL日志的及时备份。实验依赖于Docker容器和loop设备模拟的共享存储环境。通过配置主节点的`pg_hba.conf`、创建复制槽以及使用`pg_receivewal`工具,实现实时接收并归档WAL文件。此外,还提供了详细的命令行帮助和相关文档链接,方便读者参考和操作。注意:如果已搭建容灾节点,则无需重复进行实时归档。
125 0
|
5月前
|
存储 Cloud Native 关系型数据库
PolarDB开源:云原生数据库的架构革命
本文围绕开源核心价值、社区运营实践和技术演进路线展开。首先解读存算分离架构的三大突破,包括基于RDMA的分布式存储、计算节点扩展及存储池扩容机制,并强调与MySQL的高兼容性。其次分享阿里巴巴开源治理模式,涵盖技术决策、版本发布和贡献者成长体系,同时展示企业应用案例。最后展望技术路线图,如3.0版本的多写多读架构、智能调优引擎等特性,以及开发者生态建设举措,推荐使用PolarDB-Operator实现高效部署。
280 3

热门文章

最新文章