「大数据系列」Ignite:基于内存分布式数据库和缓存和处理平台

简介: 「大数据系列」Ignite:基于内存分布式数据库和缓存和处理平台

Ignite™是一个以内存为中心的分布式数据库,缓存和处理平台事务性,分析性和流式工作负载,以PB级的速度提供内存速度.


主要好处

  • Ignite 使用者包括 ING, Sberbank, HomeAway, Wellington, FSB, The Glue, 24 Hour Fitness, JacTravel等
  • 保留你的数据库. 使用Ignite™内存数据网格和缓存功能加速现有的Relational和NoSQL数据库
  • NoSQL Scale的SQL .使用Ignite™分布式SQL实现水平可伸缩性,强一致性和高可用性

主要特点

  • 以内存为中心的存储.在内存和磁盘上存储和处理分布式数据
  • 分布式SQL.分布式以内存为中心的SQL数据库,支持连接
  • 分布式键值. 使用最快的键值数据网格和缓存进行读取,写入和事务处理
  • ACID交易. 跨分布式数据集实施完全ACID合规性
  • 并置处理.通过向群集节点发送计算来避免数据噪声
  • 机器学习.培训和部署分布式机器学习模型

IGNITE和其他软件比较


产品功能

Apache Ignite以内存为中心的数据库和缓存平台包含以下一组组件:

主要特点

  • 分布式SQL
  • 分布式键值
  • ACID交易
  • 并置处理
  • 机器学习
  • 多语言

扩展功能

  • 服务网格

  • RDBMS集成
  • 数据结构
  • 消息和事件
  • GA(Genetic Algorithms)网格

架构

  • 集群和部署
  • 以内存为中心的存储
  • 持久化

Hadoop和Spark支持

  • 用于Spark的内存存储
  • 内存文件系统
  • 内存中的MapReduce

Apache Ignite用例

作为一个平台,Apache Ignite用于各种用例,其中一些用例如下所示:

数据库

  • 分布数据库
  • 内存数据库
  • 内存数据网格
  • 键值存储

对照

  • Ignite NoSQL用户
  • Ignite RDBMS用户

内存缓存

  • 数据库缓存
  • JCache提供程序
  • Hibernate L2 Cache
  • Web会话群集

Spark&Hadoop

  • Spark共享RDD
  • 加速Sql for Spark
  • IGFS作为HDFS缓存
  • 加速MapReduce
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
10月前
|
关系型数据库 分布式数据库 数据库
|
10月前
|
存储 关系型数据库 分布式数据库
喜报|阿里云PolarDB数据库(分布式版)荣获国内首台(套)产品奖项
阿里云PolarDB数据库管理软件(分布式版)荣获「2024年度国内首版次软件」称号,并跻身《2024年度浙江省首台(套)推广应用典型案例》。
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
缓存 并行计算 PyTorch
PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
2250 0
|
10月前
|
存储 NoSQL MongoDB
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
386 8
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
|
10月前
|
存储 缓存 监控
手动清除Ubuntu系统中的内存缓存的步骤
此外,只有系统管理员或具有适当权限的用户才能执行这些命令,因为这涉及到系统级的操作。普通用户尝试执行这些操作会因权限不足而失败。
1790 22
|
10月前
|
存储 监控 分布式数据库
ClickHouse分布式数据库动态伸缩(弹性扩缩容)的实现
实现ClickHouse数据库的动态伸缩需要持续的维护和精细的操作。从集群配置到数据迁移,再到监控和自动化,每一步都要仔细管理以确保服务的可靠性和性能。这些活动可以显著提高应用的响应性和成本效率,帮助业务根据实际需求灵活调整资源分配。
516 10
|
11月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】基于PostgreSQL的分布式数据库:Citus
Citus 是基于 PostgreSQL 的开源分布式数据库,采用 shared nothing 架构,具备良好的扩展性。它以插件形式集成,部署简单,适用于处理大规模数据和高并发场景。本文介绍了 Citus 的基础概念、安装配置步骤及其在单机环境下的集群搭建方法。
925 2
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误删除,数据库不能使用。要求恢复hbase和hive数据库。
483 12