「大数据系列」Ignite:基于内存分布式数据库和缓存和处理平台

简介: 「大数据系列」Ignite:基于内存分布式数据库和缓存和处理平台

Ignite™是一个以内存为中心的分布式数据库,缓存和处理平台事务性,分析性和流式工作负载,以PB级的速度提供内存速度.


主要好处

  • Ignite 使用者包括 ING, Sberbank, HomeAway, Wellington, FSB, The Glue, 24 Hour Fitness, JacTravel等
  • 保留你的数据库. 使用Ignite™内存数据网格和缓存功能加速现有的Relational和NoSQL数据库
  • NoSQL Scale的SQL .使用Ignite™分布式SQL实现水平可伸缩性,强一致性和高可用性

主要特点

  • 以内存为中心的存储.在内存和磁盘上存储和处理分布式数据
  • 分布式SQL.分布式以内存为中心的SQL数据库,支持连接
  • 分布式键值. 使用最快的键值数据网格和缓存进行读取,写入和事务处理
  • ACID交易. 跨分布式数据集实施完全ACID合规性
  • 并置处理.通过向群集节点发送计算来避免数据噪声
  • 机器学习.培训和部署分布式机器学习模型

IGNITE和其他软件比较


产品功能

Apache Ignite以内存为中心的数据库和缓存平台包含以下一组组件:

主要特点

  • 分布式SQL
  • 分布式键值
  • ACID交易
  • 并置处理
  • 机器学习
  • 多语言

扩展功能

  • 服务网格

  • RDBMS集成
  • 数据结构
  • 消息和事件
  • GA(Genetic Algorithms)网格

架构

  • 集群和部署
  • 以内存为中心的存储
  • 持久化

Hadoop和Spark支持

  • 用于Spark的内存存储
  • 内存文件系统
  • 内存中的MapReduce

Apache Ignite用例

作为一个平台,Apache Ignite用于各种用例,其中一些用例如下所示:

数据库

  • 分布数据库
  • 内存数据库
  • 内存数据网格
  • 键值存储

对照

  • Ignite NoSQL用户
  • Ignite RDBMS用户

内存缓存

  • 数据库缓存
  • JCache提供程序
  • Hibernate L2 Cache
  • Web会话群集

Spark&Hadoop

  • Spark共享RDD
  • 加速Sql for Spark
  • IGFS作为HDFS缓存
  • 加速MapReduce
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
在数字化转型中,企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00,阿里云三位技术专家将讲解Kafka与Flink的强强联合方案,帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景,具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师,参与还有机会领取定制好礼!扫描海报二维码或点击链接预约直播:[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)
733 35
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
354 11
|
11月前
|
关系型数据库 分布式数据库 数据库
|
缓存 并行计算 PyTorch
PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
2397 0
|
9月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
820 4
|
11月前
|
存储 缓存 监控
手动清除Ubuntu系统中的内存缓存的步骤
此外,只有系统管理员或具有适当权限的用户才能执行这些命令,因为这涉及到系统级的操作。普通用户尝试执行这些操作会因权限不足而失败。
2043 22
|
前端开发 Java 关系型数据库
基于ssm的考研图书电子商务平台,附源码+数据库+论文
考研图书电子商务平台是一个基于Java的B/S架构系统,适用于Windows环境。该平台设有管理员和用户权限,管理员可管理商品、用户、留言板及订单,用户可管理收货地址、订单、收藏及购买商品。技术框架包括前端Vue+HTML+JavaScript+CSS+LayUI,后端SSM,数据库为MySQL。项目包含17个数据库表,支持Maven构建。提供演示视频和详细文档,支持免费远程调试安装,确保顺利运行。
257 13
基于ssm的考研图书电子商务平台,附源码+数据库+论文
|
Arthas 监控 Java
Arthas mc(Memory Compiler/内存编译器 )
Arthas mc(Memory Compiler/内存编译器 )
640 6
|
SQL 监控 Go
新一代 Cron-Job分布式调度平台,v1.0.8版本发布,支持Go执行器SDK!
现代化的Cron-Job分布式任务调度平台,支持Go语言执行器SDK,多项核心优势优于其他调度平台。
331 8
|
运维 监控 Linux
WGCLOUD运维平台的分布式计划任务功能介绍
WGCLOUD是一款免费开源的运维监控平台,支持主机与服务器性能监控,具备实时告警和自愈功能。本文重点介绍其计划任务功能模块,可统一管理Linux和Windows主机的定时任务。相比手动配置crontab或Windows任务计划,WGCLOUD提供直观界面,通过添加cron表达式、执行指令或脚本并选择主机,即可轻松完成任务设置,大幅提升多主机任务管理效率。