KV存储的对比

简介: 最近对各种KV存储进行一个比较,从存储引擎到存储引擎的类型,到单机版的kvstore,再到分布式kvstore集群。

最近对各种KV存储进行一个比较,从存储引擎到存储引擎的类型,到单机版的kvstore,再到分布式kvstore集群。

存储引擎的类型

类型 全称
btree
LSH Log-Structured Hash Table
LSM Log-Structured Merge Tree
FractalTree 分型树

存储引擎

类型 名称 语言 备注 应用在___ dbengine排名 出品
berkeleyDB BTREE, HASH, QUEUE, RECNO C,Java No.9 oracle
Wiredtiger btree, LSM C mongodb No.24 WiredTiger/mongodb
Tokyo Cabinet /Kyoto Cabinet b+tree,hash table nmdb,Kyoto Tycoon NO.27/No.36 FAL Labs
LMDB btree C OpenLDAP symas
BoltDB btree Go LMDB的go版本
leveldb LSM c++ No.15 google
goleveldb LSM Go leveldb的go版本 个人
levigo LSM Go Go wrapper for LevelDB 个人
rocksdb LSM c++,java No.18 facebook
gorocksdb LSM Go Go wrapper for RocksDB 个人
mongo-rocks LSM C++ RocksDB Storage Engine Module for MongoDB mongo partner
bitcast LSH C beansdb,riak basho
PerconaFT FractalTree C++ Mysql存储引擎之TokuDB percona

单机kvstore

类型 名称 采用的存储引擎 语言 出品 主从复制 github star
kv对 nmdb qdbm, berkeley db, tokyo cabinet,tdb C 个人Alberto Bertogli
kv对 memcachedb Berkeley DB C 新浪 yes
kv对 Kyoto Tycoon Kyoto Cabinet C/C++ FAL Labs
结构化kv(redis兼容) ssdb leveddb C/C++ 个人ideawu yes 4k+
结构化kv(redis兼容) ssdb-rocks rocksdb C/C++ 个人ideawu 92
结构化kv(redis兼容) ardb LevelDB, RocksDB, LMDB, WiredTiger C++ 个人yinqiwen yes 800+
结构化kv(redis兼容) (reborndb)qdb Rocksdb and LevelDB Go 个人ngaut 200+
结构化kv(redis兼容) Pika Rocksdb C Qihoo360 yes 900+
结构化kv(redis兼容) LedisDB LevelDB, goleveldb, LMDB, RocksDB, BoltDB or Memory Go 个人SiddonTang 2K+

单机kvstore的分布式代理

名称 语言 存储 出品 应用/githubstar 分片 弹性 备注
Reborndb Go qdb 个人ngaut 200+ yes yes
Netflix Dynomite C redis,memcached Netflix 1.9K+ Dynamo
Codis Go codis-server(定制redis) 社区CodisLabs 5K+
Twenproxy C redis,memcached twitter 6K+

分布式KVstore

类型 名称 语言 出品 dbengine排名/githubstar 存储引擎 社区活跃 特性 备注
kv型 riak erlang basho No.3/2K+ bitcask Dynamo
kv型 beansdb C douban 600+ bitcask模型 近2年没有更新,没有文档 Dynamo
kv型 project Voldmort Java LinkedIn No.29/1.8K+ BDB-JE,MySQL,Read-Only
kv型 Scalris erlang Zuse Institute Berlin No.35/88
kv型 aeospike aespike No.7
kv型 Tair C/C++ alibaba 400+ 自研的fdb 停止更新,没有文档
目录
相关文章
|
Java API Maven
精雕细琢的文档体验:Spring Boot 与 Knife4j 完美交汇
本文将深入探讨在 Spring Boot 项目中整合 Knife4j,这是一种基于 Swagger 的文档工具。通过使用 Knife4j,你可以轻松生成清晰、美观的 API 文档,提升你的项目文档管理水平。文章从基础概念到高级特性,带你领略 Knife4j 的独特魅力。
1717 5
|
1月前
|
人工智能 安全 算法
Personal Agent 爆火背后:AI 正在从"工具"变成"代理人",Agent 3.0时代来临
Personal Agent(个人智能体)是AI产品第三次演进,从“你问它答”升级为“它替你办事”。它以权限、记忆与主动性为核心,深度理解用户习惯并主动执行跨平台任务。当前Meta Muse、OpenAI Dots等密集发布,国内千问、豆包、腾讯加速布局。其爆发背后是操作能力、身份机制与长程架构三重技术突破,更深层是决策权与数字主权的重构。
723 0
|
11月前
|
人工智能 JavaScript 前端开发
深度解构:当 AI 滤镜撞上“指尖”墙——为什么大厂玩不转高精度 AR 试戴?
本文深入剖析虚拟美甲与美瞳背后的AR技术壁垒,从“贴图”到物理级渲染,揭示PBR材质、高精度追踪与菲涅尔效应的实现原理,并通过Perfect Corp V2 API代码实战,展现如何构建真实感试戴体验。
566 0
|
人工智能 自然语言处理 搜索推荐
AI 搜索开放平台重磅发布:Qwen3 模型上线啦
阿里云AI搜索开放平台重磅发布最新Qwen3模型,为企业和开发者提供全栈智能搜索解决方案。Qwen3作为最新一代大模型,在推理、多语言支持和Agent能力上表现卓越。用户可通过三步快速体验Qwen3服务,助力业务在AI时代抢占先机。
2477 13
免费的股票实时行情API接口(散户量化)
散户量化,股票下单交易API接口,免费实时行情API接口
7512 0
|
数据采集 机器学习/深度学习 人工智能
全球十亿级轨迹点驱动,首个轨迹基础大模型来了
在人工智能和大数据背景下,南方科技大学等机构提出了一种名为UniTraj的新型轨迹基础大模型。该模型通过学习全球大规模、高质量的轨迹数据,实现对人类移动模式的普遍适用性和可扩展性。UniTraj具备任务自适应性、区域独立性和数据质量鲁棒性的特点,解决了现有方法的任务特定性、区域依赖性和数据敏感性问题。研究人员还构建了包含2.45亿条轨迹的WorldTrace数据集,以支持模型训练和评估。实验结果表明,UniTraj在多个轨迹分析任务上表现出显著优势,为轨迹建模领域带来重要突破。论文地址:https://arxiv.org/pdf/2411.03859。
821 6
|
资源调度 JavaScript 前端开发
window系统如何管理多版本node
window系统如何管理多版本node
673 0
|
Shell Linux Windows
忘掉Iterm2,试试这款跨平台终端工具
Mac用户最多的用的就是Iterm2了,windows之前因为丑陋的终端也开发了新的终端工具,很神奇的是,很长一段时间里,都没有一款真正好用的能跨平台的终端工具,直到我发现了hyper。无论Windows、Mac、Debian、Fedora还是其他Linux系统,hyper都能支持。
1844 0
忘掉Iterm2,试试这款跨平台终端工具
|
固态存储 关系型数据库 MySQL
NVMe SSD原子写
NVMe SSD原子写
1506 0
NVMe SSD原子写
|
弹性计算 Linux 网络安全
阿里云ECS云服务器如何开放8080端口?
阿里云服务器ECS处于安全考虑默认自带安全组(仅开放了22号和3389号端口),Tomcat的默认端口号为8080,所以想使用Tomcat不开放8080端口是不行的。很多用户通过修改iptables来开放8080号端口,结果失败,这是由于安全组,对安全组,阿里云亘古不变的安全组开放端口问题。
58447 1