KV存储的对比

简介: 最近对各种KV存储进行一个比较,从存储引擎到存储引擎的类型,到单机版的kvstore,再到分布式kvstore集群。

最近对各种KV存储进行一个比较,从存储引擎到存储引擎的类型,到单机版的kvstore,再到分布式kvstore集群。

存储引擎的类型

类型 全称
btree
LSH Log-Structured Hash Table
LSM Log-Structured Merge Tree
FractalTree 分型树

存储引擎

类型 名称 语言 备注 应用在___ dbengine排名 出品
berkeleyDB BTREE, HASH, QUEUE, RECNO C,Java No.9 oracle
Wiredtiger btree, LSM C mongodb No.24 WiredTiger/mongodb
Tokyo Cabinet /Kyoto Cabinet b+tree,hash table nmdb,Kyoto Tycoon NO.27/No.36 FAL Labs
LMDB btree C OpenLDAP symas
BoltDB btree Go LMDB的go版本
leveldb LSM c++ No.15 google
goleveldb LSM Go leveldb的go版本 个人
levigo LSM Go Go wrapper for LevelDB 个人
rocksdb LSM c++,java No.18 facebook
gorocksdb LSM Go Go wrapper for RocksDB 个人
mongo-rocks LSM C++ RocksDB Storage Engine Module for MongoDB mongo partner
bitcast LSH C beansdb,riak basho
PerconaFT FractalTree C++ Mysql存储引擎之TokuDB percona

单机kvstore

类型 名称 采用的存储引擎 语言 出品 主从复制 github star
kv对 nmdb qdbm, berkeley db, tokyo cabinet,tdb C 个人Alberto Bertogli
kv对 memcachedb Berkeley DB C 新浪 yes
kv对 Kyoto Tycoon Kyoto Cabinet C/C++ FAL Labs
结构化kv(redis兼容) ssdb leveddb C/C++ 个人ideawu yes 4k+
结构化kv(redis兼容) ssdb-rocks rocksdb C/C++ 个人ideawu 92
结构化kv(redis兼容) ardb LevelDB, RocksDB, LMDB, WiredTiger C++ 个人yinqiwen yes 800+
结构化kv(redis兼容) (reborndb)qdb Rocksdb and LevelDB Go 个人ngaut 200+
结构化kv(redis兼容) Pika Rocksdb C Qihoo360 yes 900+
结构化kv(redis兼容) LedisDB LevelDB, goleveldb, LMDB, RocksDB, BoltDB or Memory Go 个人SiddonTang 2K+

单机kvstore的分布式代理

名称 语言 存储 出品 应用/githubstar 分片 弹性 备注
Reborndb Go qdb 个人ngaut 200+ yes yes
Netflix Dynomite C redis,memcached Netflix 1.9K+ Dynamo
Codis Go codis-server(定制redis) 社区CodisLabs 5K+
Twenproxy C redis,memcached twitter 6K+

分布式KVstore

类型 名称 语言 出品 dbengine排名/githubstar 存储引擎 社区活跃 特性 备注
kv型 riak erlang basho No.3/2K+ bitcask Dynamo
kv型 beansdb C douban 600+ bitcask模型 近2年没有更新,没有文档 Dynamo
kv型 project Voldmort Java LinkedIn No.29/1.8K+ BDB-JE,MySQL,Read-Only
kv型 Scalris erlang Zuse Institute Berlin No.35/88
kv型 aeospike aespike No.7
kv型 Tair C/C++ alibaba 400+ 自研的fdb 停止更新,没有文档
目录
相关文章
|
Linux Anolis 异构计算
关于远程直接内存访问技术 RDMA 的高性能架构设计介绍
本文介绍 RDMA 技术的基本原理及交流在工程上的设计思路。
|
2月前
|
SQL 人工智能 自然语言处理
数据语义编织:企业级 Data Agent 的必备基建
2025 年,每家企业都想拥有自己的 Data Agent,但 90% 的项目可能不是死在 Demo 阶段就是建成后无人问津。为什么?因为我们试图用概率性的 LLM 去直接挑战确定性的数据分析,对结果期待太高,而对过程准备不足。
|
Rust 算法 数据安全/隐私保护
【密码学】一文读懂XTEA加密
本篇文章,我们来看一下上一次讲过的TEA加密算法的一个升级版XTEA, 相比于TEA, XTEA的安全性显然是更高的,其中的过程要比TEA稍微复杂一点点。
1713 0
【密码学】一文读懂XTEA加密
|
3月前
|
人工智能 自然语言处理 分布式计算
主流ChatBi产品推荐,一文看懂分析agent产品选型
本文系统解析ChatBI与分析Agent如何重塑企业智能分析模式,重点对比瓴羊Quick BI、帆软FineBI、Power BI Copilot等主流产品在自然语言交互、自动可视化、行业适配等方面的核心能力,并结合不同企业类型提供选型建议,助力实现数据驱动决策。
|
5月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
6月前
|
API
免费的股票实时行情API接口(散户量化)
散户量化,股票下单交易API接口,免费实时行情API接口
2765 0
|
Linux 文件存储 Windows
linux软连接详解!!!
本文介绍了Linux文件类型、文件属性、文件存储机制以及软链接和硬链接的概念。主要内容包括:Linux文件类型及其识别方法、文件属性的组成及查看方式、inode和block的作用、软链接和硬链接的区别及应用场景。通过具体示例,帮助读者理解Linux文件系统的运作原理。
830 2
linux软连接详解!!!
|
机器学习/深度学习 自然语言处理 搜索推荐
承上启下:基于全域漏斗分析的主搜深度统一粗排
两阶段排序(粗排-精排)一开始是因系统性能问题提出的排序框架,因此长期以来粗排的定位一直是精排的退化版本,业内的粗排的优化方向也是持续逼近精排。我们提出以全域成交的hitrate为目标的全新指标,重新审视了召回、粗排和精排的关系,指出了全新的优化方向
94363 3
|
存储 安全 测试技术
了解如何 在C++17 中实现 无锁数据结构
了解如何 在C++17 中实现 无锁数据结构
609 0
|
Linux Python Windows
Python中time和datetime模块详解
Python中time和datetime模块详解
349 3