开源:LMDB 操作工具:lmcmd

简介: 本文介绍了 LMDB(一种高效的键值存储数据库)和基于 Python 开发的命令行工具 `lmcmd`。由于 LMDB 使用二进制文件存储,管理和调试不便,因此开发了 `lmcmd`,提供了类似 Redis 的命令行操作界面,支持数据库操作、数据导入导出和查找等功能。文章涵盖了 `lmcmd` 的安装、连接数据库和常用命令(如 `set`、`get`、`export` 等)示例。最后强调了开源工具的价值,鼓励用户反馈和改进。


目录

  1. 什么是 LMDB
  2. 为什么编写 lmcmd
  3. 安装方法
  4. 如何使用
  1. 小结

1. 什么是 LMDB

       LMDB(Lightning Memory-Mapped Database)是一种高效的键值存储数据库,基于内存映射(memory-mapping)技术,提供快速的读写操作,特别适用于高性能和高并发访问的小型数据库应用。LMDB 具有以下特点:

  • 高效性:内存映射文件方式提高了数据存取效率。
  • 事务性强:支持多版本并发控制(MVCC),保证数据一致性。
  • 轻量级:数据库文件为单个文件,存储高效,适合嵌入式系统或大规模数据存储。
  • ACID 特性:提供原子性、一致性、隔离性和持久性保障,确保数据的可靠性。

LMDB 在机器学习、数据存储等场景中应用广泛,尤其适合需要快速存取的数据集和模型。


2. 为什么编写 lmcmd

       在使用 LMDB 的过程中,我发现其存储文件为二进制格式,这使得数据库的管理和调试变得不那么方便。同时,我没有找到一个现成的管理工具来便捷地操作 LMDB 数据库(或许是有的,但没有找到)。这让我想到 Redis 提供的 redis-cli 工具,它通过命令行界面支持高效的数据库操作,极大地方便了调试和数据管理。

       因此,我决定模仿 redis-cli 的命令行风格,使用 Python 开发一个 LMDB 的命令行客户端工具——lmcmd。它是一个基于 Python 的交互式控制台,支持对 LMDB 数据库进行基本的键值操作,数据导入导出,查找等功能。


3. 安装方法

       为了方便使用,我已经将 lmcmd 发布到 PyPI 网站(项目地址),您可以通过 pippip3 进行安装:

pip install lmcmd

image.gif

或者:

pip3 install lmcmd

image.gif


4. 如何使用

连接数据库

   lmcmd 通过指定数据库文件夹路径来连接 LMDB 数据库。如果该数据库文件夹不存在,lmcmd 会自动创建一个新的数据库。

  • 在命令行输入以下命令连接到指定数据库
lmcmd my_database

image.gif

  • 或者通过指定完整路径来连接
lmcmd /path/to/my_database

image.gif

image.gif 编辑

连接成功后,进入上述界面,您将进入命令行模式,开始执行数据库操作。

命令列表

以下是 lmcmd 提供的基本命令:

  • show:显示当前数据库名称。
  • set <KEY> <VALUE>:存储键值数据。
  • get <KEY>:检索指定键的值。
  • del <KEY>:删除指定的键。
  • list:列出数据库中的所有键值对。
  • export:将数据库数据导出为 export.json 文件。
  • import <ID> <FILE_PATH>:从 JSON 文件导入数据。
  • search <VALUE>:在数据库中查找包含指定值的键。

示例操作

lmcmd 命令行下执行以下操作:

>>> set name Alice
Ok
>>> get name
Alice
>>> list
{name: Alice}
>>> export
Data Exported to export.json
>>> import id data.json
Data Imported!
>>> show
Database: my_database
>>> del name
Ok
>>> list
(Empty)
>>> search Alice
{name: Alice}

image.gif

这些命令与 redis-cli 的操作方式非常相似,因此用户可以快速上手。


5. 小结

       在开源的道路上,有许多小而功能强大的工具值得我们去开发。lmcmd 这个工具虽然简单,但它为需要使用 LMDB 的开发者提供了极大的便利。无论是在调试、管理还是操作数据时,它都能提供更高效、更便捷的体验。

       如果在使用过程中您发现了任何问题或有改进建议,欢迎随时在评论区告知我。

       开源路上,砥砺前行。

源码地址:lmcmd

区块链内容感兴趣可以查看我的专栏:小试牛刀-区块链.

感谢您的关注和收藏!

image.gif 编辑

目录
相关文章
|
缓存 API 数据库
Py之lmdb:lmdb的简介、安装、使用方法之详细攻略
Py之lmdb:lmdb的简介、安装、使用方法之详细攻略
Py之lmdb:lmdb的简介、安装、使用方法之详细攻略
|
数据安全/隐私保护 Windows
如何使用 SPICE client (virt-viewer) 来连接远程虚拟机桌面?
如何使用 SPICE client (virt-viewer) 来连接远程虚拟机桌面? 什么是SPICE? SPICE (Simple Protocol for Independent Computing Environments) 是一个用于虚拟化环境中的通讯协议。
6673 0
|
存储 人工智能 Apache
Apache Paimon多模态数据湖实践:从结构化到非结构化的技术演进
在Streaming Lakehouse Meetup中,Apache Paimon PMC叶俊豪分享了Paimon多模态数据湖创新:首创列分离架构(基于全局Row ID),解决AI场景下结构化特征动态变更难题;引入Blob类型,实现非结构化数据物理分离、跨引擎统一抽象与blob-as-descriptor流式加载;已支撑淘宝日均10PB多模态数据,并规划Deletion Vector、Blob Compaction及全局索引等演进。
1125 0
Apache Paimon多模态数据湖实践:从结构化到非结构化的技术演进
|
5月前
|
机器学习/深度学习 人工智能 编解码
大模型应用:CLIP 模型全维度解析:理解理论基础强化基础范例.16
CLIP是OpenAI提出的跨模态模型,通过对比学习将图像与文本映射至统一语义空间,实现零样本图文对齐。无需微调即可完成图像分类、图文检索等任务,显著降低标注成本,成为多模态AI的核心基础。
2918 21
|
7月前
|
Ubuntu Linux 测试技术
Linux系统离线安装Docker完整指南
本文详细介绍在Ubuntu 24等Linux系统中离线安装Docker的完整流程,适用于内网隔离环境。涵盖安装包下载、`docker.service`配置、安装与卸载脚本编写、权限设置、镜像测试及用户组配置,并包含docker-compose的离线部署方法,助力高效完成生产环境搭建。
9262 4
Linux系统离线安装Docker完整指南
|
SQL 存储 消息中间件
Trino权威指南
Trino(原Presto SQL)是一款开源分布式SQL查询引擎,专为大数据联邦查询设计。它支持秒级查询PB级数据,可无缝对接Hive、MySQL、Kafka等20+异构数据源。其核心特性包括高速查询、弹性扩展和低成本使用,适合交互式分析与BI场景。Trino采用无共享架构,通过列式内存格式和动态代码生成优化性能,并提供丰富的连接器实现计算存储分离,最大化下推优化以提升效率。
2156 3
|
10月前
|
Oracle Java 关系型数据库
SpringBoot从0-1集成Graalvm
本文介绍如何使用GraalVM将SpringBoot应用打包为原生可执行文件并构建Docker镜像。相比传统JAR包,原生镜像启动更快、体积更小,提升部署效率,适合现代云原生环境。
1215 10
|
12月前
|
监控 Linux 网络安全
Linux命令大全:从入门到精通
日常使用的linux命令整理
1759 13

热门文章

最新文章