【开源推荐】专门用作分析的一款高性能数据库

简介: 【7月更文挑战4天】

19.8k star,开源、免费、轻量、小巧、足够用的一款软件

专门用作分析的一款高性能数据库,体积很小,功能强大,值得关注下

duckdb简介

DuckDB是一个开源的内嵌式SQL OLAP数据库管理系统,它以其高性能、易用性和丰富的功能而闻名。

DuckDB支持任意和嵌套的相关子查询,窗口函数,排序规则,复杂类型(数组,结构,映射),以及一些旨在使SQL更容易使用的扩展。

DuckDB作为一个独立的CLI应用程序提供,并具有Python,R,Java,Wasm等客户端,与pandas和dupiter等软件包进行深度集成。

DuckDB是设计用于分析工作负载的数据库,它可以作为单一二进制文件运行,或者完全嵌入到宿主应用程序中。DuckDB的目标是提供一个简单、可移植且功能丰富的数据管理系统,它可以在各种操作系统和硬件架构上运行,包括Linux、macOS、Windows以及ARM和x86。

duckdb特点

  • 简单性:DuckDB易于安装和部署,无需外部依赖,支持在其宿主应用程序中以进程方式运行。
  • 可移植性:DuckDB支持多种操作系统和硬件架构,甚至可以在Web浏览器和移动电话上运行。
  • 丰富的SQL方言:DuckDB提供了丰富的SQL方言,支持复杂查询、窗口函数、事务保证(ACID属性)以及多版本并发控制(MVCC),它可以从本地文件系统和远程端点(如S3 bucket)读取和写入文件格式(如CSV、Parquet和JSON)。。
  • 高性能:DuckDB的列式引擎支持并行执行,可以处理超出内存大小的工作负载。
  • 扩展性:DuckDB允许通过扩展机制定义新的数据类型、函数、文件格式和SQL语法。
  • 开源:DuckDB及其核心扩展是在宽松的MIT许可下开源的。

duckdb快速部署及使用

要开始使用DuckDB,用户可以访问DuckDB的官方文档网站并下载适用于其操作系统的二进制文件。例如,macOS用户可以使用Homebrew包管理器来安装DuckDB,以便在PATH中直接可用,从而简化升级和安装过程。

安装示例(macOS):

$ brew install duckdb

windows

winget install DuckDB.cli

linux

https://github.com/duckdb/duckdb/releases/download/v1.0.0/duckdb_cli-linux-amd64.zip

启动DuckDB:

$ duckdb

创建和查询表:

CREATE TABLE ducks AS SELECT 3 AS age, 'mandarin' AS breed;
SELECT * FROM ducks;

这些命令将创建一个名为“ducks”的表,并插入一条记录。DuckDB默认是一个内存中的过程,不会持久化任何数据。如果需要持久化数据,用户可以指定文件名来创建或打开数据库¹。

数据持久化示例:

$ duckdb my_database.duckdb

DuckDB是一个强大的工具,适用于需要高性能数据分析的开发者和数据科学家。

传送门:http://www.duckdb.org/

开源地址:https://github.com/duckdb/duckdb

相关文章
|
6天前
|
存储 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 8 数据库生态
PolarDB是一款开源的云原生分布式数据库,源自阿里云商业产品。为降低使用门槛,PolarDB携手伙伴打造了完整的开源生态,涵盖操作系统、芯片、存储、集成管控、监控、审计、开发者工具、数据同步、超融合计算、ISV软件、开源插件、人才培养、社区合作及大型用户合作等领域。通过这些合作伙伴,PolarDB提供了丰富的功能和服务,支持多种硬件和软件环境,满足不同用户的需求。更多信息请访问[PolarDB开源官方网站](https://openpolardb.com/home)。
38 4
|
30天前
|
存储 人工智能 固态存储
软硬联合创新:打造极致压缩比的高性能瑶池数据库
本文介绍了阿里云瑶池数据库的软硬联合创新,旨在打造极致压缩比和高性能的数据库系统。内容涵盖五个方面:1) AMD EPC赋能阿里云数据库,提升计算性能;2) AMD EPYC全面支持阿里云数据库及AI应用;3) 小盈科技分享Polar DB的最佳实践,解决业务发展中的挑战;4) 基于阿里云新硬件完成存储规模拓展和性能演进,实现大规模数据处理;5) 阿里云资源存储部件的应用历史与演进,展示自研硬件的进步。通过这些创新,瑶池数据库实现了延迟降低30%、存储成本降低40%,并提供更高的安全性和灵活性。
|
1月前
|
关系型数据库 分布式数据库 数据库
瑶池数据库大讲堂|PolarDB HTAP:为在线业务插上实时分析的翅膀
瑶池数据库大讲堂介绍PolarDB HTAP,为在线业务提供实时分析能力。内容涵盖MySQL在线业务的分析需求与现有解决方案、PolarDB HTAP架构优化、针对分析型负载的优化(如向量化执行、多核并行处理)及近期性能改进和用户体验提升。通过这些优化,PolarDB HTAP实现了高效的数据处理和查询加速,帮助用户更好地应对复杂业务场景。
|
3月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
3月前
|
存储 Java 关系型数据库
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践,包括连接创建、分配、复用和释放等操作,并通过电商应用实例展示了如何选择合适的连接池库(如HikariCP)和配置参数,实现高效、稳定的数据库连接管理。
92 2
|
3月前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
292 4
|
4月前
|
存储 JSON Ubuntu
时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard
本文介绍了如何结合 Thingsboard 和 TDengine 实现设备管理和数据存储。Thingsboard 中的“设备配置”与 TDengine 中的超级表相对应,每个设备对应一个子表。通过创建设备配置和设备,实现数据的自动存储和管理。具体操作包括创建设备配置、添加设备、写入数据,并展示了车辆实时定位追踪和车队维护预警两个应用场景。
143 3
|
23天前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
|
10天前
|
关系型数据库 MySQL 数据库
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤,希望对您有所帮助。
81 42
|
1天前
|
关系型数据库 MySQL 网络安全
如何排查和解决PHP连接数据库MYSQL失败写锁的问题
通过本文的介绍,您可以系统地了解如何排查和解决PHP连接MySQL数据库失败及写锁问题。通过检查配置、确保服务启动、调整防火墙设置和用户权限,以及识别和解决长时间运行的事务和死锁问题,可以有效地保障应用的稳定运行。
40 25

热门文章

最新文章