FunDA:一个开源的函数式数据处理工具库,也是Slick的补充

简介:

  如果你是一个Slick用户,或者你是一个数据库编程人员正在尝试进入函数式编程模式,那么FunDA可能会帮到你。

目前市面上FRM(Functional Relational Mapper),即函数式的数据库处理工具库的选择并不多,Typesafe公司的Slick可能是最通用的选择了。整体上来说:Slick还是一个不错的函数式数据库编程工具,用scala语言,很多地方引用了函数式的抽象模式和对象(functional abstractions and objects)。但是,FRM是一种偏重数据读取(data access)的开发模式,骨子里是一种批次运算模式,缺少了数据处理(data persistence)所惯用的recordset逐行处理方式。对于那些习惯了使用ORM(Object Relational Mapper)的资深数据库软件编程人员来说,这几乎是他们在大型复杂数据库软件开发项目中无法使用Slick的致命弱点。另一方面市面上容易掌握的能实现数据处理并行运算的开发工具也不多,对这方面的需求也比较旺盛。

  FunDA在Slick功能的基础上增加了recordset数据集逐行处理功能,让使用者感觉亲切,能更灵活自然的在前台内存里实现强大的数据处理功能。更重要的是FunDA增加了并行运算功能,可以实现对数据库的并行读写、以及数据处理函数的并行运算。此外,FunDA的数据库读取方式支持reactive-streams标准,能对大量数据进行后台缓存,然后逐块输出,保证了资源的安全使用。

  虽然作为一个函数式组件库(combinator library),但考虑到FunDA的使用人群是面向那些有着丰富数据库编程经验的编程人员,应该尽量降低用户对函数式编程技能的水平要求。FunDA通过一套自定义函数编程模式能使用户按照固定的方式编写程序,避开函数式编程的多样方式,把精力集中在数据处理功能上。

  FunDA现在已经是一个开源项目了。项目地址是:https://github.com/bayakala/funda 欢迎大家下载尝试。希望大家能有良好的使用体验。作为一个开源项目,作者更希望能有更多的人直接参与这个项目的开发,为项目发展作出贡献。

相关文章
|
2月前
|
存储 编译器 BI
掌握Go语言:Go语言基础构建模块解析,优缺点及进销存项目实战(2)
掌握Go语言:Go语言基础构建模块解析,优缺点及进销存项目实战(2)
|
9月前
|
XML JSON 编译器
Protobuf - 更小、更快、更简单的交互式数据语言
Protobuf - 更小、更快、更简单的交互式数据语言
52 0
|
9月前
|
Go 开发者
Go语言自定义包:构建你的编程工具库
Go语言自定义包:构建你的编程工具库
61 0
|
5天前
|
消息中间件 存储 Java
如何使用Java实现实时数据处理架构
如何使用Java实现实时数据处理架构
|
27天前
|
NoSQL 安全 Go
Go 语言 mongox 库:简化操作、安全、高效、可扩展、BSON 构建
go mongox 是一个基于泛型的库,扩展了 MongoDB 的官方库。通过泛型技术,它实现了结构体与 MongoDB 集合的绑定,旨在提供类型安全和简化的数据操作。 go mongox 还引入链式调用,让文档操作更流畅,并且提供了丰富的 BSON 构建器和内置函数,简化了 BSON 数据的构建。 此外,它还支持插件化编程和内置多种钩子函数,为数据库操作前后的自定义逻辑提供灵活性,增强了应用的可扩展性和可维护性。
59 6
|
25天前
|
存储 Python
Python3 数据类型详解:掌握数据基石,编写高效程序
Python3 数据类型详解:掌握数据基石,编写高效程序
|
2月前
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
84 0
|
11月前
|
机器学习/深度学习 数据挖掘 PyTorch
10个最有用的Python库和框架,让你成为编程高手
在本文中,我们介绍了10个最有用的Python库和框架,它们可以帮助你成为编程高手。无论是数据分析、Web开发、机器学习还是深度学习,这些工具都能够大大提升你的效率和能力。当然,这只是冰山一角,在Python生态系统中还有许多其他令人惊叹的库和框架等待你去探索和应用。无论你是新手还是有经验的开发者,都可以从这些工具中受益,并在编程的道路上不断进步。让我们一起深入学习和探索,不断提升自己的编程技能!
423 2
10个最有用的Python库和框架,让你成为编程高手
|
9月前
|
程序员 测试技术 Go
提升效率!Go语言开发者不可错过的必备工具集合!
提升效率!Go语言开发者不可错过的必备工具集合!
97 0
|
12月前
|
数据采集 存储 SQL
如何使用Python和sqlite3构建一个轻量级的数据采集和分析平台
据采集和分析是当今时代的一项重要技能,它可以帮助我们从互联网上获取有价值的数据,并对其进行处理和挖掘,从而获得有用的信息和洞察。但是,数据采集和分析并不是一件容易的事情,它需要我们掌握各种工具和技术,如爬虫、数据库、编程语言、统计方法、可视化工具等。
104 0
如何使用Python和sqlite3构建一个轻量级的数据采集和分析平台