实用的Scala泛函编程-阿里云开发者社区

开发者社区> 大数据> 正文

实用的Scala泛函编程

简介:

  既然谈到实用编程,就应该不单止了解试试一个新的编程语言那么简单了,最好通过实际的开发项目实例来演示如何编程。心目中已经有了一些设想;想用Scala泛函编程搞一个开源的数据平台应用系统,也就是在云平台PaaS层对上一层后台的数据应用平台。想想当电子商务和云应用真正普及后将会出现一大批没有云应用软件开发能力的用户。将来真正的云服务提供商,单提供虚拟机租赁服务是远不足够的,如果能提供一个具备计算资源自动扩展收缩、支持多种数据库以及一套简单的后台系统配置脚本语言(DSL:Domain Specific Language)的后台数据应用平台就能真正满足这些新用户对电子商务系统开发的需求。他们不需要掌握高深的分布式云应用软件开发技术,只要通过系统配置脚本语言就可以按所租赁虚拟机数量配置分布计算任务以及对各种数据库进行存取操作了。后台系统配置脚本语言DSL隐蔽了复杂的后台运行体系,用户面对的是抽象到Web Service层后面的一个应用层。这样他们可以沿用习惯的前台网页开发技术实现整个云应用软件系统的开发、实施。上面所提到的所谓开源项目是指在一定时间条件成熟后能有业内有共识的朋友一同参与到整个项目的开发。

   顺便把这个数据平台应用系统的初步计划透露一下。因为整个开发过程是以Scala泛函编程为主体并且会涉及到许多新的软件、中间件、子功能、开发技术,所以在这里先过一下:数据应用平台是一个寄存在云端的通用数据应用后台系统,与云端虚拟环境紧密结合,以一套定制的API对外开放。数据管理包括了实时交易数据库管理以及批次型大数据HDFS(Hadoop类型)数据管理,通过搜索引擎钻取数据。下面是一些子系统和可能使用的开发技术清单:

1、交易型数据库:MySql(固定格式数据表), MongoDb(自由格式文件类型数据库),PosgreSql(近期走热的开源固定格式数据库)

2、交易型数据库中间件:Slick

3、大数据数据库:Hbase(取其通用)、Accumulo(取其安全)

4、大数据环境:Hadoop、Spark

5、应用平台:Akka,可以跨JVM的分布式应用平台

6、Search:Lucent,可以用Scala调研现成的Lucent java库;修改或增加一些新功能如定制行业字典

7、Web Server: Jetty, 一个功能全面又紧凑简洁的开源软软件

8、Web Service: Spray, 与Akka紧密集成的开发框架

9、前端:Play, 当今运行效率最高的前端网页应用架构

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章