【开源分享】-6期- Linkis 一款支持多种计算存储引擎的企业级计算中间件 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

【开源分享】-6期- Linkis 一款支持多种计算存储引擎的企业级计算中间件

montos 2020-05-08 10:55:23 28046

一款支持多种计算存储引擎的企业级计算中间件。打通了 Spark、TiSpark、Hive 等存储引擎,提供统一作业执行服务,支持提交 SQL、PySpark、HQL 等各种脚本的计算请求。

image.png

特征

  • 统一作业执行服务:一种分布式REST / WebSocket服务,用于处理来自用户的脚本执行请求。

    到目前为止可用的计算引擎:Spark,Python,TiSpark,Hive和Shell。

    到目前为止可用的语言:SparkSQL,Spark Scala,PySpark,R,Python,HQL和Shell。

  • 资源管理服务:可从系统和用户的数量和负载两个角度实时控制/限制资源使用。使用动态的资源统计图,可以方便地监视和管理系统和用户的资源使用情况。

    到目前为止可用的资源类型:纱线队列资源,服务器(CPU和内存),每个用户的并发实例数。

  • 应用程序管理服务:管理全局用户应用程序,包括脱机批处理应用程序,交互式查询应用程序和实时流应用程序。还提供了强大的可重用性,尤其是对于脱机和交互式应用程序而言,具有完整的生命周期管理功能,可以自动为用户释放空闲的应用程序。

  • 统一存储服务:通用IO体系结构可以与各种存储系统快速集成,并提供统一的可调用入口。它还与大多数常用数据格式高度集成,并且易于使用。

  • 统一上下文服务:统一用户和系统的资源文件(JAR,ZIP,属性)。通过对用户,系统和引擎的参数/变量进行统一管理,可以实现在随机位置的修改将自动反映在所有其他位置。

  • 物料库:系统和用户级物料管理,能够共享,传输物料和自动生命周期管理。

  • 元数据服务:实时显示数据集表结构和分区。

源码传送门==> https://github.com/WeBankFinTech/Linkis

存储 SQL 分布式计算 中间件 Shell HIVE Spark 网络架构 数据格式
分享到
取消 提交回答
全部回答(1)
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题