【开源分享】-6期- Linkis 一款支持多种计算存储引擎的企业级计算中间件 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

【开源分享】-6期- Linkis 一款支持多种计算存储引擎的企业级计算中间件

2020-05-08 10:55:23 29649 1

一款支持多种计算存储引擎的企业级计算中间件。打通了 Spark、TiSpark、Hive 等存储引擎,提供统一作业执行服务,支持提交 SQL、PySpark、HQL 等各种脚本的计算请求。

image.png

特征

  • 统一作业执行服务:一种分布式REST / WebSocket服务,用于处理来自用户的脚本执行请求。

    到目前为止可用的计算引擎:Spark,Python,TiSpark,Hive和Shell。

    到目前为止可用的语言:SparkSQL,Spark Scala,PySpark,R,Python,HQL和Shell。

  • 资源管理服务:可从系统和用户的数量和负载两个角度实时控制/限制资源使用。使用动态的资源统计图,可以方便地监视和管理系统和用户的资源使用情况。

    到目前为止可用的资源类型:纱线队列资源,服务器(CPU和内存),每个用户的并发实例数。

  • 应用程序管理服务:管理全局用户应用程序,包括脱机批处理应用程序,交互式查询应用程序和实时流应用程序。还提供了强大的可重用性,尤其是对于脱机和交互式应用程序而言,具有完整的生命周期管理功能,可以自动为用户释放空闲的应用程序。

  • 统一存储服务:通用IO体系结构可以与各种存储系统快速集成,并提供统一的可调用入口。它还与大多数常用数据格式高度集成,并且易于使用。

  • 统一上下文服务:统一用户和系统的资源文件(JAR,ZIP,属性)。通过对用户,系统和引擎的参数/变量进行统一管理,可以实现在随机位置的修改将自动反映在所有其他位置。

  • 物料库:系统和用户级物料管理,能够共享,传输物料和自动生命周期管理。

  • 元数据服务:实时显示数据集表结构和分区。

源码传送门==> https://github.com/WeBankFinTech/Linkis

取消 提交回答
全部回答(1)
相关问答

0

回答

flink 使用lookup join 查hbase 数据报错length is zero,怎么办?

2022-07-15 16:23:53 121浏览量 回答数 0

1

回答

DataWork支持哪种计算和存储引擎服务呢?

2021-12-11 19:49:56 279浏览量 回答数 1

1

回答

基于函数计算实现 IoT 设备动态注册依赖API是什么?

2021-10-14 15:17:54 282浏览量 回答数 1

1

回答

基于函数计算实现IoT设备动态注册的技术方案是什么?

2021-10-14 15:15:59 306浏览量 回答数 1

0

回答

为什么fgetws在_O_U16TEXT模式下不能很好地工作?

2019-09-30 14:56:55 306浏览量 回答数 0

0

回答

LM计算引擎 CTAS是什么?

2017-10-31 13:09:26 1791浏览量 回答数 0

0

回答

MPP计算引擎  VALUES是什么?

2017-10-31 13:19:18 1347浏览量 回答数 0

0

回答

LM计算引擎 CTAS是什么?

2017-10-26 15:23:01 1561浏览量 回答数 0

0

回答

MPP计算引擎  VALUES是什么?

2017-10-26 15:29:07 1935浏览量 回答数 0

3

回答

请问CSDK中ossrequestoptions初始化对accessKeyId和accessKeySecret的保密问题

2015-11-02 16:59:39 6730浏览量 回答数 3
+关注
5
文章
5115
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载