概念介绍

简介:

什么是工作流

工作流是大数据数仓体系必备的功能。主要用来进行任务调度,包括定时调度和依赖调度两个功能。为了解决Blink批处理功能在公共云的调度问题,Blink内部集成了开源的Airflow,并将其与Blink的开发平台进行集成,为用户提供一个一站式的批/流/工作流开发运维平台。

Blink工作流架构

为了更好的与用户已有的阿里云系统进行打通,工作流会部署在用户指定的VPC中。基本架构如下:

1

架构特点:

  • 工作流部署在用户指定的VPC中,可与用户VPC内的其他云服务互联
  • 工作流不仅能调度Blink作业,也可以通过shell/python调度用户已有的Hadoop作业。
  • 用户独享调度资源,没有安全问题。

目前工作流功能仅在独享集群开放,用户可申请独享集群试用,并注明试用工作流即可


本文转自实时计算——概念介绍

相关文章
|
2月前
|
SQL 存储 安全
什么是编程领域的 sanitization 概念
什么是编程领域的 sanitization 概念
|
2月前
|
存储 安全 算法
Secureboot概念
Secureboot概念
130 0
|
11月前
|
存储 Java 数据库连接
串池的概念
串池的概念
64 0
|
算法 C++ Python
01算法的概念
01算法的概念
121 0
01算法的概念
|
微服务
架构的相关概念
同一个业务,部署在多个服务器上(不同的服务器运行同样的代码,干同一件事)
79 0
|
编解码 缓存 NoSQL
7 段话说明 地图切片的概念与原理
7 段话说明 地图切片的概念与原理
189 0
|
存储 弹性计算 资源调度
【k8s】概念、构成
文章目录 前言 一、概念
98 0
【k8s】概念、构成
|
开发框架 安全 .NET
初学C#需要掌握哪些概念
今天给大家带来刚整理好的初学C#需要掌握的概念。
|
自然语言处理 运维 负载均衡
PolarisMesh系列文章——概念系列(一)
北极星是腾讯开源的服务发现和治理中心,致力于解决分布式或者微服务架构中的服务可见、故障容错、流量控制和安全问题。虽然,业界已经有些组件可以解决其中一部分问题,但是缺少一个标准的、多语言的、框架无关的实现。
343 0
|
调度 Docker 容器
SwarmKit的概念和架构
SwarmKit是容器集群调度领域新的挑战者,虽然不够成熟,但由于设计理念优秀,并被直接集成在Docker Engine中,大有后发而先至的可能性。对于docker的从业者来说,了解和学习Swamkit是非常必要的,我们会在这里介绍swarmKit的概念和架构,帮助大家学习和研究。
6535 0