概念介绍

简介:

什么是工作流

工作流是大数据数仓体系必备的功能。主要用来进行任务调度,包括定时调度和依赖调度两个功能。为了解决Blink批处理功能在公共云的调度问题,Blink内部集成了开源的Airflow,并将其与Blink的开发平台进行集成,为用户提供一个一站式的批/流/工作流开发运维平台。

Blink工作流架构

为了更好的与用户已有的阿里云系统进行打通,工作流会部署在用户指定的VPC中。基本架构如下:

1

架构特点:

  • 工作流部署在用户指定的VPC中,可与用户VPC内的其他云服务互联
  • 工作流不仅能调度Blink作业,也可以通过shell/python调度用户已有的Hadoop作业。
  • 用户独享调度资源,没有安全问题。

目前工作流功能仅在独享集群开放,用户可申请独享集群试用,并注明试用工作流即可


本文转自实时计算——概念介绍

相关文章
|
2月前
|
编译器 程序员 C语言
2.8关键概念
编程充满挑战,需具备抽象与逻辑思维,同时注重细节。在日常交流中,小错误或不完整句子不会影响理解,但编译器却严格得多。本章旨在帮助读者理解C程序的本质,即对计算机任务的描述。编译器将任务转化为底层机器语言,但由于不具备智能,你需要使用C语言标准规定的术语明确表达意图。
57 10
|
7月前
|
存储 安全 算法
Secureboot概念
Secureboot概念
217 0
|
存储 Java 数据库连接
串池的概念
串池的概念
|
微服务
架构的相关概念
同一个业务,部署在多个服务器上(不同的服务器运行同样的代码,干同一件事)
101 0
|
编解码 缓存 NoSQL
7 段话说明 地图切片的概念与原理
7 段话说明 地图切片的概念与原理
220 0
|
存储 弹性计算 资源调度
【k8s】概念、构成
文章目录 前言 一、概念
115 0
【k8s】概念、构成
|
开发框架 安全 .NET
初学C#需要掌握哪些概念
今天给大家带来刚整理好的初学C#需要掌握的概念。
|
自然语言处理 运维 负载均衡
PolarisMesh系列文章——概念系列(一)
北极星是腾讯开源的服务发现和治理中心,致力于解决分布式或者微服务架构中的服务可见、故障容错、流量控制和安全问题。虽然,业界已经有些组件可以解决其中一部分问题,但是缺少一个标准的、多语言的、框架无关的实现。
397 0
|
调度 Docker 容器
SwarmKit的概念和架构
SwarmKit是容器集群调度领域新的挑战者,虽然不够成熟,但由于设计理念优秀,并被直接集成在Docker Engine中,大有后发而先至的可能性。对于docker的从业者来说,了解和学习Swamkit是非常必要的,我们会在这里介绍swarmKit的概念和架构,帮助大家学习和研究。
6593 0
|
存储 Kubernetes Linux
k8s重要概念
kubernetes架构图 下图为kubernetes的master架构图 1. Cluster cluster是计算、存储和网络资源的集合,kubernetes利用这些资源运行各种基于容器的应用。
1285 0

热门文章

最新文章