实时计算Flink —— 独享模式快速入门

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 已开通地域 目前共享模式仅在华东一(杭州),华东二(上海),华南一(深圳),华北二(北京)四个区域开通。如果对其他地域有开通需求,请联系阿里云技术支持。 准备工作 实时计算独享模式开通时,实时计算会为您在您的VPC内创建安全组以及申请弹性网卡。

已开通地域

目前共享模式仅在华东一(杭州),华东二(上海),华南一(深圳),华北二(北京)四个区域开通。如果对其他地域有开通需求,请联系阿里云技术支持。

准备工作

  1. 实时计算独享模式开通时,实时计算会为您在您的VPC内创建安全组以及申请弹性网卡。请勿删除此安全组和弹性网卡。

    • 如果已有专有网络VPC,请选择实时计算需要访问的VPC。
    • 如果没有VPC,请开通阿里云VPC服务。如何开通专有网络VPC请参看搭建专有网络

      注意:搭建专有网络时请确保以下两点。

      1. VPC内的ECS充足。
      2. vswitch内可用IP个数,要大于等于Flink集群节点个数。
  2. 为了保护您的数据安全,独享集群中您上传的UDF包,都会被保存到您的OSS bucket中。请选择已有OSS bucket,如果没有OSS bucket,请创建对象存储OSS

  3. 完成独享模式角色授权

集群创建

新建集群

  • 登录实时计算控制台项目管理>集群管理>新建集群
2.png | center | 747x370

基本信息

  • 填写集群名字集群备注
3.png | center | 747x340

集群配置

4.png | center | 747x577

OSS Bucket参数

OSS选择账号下保存用户UDF的OSS Bucket。如果没有,请创建对象存储OSS

注意:OSS创建Bucket时,存储类型请您务必选择标准存储读写权限推荐选择私有不能选择公共读。如下图。

标准储存

VPC参数

选择集群需要连接的VPC。

Zone参数

VPC参数正确选择后,可选用的Zone参数会自动显示。如无可选Zone或者VSwitch,有以下两种原因。

  1. 所选zone(可用区)内,ECS库存不足。
  2. 所选vswitch中,可用IP数小于申请的ECS数。

请解决以上问题后,刷新页面,重新新建集群。

确认信息和创建集群

点击创建

33.jpg | center | 746x495
6.png | center | 747x359

说明:大概需要半个小时,如果长时间没有完成集群创建,请联系阿里云技术支持。

项目创建

  • 选择创建好的集群,创建项目。
  • 填写项目名称项目备注
1.png | center | 747x397
  • 点击项目就可以进入所创建的项目里开发作业了,剩余的步骤可以参考大集群的开发、运维文档!
2.png | center | 747x344

用户指南

独享模式环境搭建完成后,作业开发流程与共享模式完全相同。请参考共享模式文档。

快速入门

WebConsole手册

BlinkSQL手册

UDX文档

UDX简介

自定义标量函数(UDF)

自定义聚合函数(UDAF)

自定义表值函数(UDTF)


本文转自实时计算——独享模式快速入门

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
打赏
0
0
0
0
5351
分享
相关文章
基于Flink CDC 开发,支持Web-UI的实时KingBase 连接器,三大模式无缝切换,效率翻倍!
TIS 是一款基于Web-UI的开源大数据集成工具,通过与人大金仓Kingbase的深度整合,提供高效、灵活的实时数据集成方案。它支持增量数据监听和实时写入,兼容MySQL、PostgreSQL和Oracle模式,无需编写复杂脚本,操作简单直观,特别适合非专业开发人员使用。TIS率先实现了Kingbase CDC连接器的整合,成为业界首个开箱即用的Kingbase CDC数据同步解决方案,助力企业数字化转型。
120 5
基于Flink CDC 开发,支持Web-UI的实时KingBase 连接器,三大模式无缝切换,效率翻倍!
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
185 0
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
148 0
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
201 0
实时计算 Flink版产品使用问题之mini-cluster模式下,怎么指定checkpoint的时间间隔
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
实时计算 Flink版操作报错合集之在使用批处理模式中使用flat_aggregate函数时报错,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
649 2
Flink四种集群模式原理
Flink四种集群模式原理
220 0
实时计算 Flink版产品使用问题之如何将changelog转换为append模式
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
实时计算 Flink版产品使用问题之原生Session模式下遇到classpath路径未生效,该怎么办
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等