如何开通实时计算 Flink 版|学习笔记(二)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习如何开通实时计算 Flink 版

开发者学堂课程【实时计算 Flink 实战课程如何开通实时计算 Flink 版】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/762/detail/13353


如何开通实时计算 Flink 版

2、Blink 独享集群 SQL 作业

SQL 作业开发、调试、提交、运行

(1)演示内容

创建作业-开发代码-本地调试-提交作业-运行作业-运维作业

(2)作业代码

实时计算作业三要素

原表 CREATE TABLE ds_data(id VARCHAR)WITH(type=‘random’);

结果表 CREATE TABLE out_table(cnt varchar)WITH(type=‘print’);

计算逻辑 Insert INTO out_table select*from ds_data where substring(id,1,1)<=‘Z’and substring(id,1,1)>=‘A’;

在训练营中考虑到使用者没有购买实际的物理存储,所以将使用内置的虚拟存储 random+print 来实现作业,random 的作用是实时的生成随机的数据,print 的作用是把最终的数据结果输出到 .out 日志里面。把随机生成的一段字符去取首字母,判断首字母为大写字母的字符过滤出来,进行简单的逻辑。

实操过程:第一步,开发界面-新建作业-将对应以上代码拷贝-语法检查。

11426.png

第二步,调试作业-下载模板(改名称双击)-输入字段(随机输入三个数据开头分别为 A、a、1)-关闭-上传(输出首字母为 A 的数据符合业务逻辑)

11501.png

第三步,点击右上角上线进行资源配置-系统分配(有三种资源配置方式:第一种初始资源为上一次的资源调优,对运行过的作业进行配置;第二种系统分配资源;第三种手动资源配置,在资源配置界面获取对应资源)-上线。

11604.png

第四步,运维-启动选择当前时间-作业提交到集群进行运行。运行信息上可以看到消耗的 CU 数,输入输出的指标,因为运用的是虚拟的 cnt 所以没有进行数据的埋点。

11687.png

同时在数据曲线上面可以查看各种曲线信息(运用的虚拟表所以没有埋点信息)。

Failover 上如果作业出现异常,进行自动恢复操作可以看到Failover 的信息。JobManager 上可以看到日志信息,可以通过点 Job 日志看到整个作业启动的过程。

11816.png

TaskManager中点击看到 TaskManager.out 日志的输出,每一条输出的日志的首字符都是大写的字母验证了实际的输出是符合数据预期的。

11895.png

作业代码中如果使用实际的物理表,只需进行如将 type=‘random’改为 type=‘datahalf’ 再增加相关的连接参数的改动,在写出的操作过程中如将 type=‘print’ 改为 type=‘rds’再加上 rds 的连接参数,可以向 rds 中实时的写出数据。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
数据采集 DataWorks 数据库
DataWorks产品使用合集之是否可以和Flink 实时计算结合使用
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
SQL API 数据处理
实时计算 Flink版产品使用问题之在使用DatahubSourceFunction时需要配置hashFields,该如何操作
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如果要加水位线,应该怎么操作
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
SQL 运维 DataWorks
Flink CDC在阿里云DataWorks数据集成应用实践
本文整理自阿里云 DataWorks 数据集成团队的高级技术专家 王明亚(云时)老师在 Flink Forward Asia 2023 中数据集成专场的分享。
1375 2
Flink CDC在阿里云DataWorks数据集成应用实践
|
9月前
|
SQL 大数据 Serverless
什么是阿里云实时计算Flink版
什么是阿里云实时计算Flink版
61 1
|
10月前
|
搜索推荐 BI Apache
「Flink+Hologres 搭建实时数仓」训练营重磅开启
Flink+Hologres 搭建实时数仓训练营火热报名中!文末有 Flink Forward Asia 2023 赠票福利~
928 0
「Flink+Hologres 搭建实时数仓」训练营重磅开启
|
流计算
《阿里云产品手册2022-2023 版》——实时计算 Flink 版
《阿里云产品手册2022-2023 版》——实时计算 Flink 版
337 0
|
存储 SQL JSON
阿里云实时计算Flink版产品介绍
乐洋、刘一鸣 阿里云产品经理
2473 16
阿里云实时计算Flink版产品介绍
|
存储 运维 监控
如何开通实时计算 Flink 版|学习笔记(三)
快速学习如何开通实时计算 Flink 版
如何开通实时计算 Flink 版|学习笔记(三)
|
存储 大数据 对象存储
如何开通实时计算 Flink 版|学习笔记(一)
快速学习如何开通实时计算 Flink 版
如何开通实时计算 Flink 版|学习笔记(一)