如何开通实时计算 Flink 版|学习笔记(二)

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习如何开通实时计算 Flink 版

开发者学堂课程【实时计算 Flink 实战课程如何开通实时计算 Flink 版】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/762/detail/13353


如何开通实时计算 Flink 版

2、Blink 独享集群 SQL 作业

SQL 作业开发、调试、提交、运行

(1)演示内容

创建作业-开发代码-本地调试-提交作业-运行作业-运维作业

(2)作业代码

实时计算作业三要素

原表 CREATE TABLE ds_data(id VARCHAR)WITH(type=‘random’);

结果表 CREATE TABLE out_table(cnt varchar)WITH(type=‘print’);

计算逻辑 Insert INTO out_table select*from ds_data where substring(id,1,1)<=‘Z’and substring(id,1,1)>=‘A’;

在训练营中考虑到使用者没有购买实际的物理存储,所以将使用内置的虚拟存储 random+print 来实现作业,random 的作用是实时的生成随机的数据,print 的作用是把最终的数据结果输出到 .out 日志里面。把随机生成的一段字符去取首字母,判断首字母为大写字母的字符过滤出来,进行简单的逻辑。

实操过程:第一步,开发界面-新建作业-将对应以上代码拷贝-语法检查。

11426.png

第二步,调试作业-下载模板(改名称双击)-输入字段(随机输入三个数据开头分别为 A、a、1)-关闭-上传(输出首字母为 A 的数据符合业务逻辑)

11501.png

第三步,点击右上角上线进行资源配置-系统分配(有三种资源配置方式:第一种初始资源为上一次的资源调优,对运行过的作业进行配置;第二种系统分配资源;第三种手动资源配置,在资源配置界面获取对应资源)-上线。

11604.png

第四步,运维-启动选择当前时间-作业提交到集群进行运行。运行信息上可以看到消耗的 CU 数,输入输出的指标,因为运用的是虚拟的 cnt 所以没有进行数据的埋点。

11687.png

同时在数据曲线上面可以查看各种曲线信息(运用的虚拟表所以没有埋点信息)。

Failover 上如果作业出现异常,进行自动恢复操作可以看到Failover 的信息。JobManager 上可以看到日志信息,可以通过点 Job 日志看到整个作业启动的过程。

11816.png

TaskManager中点击看到 TaskManager.out 日志的输出,每一条输出的日志的首字符都是大写的字母验证了实际的输出是符合数据预期的。

11895.png

作业代码中如果使用实际的物理表,只需进行如将 type=‘random’改为 type=‘datahalf’ 再增加相关的连接参数的改动,在写出的操作过程中如将 type=‘print’ 改为 type=‘rds’再加上 rds 的连接参数,可以向 rds 中实时的写出数据。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
2天前
|
搜索推荐 编译器 Linux
一个可用于企业开发及通用跨平台的Makefile文件
一款适用于企业级开发的通用跨平台Makefile,支持C/C++混合编译、多目标输出(可执行文件、静态/动态库)、Release/Debug版本管理。配置简洁,仅需修改带`MF_CONFIGURE_`前缀的变量,支持脚本化配置与子Makefile管理,具备完善日志、错误提示和跨平台兼容性,附详细文档与示例,便于学习与集成。
253 116
|
17天前
|
域名解析 人工智能
【实操攻略】手把手教学,免费领取.CN域名
即日起至2025年12月31日,购买万小智AI建站或云·企业官网,每单可免费领1个.CN域名首年!跟我了解领取攻略吧~
|
11天前
|
安全 Java Android开发
深度解析 Android 崩溃捕获原理及从崩溃到归因的闭环实践
崩溃堆栈全是 a.b.c?Native 错误查不到行号?本文详解 Android 崩溃采集全链路原理,教你如何把“天书”变“说明书”。RUM SDK 已支持一键接入。
650 220
|
存储 人工智能 监控
从代码生成到自主决策:打造一个Coding驱动的“自我编程”Agent
本文介绍了一种基于LLM的“自我编程”Agent系统,通过代码驱动实现复杂逻辑。该Agent以Python为执行引擎,结合Py4j实现Java与Python交互,支持多工具调用、记忆分层与上下文工程,具备感知、认知、表达、自我评估等能力模块,目标是打造可进化的“1.5线”智能助手。
886 61
|
9天前
|
人工智能 移动开发 自然语言处理
2025最新HTML静态网页制作工具推荐:10款免费在线生成器小白也能5分钟上手
晓猛团队精选2025年10款真正免费、无需编程的在线HTML建站工具,涵盖AI生成、拖拽编辑、设计稿转代码等多种类型,均支持浏览器直接使用、快速出图与文件导出,特别适合零基础用户快速搭建个人网站、落地页或企业官网。
1468 157
|
6天前
|
编解码 Linux 数据安全/隐私保护
教程分享免费视频压缩软件,免费视频压缩,视频压缩免费,附压缩方法及学习教程
教程分享免费视频压缩软件,免费视频压缩,视频压缩免费,附压缩方法及学习教程
282 139
|
8天前
|
存储 安全 固态存储
四款WIN PE工具,都可以实现U盘安装教程
Windows PE是基于NT内核的轻量系统,用于系统安装、分区管理及故障修复。本文推荐多款PE制作工具,支持U盘启动,兼容UEFI/Legacy模式,具备备份还原、驱动识别等功能,操作简便,适合新旧电脑维护使用。
593 109