开发者学堂课程【实时计算 Flink 实战课程:如何开通实时计算 Flink 版】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/762/detail/13353
如何开通实时计算 Flink 版
2、Blink 独享集群 SQL 作业
SQL 作业开发、调试、提交、运行
(1)演示内容
创建作业-开发代码-本地调试-提交作业-运行作业-运维作业
(2)作业代码
实时计算作业三要素
原表 CREATE TABLE ds_data(id VARCHAR)WITH(type=‘random’);
结果表 CREATE TABLE out_table(cnt varchar)WITH(type=‘print’);
计算逻辑 Insert INTO out_table select*from ds_data where substring(id,1,1)<=‘Z’and substring(id,1,1)>=‘A’;
在训练营中考虑到使用者没有购买实际的物理存储,所以将使用内置的虚拟存储 random+print 来实现作业,random 的作用是实时的生成随机的数据,print 的作用是把最终的数据结果输出到 .out 日志里面。把随机生成的一段字符去取首字母,判断首字母为大写字母的字符过滤出来,进行简单的逻辑。
实操过程:第一步,开发界面-新建作业-将对应以上代码拷贝-语法检查。
第二步,调试作业-下载模板(改名称双击)-输入字段(随机输入三个数据开头分别为 A、a、1)-关闭-上传(输出首字母为 A 的数据符合业务逻辑)
第三步,点击右上角上线进行资源配置-系统分配(有三种资源配置方式:第一种初始资源为上一次的资源调优,对运行过的作业进行配置;第二种系统分配资源;第三种手动资源配置,在资源配置界面获取对应资源)-上线。
第四步,运维-启动选择当前时间-作业提交到集群进行运行。运行信息上可以看到消耗的 CU 数,输入输出的指标,因为运用的是虚拟的 cnt 所以没有进行数据的埋点。
同时在数据曲线上面可以查看各种曲线信息(运用的虚拟表所以没有埋点信息)。
Failover 上如果作业出现异常,进行自动恢复操作可以看到Failover 的信息。JobManager 上可以看到日志信息,可以通过点 Job 日志看到整个作业启动的过程。
TaskManager中点击看到 TaskManager.out 日志的输出,每一条输出的日志的首字符都是大写的字母验证了实际的输出是符合数据预期的。
作业代码中如果使用实际的物理表,只需进行如将 type=‘random’改为 type=‘datahalf’ 再增加相关的连接参数的改动,在写出的操作过程中如将 type=‘print’ 改为 type=‘rds’再加上 rds 的连接参数,可以向 rds 中实时的写出数据。