实时计算Flink > 快速入门 —— 步骤三:数据开发,作业上线

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 本页目录 新建作业 开发储存 用RDS为数据的维表或结果表 编写业务逻辑的SQL 作业调试StreamSQL 作业上线 说明: 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者,多人协作模型必须使用主子账号完成。

本页目录

说明: 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者,多人协作模型必须使用主子账号完成。

完成数据采集工作后,您可以专注于StreamSQL的编写工作。为方便您熟悉实时计算,我们在开发作业>新手作业中提供了教学作业bj_dim_join 。点击bj_dim_join,您可以查看StreamSQL的具体内容。

新建作业

10

开发储存

为了让您使用更便利、更安全使用数据存储的功能,建议以DataHub作为数据源表。DataHub可以自动生成源表参数和您的schema信息。更多详情请您参阅数据存储

1122
3322

DataHub的参数的配置可以参阅DataHub的源表,EndPoint信息如下图。

2343

进入DataHub的EndPoint地址,根据地区选择不同的地址。

经典网络
34

用RDS为数据的维表或结果表

手动填写RDS维表的参数和您的schema信息,RDS的参数的配置可以参阅RDS的维表

注意:维表暂不支持数据存储的功能。


 
 
  1. CREATE TABLE rds_dim (
  2. `name` VARCHAR,
  3. Place VARCHAR,
  4. PERIOD FOR SYSTEM_TIME,--维表的声明语法必须填写!
  5. PRIMARY KEY (Place)
  6. ) WITH (
  7. --可以复用SINK表里的参数
  8. type= 'rds',
  9. url = '填写URL',
  10. userName = '账号',
  11. password = '密码',
  12. tableName = '表名'
  13. );

用RDS为数据的结果表,使用数据存储自动生成RDS的参数和您的schema信息,RDS的参数的配置可以参阅RDS的结果表

RDS1

Instance填写刚刚注册的实例ID。

234SDDS
214

编写业务逻辑的SQL


 
 
  1. INSERT INTO rds_ipplace
  2. SELECT
  3. t.`name`,
  4. w.Place
  5. FROM datahub_ipplace as t
  6. JOIN rds_dim FOR SYSTEM_TIME AS OF PROCTIME() as w
  7. ON t.place = w.Place;

作业调试StreamSQL

详情操作请参阅作业调试

作业上线

调试完成后,经验证逻辑无误后,在数据开发中点击上线作业,您即可完成作业上线工作。上线作业操作将您的改动提交到数据运维中,您即可在生产环境下进行作业启动等生产运维工作。步骤如下图。

资源配置

112玩儿

数据检查

654

上线作业

5632123


本文转自实时计算——步骤三:数据开发,作业上线

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
29天前
|
消息中间件 分布式计算 大数据
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
92 0
|
22天前
|
运维 数据处理 Apache
数据实时计算产品对比测评报告:阿里云实时计算Flink版
数据实时计算产品对比测评报告:阿里云实时计算Flink版
|
2月前
|
人工智能 Cloud Native 数据处理
Flink全新周边正式上线!议题征集正在进行中!
Flink Forward Asia 2024 将于 11 月 29 日至 30 日在上海举办,现正征集议题。参与者可通过官网或二维码提交议题或报名参会,享受早鸟优惠,并有机会获得精美周边。这是了解 Flink 最新动态、分享生产实践经验及交流技术成果的重要平台。议题涵盖流式湖仓、流批一体、Data+AI 等多个方向,欢迎开发者和数据领域从业者踊跃参与,共襄行业盛会!
96 18
Flink全新周边正式上线!议题征集正在进行中!
|
29天前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
52 1
|
1月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
41 1
|
21天前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
32 0
|
29天前
|
消息中间件 分布式计算 大数据
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
81 0
|
29天前
|
SQL 分布式计算 大数据
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
41 0
|
29天前
|
大数据 流计算
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
40 0
|
2月前
|
SQL 安全 数据处理
揭秘数据脱敏神器:Flink SQL的神秘力量,守护你的数据宝藏!
【9月更文挑战第7天】在大数据时代,数据管理和处理尤为重要,尤其在保障数据安全与隐私方面。本文探讨如何利用Flink SQL实现数据脱敏,为实时数据处理提供有效的隐私保护方案。数据脱敏涉及在处理、存储或传输前对敏感数据进行加密、遮蔽或替换,以遵守数据保护法规(如GDPR)。Flink SQL通过内置函数和表达式支持这一过程。
71 2