实时计算Flink——独享模式——Batch功能介绍

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 什么是Flink Batch功能 实时计算 Flink是阿里巴巴在开源Flink基础上做了大量优化的Flink版本,其中增加了大量的批处理相关功能,使Flink成为统一了批流计算模型的大数据处理引擎。

什么是Flink Batch功能

实时计算 Flink是阿里巴巴在开源Flink基础上做了大量优化的Flink版本,其中增加了大量的批处理相关功能,使Flink成为统一了批流计算模型的大数据处理引擎。

如何试用Flink Batch功能

与流处理功能相同,Flink Batch功能对SQL有完善的支持,并且做到了批流SQL统一。与流相比,批的SQL暂不支持window相关函数,其他语法都支持。所以SQL文档请参考公共云流计算SQL文档。

如何创建批处理作业

准备工作

  1. 申请独享模式:目前批处理功能仅在独享模式开通,请移步独享模式申请
  2. 创建集群:请按创建集群流程创建集群并创建项目。

创建批处理作业

  1. 进入流计算控制台

  2. 创建batch作业。1

  3. 编写作业,示例:读取HDFS数据进行计算,并写回HDFS。

  4. 
        
        
    1. -- 源表DDL,类型orc,存放路径,用户HDFS hdfs://roothdfs/table/ds=20180816/ 目录
    2. create table hdfs_orc_source(
    3. name varchar,
    4. age BIGINT,
    5. birthday BIGINT
    6. ) with (
    7. type='orc',
    8. path='hdfs://hdfshome/user/hive/warehouse/xxx/table1/dt=20180814',
    9. enumerateNestedFiles='true'
    10. );
    11. -- 结果表ddl
    12. create table test_sink(
    13. name varchar,
    14. age bigint,
    15. birthday bigint
    16. ) with (
    17. type='orc',
    18. filePath='hdfs://hdfshome/orcpath/test'
    19. )
    20. -- DML语句
    21. insert into test_sink
    22. select
    23. name,
    24. age,
    25. birthday
    26. from hdfs_source

    说明:

    1. connector相关配置,请参考阿里云官网Batch(试用)
    2. SQL相关文档,请参考FlinkSQL手册
本文转自实时计算—— Batch功能介绍
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
52 0
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
69 0
|
24天前
|
消息中间件 监控 数据可视化
实时计算Flink场景实践和核心功能体验
本文详细评测了阿里云实时计算Flink版,从产品引导、文档帮助、功能满足度等方面进行了全面分析。产品界面设计友好,文档丰富实用,数据开发和运维体验优秀,具备出色的实时性和动态扩展性。同时,提出了针对业务场景的改进建议,包括功能定制化增强、高级分析功能拓展及可视化功能提升。文章还探讨了产品与阿里云内部产品及第三方工具的联动潜力,展示了其在多云架构和跨平台应用中的广阔前景。
54 9
|
25天前
|
运维 监控 安全
实时计算Flink场景实践和核心功能体验
实时计算Flink场景实践和核心功能体验
|
26天前
|
运维 数据可视化 数据处理
实时计算Flink场景实践和核心功能体验 评测
实时计算Flink场景实践和核心功能体验 评测
53 4
|
1月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
90 0
|
3月前
|
SQL 流计算
Flink SQL 在快手实践问题之Window TVF改进窗口聚合功能如何解决
Flink SQL 在快手实践问题之Window TVF改进窗口聚合功能如何解决
28 1
|
3月前
|
SQL 存储 OLAP
OneSQL OLAP实践问题之Flink SQL Gateway的功能如何解决
OneSQL OLAP实践问题之Flink SQL Gateway的功能如何解决
38 1
|
3月前
|
关系型数据库 MySQL 数据处理
实时计算 Flink版产品使用问题之mini-cluster模式下,怎么指定checkpoint的时间间隔
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
资源调度 算法 Java
Flink四种集群模式原理
Flink四种集群模式原理
104 0

热门文章

最新文章