Flink 项目Scala模板入门

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink大数据项目可以通过Scala语言进行构建,本文主要介绍一下如何通过Maven命令来快速生成Scala语言的Flink初始项目,并给出一个启动示例项目。

     当前的很多构建工具,可以提供项目模板来让开发人员快速初始化项目文件,这对于降低学习难度,提高项目开发效率来说,起到积极的作用。Flink项目的初始化,可以借助Maven工具来构建。在之前JDK和Maven环境搭建完成,并正确设置环境变量后,即可以用mvn archetype:generate快速生成项目文件。当前支持Scala和Java两种项目模板。下面分别进行介绍。

    首先打开命令行CMD窗体,并切换到项目的根目录中,执行如下命令:

mvnarchetype:generate^-DarchetypeGroupId=org.apache.flink^-DarchetypeArtifactId=flink-quickstart-scala^-DarchetypeVersion=1.12.0^-DgroupId=com.myflink^-DartifactId=flink-scala^-Dpackage=com.example^-DinteractiveMode=false

    上述脚本每行的^符号为Windows操作系统命令行的换行符,而Linux操作系统下为\符号。当前这里换行是为了更加的清晰,即也可以写成一行。其中:

l -DarchetypeArtifactId=flink-quickstart-scala

表示基于的项目模板为flink-quickstart-scala,则表示为Scala版本的Flink项目。

l -DarchetypeVersion=1.12.0

表示Flink版本为1.12.0。

l -DgroupId=com.myflink

代表组织和整个项目的唯一标志。

l -DartifactId=flink-scala

具体项目的名称,也是生成项目文件夹的名称。

l -Dpackage=com.example

项目源码的包名。

l -DinteractiveMode=false

表示不启用交互模式,这样提示信息更少。

     在命令行执行tree flink-scala /F则可以显示flink-scala目录的项目结构,如下所示。

C:\src\flink-scala─pom.xml└─src└─main├─resources└─log4j2.properties└─scala└─com└─example└─BatchJob.scala└─StreamingJob.scala

     其中BatchJob.scala是批处理示例文件,而StreamingJob.scala是流处理示例文件。此处修改BatchJob.scala文件,给出一个用scala语言编写统计单词个数的示例代码,如代码所示:

packagecom.exampleimportorg.apache.flink.api.java.utils.ParameterToolimportorg.apache.flink.api.scala._importorg.apache.flink.core.fs.FileSystem.WriteMode//object可以直接运行objectBatchJob {
//启动函数defmain(args: Array[String]) {
//参数处理,如 --参数名 参数值valparams: ParameterTool=ParameterTool.fromArgs(args)
//获取批处理执行环境valenv=ExecutionEnvironment.getExecutionEnvironment//演示数据valmytxt=env.fromElements(
"Hello Word",
"Hello Flink",
"Apache Flink")
//单词统计valwc=mytxt.flatMap(line=>line.split("\\s"))
      .map { (_, 1) }
      .groupBy(0)
      .sum(1)
//可以写入一个文件,便于查看wc.setParallelism(1)
//--output xxxif (params.has("output")) {
//WriteMode.OVERWRITE覆盖模式wc.writeAsCsv(params.get("output"), "\n", ",",WriteMode.OVERWRITE)
env.execute("Scala WordCount Demo")
    } else {
//便于IDEA调试,实际部署一般不用wc.print()
    }
  }
}

     我们先不需太过关注具体API的意义,这个后面会慢慢分章节进行详细说明。默认情况下,resources目录下的log4j2.properties配置文件给出的日志级别为INFO,则打印的信息比较多,这里可以将日志级别修改为ERROR,具体如下所示:

rootLogger.level=ERRORrootLogger.appenderRef.console.ref=ConsoleAppenderappender.console.name=ConsoleAppenderappender.console.type=CONSOLEappender.console.layout.type=PatternLayoutappender.console.layout.pattern=%d{HH:mm:ss,SSS} %-5p%-60c%x-%m%n
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
6月前
|
Java 流计算
【极数系列】Flink搭建入门项目Demo & 秒懂Flink开发运行原理(05)
【极数系列】Flink搭建入门项目Demo & 秒懂Flink开发运行原理(05)
235 3
|
6月前
|
分布式计算 Java Hadoop
Scala入门必刷的100道练习题(附答案)
Scala入门必刷的100道练习题(附答案)
713 1
|
6月前
|
Java 大数据 Scala
Scala入门【运算符和流程控制】
Scala入门【运算符和流程控制】
|
3月前
|
SQL 存储 资源调度
实时计算 Flink版操作报错合集之启动项目时报错缺少MySqlValidator类,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3月前
|
分布式计算 大数据 Java
Scala 入门指南:从零开始的大数据开发
Scala 入门指南:从零开始的大数据开发
|
4月前
|
SQL Java 数据处理
实时计算 Flink版产品使用问题之使用MavenShadePlugin进行relocation并遇到只包含了Java代码而未包含Scala代码,该怎么办
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
分布式计算 大数据 Java
大数据开发语言Scala入门
大数据开发语言Scala入门
|
4月前
|
IDE 大数据 Java
「AIGC」大数据开发语言Scala入门
Scala,融合OOP和FP的多范式语言,在JVM上运行,常用于大数据处理,尤其与Apache Spark配合。要开始学习,安装Scala,选择IDE如IntelliJ。基础包括变量、数据类型、控制结构、函数。Scala支持类、对象、不可变数据结构、模式匹配和强大的并发工具。利用官方文档、教程、社区资源进行学习,并通过实践提升技能。
62 0
|
6月前
|
Oracle Java 关系型数据库
实时计算 Flink版产品使用合集之在同步Oracle数据时,需要下载并添加到项目中的jar包主要包括哪些
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
分布式计算 Java API
Flink教程(04)- Flink入门案例
Flink教程(04)- Flink入门案例
143 0