AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

Beam编程系列之Java SDK Quickstart（官网的推荐步骤）

2017-01-01 963
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 
https://beam.apache.org/get-started/beam-overview/

 

 

 

 

 

 

 

https://beam.apache.org/get-started/quickstart-java/

 

 

 

Apache Beam Java SDK Quickstart

　　This Quickstart will walk you through executing your first Beam pipeline to run WordCount, written using Beam’s Java SDK, on a runner of your choice.

 

　　我这里为了方便大家快速入手，翻译并整理为中文。

 

 

　　本博文通过使用 Java SDK 来完成，你可以尝试运行在不同的执行引擎上。

第一步：设置开发环境

  1. 下载并安装 Java Development Kit (JDK) 1.7 或更高版本。检查 JAVA_HOME 环境变量已经设置并指向你的 JDK 安装目录。
  2. 照着 Maven 的 安装指南 下载并安装适合你的操作系统的 Apache Maven 。

 

 

 

第二步：获取 示例的WordCount 代码

　　获得一份 WordCount 管线代码拷贝最简单的方法，就是使用下列指令来生成一个简单的、包含基于 Beam 最新版的 WordCount 示例和构建的 Maven 项目：

　　Apache Beam 的源代码在 Github 有托管，可以到 Github 下载对应的源码，下载地址：https://github.com/apache/beam

　　然后，将其中的示例代码进行打包，命令如下所示：（这是最新稳定版本）（所以一般用这个）

复制代码 
$ mvn archetype:generate \
      -DarchetypeRepository=https://repository.apache.org/content/groups/snapshots \
      -DarchetypeGroupId=org.apache.beam \
      -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
      -DarchetypeVersion=LATEST \
      -DgroupId=org.example \
      -DartifactId=word-count-beam \
      -Dversion="0.1" \
      -Dpackage=org.apache.beam.examples \
      -DinteractiveMode=false
复制代码

 

　　这是官网推荐的

复制代码 
$ mvn archetype:generate \
      -DarchetypeGroupId=org.apache.beam \
      -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
      -DarchetypeVersion=2.1.0 \
      -DgroupId=org.example \
      -DartifactId=word-count-beam \
      -Dversion="0.1" \
      -Dpackage=org.apache.beam.examples \
      -DinteractiveMode=false
复制代码

　　那是因为，最新的Bean为2.1.0。  

　　这将创建一个叫 word-count-beam 的目录，其中包含了一份简单的 pom.xml 文件和一套示例管线，用来计算某个文本文件中的各个单词的数量。

复制代码 
$ cd word-count-beam/

$ ls
pom.xml    src

$ ls src/main/java/org/apache/beam/examples/
DebuggingWordCount.java    WindowedWordCount.java    common
MinimalWordCount.java    WordCount.java
复制代码

　　关于这些示例中用到的 Beam 的概念的详细介绍，请阅读 WordCount Example Walkthrough 一文。这里我们只聚焦于如何执行 WordCount.java 上。

 

 

 

 运行 WordCount 示例代码

　　一个 Beam 程序可以运行在多个 Beam 的可执行引擎上，包括 ApexRunner，FlinkRunner，SparkRunner 或者 DataflowRunner。 另外还有 DirectRunner。不需要特殊的配置就可以在本地执行，方便测试使用。

　　下面，你可以按需选择你想执行程序的引擎，即哪个runner后：

  1. 对引擎进行相关配置，确保你已经正确配置了该runner。
  2. 使用不同的命令：通过 --runner=<runner>参数指明引擎类型，默认是 DirectRunner；添加引擎相关的参数；指定输出文件和输出目录，当然这里需要保证文件目录是执行引擎可以访问到的，比如本地文件目录是不能被外部集群访问的。
  3. 运行示例程序，你的第一个WordCount 管线。

 

 

Direct

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
     -Dexec.args="--inputFile=pom.xml --output=counts" -Pdirect-runner

 

 

Apex

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
     -Dexec.args="--inputFile=pom.xml --output=counts --runner=ApexRunner" -Papex-runner

 

 

Flink-Local

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
     -Dexec.args="--runner=FlinkRunner --inputFile=pom.xml --output=counts" -Pflink-runner

 

 

Flink-Cluster

$ mvn package exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
     -Dexec.args="--runner=FlinkRunner --flinkMaster=<flink master> --filesToStage=target/word-count-beam-bundled-0.1.jar \
                  --inputFile=/path/to/quickstart/pom.xml --output=/tmp/counts" -Pflink-runner

You can monitor the running job by visiting the Flink dashboard at http://<flink master>:8081

 

　　然后，你可以通过访问 http://<flink master>:8081 来监测运行的应用程序。

 

Spark

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
     -Dexec.args="--runner=SparkRunner --inputFile=pom.xml --output=counts" -Pspark-runner

 

 

Dataflow

$ mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
     -Dexec.args="--runner=DataflowRunner --project=<your-gcp-project> \
                  --gcpTempLocation=gs://<your-gcs-bucket>/tmp \
                  --inputFile=gs://apache-beam-samples/shakespeare/* --output=gs://<your-gcs-bucket>/counts" \
     -Pdataflow-runner

 

 

 

 

 

　

运行结果

　　当程序运行完成后，你可以看到有多个文件以 count 开头，个数取决于执行引擎的类型。当你查看文件的内容的时候，每个唯一的单词后面会显示其出现次数，但是前后顺序是不固定的，也是分布式引擎为了提高效率的一种常用方式。

 　　一旦管线完成运行，你可以查看结果。你会注意到有多个以 count 打头的输出文件。具体会有几个这样的文件是由 runner 决定的。这样能方便 runner 进行高效的分布式执行。

　　当你查看文件内容的时候，你会看到里面包含每个单词的出现数量。文件中的元素顺序可能会和这里看到的不同。因为 Beam 模型通常并不保障顺序，以便于 runner 优化效率。

Direct

复制代码 
$ ls counts*

$ more counts*
api: 9
bundled: 1
old: 4
Apache: 2
The: 1
limitations: 1
Foundation: 1
...
复制代码

 

 Apex

复制代码 
$ cat counts*
BEAM: 1
have: 1
simple: 1
skip: 4
PAssert: 1
...
复制代码

 

 Flink-Local

复制代码 
$ ls counts*

$ more counts*
The: 1
api: 9
old: 4
Apache: 2
limitations: 1
bundled: 1
Foundation: 1
...
复制代码

 

Flink-Cluster

复制代码 
$ ls /tmp/counts*

$ more /tmp/counts*
The: 1
api: 9
old: 4
Apache: 2
limitations: 1
bundled: 1
Foundation: 1
...
复制代码

 

Spark

复制代码 
$ ls counts*

$ more counts*
beam: 27
SF: 1
fat: 1
job: 1
limitations: 1
require: 1
of: 11
profile: 10
...
复制代码

 

 

 Dataflow

复制代码 
$ gsutil ls gs://<your-gcs-bucket>/counts*

$ gsutil cat gs://<your-gcs-bucket>/counts*
feature: 15
smother'st: 1
revelry: 1
bashfulness: 1
Bashful: 1
Below: 2
deserves: 32
barrenly: 1
...
复制代码

 

 

 

总结

　　Apache Beam 主要针对理想并行的数据处理任务，并通过把数据集拆分多个子数据集，让每个子数据集能够被单独处理，从而实现整体数据集的并行化处理。当然，也可以用 Beam 来处理抽取，转换和加载任务和数据集成任务（一个ETL过程）。进一步将数据从不同的存储介质中或者数据源中读取，转换数据格式，最后加载到新的系统中。



本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7610005.html，如需转载请自行联系原作者

文章标签：
实时计算 Flink版
Java
Apache
开发工具
流计算
API
数据处理
分布式计算
Spark
Maven
存储
关键词：
Java SDK
java音视频终端 SDK
Java编程
编程Java
音视频终端 SDK java
相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！ 欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
技术小哥哥
目录
相关文章
啦啦啦191
|
4月前
|
Java
如何在Java中进行多线程编程
Java多线程编程常用方式包括：继承Thread类、实现Runnable接口、Callable接口（可返回结果）及使用线程池。推荐线程池以提升性能，避免频繁创建线程。结合同步与通信机制，可有效管理并发任务。
啦啦啦191
214 6
啦啦啦191
|
4月前
|
IDE Java 编译器
java编程最基础学习
Java入门需掌握：环境搭建、基础语法、面向对象、数组集合与异常处理。通过实践编写简单程序，逐步深入学习，打牢编程基础。
啦啦啦191
275 1
啦啦啦191
|
5月前
|
SQL Java 数据库
2025 年 Java 从零基础小白到编程高手的详细学习路线攻略
2025年Java学习路线涵盖基础语法、面向对象、数据库、JavaWeb、Spring全家桶、分布式、云原生与高并发技术，结合实战项目与源码分析，助力零基础学员系统掌握Java开发技能，从入门到精通，全面提升竞争力，顺利进阶编程高手。
啦啦啦191
980 1
AI侠客
|
4月前
|
安全 前端开发 Java
从反射到方法句柄：深入探索Java动态编程的终极解决方案
从反射到方法句柄，Java 动态编程不断演进。方法句柄以强类型、低开销、易优化的特性，解决反射性能差、类型弱、安全性低等问题，结合 `invokedynamic` 成为支撑 Lambda 与动态语言的终极方案。
AI侠客
206 0
一缕微风绕指柔
|
5月前
|
Java 开发者
Java并发编程：CountDownLatch实战解析
Java并发编程：CountDownLatch实战解析
一缕微风绕指柔
506 100
蚂蚁百宝箱
|
4月前
|
Java API 开发工具
百宝箱开放平台 ✖️ Java SDK
百宝箱提供Java SDK，支持开发者集成其开放能力。需先发布应用，准备Java 8+及Maven环境，通过添加依赖安装SDK，并初始化客户端调用对话型或生成型智能体，实现会话管理、消息查询与文件上传等功能。
蚂蚁百宝箱
1371 0
百宝箱开放平台 ✖️ Java SDK
蓝易云
|
5月前
|
算法 Java
Java多线程编程：实现线程间数据共享机制
以上就是Java中几种主要处理多线程序列化资源以及协调各自独立运行但需相互配合以完成任务threads 的技术手段与策略。正确应用上述技术将大大增强你程序稳定性与效率同时也降低bug出现率因此深刻理解每项技术背后理论至关重要.
蓝易云
407 16
啦啦啦191
|
5月前
|
NoSQL Java 关系型数据库
超全 Java 学习路线，帮你系统掌握编程的超详细 Java 学习路线
本文为超全Java学习路线，涵盖基础语法、面向对象编程、数据结构与算法、多线程、JVM原理、主流框架（如Spring Boot）、数据库（MySQL、Redis）及项目实战等内容，助力从零基础到企业级开发高手的进阶之路。
啦啦啦191
416 2
艾伦~耶格尔
|
6月前
|
安全 算法 Java
Java泛型编程：类型安全与擦除机制
Java泛型详解：从基础语法到类型擦除机制，深入解析通配符与PECS原则，探讨运行时类型获取技巧及最佳实践，助你掌握泛型精髓，写出更安全、灵活的代码。
艾伦~耶格尔
256 2
艾伦~耶格尔
|
6月前
|
安全 Java Shell
Java模块化编程（JPMS）简介与实践
本文全面解析Java 9模块化系统（JPMS），帮助开发者解决JAR地狱、类路径冲突等常见问题，提升代码的封装性、性能与可维护性。内容涵盖模块化核心概念、module-info语法、模块声明、实战迁移、多模块项目构建、高级特性及最佳实践，同时提供常见问题和面试高频题解析，助你掌握Java模块化编程精髓，打造更健壮的应用。
艾伦~耶格尔
528 0