【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】

四、 Flink初体验

1. 启动Flink集群

cd /export/server/flink
bin/start-cluster.sh

2. 通过jps查看进程信息

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. flink整合hadoop

flink与hadoop整合的时候需要上传整合的jar包:flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar、commons-cli-1.4.jar,到flink安装目录的lib目录下
注意: 集群中每个节点都需要拷贝

4. 启动HDFS集群

如果你还不会启动HDFS集群,请查看我另一篇文章:【Hadoop技术篇】hadoop的使用

5. 在HDFS中创建/test/input目录, 上传wordcount.txt文件到HDFS /test/input目录

先把 wordcount.txt 文件上传到 /root 目录下

[root@node1 ~] hdfs dfs -mkdir -p /test/input
[root@node1 ~] hdfs dfs -put wordcount.txt /test/input
[root@node1 ~] hdfs dfs -ls /test/input
Found 1 items
-rw-r--r--   3 root supergroup        229 2022-01-01 15:55 /test/input/wordcount.txt

6. 递交作业

bin/flink run /export/server/flink/examples/batch/WordCount.jar  \
--input hdfs://node1:8020/test/input/wordcount.txt \
--output hdfs://node1:8020/test/output/result.txt \
--parallelism 2

7. 浏览Flink Web UI界面

在这里插入图片描述

8. 命令合集

#启动/停止jobmanager
./bin/start-cluster.sh
./bin/stop-cluster.sh
#如果集群中的jobmanager进程挂了,执行下面命令启动
bin/jobmanager.sh start
bin/jobmanager.sh stop
#添加新的taskmanager节点或者重启taskmanager节点
bin/taskmanager.sh start
bin/taskmanager.sh stop
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
4天前
|
机器学习/深度学习 人工智能 算法
探索软件测试中的人工智能应用
【6月更文挑战第13天】随着人工智能技术的飞速发展,其在软件测试领域的应用也日益广泛。本文将深入探讨AI技术如何革新传统的软件测试流程,提升测试效率与质量,以及面对这一趋势,测试人员应如何适应和利用AI来优化自己的工作。
|
17天前
|
敏捷开发 测试技术 持续交付
探索自动化测试在敏捷开发中的应用与挑战
【5月更文挑战第31天】 随着敏捷开发模式的普及,软件开发周期不断缩短,快速迭代成为行业标准。在这一背景下,传统的软件测试方法面临重大挑战,无法满足敏捷开发的高效率要求。自动化测试作为一种提高测试效率和质量的手段,其在敏捷开发中的角色日益重要。本文将探讨自动化测试在敏捷开发中的应用,分析其优势、实施策略以及面临的挑战,为软件开发团队提供参考和指导。
|
2天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之holo源表有6亿数据,binlogStartupMode配置为initial,无法插入数据到结果表,少量数据测试可以,该怎么办
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3天前
|
机器学习/深度学习 人工智能 jenkins
探索自动化测试工具的选择与应用
在软件开发生命周期中,软件测试是确保质量的重要环节。随着自动化技术的发展,自动化测试工具的选择和应用变得至关重要。这篇文章将深入探讨如何选择适合的自动化测试工具,并结合实例分析其实际应用效果,从而为开发团队提供有效的指导。
|
3天前
|
机器人 测试技术 持续交付
Python进行自动化测试测试框架的选择与应用
【6月更文挑战第9天】本文介绍了Python自动化测试的重要性及选择测试框架的考量因素,如功能丰富性、易用性、灵活性和集成性。文中列举了常用的Python测试框架,包括unittest、pytest、nose2和Robot Framework,并提供了使用pytest进行单元测试的示例代码。此外,还展示了如何使用Robot Framework进行验收测试和Web UI测试。选择合适的测试框架对提升测试效率和软件质量至关重要,团队应根据项目需求、社区支持、集成性和学习曲线等因素进行选择。通过不断学习和实践,可以优化自动化测试流程,确保软件的稳定性和可靠性。
10 0
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
探索软件测试中的AI应用
【6月更文挑战第13天】随着人工智能技术的飞速发展,其在软件测试领域的应用也日益广泛。本文将深入探讨AI在软件测试中的具体应用,包括自动化测试、缺陷预测、性能优化等方面,旨在为读者提供一个全新的视角来理解AI技术如何改变传统的软件测试流程,提高测试效率和质量。
|
6天前
|
人工智能 算法 测试技术
探索AI在软件测试中的应用与挑战
【6月更文挑战第11天】本文探讨了人工智能(AI)技术在软件测试领域的应用及其面临的挑战。通过分析AI技术的优势和局限性,文章旨在为读者提供一个全面的视角,以理解AI如何改变传统的软件测试流程,并预测未来可能的发展趋势。
|
6天前
|
数据采集 机器学习/深度学习 人工智能
探索软件测试中的人工智能应用
【6月更文挑战第10天】随着人工智能技术的飞速发展,其在软件测试领域的应用也日益广泛。本文将探讨AI在提高软件测试效率和准确性方面的潜力,以及面临的挑战和未来的发展方向。
13 2
|
6天前
|
消息中间件 存储 Kafka
Flink 实时数仓(二)【ODS 层开发】
Flink 实时数仓(二)【ODS 层开发】
|
8天前
|
供应链 物联网 分布式数据库
区块链技术作为一种新兴的分布式数据库技术,正逐渐改变着我们的生产和生活方式。而智能合约作为区块链技术的重要应用之一
【6月更文挑战第10天】本文探讨了区块链技术与智能合约的界限及其带来的挑战。区块链,以其不可篡改性和安全性,已广泛应用于金融、供应链和物联网等领域。智能合约作为区块链的关键应用,实现了自动、安全和不可篡改的合约执行。然而,技术上的扩展性、性能问题和安全漏洞,以及法律监管的困境,构成了当前的主要挑战。尽管如此,随着技术进步和应用场景的拓宽,区块链与智能合约有望在未来发挥更大潜力。
47 0

热门文章

最新文章