AI 助理
备案控制台
开发者社区 大数据 文章 正文

死磕flink(七)

2024-09-25 138
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，1000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： 死磕flink(七)

一、Docker部署Flink简单集群

flink程序可以作为集群内的分布式系统运行，也可以独立模式或者YARN,Mesos,基于Docker的环境和其他资源管理框架下进行部署。

①、在服务器创建flink目录


mkdir  flink

目录结构如下：

②、docker-compose.yml脚本如下：

8ca929fee2a2f531c34035005b3f52e1.png

③、启动flink

0a521c1a56dc911faca0795ee0894965.png

93d6f17afd9c88e618681283f0b8619b.png

上面的启动命令一般推荐在生产环境下使用，如果在前台运行的话，可以使用docker-compose up这样可以很方便进行调试。

④、浏览器上查看页面dashboard:

983902ad7c573fcc21a51d69611dd22b.png

文章标签：
实时计算 Flink版
流计算
容器
Docker
资源调度
相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！ 欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
1176112968452250
目录
相关文章
力不竭战不止
|
消息中间件 Kafka
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
力不竭战不止
8366 0
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
蓝易云
|
8月前
|
消息中间件 Kafka 流计算
docker环境安装kafka/Flink/clickhouse镜像
通过上述步骤和示例，您可以系统地了解如何使用Docker Compose安装和配置Kafka、Flink和ClickHouse，并进行基本的验证操作。希望这些内容对您的学习和工作有所帮助。
蓝易云
763 28
申某某
|
9月前
|
SQL 存储 大数据
Flink 基础详解：大数据处理的强大引擎
Apache Flink 是一个分布式流批一体化的开源平台，专为大规模数据处理设计。它支持实时流处理和批处理，具有高吞吐量、低延迟特性。Flink 提供统一的编程抽象，简化大数据应用开发，并在流处理方面表现卓越，广泛应用于实时监控、金融交易分析等场景。其架构包括 JobManager、TaskManager 和 Client，支持并行度、水位线、时间语义等基础属性。Flink 还提供了丰富的算子、状态管理和容错机制，如检查点和 Savepoint，确保作业的可靠性和一致性。此外，Flink 支持 SQL 查询和 CDC 功能，实现实时数据捕获与同步，广泛应用于数据仓库和实时数据分析领域。
申某某
4661 32
游客kufrkwrbkmpsa
|
7月前
|
Java 数据库
【YashanDB知识库】kettle同步大表提示java内存溢出
在数据导入导出场景中，使用Kettle进行大表数据同步时出现“ERROR：could not create the java virtual machine!”问题，原因为Java内存溢出。解决方法包括：1) 编辑Spoon.bat增大JVM堆内存至2GB；2) 优化Kettle转换流程，如调整批量大小、精简步骤；3) 合理设置并行线程数(PARALLELISM参数)。此问题影响所有版本，需根据实际需求调整相关参数以避免内存不足。
游客kufrkwrbkmpsa
344 17
夏之以寒
|
流计算 Docker 容器
【docker专题_03】docker搭建Flink集群
【docker专题_03】docker搭建Flink集群
夏之以寒
327 2
申某某
|
9月前
|
存储 监控 算法
Flink 四大基石之 Checkpoint 使用详解
Flink 的 Checkpoint 机制通过定期插入 Barrier 将数据流切分并进行快照，确保故障时能从最近的 Checkpoint 恢复，保障数据一致性。Checkpoint 分为精确一次和至少一次两种语义，前者确保每个数据仅处理一次，后者允许重复处理但不会丢失数据。此外，Flink 提供多种重启策略，如固定延迟、失败率和无重启策略，以应对不同场景。SavePoint 是手动触发的 Checkpoint，用于作业升级和迁移。Checkpoint 执行流程包括 Barrier 注入、算子状态快照、Barrier 对齐和完成 Checkpoint。
申某某
1548 20
蓝易云
|
9月前
|
监控 Java Nacos
使用Spring Boot集成Nacos
通过上述步骤，Spring Boot应用可以成功集成Nacos，利用Nacos的服务发现和配置管理功能来提升微服务架构的灵活性和可维护性。通过这种集成，开发者可以更高效地管理和部署微服务。
蓝易云
2469 17
1176112968452250
|
SQL 算法 API
死磕flink(三)
死磕flink(三)
1176112968452250
167 0
敏叔V587
|
Java 大数据 流计算
使用Docker快速部署Flink分布式集群
使用Docker快速部署Flink分布式集群
敏叔V587
1373 0