如何在CDH7.1.1集群部署Flink1.10.1

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 如何在CDH7.1.1集群部署Flink1.10.1


作为新一代流计算引擎,Flink的发展速度是惊人的,尤其是在其母公司被阿里巴巴收购后,Flink在国内工业界已经得到了广泛地应用。本文讲解如何在CDH7.1.1上部署Flink1.10.1。后续会有多篇文章详细介绍Flink的使用和源码分析,并且基于工业界的实际场景和需求,探讨如何扩展Flink,二次开发等等。此外,我们会深入研究有关流计算的内容。

安装Flink

下载Flink1.10.0的csd文件,发送到Cloudera Manager Server服务器/opt/cloudera/csd目录下,重启Cloudera Manager Server服务

下载Flink1.10.0的Parcel包并部署到httpd服务的/var/www/html/flink1.10.1目录下

在CM页面左侧菜单栏点击Parcel按钮,进入Parcles管理界面配置parcel包地址

进行下载、分配、激活操作

在CM主页点击”添加服务”,选择添加Flink服务

选择Flink History Server以及Gateway节点,点击继续

审核更改

等待Flink History Server启动成功,完成后点击继续

完成

Flink运行示例

执行Flink自带的example的wordcount例子,使用flink run提交到YARN

在YARN和Flink的界面上都能看到这个任务。


相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
流计算
Flink 多个stream合并聚合
Flink 多个stream合并聚合
219 0
Flink 多个stream合并聚合
|
存储 分布式计算 搜索推荐
连载6:阿里巴巴大数据实践:大数据建设方法论OneData
避免重复建设和数据不一致性,保证数据的规范性,一直是大数据系统建设不断追求的方向。
8220 1
连载6:阿里巴巴大数据实践:大数据建设方法论OneData
|
2月前
|
人工智能 前端开发 机器人
揭秘:ReAct 框架如何助力AI Agent从简单进化到强大?
本文三桥君探讨了ReAct框架如何推动AI代理(Agent)的进化。产品专家三桥君认为ReAct框架将推动AI从"被动回答"向"主动解决问题"转变,在客服、旅行规划等领域具有广泛应用前景。
461 0
|
7月前
|
XML Java Maven
防止反编译,保护你的SpringBoot项目
ClassFinal-maven-plugin 是一个用于加密 Java 字节码的工具,能够保护 Spring Boot 项目中的源代码和配置文件不被非法获取或篡改。使用步骤包括:安装并设置 Maven、创建 Maven 项目、将 jar 包作为依赖添加到 pom.xml 文件中、下载并安装 ClassFinal-maven-plugin 插件、配置插件参数(如加密密钥和目标机器 ID),最后通过命令 `mvn clean package classfinal:encrypt` 执行加密。插件通过 JNI 实现编译时混淆和加密,并在运行时动态解密类文件。
466 14
|
算法 Unix Linux
tar 解压缩命令总结
tar 解压缩命令总结
1345 5
|
消息中间件 缓存 负载均衡
这些年背过的面试题——分布式篇
分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。
|
消息中间件 存储 缓存
一文了解清楚kafka消息丢失问题和解决方案
今天分享一下kafka的消息丢失问题,kafka的消息丢失是一个很值得关注的问题,根据消息的重要性,消息丢失的严重性也会进行放大,如何从最大程度上保证消息不丢失,要从生产者,消费者,broker几个端来说。
638 0
|
SQL 存储 关系型数据库
常见的BUG---2、Hive中文注释乱码解决办法
常见的BUG---2、Hive中文注释乱码解决办法
|
SQL 关系型数据库 MySQL
Hive 表注释乱码解决
Hive元数据在MySQL默认使用`latin1`字符集导致注释乱码。可通过修改MySQL配置文件`/etc/my.cnf`,在`[mysqld]`和末尾添加`character-set-server=utf8`等设置,重启MySQL。然后在Hive数据库中调整表字段、分区字段、索引注释的字符集。注意,这仅对新表生效。测试创建带注释的Hive表,问题解决。
333 0
|
消息中间件 关系型数据库 Kafka
Flink问题之无法启动如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
581 1