Windows下使用zeppelin、Dockers搭建Flink学习环境

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Windows下使用zeppelin、Dockers搭建Flink学习环境

一、原因

最近在学Flink,学的时候非常怀念学习Python用的Jupyter notebook,因此非常希望也能有一个类似Jupyter Notebook的环境来运行、学习Flink。可惜Jupyter Notebook现在不支持Flink,不过幸好还有Zeppelin

zeppelin是一个基于webnotebook,支持各种解析器,可视化的数据提取,数据发现,数据分析等。当前zeppelin支持多中解析器,比如spark,python,jdbc,markdown,shell等等。

因为我是用笔记本来学习,为了简化安装步骤,决定使用Docker 来搭建环境。

二、环境搭建

1,安装Docker Desktop,具体方法请参考官网说明即可。

2,下载Docker。现在zeppelin最新的版本是0.10.0。在启动Docker Desktop后,直接运行 docker pull apache/zeppelin:0.10.0  即可将最新的zeppelin docker下载到本地。

3zeppelin默认的docker里面不包括Flink,所以需要自行下载,去官网下载即可。我这次使用的是1.12.7。下载后解压到希望Flink运行的目录。

4,运行

docker run -p 8080:8080 -p 8081:8081 --rm -v D:/Docker/zeppelin/flink-1.12.7:/opt/flink -e FLINK_HOME=/opt/flink  --name zeppelin apache/zeppelin:0.10.0

即可启动Zeppelin环境。其中D:/Docker/zeppelin/flink-1.12.7 flink解压的目录。

然后就可以通过http://localhost:8080/ 访问zeppelin

image.png

可以直接运行Flink Tutorial

image.png

image.png

可以通过http://localhost:8081/ 查看FlinkUI

 

image.png

现在你就可以愉快的玩耍了。

5,也可以通过docker-compose来启动和关闭zepplindocker-compose.yml文件内容如下:

version: '3'

services:

   zeppelin:

       image: apache/zeppelin:0.10.0

       restart: always

       environment:

           - FLINK_HOME=/opt/flink

       volumes:

           - D:/Docker/zeppelin/flink-1.12.7:/opt/flink

       ports:

           - 8080:8080

           - 8081:8081

docker-compose.yml文件的目录里可以通过docker-compose up -d docker-compose down 来启动和停止zeppelin

 

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
3月前
|
Linux C++ Windows
【Azure 应用服务】Azure App Service(Windows)环境中如何让.NET应用调用SAP NetWeaver RFC函数
【Azure 应用服务】Azure App Service(Windows)环境中如何让.NET应用调用SAP NetWeaver RFC函数
【Azure 应用服务】Azure App Service(Windows)环境中如何让.NET应用调用SAP NetWeaver RFC函数
|
3月前
|
传感器 网络协议 物联网
手把手教你在 Windows 环境中搭建 MQTT 服务器
手把手教你在 Windows 环境中搭建 MQTT 服务器
299 0
|
18天前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
46 9
|
1月前
|
Oracle 关系型数据库 MySQL
Mysql(1)—简介及Windows环境下载安装
MySQL 是一个流行的关系型数据库管理系统(RDBMS),基于 SQL 进行操作。它由瑞典 MySQL AB 公司开发,后被 Sun Microsystems 收购,现为 Oracle 产品。MySQL 是最广泛使用的开源数据库之一,适用于 Web 应用程序、数据仓库和企业应用。
55 2
|
1月前
|
应用服务中间件 Shell PHP
windows系统配置nginx环境运行pbootcms访问首页直接404的问题
windows系统配置nginx环境运行pbootcms访问首页直接404的问题
|
2月前
|
SQL JavaScript 数据库
sqlite在Windows环境下安装、使用、node.js连接
sqlite在Windows环境下安装、使用、node.js连接
|
1月前
|
Windows
Windows系统环境编写DOS批处理文件
Windows系统环境编写DOS批处理文件
|
3月前
|
Java 应用服务中间件 Windows
【App Service for Windows】为 App Service 配置自定义 Tomcat 环境
【App Service for Windows】为 App Service 配置自定义 Tomcat 环境
|
3月前
|
并行计算 TensorFlow 算法框架/工具
Windows11+CUDA12.0+RTX4090如何配置安装Tensorflow2-GPU环境?
本文介绍了如何在Windows 11操作系统上,配合CUDA 12.0和RTX4090显卡,通过创建conda环境、安装特定版本的CUDA、cuDNN和TensorFlow 2.10来配置TensorFlow GPU环境,并提供了解决可能遇到的cudnn库文件找不到错误的具体步骤。
423 3
|
3月前
|
Windows
Windows 10找不到恢复环境
Windows 10找不到恢复环境
23 0

热门文章

最新文章

下一篇
无影云桌面