备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

如果公司要部署一套flink on k8s，HDFS是不是必要的？数据量不是特别大，谢谢大佬解答一下

如果公司要部署一套flink on k8s，HDFS是不是必要的？数据量不是特别大，谢谢大佬解答一下本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击这里欢迎加入感兴趣的技术领域群。

展开

收起

黄一刀 2019-12-09 15:09:51 4056 0

2 条回答

写回答

取消提交回答

opp

还是需要一个远端存储的，特别是用来存储flink的cpt。推荐阿里云存储服务的文件存储HDFS：https://www.aliyun.com/product/alidfs 可以提供全托管的hdfs存储服务。

2020-03-07 18:53:24

赞同展开评论打赏
黄二刀

hdfs不是必须的，你也可以部署一个minIO做存储，用写s3文件，flink也是只是支持filesystem用S3的

2019-12-09 15:10:10

赞同展开评论打赏

问答分类：

Kubernetes 流计算开发者容器实时计算 Flink版容器服务Kubernetes版

问答标签：

实时计算 Flink版部署部署容器服务Kubernetes版容器服务Kubernetes版 flink 容器服务Kubernetes版部署实时计算 Flink版 k8s

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关产品：

实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

flink cdc写hdfs文件的时候，如果开启文件合并的话，最终的文件不能通过hive映射读取吗？

23

0

0

java flink + kafka,后端状态放hdfs后,每次重启服务,又从最早的消息开始消费问题

29

0

0

Flink CDC里tidb cdc 数据量大了就疯狂报空指针怎么处理啊？

37

1

0

Flink独立集群与hdfs集群不在一起，flink如何配置checkpoint目录为hdfs？

13

1

0

Flink CDC里我flink1.17部署了，启动后一直看不到slot的个数怎么办？

24

1

0

Flink提交到k8s，这个是缺什么包吗？

12

0

0

flink cdc同步一个oracle表，数据量大概800万，检查点失败，有朋友能给点排查思路么？

19

0

0

Flink CDC 里哪找 k8s flink-cdc 的部署手册或者参考文档？

21

1

0

Flink CDC能否实时监控HDFS上的文件变化？

27

1

0

实时计算 Flink版公司要求用docker部署flink集群这种情况最少需要几台服务器呀？!

38

3

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

实时计算 Flink版

文档详情产品详情

热门讨论

热门文章

flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？

Flink-CDC 文档网站地址是什么？

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

使用Flink CDC，生产环境要申请的服务器如何评估

flink1.15启动后无法访问webui的问题有人遇到过吗

请问flink-connector-jdbc在sink时，如何设置批量写入？

flink web UI 是不是本身不支持登录认证，必须通过nginx来加登录认证？

flink cdc，读取datetime类型，全都变成了时间戳，怎么解决？下游是可以解决。但是我想知

展开全部

Flink+Paimon+Hologres 构建实时湖仓数据分析

数据仓库介绍与实时数仓案例

权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

实时计算 Flink SQL 核心功能解密

阿里云实时计算产品案例&解决方案汇总

Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

运维场景下的实时计算应用

Flink: 实时规则引擎助力新零售发展

Apache Flink 漫谈系列(06) - 流表对偶(duality)性

Flink on YARN（下）：常见问题与排查思路

展开全部

相关课程

更多

体验-Kubernetes 对象及资源规范

908

1

去学习

阿里云K8S微服务部署案例

640

11

去学习

Kubernetes极速入门

1065

42

去学习

Serverless 容器从入门到精通: - Serverless Kubernetes

1145

7

去学习

Kubernetes云原生管理实践

799

3

去学习

Kubernetes入门

2702

12

去学习

相关电子书

更多

ACK 云原生弹性方案—云原生时代的加速器 立即下载

ACK集群类型选择最佳实践 立即下载

企业运维之云原生和Kubernetes 实战 立即下载

相关实验场景

更多