备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

批处理读取数据不落盘，全读完才去sink，最终效果应该是读一些数据sink一些数据把，要设置多个并行

批处理读取数据不落盘，全读完才去sink，最终效果应该是读一些数据sink一些数据把，要设置多个并行度吗？

展开

收起

云上静思 2022-09-02 11:23:19 407 0

1 条回答

写回答

取消提交回答

云墩墩

提交任务时会设置并行度

此答案来自钉钉群“【2】Apache Flink China 社区”

2022-09-02 15:19:27

赞同展开评论打赏

问答分类：

实时计算 Flink版

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

HDFS中读操作为什么可以并行读取啊？

726

1

0

cdc这边会报错，将会从头开始读数据，这个问题如何解决？

751

1

0

flink批处理，一次性读多少数据合理，怎么分批读

939

14

0

如果sink算子出错后offset依然提交了，有没有大神指定咋回事啊

169

0

0

我现在碰到了批处理读取数据不落盘，全读完才去sink，这个临时文件我要怎么去找，是在hdfs里面吗？

450

1

0

在 Flink 中，很多地方都涉及到本地磁盘的读写，比如日志输出、RocksDB 读写、批任务 s

433

1

0

大佬们,请问 flink-cdc 在增量阶段对应同一张表也是并发读取的吗? 是不是一个表一个并发实时

397

1

0

大佬，请教下，flink写数据后用spark读数据，这个时区问题有好的解决方案不

463

1

0

请问一下，datastream方式读取mongodb变化数据，参数调过了没啥效果，也没有背压，延迟还

569

1

0

Flink CEP 编程中当状态没有到达的时候会将数据具体保存在哪里呀？

460

1

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

flink1.15启动后无法访问webui的问题有人遇到过吗

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

Caused by: org.apache.kafka.common.errors.TimeoutE

Flink CDC有遇见这个问题的吗？

flinkcdc连接oracle-19c提示不支持logmnr大家有遇到的吗，报ORA-44609？

flink 1.18必须配套JDK11吗 1.8是不是不行了呢？

Flink CDC中The MySQL server has a 兄弟们这个错误咋搞啊？

flink都是100%占用，请问是什么情况呢？

Flink这个 busy 是啥意思？

展开全部

【对话科技】Flink技术介绍和新功能展望

Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL

基于 Flink 的实时数仓生产实践

Flink入坑指南第四章：SQL中的经典操作Group By+Agg

实时欺诈检测（风控）

如何在 Flink 1.9 中使用 Hive？

来！PyFlink 作业的多种部署模式

【阿里内部应用】基于Blink构建搜索全链路debug系统快速定位搜索问题

Flink 实时写入数据到 ElasticSearch 性能调优

Flink 与 Hive 的磨合期

展开全部

相关电子书

更多

Apache Flink 流式应用中状态的数据结构定义升级 立即下载

HBase2.0重新定义小对象实时存取 立即下载

大批量处理excel文件到ODPS中方案 立即下载