实时计算 Flink版产品使用合集之并行度设置为1时,读取和发送字节数为0,有什么办法可以解决

简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:用flinkcdc2.2.1造成数据库归档日志暴涨一个小时几百个G 请问怎么处理啊?


用flinkcdc2.2.1同步oracle数据库 造成数据库归档日志暴涨一个小时几百个G 请问怎么处理啊?如果删除日志的话 又会报scn找不到的错误 造成任务失败 必须得重启


参考回答:

如果你使用的是 Flink CDC v2.2.1,那么有可能是因为 Flink CDC 在处理大量数据时产生大量归档日志而导致归档日志爆炸式增长。以下是几个可能的解决方法:

  1. 减少 Flink CDC 采样频率:降低 Flink CDC 采样频率可以让 Flink CDC 更少地生成归档日志,减小归档日志的增长速度。
  2. 调整归档日志策略:你可以调整 Oracle 数据库的归档日志策略,使其周期性地删除旧的日志。例如,可以设置 ARCHIVELOGFILECOUNT 和 ARCHIVELOGDEST 参数,限制归档日志的数量和大小。
  3. 调整连接池大小:Flink CDC 使用连接池处理连接请求,增加连接池大小可能会有助于减轻归档日志的增长速度。
  4. 使用效率更高的数据库表结构:检查你的表结构和索引设置是否合理,并尝试优化数据库表结构以提高效率。
  5. 关闭归档日志:禁用归档日志将彻底解决问题,但会导致 Flink CDC 无法捕获全部更改,影响数据一致性。

如果你不想删除归档日志,并且希望能够从归档日志中恢复数据,可以尝试使用 RMAN 工具来备份和恢复归档日志,并尝试修复归档日志的 SCN 错误。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567895


问题二:Flink CDC并行度为1,接收发送字节都为0,有什么办法显示接收和发送字节数?


Flink CDC并行度为1,接收发送字节都为0,有什么办法显示接收和发送字节数?paimon写到sr,读写并行度都设置为1


参考回答:

如果有数据过去了,这就是连接器的问题了,Flink的Records Received相关指标用于描述不同Operator之间的数据通信,当作业被优化为一个Operator时,该指标值恒为0。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567893


问题三:Flink CDC维表的数据只是在flink任务起来就一直不更新吗 哪怕是这个维表数据有变动?


Flink CDC维表的数据只是在flink任务起来就一直不更新吗 哪怕是这个维表数据有变动?


参考回答:

FOR SYSTEM_TIME AS OF 语法你可以了解下,你是从savepoint启动的话,状态是不兼容的


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567891


问题四:Flink Kubernetes Operator 和Native Kubernetes 有啥区别?


Flink Kubernetes Operator 和Native Kubernetes 有啥区别?


参考回答:

Flink Kubernetes Operator 和 Native Kubernetes 在部署 Flink 应用时有一些差异:

  1. 部署方式:Native Kubernetes 需要通过 kubectl 或 Helm 进行部署,而 Flink Kubernetes Operator 通过 Operator 进行自动化部署。
  2. 相关操作:Native Kubernetes 需要自己管理 pod 的生命周期,而 Flink Kubernetes Operator 可以为 pod 提供自动化管理和调度。
  3. 资源管理:Flink Kubernetes Operator 可以更好地管理和协调资源,以减少资源浪费和冲突。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567886


问题五:Flink CDC用那种方式部署在k8s里面的?


Flink CDC用那种方式部署在k8s里面的?


参考回答:

可以看看官网推荐的https://nightlies.apache.org/flink/flink-docs-release-1.18/zh/docs/deployment/resource-providers/native_kubernetes/


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567885




相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
zdl
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
900 56
|
SQL 运维 数据可视化
阿里云实时计算Flink版产品体验测评
阿里云实时计算Flink基于Apache Flink构建,提供一站式实时大数据分析平台,支持端到端亚秒级实时数据分析,适用于实时大屏、实时报表、实时ETL和风控监测等场景,具备高性价比、开发效率、运维管理和企业安全等优势。
|
数据可视化 大数据 数据处理
评测报告:实时计算Flink版产品体验
实时计算Flink版提供了丰富的文档和产品引导,帮助初学者快速上手。其强大的实时数据处理能力和多数据源支持,满足了大部分业务需求。但在高级功能、性能优化和用户界面方面仍有改进空间。建议增加更多自定义处理函数、数据可视化工具,并优化用户界面,增强社区互动,以提升整体用户体验和竞争力。
313 2
|
运维 数据处理 Apache
数据实时计算产品对比测评报告:阿里云实时计算Flink版
数据实时计算产品对比测评报告:阿里云实时计算Flink版
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
510 0
|
消息中间件 分布式计算 大数据
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
1591 0
|
SQL 存储 运维
如何降低 Flink 开发和运维成本?阿里云实时计算平台建设实践
本次分享主要介绍阿里云实时计算平台从 2.0 基于 Yarn 的架构到 3.0 云原生时代的演进,以及在 3.0 平台上一些核心功能的建设实践,如健康分,智能诊断,细粒度资源,作业探查以及企业级安全的建设等。
如何降低 Flink 开发和运维成本?阿里云实时计算平台建设实践
|
SQL 存储 分布式计算
汽车之家基于 Flink 的实时计算平台 3.0 建设实践
汽车之家实时计算平台负责人邸星星在 FFA 2021 的分享
汽车之家基于 Flink 的实时计算平台 3.0 建设实践
|
存储 SQL 分布式计算
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践
517 0
|
存储 数据挖掘 Apache
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)
《Apache Flink 案例集(2022版)》——2.数据分析——汽车之家-Flink 的实时计算平台 3.0 建设实践(2)
564 0

相关产品

  • 实时计算 Flink版