AI 助理
备案控制台
开发者社区 数据库 文章 正文

Flink应用优化实践

2023-12-29 118
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，1000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： Flink应用优化实践

1.问题定位(接入监控系统，在关键点位加入监控点)

2.HBase表优化实践

发现HBase数据保存以及查询一直耗时较高，联系HBase同事，做了限流处理，解决限流

3.HBase优化之后，发现仍然耗时较大，看到大部分请求走HBase，上面再做一层缓存，用redis做缓存，调用数量明显减少

4.请求接口监控，增加缓存，减少请求接口数量

5.最后kafka消费终于上去了，消息积压变少

6.消息挤压数量减小

7.解决思路------监控的使用非常关键，能够观察耗时、请求数量、可用率等等指标

(1)接入监控，在关键点加入监控点

(2)观察走HBase请求数量、请求接口数量以及耗时，增减缓存，减少直接走接口和查询HBase


文章标签：
实时计算 Flink版
云数据库HBase版
流计算
Hbase
分布式数据库
监控
缓存
关键词：
实时计算 Flink版实践
实时计算 Flink版优化
实时计算 Flink版应用
实时计算 Flink版优化实践
实时计算 Flink版应用优化
相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！ 欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
诸葛子房
目录
相关文章
灵杰开发者
|
8月前
|
存储 监控 数据挖掘
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享，聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程，解决复杂业务场景下的数据分析挑战，如多维OLAP分析、大屏监控等。同时，文章详细介绍了基于StarRocks的湖仓一体方案，优化存储成本并提升查询效率，以及存算分离的应用实践。最后，对未来数据服务的发展方向进行了展望，计划推广长周期数据存储服务和原生数据湖建设，进一步提升数据分析能力。
灵杰开发者
779 1
京东物流基于Flink & StarRocks的湖仓建设实践
灵杰开发者
|
9月前
|
SQL 算法 调度
Flink批处理自适应执行计划优化
本文整理自阿里集团高级开发工程师孙夏在Flink Forward Asia 2024的分享，聚焦Flink自适应逻辑执行计划与Join算子优化。内容涵盖自适应批处理调度器、动态逻辑执行计划、自适应Broadcast Hash Join及Join倾斜优化等技术细节，并展望未来改进方向，如支持更多场景和智能优化策略。文章还介绍了Flink UI调整及性能优化措施，为批处理任务提供更高效、灵活的解决方案。
灵杰开发者
384 0
Flink批处理自适应执行计划优化
灵杰开发者
|
6月前
|
资源调度 Kubernetes 流计算
Flink在B站的大规模云原生实践
本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享，围绕Flink On K8S的实践展开。内容涵盖五个部分：背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战，包括资源池统一、环境一致性改进及隔离性提升，并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外，还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向，为Flink云原生化提供了全面的技术参考。
灵杰开发者
373 9
Flink在B站的大规模云原生实践
灵杰开发者
|
7月前
|
SQL 存储 NoSQL
Flink x Paimon 在抖音集团生活服务的落地实践
本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享，聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分：背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon，解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题，显著提升了开发运维效率、节省资源并增强了任务稳定性。同时，文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用，并介绍了其核心技术优化与未来规划。
灵杰开发者
684 10
Flink x Paimon 在抖音集团生活服务的落地实践
灵杰开发者
|
7月前
|
SQL 关系型数据库 MySQL
Flink CDC 3.4 发布, 优化高频 DDL 处理，支持 Batch 模式，新增 Iceberg 支持
Apache Flink CDC 3.4.0 版本正式发布！经过4个月的开发，此版本强化了对高频表结构变更的支持，新增 batch 执行模式和 Apache Iceberg Sink 连接器，可将数据库数据全增量实时写入 Iceberg 数据湖。51位贡献者完成了259次代码提交，优化了 MySQL、MongoDB 等连接器，并修复多个缺陷。未来 3.5 版本将聚焦脏数据处理、数据限流等能力及 AI 生态对接。欢迎下载体验并提出反馈！
灵杰开发者
1253 1
Flink CDC 3.4 发布, 优化高频 DDL 处理，支持 Batch 模式，新增 Iceberg 支持
灵杰开发者
|
7月前
|
资源调度 Kubernetes 调度
网易游戏 Flink 云原生实践
本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验，从Yarn到K8s云原生，再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案，包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构，网易游戏显著提升了资源利用率，降低了30%机器成本，小作业计算成本下降40%，并为未来性能优化、流批一体及智能运维奠定了基础。
灵杰开发者
434 9
网易游戏 Flink 云原生实践
灵杰开发者
|
9月前
|
存储 运维 监控
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
本文总结了阿里妈妈数据技术专家陈亮在Flink Forward Asia 2024大会上的分享，围绕广告业务背景、架构设计及湖仓方案演进展开。内容涵盖广告生态运作、实时数仓挑战与优化，以及基于Paimon的湖仓方案优势。通过分层设计与技术优化，实现业务交付周期缩短30%以上，资源开销降低40%，并大幅提升系统稳定性和运营效率。文章还介绍了阿里云实时计算Flink版的免费试用活动，助力企业探索实时计算与湖仓一体化解决方案。
灵杰开发者
1006 3
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
灵杰开发者
|
9月前
|
存储 SQL Java
Flink CDC + Hologres高性能数据同步优化实践
本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成（二）专场的分享，主要内容包括：1. Hologres介绍：实时数据仓库，支持毫秒级写入和高QPS查询；2. 写入优化：通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟；3. 消费优化：优化离线场景和分区表的消费逻辑，提升性能和资源利用率；4. 未来展望：进一步简化用户操作，支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台，提供多项新功能并降低使用成本。
灵杰开发者
701 1
Flink CDC + Hologres高性能数据同步优化实践
技术小达人
|
9月前
|
SQL 存储 调度
基于 Flink 进行增量批计算的探索与实践
基于 Flink 进行增量批计算的探索与实践
技术小达人
239 1
基于 Flink 进行增量批计算的探索与实践
蚂蚁数据智能技术
|
9月前
|
存储 运维 BI
万字长文带你深入广告场景Paimon+Flink全链路探索与实践
本文将结合实时、离线数据研发痛点和当下Paimon的特性，以实例呈现低门槛、低成本、分钟级延迟的流批一体化方案，点击文章阅读详细内容～
蚂蚁数据智能技术
805 1

热门文章

最新文章

  • 1
    【湖仓一体】阿里云AnalyticDB MySQL基于Flink CDC+Hudi实现多表全增量入湖实践
  • 2
    【最佳实践】实时计算 Flink 版在金融行业的实时数仓建设实践
  • 3
    Flink 靠什么征服饿了么工程师？
  • 4
    Flink CDC 2.2 正式发布，新增四种数据源，支持动态加表，提供增量快照框架
  • 5
    Apache Flink 漫谈系列(08) - SQL概览
  • 6
    快手基于 Flink 的持续优化与实践
  • 7
    Flink 实时计算在微博的应用
  • 8
    滴滴基于 Flink 的实时数仓建设实践
  • 9
    Flink Weekly | 每周社区动态更新-20200513
  • 10
    都在这儿了！5月 Flink 社区发版、更新汇总
  • 1
    Flink程序员开发利器本地化WebUI生成
    456
  • 2
    在docker中玩flink时候记录一些组合命令
    121
  • 3
    在Docker跑通Flink分布式版本的WordCount
    225
  • 4
    使用Docker快速部署Flink分布式集群
    1573
  • 5
    Flink Watermark和时间语义
    171
  • 6
    14个Flink SQL性能优化实践分享
    588
  • 7
    Flink API的4个层次
    461
  • 8
    实时计算 Flink版产品使用合集之如何批量读取Kafka数据
    1504
  • 9
    实时计算 Flink版产品使用合集之如何指定FlinkYarnSession启动的properties文件存放位置
    947
  • 10
    实时计算 Flink版产品使用合集之如何指定表的隐藏列为主键
    587

    • 相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink峰会 - 李佳林
  • Flink峰会 - 徐榜江
  • Flink CDC Meetup PPT - 龚中强

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Kafka实现订单评论实时分析
    • 下一篇
    对象存储OSS快速上手——如何使用ossbrower2