# 实时计算 Flink版 #
1
关注
33497内容
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享，聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程，解决复杂业务场景下的数据分析挑战，如多维OLAP分析、大屏监控等。同时，文章详细介绍了基于StarRocks的湖仓一体方案，优化存储成本并提升查询效率，以及存算分离的应用实践。最后，对未来数据服务的发展方向进行了展望，计划推广长周期数据存储服务和原生数据湖建设，进一步提升数据分析能力。
中原银行实时场景企业级解决方案
中原银行实时数据开发平台负责人杜威科在Flink Forward Asia 2024分享了银行业实时数据处理的经验。内容涵盖需求分析、解决方案、场景案例与现状展望。银行业需构建全链路、全场景的企业级实时数据平台，解决动账场景下的复杂计算需求。通过Flink+Paimon方案，实现高效更新、低成本存储与便捷查询。案例包括账户表实时更新入湖、交易协同优化、实时图应用、海量数据存储及业务人员易用性建设。未来目标是实现上千张表实时入湖，缩短延迟并探索AI结合的新场景。
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
本文介绍了对Flink实时计算编译任务的Koupleless架构改造。为解决进程模型带来的响应慢、资源消耗大等问题，团队将进程模型改为线程模型，并借助Koupleless的类加载隔离能力实现版本和包的隔离。通过动态装配Plugin及其Classpath，以及Biz运行时仅对依赖Plugin可见的设计，大幅优化了编译任务的性能。结果表明，新架构使编译耗时降低50%，吞吐量提升5倍以上。
Lalamove基于Flink实时湖仓演进之路
本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写，围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景，随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战，如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程，解决了数据延迟、兼容性及资源消耗等问题。最后展望未来，提出基于Fluss+Paimon优化架构的方向，进一步提升性能与降低成本。
Kubernetes 1.28：StorageClass动态生成PV与SelfLink问题解决
总结起来，在Kubernetes 1.28版本下处理StorageClass动态生成PV与SelfLink问题主要包括两方面：首先要充分利用StorageClass进行灵活高效地管理存储卷；其次要适应SelfLink的移除，通过其他方式获取和管理资源对象信息。这两个方面的处理都是为了提高Kubernetes集群管理的效率和安全性，是每个Kubernetes管理员都需要掌握的重要知识。
Flink Forward Asia 2025 新加坡站议题征集开启｜The future of AI is Real-Time
Flink Forward Asia 2025 将于7月3日在新加坡盛大召开！作为Apache Flink社区顶级会议，大会聚焦实时AI、实时湖仓、实时分析等前沿方向，汇聚全球顶尖技术实践。即日起开放议题征集，诚邀开发者与数据专家分享创新经验。席位有限，立即行动！扫码或访问官网报名参与这场年度技术盛宴，共话实时计算未来。
Dinky 和 Flink CDC 在实时整库同步的探索之路
本次分享围绕 Dinky 的整库同步技术演进，从传统数据集成方案的痛点出发，探讨了 Flink CDC Yaml 作业的探索历程。内容分为三个部分：起源、探索、未来。在起源部分，分析了传统数据集成方案中全量与增量割裂、时效性低等问题，引出 Flink CDC 的优势；探索部分详细对比了 Dinky CDC Source 和 Flink CDC Pipeline 的架构与能力，深入讲解了 YAML 作业的细节，如模式演变、数据转换等；未来部分则展望了 Dinky 对 Flink CDC 的支持与优化方向，包括 Pipeline 转换功能、Transform 扩展及实时湖仓治理等。
Flink Shuffle 技术演进之路
本文由阿里云智能Flink团队郭伟杰与哔哩哔哩蒋晓峰在Flink Forward Asia 2024上的分享整理而成，聚焦Flink Shuffle技术的演进与未来规划。内容涵盖低延迟的Pipelined Shuffle、高吞吐的Blocking Shuffle、流批一体的Hybrid Shuffle三大模式及其应用场景，并探讨了Flink与Apache Celeborn的整合、性能优化及长期发展路线图。通过Hybrid Shuffle等创新技术，Flink实现了资源调度灵活性与高性能的平衡，为流批一体化计算提供了强大支持。未来，社区将进一步优化Shuffle机制，提升系统智能化与易用性。
Flink批处理自适应执行计划优化
本文整理自阿里集团高级开发工程师孙夏在Flink Forward Asia 2024的分享，聚焦Flink自适应逻辑执行计划与Join算子优化。内容涵盖自适应批处理调度器、动态逻辑执行计划、自适应Broadcast Hash Join及Join倾斜优化等技术细节，并展望未来改进方向，如支持更多场景和智能优化策略。文章还介绍了Flink UI调整及性能优化措施，为批处理任务提供更高效、灵活的解决方案。
Flink + Doris 实时湖仓解决方案
本文整理自SelectDB技术副总裁陈明雨在Flink Forward Asia 2024的分享，聚焦Apache Doris与湖仓一体解决方案。内容涵盖三部分：一是介绍Apache Doris，一款高性能实时分析数据库，支持多场景应用；二是基于Doris、Flink和Paimon的湖仓解决方案，解决批流融合与数据一致性挑战；三是Doris社区生态及云原生发展，包括存算分离架构与600多位贡献者的活跃社区。文章深入探讨了Doris在性能、易用性及场景支持上的优势，并展示了其在多维分析、日志分析和湖仓分析中的实际应用案例。
免费试用