基于 Flink 的中国电信星海时空数据多引擎实时改造
本文整理自中国电信集团大数据架构师李新虎老师在Flink Forward Asia 2024的分享，围绕星海时空智能系统展开，涵盖四个核心部分：时空数据现状、实时场景多引擎化、典型应用及未来展望。系统日处理8000亿条数据，具备亚米级定位能力，通过Flink多引擎架构解决数据膨胀与响应时效等问题，优化资源利用并提升计算效率。应用场景包括运动状态识别、个体行为分析和群智感知，未来将推进湖仓一体改造与三维时空服务体系建设，助力数字化转型与智慧城市建设。
Spring Boot整合kafka
本文简要记录了Spring Boot与Kafka的整合过程。首先通过Docker搭建Kafka环境，包括Zookeeper和Kafka服务的配置文件。接着引入Spring Kafka依赖，并在`application.properties`中配置生产者和消费者参数。随后创建Kafka配置类，定义Topic及重试机制。最后实现生产者发送消息和消费者监听消息的功能，支持手动ACK确认。此方案适用于快速构建基于Spring Boot的Kafka消息系统。
中原银行实时场景企业级解决方案
中原银行实时数据开发平台负责人杜威科在Flink Forward Asia 2024分享了银行业实时数据处理的经验。内容涵盖需求分析、解决方案、场景案例与现状展望。银行业需构建全链路、全场景的企业级实时数据平台，解决动账场景下的复杂计算需求。通过Flink+Paimon方案，实现高效更新、低成本存储与便捷查询。案例包括账户表实时更新入湖、交易协同优化、实时图应用、海量数据存储及业务人员易用性建设。未来目标是实现上千张表实时入湖，缩短延迟并探索AI结合的新场景。
RocketMQ实战—6.生产优化及运维方案
本文围绕RocketMQ集群的使用与优化，详细探讨了六个关键问题。首先，介绍了如何通过ACL配置实现RocketMQ集群的权限控制，防止不同团队间误用Topic。其次，讲解了消息轨迹功能的开启与追踪流程，帮助定位和排查问题。接着，分析了百万消息积压的处理方法，包括直接丢弃、扩容消费者或通过新Topic间接扩容等策略。此外，提出了针对RocketMQ集群崩溃的金融级高可用方案，确保消息不丢失。同时，讨论了为RocketMQ增加限流功能的重要性及实现方式，以提升系统稳定性。最后，分享了从Kafka迁移到RocketMQ的双写双读方案，确保数据一致性与平稳过渡。
搭建Zookeeper、Kafka集群
本文详细介绍了Zookeeper和Kafka集群的搭建过程，涵盖系统环境配置、IP设置、主机名设定、防火墙与Selinux关闭、JDK安装等基础步骤。随后深入讲解了Zookeeper集群的安装与配置，包括数据目录创建、节点信息设置、SASL认证配置及服务启动管理。接着描述了Kafka集群的安装，涉及配置文件修改、安全认证设置、生产消费认证以及服务启停操作。最后通过创建Topic、发送与查看消息等测试验证集群功能。全网可搜《小陈运维》获取更多信息。
Lalamove基于Flink实时湖仓演进之路
本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写，围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景，随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战，如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程，解决了数据延迟、兼容性及资源消耗等问题。最后展望未来，提出基于Fluss+Paimon优化架构的方向，进一步提升性能与降低成本。
RocketMQ实战—4.消息零丢失的方案
本文分析了用户支付完成后未收到红包的问题，深入探讨了RocketMQ事务消息机制的实现原理及其在确保消息零丢失中的作用。首先，通过全链路分析发现消息可能在推送、存储或消费环节丢失。接着，介绍了RocketMQ事务消息机制如何通过half消息、本地事务执行及回调确认来保证消息发送成功，并详细解析了其底层原理，如half消息对消费者不可见、rollback与commit操作等。同时，对比了同步重试方案，指出其在复杂场景下的局限性。