美团点评旅游推荐系统的演进

海尔电器互联网技术中心资深架构师肖云在QCon上的演讲《海尔实时计算平台技术选型与实践》覆盖了以下核心内容：

1. 海尔公司介绍：

   • 肖云分享了海尔作为全球领先的家电品牌，在数字化转型中面临的挑战与机遇，特别是在构建高效、灵活的实时数据处理体系方面的需求。

2. 实时计算平台背景：

   • 随着业务对数据时效性要求的提升，海尔决定构建实时计算平台以应对海量数据的实时加工、存储与分析需求。传统离线数仓已无法满足日益增长的实时决策支持场景。

3. 开源技术选型：

   • 在技术选型过程中，海尔考虑了多个因素，包括技术成熟度、社区活跃度、生态兼容性及运维成本等。最终选择了Apache Flink作为实时计算引擎，因其强大的流处理能力、低延迟和高吞吐特性，适合大规模实时数据处理。

4. 实践方案概述：

   • 实践中，海尔采用了Flink结合Hologres（一种实时数仓解决方案）来搭建实时数据仓库。该方案通过Flink实现数据源到Hologres的实时同步，并在Hologres内完成数据分层（ODS, DWD, DWS），实现了数据的实时写入、更新与查询能力。

5. 开源技术改造经验：

   • 集成与优化：分享了如何将Flink与Hologres深度集成，利用Hologres的Binlog功能驱动Flink进行实时计算，以及如何利用行列共存特性提高数据处理效率和灵活性。
   • 性能调优与稳定性：讨论了针对特定业务场景进行的性能调优策略，如资源隔离配置、SQL优化等，确保系统稳定运行并达到预期性能指标。
   • 迁移与升级：介绍了从自建Flink集群向阿里云实时计算Flink版迁移的经验，包括资源估算、作业迁移、数据正确性验证等步骤，强调了迁移过程中的注意事项和最佳实践。
   • 问题解决：提及了在开发与调试过程中遇到的问题，比如使用UDTF时POJO类字段错位问题的识别与修正方法，展示了技术团队在实际应用中解决问题的能力和经验。

综上所述，肖云的分享不仅揭示了海尔在实时计算平台建设上的技术路径，还深入探讨了技术选型逻辑、实施细节、遇到的挑战及其解决方案，为其他企业提供了宝贵的技术实践参考。