灵杰开发者_个人页

2025年09月

• 09.17 17:05:04
  发表了文章 2025-09-17 17:05:04

  Flink基于Paimon的实时湖仓解决方案的演进

  本文源自Apache CommunityOverCode Asia 2025，阿里云专家苏轩楠分享Flink与Paimon构建实时湖仓的演进实践。深度解析Variant数据类型、Lookup Join优化等关键技术，提升半结构化数据处理效率与系统可扩展性，推动实时湖仓在生产环境的高效落地。

  
• 09.10 17:11:47
  发表了文章 2025-09-10 17:11:47

  AI搜索的黑科技？DeepSearch 究竟“深”藏着什么秘密？

  本文介绍 OpenSearch 凭借领先的AI搜索技术，应用DeepSearch 的设计框架能更有效解决复杂和多跳问题，优化用户体验。

  
• 09.10 16:14:27
  发表了文章 2025-09-10 16:14:27

  Flink Agents：基于Apache Flink的事件驱动AI智能体框架

  本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲，深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体，结合Flink的实时处理能力，推动AI在工业场景中的工程化落地，涵盖智能运维、直播分析等典型应用，展现其在AI发展第四层次——智能体AI中的重要意义。

  
• 09.08 14:47:01
  发表了文章 2025-09-08 14:47:01

  淘宝闪购基于Flink&Paimon的Lakehouse生产实践：从实时数仓到湖仓一体化的演进之路

  本文整理自淘宝闪购（饿了么）大数据架构师王沛斌在 Flink Forward Asia 2025 上海站的分享，深度解析其基于 Apache Flink 与 Paimon 的 Lakehouse 架构演进与落地实践，涵盖实时数仓发展、技术选型、平台建设及未来展望。

  
• 09.04 10:42:32
  发表了文章 2025-09-04 10:42:32

  从嵌入式状态管理到云原生架构：Apache Flink 的演进与下一代增量计算范式

  本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享，深入解析 Flink 状态管理系统的发展历程，从核心设计到 Flink 2.0 存算分离架构，并展望未来基于流批一体的通用增量计算方向。

  

2025年08月

• 08.29 11:49:58
  发表了文章 2025-08-29 11:49:58

  抖音基于Flink的DataOps能力实践

  本文整理自抖音集团数据工程师黄鑫在Flink Forward Asia 2024的分享，围绕抖音实时数据研发的现状与挑战、DataOps能力建设及未来规划展开，涵盖需求管理、开发测试、发布运维等全流程实践，旨在提升数据质量与开发效率，实现高效稳定的数据交付。

  
• 08.27 16:27:55
  发表了文章 2025-08-27 16:27:55

  Apache Flink错误处理实战手册：2年生产环境调试经验总结

  本文由 Ververica 客户成功经理 Naci Simsek 撰写，基于其在多个行业 Flink 项目中的实战经验，总结了 Apache Flink 生产环境中常见的三大典型问题及其解决方案。内容涵盖 Kafka 连接器迁移导致的状态管理问题、任务槽负载不均问题以及 Kryo 序列化引发的性能陷阱，旨在帮助企业开发者避免常见误区，提升实时流处理系统的稳定性与性能。

  
• 08.26 10:34:18
  发表了文章 2025-08-26 10:34:18

  「48小时极速反馈」阿里云实时计算Flink广招天下英雄

  阿里云实时计算Flink团队，全球领先的流计算引擎缔造者，支撑双11万亿级数据处理，推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才，地点覆盖北京、杭州、上海。技术深度参与开源核心，打造企业级实时计算解决方案，助力全球企业实现毫秒洞察。

  
• 08.25 17:18:34
  发表了文章 2025-08-25 17:18:34

  Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台

  本文整理自 Lazada Group EVP 及供应链技术负责人陈立群在 Flink Forward Asia 2025 新加坡实时分析专场的分享。作为东南亚领先的电商平台，Lazada 面临在六国管理数十亿商品 SKU 的挑战。为实现毫秒级数据驱动决策，Lazada 基于阿里云实时计算 Flink 和 Hologres 打造端到端实时商品选品平台，支撑日常运营与大促期间分钟级响应。本文深入解析该平台如何通过流式处理与实时分析技术重构电商数据架构，实现从“事后分析”到“事中调控”的跃迁。

  
• 08.08 17:37:45
  发表了文章 2025-08-08 17:37:45

  Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理

  简介：本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享，介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展，包括AI函数集成、Join优化及未来发展方向，助力构建高效实时AI管道。
• 08.06 16:35:36
  发表了文章 2025-08-06 16:35:36

  Apache Flink：从实时数据分析到实时AI

  Apache Flink 是实时数据处理领域的核心技术，历经十年发展，已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用，支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布，其在流式湖仓、AI 驱动决策等方面展现出强大潜力，正推动企业迈向智能化、实时化的新阶段。

  
• 08.05 10:13:40
  发表了文章 2025-08-05 10:13:40

  阿里云Elasticsearch Serverless节省计划来啦！预付抵扣包享最高7折优惠！

  阿里云推出ES Serverless推出通用预付优惠抵扣包（节省计划），通过账单折扣进一步降低使用成本，助力企业实现降本增效。

2025年07月

• 07.31 10:10:27
  发表了文章 2025-07-31 10:10:27

  抖音集团基于Paimon的流式数据湖应用实践

  本文整理自抖音集团数据工程师在Flink Forward Asia 2024的分享，围绕流式湖仓架构的背景、实践与未来展望展开。内容涵盖实时数仓架构演进、Paimon的应用与优化，以及在长周期指标计算和大流量场景下的落地实践经验。
• 07.25 10:54:34
  发表了文章 2025-07-25 10:54:34

  Flink Forward Asia 2025 城市巡回 · 上海站

  Flink Forward Asia 2025 城市巡回上海站重磅来袭！8月16日，顶尖技术专家齐聚，共探实时计算前沿趋势与行业实践。大会涵盖技术分享、实战案例与开源生态共建，支持线上直播预约。立即报名，共赴技术盛宴！

  
• 07.18 17:20:10
  发表了文章 2025-07-18 17:20:10

  淘天AB实验分析平台Fluss落地实践：更适合实时OLAP的消息队列

  淘天集团数据开发团队基于Fluss构建新一代实时数仓，解决数据消费冗余、探查困难及大State运维难题。Fluss融合列存与实时更新能力，支持列裁剪、KV点查、Delta Join及湖流一体，显著降低IO与计算资源消耗，提升作业稳定性与数据探查效率。已在淘天AB实验平台落地，覆盖搜索、推荐等核心业务，通过618大促验证，实现千万级流量、秒级延迟，资源消耗降低30%，State缩减超100TB。未来将持续深化湖仓架构，拓展AI场景应用。

  
• 07.09 18:26:48
  发表了文章 2025-07-09 18:26:48

  如何在 Elasticsearch 中构建你的智能 AI 助手？

  本文将带你探索一种全新的思路：如何基于 Elasticsearch 快速构建一个具备自然语言理解能力、异常检测和安全威胁识别能力的智能运维 AI 助手 。文章会围绕实际部署流程、关键技术点和典型应用场景展开，帮助你把 Elasticsearch 从“日志仓库”升级为“智能决策中枢”。
• 07.09 14:54:58
  发表了文章 2025-07-09 14:54:58

  热烈祝贺 Flink 2.0 存算分离入选 VLDB 2025

  Apache Flink 2.0架构实现重大突破，论文《Disaggregated State Management in Apache Flink® 2.0》被VLDB 2025收录。该研究提出解耦式状态管理架构，通过异步执行框架与全新存储引擎ForSt，实现状态与计算分离，显著提升扩展性、容错能力与资源效率，推动Flink向云原生演进，开启流计算新时代。

  
• 07.08 13:06:03
  发表了文章 2025-07-08 13:06:03

  OpenSearch 视频 RAG 实践

  本文介绍了 OpenSearch LLM 版中视频 RAG 的具体实现流程。
• 07.02 12:17:54
  发表了文章 2025-07-02 12:17:54

  AI 搜索 MCP 最佳实践

  本文介绍了如何通过 MCP 协议，快速调用阿里云 OpenSearch 、ElasticSearch 等工具，帮助企业快速集成工具链、降低开发复杂度、提升业务效率。
• 07.01 18:22:08
  发表了文章 2025-07-01 18:22:08

  AI 搜索 MCP 最佳实践

  本文介绍了如何通过 MCP 协议，快速调用阿里云 OpenSearch 、ElasticSearch 等工具，帮助企业快速集成工具链、降低开发复杂度、提升业务效率。

  

2025年06月

• 06.27 15:13:45
  发表了文章 2025-06-27 15:13:45

  FFA 2025 新加坡站全议程上线｜The Future of AI is Real-Time

  Flink Forward Asia 2025将于7月3日在新加坡举办，主题为“实时智能的未来”。大会聚焦实时AI、实时湖仓与实时分析，展示Apache Flink及社区项目如Paimon、Fluss的最新成果。来自阿里云、AWS、TikTok等企业专家将分享洞见，现场及直播观众均可参与互动抽奖，共襄技术盛宴。

  
• 06.19 17:40:45
  发表了文章 2025-06-19 17:40:45

  官宣 | Fluss 0.7 发布公告：稳定性与架构升级

  Fluss 0.7 版本正式发布！历经 3 个月开发，完成 250+ 次代码提交，聚焦稳定性、架构升级、性能优化与安全性。新增湖流一体弹性无状态服务、流式分区裁剪功能，大幅提升系统可靠性和查询效率。同时推出 Fluss Java Client 和 DataStream Connector，支持企业级安全认证与鉴权机制。未来将在 Apache 孵化器中继续迭代，探索多模态数据场景，欢迎开发者加入共建！

  
• 06.11 13:42:47
  发表了文章 2025-06-11 13:42:47

  流批一体向量化引擎Flex

  本文整理自蚂蚁集团技术专家刘勇在Flink Forward Asia 2024上的分享，聚焦流批一体向量化引擎的背景、架构及未来规划。内容涵盖向量化计算的基础原理（如SIMD指令）、现有技术现状，以及蚂蚁在Flink 1.18中引入的C++开发向量化计算实践。通过Flex引擎（基于Velox构建），实现比原生执行引擎更高的吞吐量和更低的成本。文章还详细介绍了功能性优化、正确性验证、易用性和稳定性建设，并展示了线上作业性能提升的具体数据（平均提升75%，最佳达14倍）。最后展望了未来规划，包括全新数据转换层、与Paimon结合及支持更多算子和SIMD函数。

  
• 06.09 15:09:18
  发表了文章 2025-06-09 15:09:18

  ES Serverless 8.17王牌发布：向量检索「火力全开」，智能扩缩「秒级响应」！

  阿里云 Elasticsearch Serverless 检索增强型8.17版本在最新特性扩展、自动扩缩性能、资源成本优化三大维度实现全面跃升，本文将深度解析该版本通过工程优化带来的核心能力升级。
• 06.06 15:39:01
  发表了文章 2025-06-06 15:39:01

  Flink在B站的大规模云原生实践

  本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享，围绕Flink On K8S的实践展开。内容涵盖五个部分：背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战，包括资源池统一、环境一致性改进及隔离性提升，并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外，还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向，为Flink云原生化提供了全面的技术参考。

  
• 06.05 13:55:43
  发表了文章 2025-06-05 13:55:43

  Fluss 实战：用 Partial Update 构建实时宽表的新范式

  传统流式数据管道通过多表 Join 构建宽表，如实时推荐引擎需整合用户偏好、购买记录等8个数据源，但此方法在大规模场景下状态管理复杂、资源消耗高且调试困难。Fluss 提出部分更新方案，基于主键将各数据源独立写入共享宽表，避免复杂 Join 操作。示例中，通过 Flink SQL 创建推荐、曝光、点击等表，并逐步插入数据实现宽表构建。最终，借助 Fluss 的高效合并机制，输出包含最新信息的统一视图，提升可扩展性和维护性。

  

2025年05月

• 05.30 10:12:22
  发表了文章 2025-05-30 10:12:22

  介绍一下这只小水獭 —— Fluss Logo 背后的故事

  Fluss是一款开源流存储项目，致力于为Lakehouse架构提供高效的实时数据层。其全新Logo以一只踏浪前行的小水獭为核心形象，象征流动性、适应性和友好性。水獭灵感源于“Fluss”德语中“河流”的含义，传递灵活与亲和力。经过30多版设计迭代，最终呈现动态活力的视觉效果。Fluss计划捐赠给Apache软件基金会，目前已开启孵化提案。社区还推出了系列周边礼品，欢迎加入钉钉群109135004351参与交流！

  
• 05.28 14:02:09
  发表了文章 2025-05-28 14:02:09

  企业级AI搜索解决方案：阿里云AI搜索开放平台

  本文介绍了 阿里云 AI 搜索开放平台作提供丰富的 AI 搜索组件化服务，兼容主流开发框架 LangChain和 LlamaIndex，支持搜索专属大模型、百炼等大模型服务，以及 Elasticsearch、Havenask 等开源引擎。用户可灵活调用多模态数据解析、大语言模型、效果测评等数十个服务，实现智能搜索、检索增强生成（RAG）、多模态搜索等场景的搭建。
• 05.28 13:52:21
  发表了文章 2025-05-28 13:52:21

  基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路

  本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享，围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术，解决当前流批存储不统一、实时数据可见性差等痛点，实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率，降低了使用门槛与成本，并规划未来在集团内推广湖仓一体架构，探索更多技术创新场景。

  
• 05.26 14:02:20
  发表了文章 2025-05-26 14:02:20

  Amoro + Flink CDC 数据融合入湖新体验

  本文总结了货拉拉高级大数据开发工程师陈政羽在Flink Forward Asia 2024上的分享，聚焦Flink CDC在货拉拉的应用与优化。内容涵盖CDC应用现状、数据入湖新体验、入湖优化及未来规划。文中详细分析了CDC在多业务场景中的实践，包括数据采集平台化、稳定性建设，以及面临的文件碎片化、Schema演进等挑战。同时介绍了基于Apache Amoro的湖仓融合架构，通过自优化服务解决小文件问题，提升数据新鲜度与读写平衡。未来将深化Paimon与Amoro的结合，打造更高效的入湖生态与自动化优化方案。

  
• 05.21 14:44:08
  发表了文章 2025-05-21 14:44:08

  Flink CDC 3.4 发布, 优化高频 DDL 处理，支持 Batch 模式，新增 Iceberg 支持

  Apache Flink CDC 3.4.0 版本正式发布！经过4个月的开发，此版本强化了对高频表结构变更的支持，新增 batch 执行模式和 Apache Iceberg Sink 连接器，可将数据库数据全增量实时写入 Iceberg 数据湖。51位贡献者完成了259次代码提交，优化了 MySQL、MongoDB 等连接器，并修复多个缺陷。未来 3.5 版本将聚焦脏数据处理、数据限流等能力及 AI 生态对接。欢迎下载体验并提出反馈！

  
• 05.20 14:48:17
  发表了文章 2025-05-20 14:48:17

  阿里云 AI 搜索开放平台新功能发布：新增GTE自部署模型

  阿里云 AI搜索开放平台正式推出 GTE 多语言通用文本向量模型（iic/gte_sentence-embedding_multilingual-base）
• 05.16 17:00:20
  发表了文章 2025-05-16 17:00:20

  Flink x Paimon 在抖音集团生活服务的落地实践

  本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享，聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分：背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon，解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题，显著提升了开发运维效率、节省资源并增强了任务稳定性。同时，文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用，并介绍了其核心技术优化与未来规划。

  
• 05.08 18:01:25
  发表了文章 2025-05-08 18:01:25

  直播预告｜Kafka+Flink双引擎实战：手把手带你搭建分布式实时分析平台！

  在数字化转型中，企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00，阿里云三位技术专家将讲解Kafka与Flink的强强联合方案，帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景，具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师，参与还有机会领取定制好礼！扫描海报二维码或点击链接预约直播：[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)

  
• 05.08 17:24:24
  发表了文章 2025-05-08 17:24:24

  网易游戏 Flink 云原生实践

  本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验，从Yarn到K8s云原生，再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案，包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构，网易游戏显著提升了资源利用率，降低了30%机器成本，小作业计算成本下降40%，并为未来性能优化、流批一体及智能运维奠定了基础。

  
• 05.08 14:25:59
  发表了文章 2025-05-08 14:25:59

  阿里云 AI 搜索开放平台新增：服务开发能力

  阿里云 AI 搜索开放平台新发布：服务开发能，可通过集成 dsw 能力并新增 notebook 功能，进一步提升用户编排效率。

2025年04月

• 04.30 09:34:13
  发表了文章 2025-04-30 09:34:13

  AI 搜索开放平台重磅发布：Qwen3 模型上线啦

  阿里云AI搜索开放平台重磅发布最新Qwen3模型，为企业和开发者提供全栈智能搜索解决方案。Qwen3作为最新一代大模型，在推理、多语言支持和Agent能力上表现卓越。用户可通过三步快速体验Qwen3服务，助力业务在AI时代抢占先机。
• 04.29 15:15:25
  发表了文章 2025-04-29 15:15:25

  中国联通网络资源湖仓一体应用实践

  本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲，介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%，同步延迟从3小时降至3分钟，存储成本降低50%，为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合，推动数字化升级。

  
• 04.28 14:27:56
  发表了文章 2025-04-28 14:27:56

  如何用大模型+RAG 给宠物做一个 AI 健康助手？——阿里云 AI 搜索开放平台

  本文分享了如何利用阿里云 AI 搜索开放平台，基于 LLM+RAG 的系统框架，构建“宠物医院AI助手”的实践过程。
• 04.25 18:08:09
  发表了文章 2025-04-25 18:08:09

  抖音集团电商流量实时数仓建设实践

  本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享，围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化，实现效率、质量、成本和稳定性全面提升，数据质量达99%以上，任务性能提升70%。未来将聚焦自动化、低代码化与成本优化，探索更高效的流批一体化方案。

  
• 04.23 10:43:29
  发表了文章 2025-04-23 10:43:29

  基于 Flink 的中国电信星海时空数据多引擎实时改造

  本文整理自中国电信集团大数据架构师李新虎老师在Flink Forward Asia 2024的分享，围绕星海时空智能系统展开，涵盖四个核心部分：时空数据现状、实时场景多引擎化、典型应用及未来展望。系统日处理8000亿条数据，具备亚米级定位能力，通过Flink多引擎架构解决数据膨胀与响应时效等问题，优化资源利用并提升计算效率。应用场景包括运动状态识别、个体行为分析和群智感知，未来将推进湖仓一体改造与三维时空服务体系建设，助力数字化转型与智慧城市建设。

  
• 04.18 13:41:28
  发表了文章 2025-04-18 13:41:28

  京东物流基于Flink & StarRocks的湖仓建设实践

  本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享，聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程，解决复杂业务场景下的数据分析挑战，如多维OLAP分析、大屏监控等。同时，文章详细介绍了基于StarRocks的湖仓一体方案，优化存储成本并提升查询效率，以及存算分离的应用实践。最后，对未来数据服务的发展方向进行了展望，计划推广长周期数据存储服务和原生数据湖建设，进一步提升数据分析能力。

  
• 04.18 10:37:17
  发表了文章 2025-04-18 10:37:17

  阿里云 Elasticsearch Serverless 检索增强型 8.17 版来袭！

  阿里云Elasticsearch Serverless 8.17版本，深度融合无服务器架构与分层扩展能力，面向信息检索、向量搜索、语义分析等通用场景，提供全托管服务，在最新特性扩展、自动扩缩性能、资源成本优化等维度均有显著提升。
• 04.16 11:17:54
  发表了文章 2025-04-16 11:17:54

  中原银行实时场景企业级解决方案

  中原银行实时数据开发平台负责人杜威科在Flink Forward Asia 2024分享了银行业实时数据处理的经验。内容涵盖需求分析、解决方案、场景案例与现状展望。银行业需构建全链路、全场景的企业级实时数据平台，解决动账场景下的复杂计算需求。通过Flink+Paimon方案，实现高效更新、低成本存储与便捷查询。案例包括账户表实时更新入湖、交易协同优化、实时图应用、海量数据存储及业务人员易用性建设。未来目标是实现上千张表实时入湖，缩短延迟并探索AI结合的新场景。