灵杰开发者_个人页

2025年02月

• 02.06 17:45:34
  发表了文章 2025-02-06 17:45:34

  Flink CDC YAML：面向数据集成的 API 设计

  本文整理自阿里云智能集团 Flink PMC Member & Committer 徐榜江（雪尽）在 FFA 2024 分论坛的分享，涵盖四大主题：Flink CDC、YAML API、Transform + AI 和 Community。文章详细介绍了 Flink CDC 的发展历程及其优势，特别是 YAML API 的设计与实现，以及如何通过 Transform 和 AI 模型集成提升数据处理能力。最后，分享了社区动态和未来规划，欢迎更多开发者加入开源社区，共同推动 Flink CDC 的发展。

  

2025年01月

• 01.24 10:51:46
  发表了文章 2025-01-24 10:51:46

  微财基于 Flink 构造实时变量池

  本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案（一）专场中的分享。主要涵盖三部分内容：1) 基于 Flink 构建实时变量池，解决传统方案中数据库耦合度高、QPS 上限低等问题；2) 选择 Flink 进行流式计算的架构选型（Kappa 架构）及开发效率提升策略，通过数据分层优化开发流程；3) 实时变量池架构与多流关联优化实践，确保高效处理和存储实时变量，并应用于公司多个业务领域。

  
• 01.22 10:36:11
  发表了文章 2025-01-22 10:36:11

  湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓

  本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享，涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景，特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案，通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后，重点讲解了Materialized Table如何简化用户操作，提升数据查询和补数体验，助力企业高效应对不同业务需求。

  
• 01.16 18:19:58
  发表了文章 2025-01-16 18:19:58

  用友畅捷通在Flink上构建实时数仓、挑战与最佳实践

  本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享，介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长，公司面临数据库性能瓶颈及实时数据处理需求，通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题，并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。

  
• 01.14 16:15:21
  发表了文章 2025-01-14 16:15:21

  Flink CDC 在阿里云实时计算Flink版的云上实践

  本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享，重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括：Flink CDC的发展及其在流批数据处理中的作用；CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标；典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等；并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后，介绍了未来规划，如脏数据处理、数据限流及扩展数据源支持。

  
• 01.10 17:49:56
  发表了文章 2025-01-10 17:49:56

  阿里云 AI 搜索方案解读：大模型驱动下的智能搜索，助力企业数字化转型

  本解读了阿里云 AI搜索整体方案。
• 01.10 10:12:57
  发表了文章 2025-01-10 10:12:57

  Fluss: First Impression

  本文由Flink PMC Member徐榜江翻译自Yaroslav Tkachenko的文章《Fluss: First Impression》，介绍了阿里巴巴开源的新一代流存储系统Fluss。文章分为七个部分，涵盖Fluss简介、Table作为核心概念、PrimaryKey Table、一体化集成、Flink SQL的Delta Join、Fluss实现细节及总结。Fluss通过表结构组织数据流，支持主键表和高效的点查，深度集成LakeHouse，并计划与Flink深度集成，提供实时数据分析能力。

  
• 01.07 15:30:52
  发表了文章 2025-01-07 15:30:52

  基于 Flink 进行增量批计算的探索与实践

  本文整理自阿里云高级技术专家、Apache Flink PMC朱翥老师在Flink Forward Asia 2024的分享，内容分为三部分：背景介绍、工作介绍和总结展望。首先介绍了增量计算的定义及其与批计算、流计算的区别，阐述了增量计算的优势及典型需求场景，并解释了为何选择Flink进行增量计算。其次，详细描述了当前的工作进展，包括增量计算流程、执行计划生成、控制消费数据量级及执行进度记录恢复等关键技术点。最后，展示了增量计算的简单示例、性能测评结果，并对未来工作进行了规划。

  
• 01.03 16:24:02
  发表了文章 2025-01-03 16:24:02

  从企业级 RAG 到 AI Assistant，阿里云Elasticsearch AI 搜索技术实践

  本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案。

2024年12月

• 12.31 15:59:58
  发表了文章 2024-12-31 15:59:58

  从企业级 RAG 到 AI Assistant，阿里云Elasticsearch AI 搜索技术实践

  本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案

  
• 12.27 13:07:03
  发表了文章 2024-12-27 13:07:03

  Paimon 1.0: Unified Lake Format for Data + AI

  本文整理自阿里云智能开源湖存储负责人李劲松在Flink Forward Asia 2024上海站主论坛的演讲。Apache Paimon于今年3月成为顶级项目，计划发布1.0版本，目标是Unified Lake Format for Data + AI，解决数据处理与AI应用中的关键问题。Paimon结合Flink打造Streaming Lakehouse解决方案，已在阿里巴巴集团及多个行业中广泛应用。来自淘天、抖音和vivo的嘉宾分享了基于Paimon + Flink技术栈的数据湖实时处理与分析实践案例。内容涵盖大数据从业者面临的痛点、Paimon的发展历程及大厂的应用经验。

  
• 12.24 17:47:16
  发表了文章 2024-12-24 17:47:16

  探索Flink动态CEP：杭州银行的实战案例

  本文由杭州银行大数据工程师唐占峰、欧阳武林撰写，介绍Flink动态CEP的定义、应用场景、技术实现及使用方式。Flink动态CEP是基于Flink的复杂事件处理库，支持在不重启服务的情况下动态更新规则，适应快速变化的业务需求。文章详细阐述了其在反洗钱、反欺诈和实时营销等金融领域的应用，并展示了某金融机构的实际应用案例。通过动态CEP，用户可以实时调整规则，提高系统的灵活性和响应速度，降低维护成本。文中还提供了具体的代码示例和技术细节，帮助读者理解和使用Flink动态CEP。

  
• 12.20 17:58:00
  发表了文章 2024-12-20 17:58:00

  Flink 2.0 存算分离状态存储 — ForSt DB 

  本文整理自阿里云技术专家兰兆千在Flink Forward Asia 2024上的分享，主要介绍Flink 2.0的存算分离架构、全新状态存储内核ForSt DB及工作进展与未来展望。Flink 2.0通过存算分离解决了本地磁盘瓶颈、检查点资源尖峰和作业恢复速度慢等问题，提升了云原生部署能力。ForSt DB作为嵌入式Key-value存储内核，支持远端读写、批量并发优化和快速检查点等功能。性能测试表明，ForSt在异步访问和本地缓存支持下表现卓越。未来，Flink将继续完善SQL Operator的异步优化，并引入更多流特性支持。

  
• 12.19 11:42:13
  发表了文章 2024-12-19 11:42:13

  阿里云技术公开课直播预告：基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot

  阿里云技术公开课预告：Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。

  
• 12.19 11:38:48
  发表了文章 2024-12-19 11:38:48

  阿里云技术公开课直播预告：基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot

  阿里云技术公开课预告：Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。

  
• 12.18 17:54:53
  发表了文章 2024-12-18 17:54:53

  Apache Flink 2.0：Streaming into the Future

  本文整理自阿里云智能高级技术专家宋辛童、资深技术专家梅源和高级技术专家李麟在 Flink Forward Asia 2024 主会场的分享。三位专家详细介绍了 Flink 2.0 的四大技术方向：Streaming、Stream-Batch Unification、Streaming Lakehouse 和 AI。主要内容包括 Flink 2.0 的存算分离云原生化、流批一体的 Materialized Table、Flink 与 Paimon 的深度集成，以及 Flink 在 AI 领域的应用。

  
• 12.17 16:47:34
  发表了文章 2024-12-17 16:47:34

  流存储Fluss：迈向湖流一体架构

  本文整理自阿里云高级开发工程师罗宇侠在Flink Forward Asia 2024上海站的分享，介绍了湖流割裂的现状与挑战，Fluss湖流一体架构的设计与优势，以及未来规划。内容涵盖湖流割裂的现状、Fluss架构详解、湖流一体带来的收益，以及未来的生态扩展和技术优化。

  
• 12.17 12:11:05
  发布了视频 2024-12-17 12:11:05

  2024FFA分论坛-流批一体1

  2024FFA分论坛-流批一体1

  
• 12.16 15:49:36
  发表了文章 2024-12-16 15:49:36

  超值选择：阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性

  本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
• 12.16 14:22:04
  发表了文章 2024-12-16 14:22:04

  重磅发布 | OpenSearch推出向量检索GPU图算法方案并支持GPU规格售卖

  OpenSearch向量检索版推出了面向企业开发者的GPU图算法方案（CAGRA算法），支持客户直接购买GPU规格节点，是国内首家支持GPU规格的向量检索产品。
• 12.16 12:11:45
  发表了文章 2024-12-16 12:11:45

  （Elasticsearch）使用阿里云 infererence API 及 semantic text 进行向量搜索

  本文展示了如何使用阿里云 infererence API 及 semantic text 进行向量搜索。
• 12.16 12:07:20
  发表了文章 2024-12-16 12:07:20

  （Elasticsearch）使用阿里云 infererence API 及 semantic text 进行向量搜索

  本文我们展示了如何在Elasticsearch上使用阿里云 infererence API 及 semantic text 进行向量搜索。
• 12.13 17:43:31
  发表了文章 2024-12-13 17:43:31

  The Past, Present and Future of Apache Flink

  本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024 上海站主论坛开场的分享，今年正值 Flink 开源项目诞生的第 10 周年，借此时机，王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年 Flink 路向何方。

  
• 12.11 18:51:50
  发布了视频 2024-12-11 18:51:50

  2024FFA分论坛-生产实践2

  2024FFA分论坛-生产实践2

  
• 12.11 16:10:58
  发布了视频 2024-12-11 16:10:58

  2024FFA分论坛-数据集成1

  2024FFA分论坛-数据集成1

  
• 12.11 15:51:54
  发布了视频 2024-12-11 15:51:54

  2024FFA分论坛-数据集成2

  2024FFA分论坛-数据集成2

  
• 12.11 15:47:43
  发布了视频 2024-12-11 15:47:43

  2024FFA分论坛-云原生

  2024FFA分论坛-云原生

  
• 12.11 15:12:11
  发布了视频 2024-12-11 15:12:11

  2024FFA分论坛-生产实践4

  2024FFA分论坛-生产实践4

  
• 12.11 14:46:58
  发布了视频 2024-12-11 14:46:58

  2024FFA分论坛-生产实践3

  2024FFA分论坛-生产实践3

  
• 12.11 14:27:41
  发布了视频 2024-12-11 14:27:41

  2024FFA分论坛-行业解决方案2

  2024FFA分论坛-行业解决方案2

  
• 12.11 13:55:51
  发布了视频 2024-12-11 13:55:51

  2024FFA分论坛-流批一体2

  2024FFA分论坛-流批一体2

  
• 12.11 13:32:05
  发布了视频 2024-12-11 13:32:05

  2024FFA分论坛-流式湖仓3

  2024FFA分论坛-流式湖仓3

  
• 12.11 12:43:50
  发布了视频 2024-12-11 12:43:50

  2024FFA分论坛-流式湖仓2

  2024FFA分论坛-流式湖仓2

  
• 12.11 12:15:56
  发布了视频 2024-12-11 12:15:56

  2024FFA分论坛-行业解决方案1

  2024FFA分论坛-行业解决方案1

  
• 12.11 12:01:30
  发布了视频 2024-12-11 12:01:30

  2024FFA分论坛-核心技术2

  2024FFA分论坛-核心技术2

  
• 12.09 16:48:44
  发布了视频 2024-12-09 16:48:44

  2024FFA分论坛-Data+Ai

  2024FFA分论坛-Data+Ai

  
• 12.09 10:25:02
  发布了视频 2024-12-09 10:25:02

  2024FFA分论坛-生产实践1

  2024FFA分论坛-生产实践1

  
• 12.06 11:37:33
  发表了文章 2024-12-06 11:37:33

  CDC YAML 在阿里云的最佳实践

  本文撰写自阿里云开源大数据平台数据通道团队，主要介绍了 Flink CDC YAML 在实时计算Flink版的最佳实践。

  
• 12.06 09:28:01
  发布了视频 2024-12-06 09:28:01

  2024FFA-分论坛-流式湖仓1

  2024FFA-分论坛-流式湖仓1

  
• 12.05 18:19:53
  发布了视频 2024-12-05 18:19:53

  2024FFA-分论坛-核心技术专场1

  2024FFA-分论坛-核心技术专场1

  
• 12.05 17:33:32
  发表了文章 2024-12-05 17:33:32

  资料合集｜Flink Forward Asia 2024 上海站

  Apache Flink 年度技术盛会聚焦“回顾过去，展望未来”，涵盖流式湖仓、流批一体、Data+AI 等八大核心议题，近百家厂商参与，深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ，可在线阅读和下载。

  
• 12.05 16:20:50
  发布了视频 2024-12-05 16:20:50

  2024FFA主论坛

  2024FFA主论坛

  
• 12.05 11:24:25
  发表了文章 2024-12-05 11:24:25

  OpenSearch & AI搜索开放平台，实现0代码图片搜索！

  本文主要介绍了如何利用阿里云的 OpenSearch 和 AI 搜索开放平台来构建一个无需编写代码就能完成的图片搜索功能。
• 12.02 14:41:51
  发表了文章 2024-12-02 14:41:51

  阿里云 Elastic Enterprise 正式上线！

  阿里云正式发布Elastic Enterprise 版！欢迎前来体验！
• 12.02 14:03:51
  发表了文章 2024-12-02 14:03:51

  阿里云 Elastic Enterprise 正式上线！

  阿里云正式发布Elastic Enterprise 版！欢迎前来体验！

2024年11月

• 11.25 14:25:12
  发表了文章 2024-11-25 14:25:12

  直播预告｜FFA 2024 上海主论坛，11月29日正式上线！

  Flink Forward Asia 2024 将于11月29日至30日在上海举行，作为Apache Flink社区的重要活动，本次大会将聚焦Flink十年技术演进与未来规划，涵盖Flink 2.0新特性、Paimon数据湖格式、Fluss实时分析存储解决方案等内容，并设有圆桌讨论，探讨AI时代下大数据技术的发展方向。欢迎预约直播，参与互动赢取好礼。

  
• 11.13 14:28:49
  发表了文章 2024-11-13 14:28:49

  参与Flink社区活动，免费赢取FFA大会两日通票～

  Flink Forward Asia 2024 将于 11 月 29-30 日在上海举行，庆祝 Apache Flink 诞生十周年。大会将回顾 Flink 的技术成就，展望未来十年的发展，并介绍 Flink 2.0 版本。通过三种参与方式，您有机会免费赢取大会两日通票和 Flink 专属周边。