灵杰开发者_个人页

2025年03月

• 03.11 16:20:28
  发表了文章 2025-03-11 16:20:28

  官宣 | Fluss 0.6 发布公告

  Fluss社区宣布0.6.0版本正式发布，历经3个多月开发，45位贡献者完成200+代码提交。新版本亮点包括：列压缩技术降低6倍存储空间、MergeEngine支持灵活主键合并策略、Prefix Lookup实现Delta Join功能。这些特性增强了Fluss的功能和性能，标志着其在构建下一代分析型流存储系统上的重要进展。

  
• 03.07 14:55:52
  发表了文章 2025-03-07 14:55:52

  vivo基于Paimon的湖仓一体落地实践

  本文整理自vivo互联网大数据专家徐昱在Flink Forward Asia 2024的分享，基于实际案例探讨了构建现代化数据湖仓的关键决策和技术实践。内容涵盖组件选型、架构设计、离线加速、流批链路统一、消息组件替代、样本拼接、查询提速、元数据监控、数据迁移及未来展望等方面。通过这些探索，展示了如何优化性能、降低成本并提升数据处理效率，为相关领域提供了宝贵的经验和参考。

  
• 03.05 15:23:00
  发表了文章 2025-03-05 15:23:00

  Flink CDC + Hologres高性能数据同步优化实践

  本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成（二）专场的分享，主要内容包括：1. Hologres介绍：实时数据仓库，支持毫秒级写入和高QPS查询；2. 写入优化：通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟；3. 消费优化：优化离线场景和分区表的消费逻辑，提升性能和资源利用率；4. 未来展望：进一步简化用户操作，支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台，提供多项新功能并降低使用成本。

  
• 03.04 15:30:26
  发表了文章 2025-03-04 15:30:26

  Elasticsearch：使用阿里云 AI 服务进行向量化和重新排名

  本文介绍了如何将阿里云 AI 功能与 Elasticsearch 集成，以提高语义搜索的相关性。

2025年02月

• 02.27 10:16:11
  发表了文章 2025-02-27 10:16:11

  基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成

  本教程展示如何使用Flink CDC YAML快速构建从MySQL到Kafka的流式数据集成作业，涵盖整库同步和表结构变更同步。无需编写Java/Scala代码或安装IDE，所有操作在Flink CDC CLI中完成。首先准备Flink Standalone集群和Docker环境（包括MySQL、Kafka和Zookeeper），然后通过配置YAML文件提交任务，实现数据同步。教程还介绍了路由变更、写入多个分区、输出格式设置及上游表名到下游Topic的映射等功能，并提供详细的命令和示例。最后，包含环境清理步骤以确保资源释放。

  
• 02.26 13:23:56
  发表了文章 2025-02-26 13:23:56

  小米基于 Apache Paimon 的流式湖仓实践

  本文整理自Flink Forward Asia 2024流式湖仓专场分享，由计算平台软件研发工程师钟宇江主讲。内容涵盖三部分：1）背景介绍，分析当前实时湖仓架构（如Flink + Talos + Iceberg）的痛点，包括高成本、复杂性和存储冗余；2）基于Paimon构建近实时数据湖仓，介绍其LSM存储结构及应用场景，如Partial-Update和Streaming Upsert，显著降低计算和存储成本，简化架构；3）未来展望，探讨Paimon在流计算中的进一步应用及自动化维护服务的建设。

  
• 02.24 15:42:28
  发表了文章 2025-02-24 15:42:28

  阿里云 AI 搜索开放平台集成 DeepSeek 模型

  阿里云 AI 搜索开放平台最新上线 DeepSeek -R1系列模型。
• 02.24 15:39:10
  发表了文章 2025-02-24 15:39:10

  阿里云 AI 搜索开放平台集成 DeepSeek 模型

  阿里云 AI 搜索开放平台最新上线 DeepSeek -R1系列模型。
• 02.21 13:14:04
  发布了视频 2025-02-21 13:14:04

  ElasticSearch AI Assistant 系列 3 —— 解决方案内演示

  ElasticSearch AI Assistant 系列 3 —— 解决方案内演示

  
• 02.21 13:10:24
  发布了视频 2025-02-21 13:10:24

  ElasticSearch AI Assistant 系列 2 —— Kibana 自带样例挑战

  ElasticSearch AI Assistant 系列 2 —— Kibana 自带样例挑战

  
• 02.21 13:05:00
  发布了视频 2025-02-21 13:05:00

  ElasticSearch AI Assistant 系列 1 —— AI 助手配置教程

  ElasticSearch AI Assistant 系列 1 —— AI 助手配置教程

  
• 02.21 09:48:16
  发表了文章 2025-02-21 09:48:16

  Flink基于Paimon的实时湖仓解决方案的演进

  本文整理自阿里云智能集团苏轩楠老师在Flink Forward Asia 2024论坛的分享，涵盖流式湖仓架构的背景介绍、技术演进和未来发展规划。背景部分介绍了ODS、DWD、DWS三层数据架构及关键组件Flink与Paimon的作用；技术演进讨论了全量与增量数据处理优化、宽表构建及Compaction操作的改进；发展规划则展望了Range Partition、Materialized Table等新功能的应用前景。通过这些优化，系统不仅简化了复杂度，还提升了实时与离线处理的灵活性和效率。

  
• 02.19 18:13:35
  发表了文章 2025-02-19 18:13:35

  鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

  本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。

  
• 02.19 14:25:20
  发表了文章 2025-02-19 14:25:20

  海量日志接入 Elasticsearch Serverless 应用降本70%以上

  本文将探讨在日志场景下，使用阿里云Elasticsearch Serverless相较于基于ECS自建Elasticsearch集群的成本与性能优势，展示如何通过Serverless架构实现高达 70%以上的成本节约。
• 02.17 16:31:27
  发表了文章 2025-02-17 16:31:27

  Elasticsearch AI Assistant 集成 DeepSeek，1分钟搭建智能运维助手

  Elasticsearch 新支持 DeepSeek 系列模型，使用 AI 助手，通过自然语言交互，为可观测性分析、安全运维管理及数据智能处理提供一站式解决方案。

  
• 02.14 13:08:16
  发表了文章 2025-02-14 13:08:16

  Flink Materialized Table：构建流批一体 ETL

  本文整理自阿里云智能集团 Apache Flink Committer 刘大龙老师在2024FFA流批一体论坛的分享，涵盖三部分内容：数据工程师用户故事、Materialized Table 构建流批一体 ETL 及 Demo。文章通过案例分析传统 Lambda 架构的挑战，介绍了 Materialized Table 如何简化流批处理，提供统一 API 和声明式 ETL，实现高效的数据处理和维护。最后展示了基于 Flink 和 Paimon 的实际演示，帮助用户更好地理解和应用这一技术。

  
• 02.12 16:56:23
  发布了视频 2025-02-12 16:56:23

  高性价比| OpenSearch智能问答版开箱即用DeepSeek-R1

  高性价比| OpenSearch智能问答版开箱即用DeepSeek-R1

  
• 02.12 16:21:22
  发表了文章 2025-02-12 16:21:22

  Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

  本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享，涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进，以及总结。文章通过三代实时数仓架构的演变，详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案，并探讨了未来从实时数仓到实时湖仓的演进方向。最后，结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用，帮助用户根据业务需求选择合适的方案。

  
• 02.12 14:11:13
  发表了文章 2025-02-12 14:11:13

  高性价比| OpenSearch 智能问答版开箱即用 DeepSeek-R1

  OpenSearch LLM智能问答版基于DeepSeek-R1一分钟搭建RAG系统。

  
• 02.06 17:45:34
  发表了文章 2025-02-06 17:45:34

  Flink CDC YAML：面向数据集成的 API 设计

  本文整理自阿里云智能集团 Flink PMC Member & Committer 徐榜江（雪尽）在 FFA 2024 分论坛的分享，涵盖四大主题：Flink CDC、YAML API、Transform + AI 和 Community。文章详细介绍了 Flink CDC 的发展历程及其优势，特别是 YAML API 的设计与实现，以及如何通过 Transform 和 AI 模型集成提升数据处理能力。最后，分享了社区动态和未来规划，欢迎更多开发者加入开源社区，共同推动 Flink CDC 的发展。

  

2025年01月

• 01.24 10:51:46
  发表了文章 2025-01-24 10:51:46

  微财基于 Flink 构造实时变量池

  本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案（一）专场中的分享。主要涵盖三部分内容：1) 基于 Flink 构建实时变量池，解决传统方案中数据库耦合度高、QPS 上限低等问题；2) 选择 Flink 进行流式计算的架构选型（Kappa 架构）及开发效率提升策略，通过数据分层优化开发流程；3) 实时变量池架构与多流关联优化实践，确保高效处理和存储实时变量，并应用于公司多个业务领域。

  
• 01.22 10:36:11
  发表了文章 2025-01-22 10:36:11

  湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓

  本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享，涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景，特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案，通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后，重点讲解了Materialized Table如何简化用户操作，提升数据查询和补数体验，助力企业高效应对不同业务需求。

  
• 01.16 18:19:58
  发表了文章 2025-01-16 18:19:58

  用友畅捷通在Flink上构建实时数仓、挑战与最佳实践

  本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享，介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长，公司面临数据库性能瓶颈及实时数据处理需求，通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题，并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。

  
• 01.14 16:15:21
  发表了文章 2025-01-14 16:15:21

  Flink CDC 在阿里云实时计算Flink版的云上实践

  本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享，重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括：Flink CDC的发展及其在流批数据处理中的作用；CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标；典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等；并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后，介绍了未来规划，如脏数据处理、数据限流及扩展数据源支持。

  
• 01.10 17:49:56
  发表了文章 2025-01-10 17:49:56

  阿里云 AI 搜索方案解读：大模型驱动下的智能搜索，助力企业数字化转型

  本解读了阿里云 AI搜索整体方案。
• 01.10 10:12:57
  发表了文章 2025-01-10 10:12:57

  Fluss: First Impression

  本文由Flink PMC Member徐榜江翻译自Yaroslav Tkachenko的文章《Fluss: First Impression》，介绍了阿里巴巴开源的新一代流存储系统Fluss。文章分为七个部分，涵盖Fluss简介、Table作为核心概念、PrimaryKey Table、一体化集成、Flink SQL的Delta Join、Fluss实现细节及总结。Fluss通过表结构组织数据流，支持主键表和高效的点查，深度集成LakeHouse，并计划与Flink深度集成，提供实时数据分析能力。

  
• 01.07 15:30:52
  发表了文章 2025-01-07 15:30:52

  基于 Flink 进行增量批计算的探索与实践

  本文整理自阿里云高级技术专家、Apache Flink PMC朱翥老师在Flink Forward Asia 2024的分享，内容分为三部分：背景介绍、工作介绍和总结展望。首先介绍了增量计算的定义及其与批计算、流计算的区别，阐述了增量计算的优势及典型需求场景，并解释了为何选择Flink进行增量计算。其次，详细描述了当前的工作进展，包括增量计算流程、执行计划生成、控制消费数据量级及执行进度记录恢复等关键技术点。最后，展示了增量计算的简单示例、性能测评结果，并对未来工作进行了规划。

  
• 01.03 16:24:02
  发表了文章 2025-01-03 16:24:02

  从企业级 RAG 到 AI Assistant，阿里云Elasticsearch AI 搜索技术实践

  本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案。

2024年12月

• 12.31 15:59:58
  发表了文章 2024-12-31 15:59:58

  从企业级 RAG 到 AI Assistant，阿里云Elasticsearch AI 搜索技术实践

  本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案

  
• 12.27 13:07:03
  发表了文章 2024-12-27 13:07:03

  Paimon 1.0: Unified Lake Format for Data + AI

  本文整理自阿里云智能开源湖存储负责人李劲松在Flink Forward Asia 2024上海站主论坛的演讲。Apache Paimon于今年3月成为顶级项目，计划发布1.0版本，目标是Unified Lake Format for Data + AI，解决数据处理与AI应用中的关键问题。Paimon结合Flink打造Streaming Lakehouse解决方案，已在阿里巴巴集团及多个行业中广泛应用。来自淘天、抖音和vivo的嘉宾分享了基于Paimon + Flink技术栈的数据湖实时处理与分析实践案例。内容涵盖大数据从业者面临的痛点、Paimon的发展历程及大厂的应用经验。

  
• 12.24 17:47:16
  发表了文章 2024-12-24 17:47:16

  探索Flink动态CEP：杭州银行的实战案例

  本文由杭州银行大数据工程师唐占峰、欧阳武林撰写，介绍Flink动态CEP的定义、应用场景、技术实现及使用方式。Flink动态CEP是基于Flink的复杂事件处理库，支持在不重启服务的情况下动态更新规则，适应快速变化的业务需求。文章详细阐述了其在反洗钱、反欺诈和实时营销等金融领域的应用，并展示了某金融机构的实际应用案例。通过动态CEP，用户可以实时调整规则，提高系统的灵活性和响应速度，降低维护成本。文中还提供了具体的代码示例和技术细节，帮助读者理解和使用Flink动态CEP。

  
• 12.20 17:58:00
  发表了文章 2024-12-20 17:58:00

  Flink 2.0 存算分离状态存储 — ForSt DB 

  本文整理自阿里云技术专家兰兆千在Flink Forward Asia 2024上的分享，主要介绍Flink 2.0的存算分离架构、全新状态存储内核ForSt DB及工作进展与未来展望。Flink 2.0通过存算分离解决了本地磁盘瓶颈、检查点资源尖峰和作业恢复速度慢等问题，提升了云原生部署能力。ForSt DB作为嵌入式Key-value存储内核，支持远端读写、批量并发优化和快速检查点等功能。性能测试表明，ForSt在异步访问和本地缓存支持下表现卓越。未来，Flink将继续完善SQL Operator的异步优化，并引入更多流特性支持。

  
• 12.19 11:42:13
  发表了文章 2024-12-19 11:42:13

  阿里云技术公开课直播预告：基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot

  阿里云技术公开课预告：Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。

  
• 12.19 11:38:48
  发表了文章 2024-12-19 11:38:48

  阿里云技术公开课直播预告：基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot

  阿里云技术公开课预告：Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。

  
• 12.18 17:54:53
  发表了文章 2024-12-18 17:54:53

  Apache Flink 2.0：Streaming into the Future

  本文整理自阿里云智能高级技术专家宋辛童、资深技术专家梅源和高级技术专家李麟在 Flink Forward Asia 2024 主会场的分享。三位专家详细介绍了 Flink 2.0 的四大技术方向：Streaming、Stream-Batch Unification、Streaming Lakehouse 和 AI。主要内容包括 Flink 2.0 的存算分离云原生化、流批一体的 Materialized Table、Flink 与 Paimon 的深度集成，以及 Flink 在 AI 领域的应用。

  
• 12.17 16:47:34
  发表了文章 2024-12-17 16:47:34

  流存储Fluss：迈向湖流一体架构

  本文整理自阿里云高级开发工程师罗宇侠在Flink Forward Asia 2024上海站的分享，介绍了湖流割裂的现状与挑战，Fluss湖流一体架构的设计与优势，以及未来规划。内容涵盖湖流割裂的现状、Fluss架构详解、湖流一体带来的收益，以及未来的生态扩展和技术优化。

  
• 12.17 12:11:05
  发布了视频 2024-12-17 12:11:05

  2024FFA分论坛-流批一体1

  2024FFA分论坛-流批一体1

  
• 12.16 15:49:36
  发表了文章 2024-12-16 15:49:36

  超值选择：阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性

  本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
• 12.16 14:22:04
  发表了文章 2024-12-16 14:22:04

  重磅发布 | OpenSearch推出向量检索GPU图算法方案并支持GPU规格售卖

  OpenSearch向量检索版推出了面向企业开发者的GPU图算法方案（CAGRA算法），支持客户直接购买GPU规格节点，是国内首家支持GPU规格的向量检索产品。
• 12.16 12:11:45
  发表了文章 2024-12-16 12:11:45

  （Elasticsearch）使用阿里云 infererence API 及 semantic text 进行向量搜索

  本文展示了如何使用阿里云 infererence API 及 semantic text 进行向量搜索。
• 12.16 12:07:20
  发表了文章 2024-12-16 12:07:20

  （Elasticsearch）使用阿里云 infererence API 及 semantic text 进行向量搜索

  本文我们展示了如何在Elasticsearch上使用阿里云 infererence API 及 semantic text 进行向量搜索。
• 12.13 17:43:31
  发表了文章 2024-12-13 17:43:31

  The Past, Present and Future of Apache Flink

  本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024 上海站主论坛开场的分享，今年正值 Flink 开源项目诞生的第 10 周年，借此时机，王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年 Flink 路向何方。

  
• 12.11 18:51:50
  发布了视频 2024-12-11 18:51:50

  2024FFA分论坛-生产实践2

  2024FFA分论坛-生产实践2

  
• 12.11 16:10:58
  发布了视频 2024-12-11 16:10:58

  2024FFA分论坛-数据集成1

  2024FFA分论坛-数据集成1

  
• 12.11 15:51:54
  发布了视频 2024-12-11 15:51:54

  2024FFA分论坛-数据集成2

  2024FFA分论坛-数据集成2

  
• 12.11 15:47:43
  发布了视频 2024-12-11 15:47:43

  2024FFA分论坛-云原生

  2024FFA分论坛-云原生

  
• 12.11 15:12:11
  发布了视频 2024-12-11 15:12:11

  2024FFA分论坛-生产实践4

  2024FFA分论坛-生产实践4

  
• 12.11 14:46:58
  发布了视频 2024-12-11 14:46:58

  2024FFA分论坛-生产实践3

  2024FFA分论坛-生产实践3

  
• 12.11 14:27:41
  发布了视频 2024-12-11 14:27:41

  2024FFA分论坛-行业解决方案2

  2024FFA分论坛-行业解决方案2