灵杰开发者_个人页

2024年10月

• 10.21 10:35:17
  发表了文章 2024-10-21 10:35:17

  企业级RAG全链路优化关键技术

  本文深入解析了企业级RAG全链路的关键技术、效果优化、性能优化及应用实践。

  
• 10.17 10:44:17
  发表了文章 2024-10-17 10:44:17

  阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse

  本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。

  
• 10.11 16:01:27
  发表了文章 2024-10-11 16:01:27

  Flink 批作业如何在 Master 节点出错重启后恢复执行进度？

  本文由阿里云研发工程师李俊睿撰写，介绍了Flink 1.20版中新引入的批作业进度恢复功能。文章涵盖背景、解决思路、使用效果及启用方法。此前，若JobMaster故障，批作业需重头开始，造成进度丢失。新功能通过将JM状态持久化至外部存储并在故障后利用这些状态恢复作业进度，避免了这一问题。使用该功能需启用集群高可用并配置相关参数。

  
• 10.10 12:23:39
  发表了文章 2024-10-10 12:23:39

  【云栖实录】大模型驱动，开源融合的AI搜索产品发布

  本文介绍了2024云栖大会上，阿里云发布的年度AI搜索产品详情。
• 10.09 17:14:41
  发表了文章 2024-10-09 17:14:41

  云栖实录 | 开源大数据全面升级：Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展

  在2024云栖大会开源大数据专场上，阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash，该引擎100%兼容Apache Flink标准，性能提升5-10倍，助力企业降本增效。此外，EMR Serverless Spark产品启动商业化，提供全托管Serverless服务，性能提升300%，并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行，欢迎报名参加。

  

2024年09月

• 09.27 17:56:38
  发表了文章 2024-09-27 17:56:38

  Flink Forward 品牌全面升级，上海及雅加达站双城启动

  Flink Forward 品牌全面升级，全球将使用统一的会议品牌风格，Flink Forward Asia 官网也统一升级为 asia.flink-forward.org 域名。今年，Flink Forward Asia 会议将分别在上海（11月29-30日）和印尼雅加达（12月5日）举行。此外，Flink Forward 还将在德国柏林（10月21日-24日）举办，为全世界的开发者带来实时计算技术最前沿的动态和实践。
• 09.26 17:33:01
  发表了文章 2024-09-26 17:33:01

  Flink CDC：新一代实时数据集成框架

  本文源自阿里云实时计算团队 Apache Flink Committer 任庆盛在 Apache Asia CommunityOverCode 2024 的分享，涵盖 Flink CDC 的概念、版本历程、内部实现及社区未来规划。Flink CDC 是一种基于数据库日志的 CDC 技术实现的数据集成框架，能高效完成全量和增量数据的实时同步。自 2020 年以来，Flink CDC 经过多次迭代，已成为功能强大的实时数据集成工具，支持多种数据库和数据湖仓系统。未来将进一步扩展生态并提升稳定性。

  
• 09.19 18:15:51
  发表了文章 2024-09-19 18:15:51

  Apache Flink 流批融合技术介绍

  本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。

  
• 09.13 18:16:04
  发表了文章 2024-09-13 18:16:04

  饿了么基于Flink+Paimon+StarRocks的实时湖仓探索

  饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构，随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据，但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统，提升了数据一致性和研发效率，但仍面临新业务适应性等问题。最终，饿了么选择Paimon和StarRocks作为实时湖仓方案，显著降低了存储成本并提高了系统稳定性。未来，将进一步优化带宽瓶颈、小文件问题及权限控制，实现更多场景的应用。

  
• 09.13 16:12:10
  发表了文章 2024-09-13 16:12:10

  Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析

  本文介绍了Text-to-SQL的技术演进，并对OpenSearch-SQL方法进行剖析。
• 09.12 17:42:25
  发表了文章 2024-09-12 17:42:25

  Flink全新周边正式上线！议题征集正在进行中！

  Flink Forward Asia 2024 将于 11 月 29 日至 30 日在上海举办，现正征集议题。参与者可通过官网或二维码提交议题或报名参会，享受早鸟优惠，并有机会获得精美周边。这是了解 Flink 最新动态、分享生产实践经验及交流技术成果的重要平台。议题涵盖流式湖仓、流批一体、Data+AI 等多个方向，欢迎开发者和数据领域从业者踊跃参与，共襄行业盛会！

  
• 09.05 18:02:19
  发表了文章 2024-09-05 18:02:19

  Flink Forward Asia 2024 上海站｜探索实时计算新边界

  Flink Forward Asia 2024 即将盛大开幕！11 月 29 至 30 日在上海举行，大会聚焦 Apache Flink 技术演进与未来规划，涵盖流式湖仓、流批一体、Data+AI 融合等前沿话题，提供近百场专业演讲。立即报名，共襄盛举！官网：https://asia.flink-forward.org/shanghai-2024/

  
• 09.04 18:23:17
  发表了文章 2024-09-04 18:23:17

  Flink CDC 在货拉拉的落地与实践

  陈政羽在Apache Asia Community Over Code 2024上分享了《货拉拉在Flink CDC生产实践落地》。文章介绍了货拉拉业务背景、技术选型及其在实时数据采集中的挑战与解决方案，详细阐述了Flink CDC的技术优势及在稳定性、兼容性等方面的应用成果。通过实际案例展示了Flink CDC在提升数据采集效率、降低延迟等方面的显著成效，并展望了未来发展方向。

  

2024年08月

• 08.29 18:16:40
  发表了文章 2024-08-29 18:16:40

  用实时计算释放当下企业大数据潜能

  本文整理自阿里云高级产品解决方案架构师王启华（敖北）老师在 Flink Forward Asia 2023 中闭门会的分享。

  
• 08.28 09:55:12
  发表了文章 2024-08-28 09:55:12

  Flink CDC 在新能源制造业的实践

  本文撰写自某新能源企业的研发工程师 单葛尧 老师。本文详细介绍该新能源企业的大数据平台中 CDC 技术架构选型和 Flink CDC 的最佳实践。

  
• 08.23 14:47:05
  发表了文章 2024-08-23 14:47:05

  对接开源大模型应用开发平台最佳实践

  本文介绍如何使用OpenSearch LLM智能问答版对接大模型应用开发平台构建RAG系统。

  
• 08.23 10:24:53
  发表了文章 2024-08-23 10:24:53

  成本最高可降40%！揭秘DataWorks资源组的Serverless进化之路

  阿里云DataWorks为数据仓库/数据湖/湖仓一体等解决方案提供智能一站式开发治理平台能力。其中在资源组Serverless化方面，DataWorks实现了重大突破，不仅提高了资源利用率与灵活性，还降低了成本。DataWorks通过升级资源组管理模式，解决了传统资源组存在的复杂计费、资源利用率低等问题。Serverless资源组实现了资源的自动管理和分配，确保任务调度效率，并通过统一资源配额管理实现资源的高效利用和平滑扩缩。此外，容器运行时技术保障了数据和任务的安全隔离。Serverless资源组具备通用性强、付费形式灵活、支持运行中扩缩容等优势，有效提升了用户体验与安全性。

  
• 08.22 16:30:17
  发表了文章 2024-08-22 16:30:17

  Apache Paimon V0.9最新进展

  Apache Paimon V0.9 版本即将发布，此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长，已成为Apache顶级项目，并广泛应用于阿里集团内外的多家企业。

  
• 08.21 14:24:55
  发表了文章 2024-08-21 14:24:55

  阿里云Elasticsearch AI搜索实践

  本文介绍了阿里云 Elasticsearch 在AI 搜索方面的技术实践与探索。
• 08.16 10:11:04
  发表了文章 2024-08-16 10:11:04

  RAG效果优化：高质量文档解析详解

  本文介绍了如何通过高质量的文档解析提升RAG系统整体的效果。
• 08.15 15:57:04
  发表了文章 2024-08-15 15:57:04

  动手实践：高效构建企业级AI搜索

  本文介绍了基于阿里云 Elasticsearch的AI搜索产品能力、业务价值、场景应用，以及搭建演示等。
• 08.09 16:39:08
  发表了文章 2024-08-09 16:39:08

  Elasticsearch 8 RAG 技术分享

  本文介绍了Elasticsearch 8 在RAG场景方面的发展历程、技术演进、未来发展方向和产品能力。
• 08.09 14:20:56
  发表了文章 2024-08-09 14:20:56

  基于RAG搭建企业级知识库在线问答

  本文介绍如何使用搜索开发工作台快速搭建基于RAG开发链路的知识库问答应用。
• 08.08 15:43:15
  发表了文章 2024-08-08 15:43:15

  畅捷通基于Flink的实时数仓落地实践

  本文整理自畅捷通总架构师、阿里云MVP专家郑芸老师在 Flink Forward Asia 2023 中闭门会上的分享。

  
• 08.06 14:55:29
  发表了文章 2024-08-06 14:55:29

  阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别

  国际数据公司（IDC）首度发布《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》，阿里云荣登领导者地位。报告评估了13家厂商，涵盖互联网、云服务及大数据领域。阿里云凭借其在实时湖仓领域的创新能力，特别是Apache Paimon及与Flink的集成，实现了高效流批处理和AI增强功能，为企业提供了一体化的湖仓解决方案，支持多种数据管理和AI应用场景，展现出了强大的市场领导力和技术实力。
• 08.02 17:20:50
  发表了文章 2024-08-02 17:20:50

  官宣｜Apache Flink 1.20 发布公告

  Apache Flink 1.20.0 已发布，这是迈向 Flink 2.0 的最后一个小版本，后者预计年底发布。此版本包含多项改进和新功能，涉及 13 个 FLIPs 和 300 多个问题解决。亮点包括引入物化表简化 ETL 管道开发，统一检查点文件合并机制减轻文件系统压力，以及 SQL 语法增强如支持 `DISTRIBUTED BY` 语句。此外，还进行了大量的配置项清理工作，为 Flink 2.0 铺平道路。这一版本得益于 142 位贡献者的共同努力，其中包括来自中国多家知名企业的开发者。

  

2024年07月

• 07.31 14:51:05
  发表了文章 2024-07-31 14:51:05

  阿里云Elasticsearch 企业级AI搜索方案发布

  本文从AI搜索落地的挑战、阿里云在RAG场景的实践、效果提升三个方面，深度解读阿里云Elasticsearch 企业级AI搜索方案。
• 07.31 14:30:41
  发表了文章 2024-07-31 14:30:41

  OSS数据源一站式RAG最佳实践

  本文介绍了如何使用OpenSearch LLM智能问答版通过OSS数据源一站式构建RAG系统。
• 07.30 16:27:01
  发表了文章 2024-07-30 16:27:01

  阿里云实时计算Flink在多行业的应用和实践

  本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践，对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术，并且提供一些在技术架构上的参考建议。

  
• 07.25 18:07:26
  发表了文章 2024-07-25 18:07:26

  活动预告｜8月3日 Streaming Lakehouse Meetup · Online 与你相约！

  Apache Paimon & StarRocks, 强强联合, 打造极速湖仓解决方案。8月3日14:00, 大咖云集, 包括Apache Paimon PMC, 阿里云, 饿了么等, 分享最佳实践与技术原理。预约直播, 不容错过!

  
• 07.25 14:21:03
  发表了文章 2024-07-25 14:21:03

  解锁数据洞察：通过 DataWorks 获得深度数据分析

  DataWorks提供了一种全新的数据洞察功能，通过深度数据分析和可视化，为您的业务决策提供有力支持。了解更多如何利用AI技术解析复杂数据。

  
• 07.25 10:08:59
  发表了文章 2024-07-25 10:08:59

  享受成本分析自由，体验账单数据订阅及查询分析功能

  使用DataWorks进行账单数据订阅和查询分析，您可以有效地管理和可视化您的阿里云消费数据。本指南提供了详细步骤和示例，帮助您快速入门实现账单数据的高效分析。

  
• 07.24 16:13:51
  发表了文章 2024-07-24 16:13:51

  阿里云Elasticsearch AI场景语义搜索最佳实践

  本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。
• 07.23 14:32:02
  发表了文章 2024-07-23 14:32:02

  流模式vs批模式：你选对了吗？

  本文由阿里云 Flink 团队刘文聪老师在撰写。文章分析了 Flink 的流批模式在不同维度存在的特点与差异，帮助开发者朋友们更好地理解 Flink 的流批模式。

  
• 07.22 16:16:54
  发表了文章 2024-07-22 16:16:54

  多模态RAG：三步构建图文并茂的智能问答、电商导购助手

  本文介绍了如何使用OpenSearch LLM智能问答版，三步搭建一站式多模态RAG系统。
• 07.19 11:42:32
  发表了文章 2024-07-19 11:42:32

  参与开源大数据Workshop·杭州站，共探企业湖仓演进实践

  Apache Flink 诚邀您参加 7 月 27 日在杭州举办的阿里云开源大数据 Workshop，了解流式湖仓、湖仓一体架构的最近演进方向，共探企业云上湖仓实践案例。

  
• 07.18 17:14:48
  发表了文章 2024-07-18 17:14:48

  玳数科技集成 Flink CDC 3.0 的实践

  本文投稿自玳数科技工程师杨槐老师，介绍了 Flink CDC 3.0 与 ChunJun 框架在玳数科技的集成实践。

  
• 07.17 15:17:43
  发表了文章 2024-07-17 15:17:43

  解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

  本文介绍阿里云搜索开发工作台如何通过内置数据处理、查询分析、排序、效果测评、大模型等服务，结合阿里云搜索引擎及开源引擎，灵活打造AI语义搜索及RAG链路。
• 07.16 17:37:46
  发表了文章 2024-07-16 17:37:46

  Apache Paimon 在蚂蚁的应用

  本文整理自 Apache Paimon Committer 闵文俊老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享。Apache Paimon 是一种实时数据湖格式，设计用于流批一体处理，支持实时更新和OLAP查询。它采用LSM Tree结构，提供多种Changelog Producer和Merge Engine，支持高效的数据合并。Paimon适用于流读、批读及时间旅行查询，与多种查询引擎兼容。在蚂蚁集团的应用中，Paimon降低了资源开销，提升了查询性能，简化了研发流程，特别是在去重、核对场景和离线查询加速方面表现突出。

  
• 07.11 18:21:39
  发表了文章 2024-07-11 18:21:39

  Flink CDC：基于 Apache Flink 的流式数据集成框架

  本文整理自阿里云 Flink SQL 团队研发工程师于喜千（yux）在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。

  
• 07.09 17:05:55
  发表了文章 2024-07-09 17:05:55

  Flink+Paimon在阿里云大数据云原生运维数仓的实践

  构建实时云原生运维数仓以提升大数据集群的运维能力，采用 Flink+Paimon 方案，解决资源审计、拓扑及趋势分析需求。

  
• 07.09 15:08:50
  发表了文章 2024-07-09 15:08:50

  Elastic & 阿里云邀您参加 AI 搜索 Tech Day

  探索AI搜索未来，7月27日一同见证AI搜索新篇章

  
• 07.09 14:17:14
  发表了文章 2024-07-09 14:17:14

  通过云上数据库三步构建RAG系统

  本文介绍了如何使用OpenSearch LLM智能问答版通过云上数据库一站式构建RAG系统。
• 07.04 18:00:06
  发表了文章 2024-07-04 18:00:06

  【邀请函】相约CommunityOverCode Asia 2024，共探Flink、Paimon、Celeborn开源新境界！

  相约 CommunityOverCode Asia 2024，共探 Flink、Paimon、Celeborn 开源新境界！让我们在技术的浩瀚星海中，携手航行，共创辉煌！

  
• 07.04 15:47:03
  发表了文章 2024-07-04 15:47:03

  DataWorks Copilot：大模型时代数据开发的新范式

  阿里云DataWorks是一站式数据开发治理平台，支持多种大数据引擎，助力企业构建数据仓库、湖仓一体架构。DataWorks现推出Copilot，致力于打造智能SQL助手和AI Agent，通过生成SQL、优化SQL、提供查询帮助、注释生成、错误修正等功能，帮助数据开发工程师和数据分析师提升SQL 开发和分析的效率和体验。目前，DataWorks Copilot正开放邀测，欢迎大家体验。