灵杰开发者_个人页

2024年11月

• 11.07 14:10:57
  提交了问题 2024-11-07 14:10:57

  FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？

• 11.06 15:48:25
  发表了文章 2024-11-06 15:48:25

  实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎

  本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括：Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎，通过向量化技术和 C++ 实现，大幅提升了性能和成本效益。

  
• 11.01 16:09:04
  发表了文章 2024-11-01 16:09:04

  Paimon x StarRocks 助力喜马拉雅直播实时湖仓构建

  本文由喜马拉雅直播业务与仓库建设负责人王琛撰写，介绍了喜马拉雅直播业务的数据仓库架构迭代升级。文章重点分享了基于 Flink + Paimon + StarRocks 实现实时湖仓的架构及其成效，通过分钟级别的收入监控、实时榜单生成、流量监测和盈亏预警，大幅提升了运营效率与决策质量，并为未来的业务扩展和 AI 项目打下坚实基础。

  

2024年10月

• 10.31 17:58:40
  发表了文章 2024-10-31 17:58:40

  活动火热报名中｜阿里云&Elastic：AI Search Tech Day

  2024年11月22日，阿里云与Elastic联合举办“AI Search Tech Day”技术思享会活动。
• 10.30 17:47:18
  发表了文章 2024-10-30 17:47:18

  Elasticsearch Inference API增加对阿里云AI的支持

  本文将介绍如何在 Elasticsearch 中设置和使用阿里云的文本生成、重排序、稀疏向量和稠密向量服务，提升搜索相关性。

  
• 10.24 10:03:59
  发表了文章 2024-10-24 10:03:59

  Apache Flink 2.0-preview released

  Apache Flink 社区正积极筹备 Flink 2.0 的发布，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈，但不建议在生产环境中使用。

  
• 10.22 09:50:22
  发表了文章 2024-10-22 09:50:22

  Flink实时湖仓，为汽车行业数字化加速！

  本文由阿里云计算平台产品专家李鲁兵（云觉）分享，聚焦汽车行业大数据应用。内容涵盖市场趋势、典型大数据架构、产品市场地位及能力解读，以及典型客户案例。文章详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势，以及Flink和Paimon在车联网中的应用案例。

  
• 10.21 10:37:54
  发表了文章 2024-10-21 10:37:54

  Elasticsearch Serverless 高性价比智能日志分析关键技术解读

  本文解析了Elasticsearch Serverless在智能日志分析领域的关键技术、优势及应用价值。

  
• 10.21 10:35:17
  发表了文章 2024-10-21 10:35:17

  企业级RAG全链路优化关键技术

  本文深入解析了企业级RAG全链路的关键技术、效果优化、性能优化及应用实践。

  
• 10.17 10:44:17
  发表了文章 2024-10-17 10:44:17

  阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse

  本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。

  
• 10.11 16:01:27
  发表了文章 2024-10-11 16:01:27

  Flink 批作业如何在 Master 节点出错重启后恢复执行进度？

  本文由阿里云研发工程师李俊睿撰写，介绍了Flink 1.20版中新引入的批作业进度恢复功能。文章涵盖背景、解决思路、使用效果及启用方法。此前，若JobMaster故障，批作业需重头开始，造成进度丢失。新功能通过将JM状态持久化至外部存储并在故障后利用这些状态恢复作业进度，避免了这一问题。使用该功能需启用集群高可用并配置相关参数。

  
• 10.10 12:23:39
  发表了文章 2024-10-10 12:23:39

  【云栖实录】大模型驱动，开源融合的AI搜索产品发布

  本文介绍了2024云栖大会上，阿里云发布的年度AI搜索产品详情。
• 10.09 17:14:41
  发表了文章 2024-10-09 17:14:41

  云栖实录 | 开源大数据全面升级：Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展

  在2024云栖大会开源大数据专场上，阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash，该引擎100%兼容Apache Flink标准，性能提升5-10倍，助力企业降本增效。此外，EMR Serverless Spark产品启动商业化，提供全托管Serverless服务，性能提升300%，并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行，欢迎报名参加。

  

2024年09月

• 09.27 17:56:38
  发表了文章 2024-09-27 17:56:38

  Flink Forward 品牌全面升级，上海及雅加达站双城启动

  Flink Forward 品牌全面升级，全球将使用统一的会议品牌风格，Flink Forward Asia 官网也统一升级为 asia.flink-forward.org 域名。今年，Flink Forward Asia 会议将分别在上海（11月29-30日）和印尼雅加达（12月5日）举行。此外，Flink Forward 还将在德国柏林（10月21日-24日）举办，为全世界的开发者带来实时计算技术最前沿的动态和实践。
• 09.26 17:33:01
  发表了文章 2024-09-26 17:33:01

  Flink CDC：新一代实时数据集成框架

  本文源自阿里云实时计算团队 Apache Flink Committer 任庆盛在 Apache Asia CommunityOverCode 2024 的分享，涵盖 Flink CDC 的概念、版本历程、内部实现及社区未来规划。Flink CDC 是一种基于数据库日志的 CDC 技术实现的数据集成框架，能高效完成全量和增量数据的实时同步。自 2020 年以来，Flink CDC 经过多次迭代，已成为功能强大的实时数据集成工具，支持多种数据库和数据湖仓系统。未来将进一步扩展生态并提升稳定性。

  
• 09.19 18:15:51
  发表了文章 2024-09-19 18:15:51

  Apache Flink 流批融合技术介绍

  本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。

  
• 09.13 18:16:04
  发表了文章 2024-09-13 18:16:04

  饿了么基于Flink+Paimon+StarRocks的实时湖仓探索

  饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构，随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据，但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统，提升了数据一致性和研发效率，但仍面临新业务适应性等问题。最终，饿了么选择Paimon和StarRocks作为实时湖仓方案，显著降低了存储成本并提高了系统稳定性。未来，将进一步优化带宽瓶颈、小文件问题及权限控制，实现更多场景的应用。

  
• 09.13 16:12:10
  发表了文章 2024-09-13 16:12:10

  Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析

  本文介绍了Text-to-SQL的技术演进，并对OpenSearch-SQL方法进行剖析。
• 09.12 17:42:25
  发表了文章 2024-09-12 17:42:25

  Flink全新周边正式上线！议题征集正在进行中！

  Flink Forward Asia 2024 将于 11 月 29 日至 30 日在上海举办，现正征集议题。参与者可通过官网或二维码提交议题或报名参会，享受早鸟优惠，并有机会获得精美周边。这是了解 Flink 最新动态、分享生产实践经验及交流技术成果的重要平台。议题涵盖流式湖仓、流批一体、Data+AI 等多个方向，欢迎开发者和数据领域从业者踊跃参与，共襄行业盛会！

  
• 09.05 18:02:19
  发表了文章 2024-09-05 18:02:19

  Flink Forward Asia 2024 上海站｜探索实时计算新边界

  Flink Forward Asia 2024 即将盛大开幕！11 月 29 至 30 日在上海举行，大会聚焦 Apache Flink 技术演进与未来规划，涵盖流式湖仓、流批一体、Data+AI 融合等前沿话题，提供近百场专业演讲。立即报名，共襄盛举！官网：https://asia.flink-forward.org/shanghai-2024/

  
• 09.04 18:23:17
  发表了文章 2024-09-04 18:23:17

  Flink CDC 在货拉拉的落地与实践

  陈政羽在Apache Asia Community Over Code 2024上分享了《货拉拉在Flink CDC生产实践落地》。文章介绍了货拉拉业务背景、技术选型及其在实时数据采集中的挑战与解决方案，详细阐述了Flink CDC的技术优势及在稳定性、兼容性等方面的应用成果。通过实际案例展示了Flink CDC在提升数据采集效率、降低延迟等方面的显著成效，并展望了未来发展方向。

  

2024年08月

• 08.29 18:16:40
  发表了文章 2024-08-29 18:16:40

  用实时计算释放当下企业大数据潜能

  本文整理自阿里云高级产品解决方案架构师王启华（敖北）老师在 Flink Forward Asia 2023 中闭门会的分享。

  
• 08.28 09:55:12
  发表了文章 2024-08-28 09:55:12

  Flink CDC 在新能源制造业的实践

  本文撰写自某新能源企业的研发工程师 单葛尧 老师。本文详细介绍该新能源企业的大数据平台中 CDC 技术架构选型和 Flink CDC 的最佳实践。

  
• 08.23 14:47:05
  发表了文章 2024-08-23 14:47:05

  对接开源大模型应用开发平台最佳实践

  本文介绍如何使用OpenSearch LLM智能问答版对接大模型应用开发平台构建RAG系统。

  
• 08.23 10:24:53
  发表了文章 2024-08-23 10:24:53

  成本最高可降40%！揭秘DataWorks资源组的Serverless进化之路

  阿里云DataWorks为数据仓库/数据湖/湖仓一体等解决方案提供智能一站式开发治理平台能力。其中在资源组Serverless化方面，DataWorks实现了重大突破，不仅提高了资源利用率与灵活性，还降低了成本。DataWorks通过升级资源组管理模式，解决了传统资源组存在的复杂计费、资源利用率低等问题。Serverless资源组实现了资源的自动管理和分配，确保任务调度效率，并通过统一资源配额管理实现资源的高效利用和平滑扩缩。此外，容器运行时技术保障了数据和任务的安全隔离。Serverless资源组具备通用性强、付费形式灵活、支持运行中扩缩容等优势，有效提升了用户体验与安全性。

  
• 08.22 16:30:17
  发表了文章 2024-08-22 16:30:17

  Apache Paimon V0.9最新进展

  Apache Paimon V0.9 版本即将发布，此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长，已成为Apache顶级项目，并广泛应用于阿里集团内外的多家企业。

  
• 08.21 14:24:55
  发表了文章 2024-08-21 14:24:55

  阿里云Elasticsearch AI搜索实践

  本文介绍了阿里云 Elasticsearch 在AI 搜索方面的技术实践与探索。
• 08.16 10:11:04
  发表了文章 2024-08-16 10:11:04

  RAG效果优化：高质量文档解析详解

  本文介绍了如何通过高质量的文档解析提升RAG系统整体的效果。
• 08.15 15:57:04
  发表了文章 2024-08-15 15:57:04

  动手实践：高效构建企业级AI搜索

  本文介绍了基于阿里云 Elasticsearch的AI搜索产品能力、业务价值、场景应用，以及搭建演示等。
• 08.09 16:39:08
  发表了文章 2024-08-09 16:39:08

  Elasticsearch 8 RAG 技术分享

  本文介绍了Elasticsearch 8 在RAG场景方面的发展历程、技术演进、未来发展方向和产品能力。
• 08.09 14:20:56
  发表了文章 2024-08-09 14:20:56

  基于RAG搭建企业级知识库在线问答

  本文介绍如何使用搜索开发工作台快速搭建基于RAG开发链路的知识库问答应用。
• 08.08 15:43:15
  发表了文章 2024-08-08 15:43:15

  畅捷通基于Flink的实时数仓落地实践

  本文整理自畅捷通总架构师、阿里云MVP专家郑芸老师在 Flink Forward Asia 2023 中闭门会上的分享。

  
• 08.06 14:55:29
  发表了文章 2024-08-06 14:55:29

  阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别

  国际数据公司（IDC）首度发布《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》，阿里云荣登领导者地位。报告评估了13家厂商，涵盖互联网、云服务及大数据领域。阿里云凭借其在实时湖仓领域的创新能力，特别是Apache Paimon及与Flink的集成，实现了高效流批处理和AI增强功能，为企业提供了一体化的湖仓解决方案，支持多种数据管理和AI应用场景，展现出了强大的市场领导力和技术实力。
• 08.02 17:20:50
  发表了文章 2024-08-02 17:20:50

  官宣｜Apache Flink 1.20 发布公告

  Apache Flink 1.20.0 已发布，这是迈向 Flink 2.0 的最后一个小版本，后者预计年底发布。此版本包含多项改进和新功能，涉及 13 个 FLIPs 和 300 多个问题解决。亮点包括引入物化表简化 ETL 管道开发，统一检查点文件合并机制减轻文件系统压力，以及 SQL 语法增强如支持 `DISTRIBUTED BY` 语句。此外，还进行了大量的配置项清理工作，为 Flink 2.0 铺平道路。这一版本得益于 142 位贡献者的共同努力，其中包括来自中国多家知名企业的开发者。

  

2024年07月

• 07.31 14:51:05
  发表了文章 2024-07-31 14:51:05

  阿里云Elasticsearch 企业级AI搜索方案发布

  本文从AI搜索落地的挑战、阿里云在RAG场景的实践、效果提升三个方面，深度解读阿里云Elasticsearch 企业级AI搜索方案。
• 07.31 14:30:41
  发表了文章 2024-07-31 14:30:41

  OSS数据源一站式RAG最佳实践

  本文介绍了如何使用OpenSearch LLM智能问答版通过OSS数据源一站式构建RAG系统。
• 07.30 16:27:01
  发表了文章 2024-07-30 16:27:01

  阿里云实时计算Flink在多行业的应用和实践

  本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践，对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术，并且提供一些在技术架构上的参考建议。

  
• 07.25 18:07:26
  发表了文章 2024-07-25 18:07:26

  活动预告｜8月3日 Streaming Lakehouse Meetup · Online 与你相约！

  Apache Paimon & StarRocks, 强强联合, 打造极速湖仓解决方案。8月3日14:00, 大咖云集, 包括Apache Paimon PMC, 阿里云, 饿了么等, 分享最佳实践与技术原理。预约直播, 不容错过!

  
• 07.25 14:21:03
  发表了文章 2024-07-25 14:21:03

  解锁数据洞察：通过 DataWorks 获得深度数据分析

  DataWorks提供了一种全新的数据洞察功能，通过深度数据分析和可视化，为您的业务决策提供有力支持。了解更多如何利用AI技术解析复杂数据。

  
• 07.25 10:08:59
  发表了文章 2024-07-25 10:08:59

  享受成本分析自由，体验账单数据订阅及查询分析功能

  使用DataWorks进行账单数据订阅和查询分析，您可以有效地管理和可视化您的阿里云消费数据。本指南提供了详细步骤和示例，帮助您快速入门实现账单数据的高效分析。

  
• 07.24 16:13:51
  发表了文章 2024-07-24 16:13:51

  阿里云Elasticsearch AI场景语义搜索最佳实践

  本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。
• 07.23 14:32:02
  发表了文章 2024-07-23 14:32:02

  流模式vs批模式：你选对了吗？

  本文由阿里云 Flink 团队刘文聪老师在撰写。文章分析了 Flink 的流批模式在不同维度存在的特点与差异，帮助开发者朋友们更好地理解 Flink 的流批模式。

  
• 07.22 16:16:54
  发表了文章 2024-07-22 16:16:54

  多模态RAG：三步构建图文并茂的智能问答、电商导购助手

  本文介绍了如何使用OpenSearch LLM智能问答版，三步搭建一站式多模态RAG系统。