扬流_个人页

2024年11月

• 11.04 11:06:52
  发表了文章 2024-11-04 11:06:52

  Apache Spark & Paimon Meetup · 北京站，助力 LakeHouse 架构生产落地

  2024年11月15日13:30北京市朝阳区阿里中心-望京A座-05F，阿里云 EMR 技术团队联合 Apache Paimon 社区举办 Apache Spark & Paimon meetup，助力企业 LakeHouse 架构生产落地”线下 meetup，欢迎报名参加！

2024年10月

• 10.31 16:39:11
  发表了文章 2024-10-31 16:39:11

  EMR Serverless Spark：一站式全托管湖仓分析利器

  本文根据2024云栖大会阿里云 EMR 团队负责人李钰（绝顶） 演讲实录整理而成
• 10.28 10:56:22
  发表了文章 2024-10-28 10:56:22

  降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本

  阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本，该版本不仅基于开源 StarRocks 进行了全面优化，实现了存储与计算解耦架构，还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
• 10.24 09:57:51
  发表了文章 2024-10-24 09:57:51

  阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse

  讲师焦明烨介绍了StarRocks的数据湖能力，如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓，StarRocks与Paimon的最新进展及未来规划。
• 10.21 11:38:48
  发表了文章 2024-10-21 11:38:48

  阿里云与传智教育联合直播：深度解析MaxFrame，探索量化交易新纪元

  2024年10月15日，阿里云与传智教育联合举办了一场主题为“解密新一代AI+Python分布式计算框架MaxFrame”的直播，对阿里云最新推出的分布式计算框架MaxFrame进行了详细的介绍。
• 10.08 16:07:41
  发表了文章 2024-10-08 16:07:41

  云栖实录 | MaxCompute 迈向下一代的智能云数仓

  2024年云栖大会上，阿里云核心自研云原生智能数据仓库产品MaxCompute，在经过一年的深度打磨后，推出了其迈向下一代智能云数据仓的系列主题分享。此次产品发布，充分展示MaxCompute产品领先行业的云数据产品发展理念与核心优势。

2024年09月

• 09.27 10:37:53
  发表了文章 2024-09-27 10:37:53

  MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告

  MaxCompute 分布式计算框架 MaxFrame 服务于北京时间2024年09月27日正式商业化！
• 09.26 17:50:47
  发表了文章 2024-09-26 17:50:47

  云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写

  阿里云 OpenLake 解决方案重磅发布，构建大数据、搜索、AI 一体化的能力体系，实现多模态数据统一纳管、多种计算引擎平权计算、大数据 AI 一体化开发，助力企业基于数据资产构筑竞争力。

  
• 09.24 16:05:26
  发表了文章 2024-09-24 16:05:26

  阿里云 EMR Serverless Spark 版正式开启商业化

  阿里云 EMR Serverless Spark 版正式开启商业化，内置 Fusion Engine，100% 兼容开源 Spark 编程接口，相比于开源 Spark 性能提升300%；提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验！

  
• 09.03 17:36:42
  发表了文章 2024-09-03 17:36:42

  阿里云 EMR StarRocks 在七猫的应用和实践

  本文整理自七猫资深大数据架构师蒋乾老师在 《阿里云 x StarRocks：极速湖仓第二季—上海站》的分享。

2024年08月

• 08.16 15:49:05
  发表了文章 2024-08-16 15:49:05

  EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务

  Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任务。
• 08.02 14:51:38
  发表了文章 2024-08-02 14:51:38

  MaxCompute 产品新能力发布-2024年Q1

  随着阿里云MaxCompute4.0的产品新版本发布，越来越多的MaxCompute产品新能力被客户广泛关注，包括近实时查询/湖仓一体&开放架构/容灾备份等。在此我们对外整体介绍一下MaxCompute FY25-Q1产品新功能，帮助更多用户借此了解MaxCompute4.0云原生数仓新版本的重点产品特性，核心竞争力与典型用户场景等信息。

2024年07月

• 07.16 18:22:57
  发表了文章 2024-07-16 18:22:57

  EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务

  本文以 ECS 连接 EMR Serverless Spark 为例，介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。

  
• 07.10 16:08:41
  发表了文章 2024-07-10 16:08:41

  【报名中】阿里云 x StarRocks：极速湖仓第二季—上海站

  阿里云 x StarRocks：极速湖仓第二季，7月20日阿里巴巴上海徐汇滨江园区，现场签到丰富奖品等你拿，不见不散！

  
• 07.09 16:03:46
  发表了文章 2024-07-09 16:03:46

  阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析

  阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务，提供高性能、全场景、极速统一的数据分析体验，具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100% 兼容 StarRocks，性能比传统 OLAP 引擎提升 3-5 倍，助力企业高效构建大数据应用。本篇文章对阿里云EMR Serverless StarRocks OLAP 数据分析场景进行解析、存算分离架构升级以及 Trino 兼容，无缝替换介绍。
• 07.05 14:37:23
  发表了文章 2024-07-05 14:37:23

  EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务

  在大数据快速发展的时代，流式处理技术对于实时数据分析至关重要。EMR Serverless Spark提供了一个强大而可扩展的平台，它不仅简化了实时数据处理流程，还免去了服务器管理的烦恼，提升了效率。本文将指导您使用EMR Serverless Spark提交PySpark流式任务，展示其在流处理方面的易用性和可运维性。

  
• 07.02 17:06:57
  发表了文章 2024-07-02 17:06:57

  阿里云 MaxCompute MaxFrame 开启免费公测，统一 Python 开发生态

  阿里云 MaxCompute MaxFrame 开启免费公测，统一 Python 开发生态。分布式计算框架 MaxFrame 支持 Python 编程接口并可直接复用 MaxCompute 弹性计算资源及海量数据，100%兼容 Pandas 且自动分布式，与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 的 Python 开发生态。用户可以以更熟悉、高效、灵活的方式在 MaxCompute 上进行大规模数据分析处理、可视化数据探索分析以及科学计算、ML/AI 开发等工作。

2024年06月

• 06.21 17:01:27
  发表了文章 2024-06-21 17:01:27

  阿里云 EMR StarRocks VS 开源版本功能差异介绍

  阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务，提供高性能、全场景、极速统一的数据分析体验，具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100% 兼容 StarRocks，性能比传统 OLAP 引擎提升 3-5 倍，助力企业高效构建大数据应用。本篇文章重点介绍阿里云 EMR StarRocks 与开源 StarRocks 的对比与客户案例。
• 06.20 15:20:28
  发表了文章 2024-06-20 15:20:28

  首批！阿里云 MaxCompute 完成中国信通院数据智能平台专项测试

  2024年5月31日，在中国信通院组织的首批数据智能平台专项测试中，阿里云数据智能平台解决方案(MaxCompute、DataWorks、PAI)顺利完成测试。

  
• 06.19 15:17:02
  发表了文章 2024-06-19 15:17:02

  【评测有奖】参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！

  即日起至2024年7月18日，参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！

  
• 06.12 15:49:28
  发表了文章 2024-06-12 15:49:28

  EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体

  本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程，包括数据入湖 OSS、交互式查询，以及离线Compact。Serverless Spark完全兼容Paimon，通过内置的DLF的元数据实现了和其余云产品如实时计算Flink版的元数据互通，形成了完整的流批一体的解决方案。同时支持灵活的作业运行方式和参数配置，能够满足实时分析、生产调度等多项需求。

2024年05月

• 05.28 17:57:26
  发表了文章 2024-05-28 17:57:26

  基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

  本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程，包括数据开发和生产调度以及交互式查询等场景。

  
• 05.27 17:53:06
  发表了文章 2024-05-27 17:53:06

  阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式

  EMR StarRocks 线上公开课第1期 ，直播主题：EMR Serverless StarRocks3.x，极速统一的湖仓新范式。
• 05.22 11:15:32
  发表了文章 2024-05-22 11:15:32

  阿里云 EMR Serverless Spark 版开启免费公测

  EMR Serverless Spark 版免费公测已开启，预计于2024年06月25日结束。公测阶段面向所有用户开放，您可以免费试用。
• 04.24 18:26:42
  发表了文章 2024-04-24 18:26:42

  基于 MaxCompute MaxFrame 实现分布式 Pandas 处理

  阿里云分布式计算框架 MaxCompute MaxFrame 兼容 Pandas 接口且自动进行分布式处理，在保证强大数据处理能力的同时，可以大幅度提高数据处理规模及计算效率。
• 04.11 17:48:55
  发表了文章 2024-04-11 17:48:55

  MaxCompute 近实时增全量处理一体化新架构和使用场景介绍

  本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景，提供基于Delta Table的近实时增全量一体的数据存储和计算解决方案。

  
• 04.10 10:04:05
  发表了文章 2024-04-10 10:04:05

  EMR Notebook 开启公测，提供交互式数据分析平台

  EMR Notebook 是一个 Serverless 化的交互式数据分析和探索平台，满足大数据和 AI 融合下的数据处理需求，现已开启免费公测，欢迎体验！
• 04.02 15:04:48
  发表了文章 2024-04-02 15:04:48

  阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态

  阿里云 MaxCompute MaxFrame 正式开启邀测，统一 Python 开发生态，打破大数据及 AI 开发使用边界。
• 03.22 15:06:47
  发表了文章 2024-03-22 15:06:47

  Paimon 与 Spark 的集成（二）：查询优化

  通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
• 03.21 12:13:22
  发表了文章 2024-03-21 12:13:22

  阿里云 EMR Serverless Spark 版免费邀测中

  阿里云 EMR Serverless Spark 版，以 Spark Native Engine 为基础，旨在提供一个全托管、一站式的数据开发平台。诚邀您参与 EMR Serverless Spark 版免费测试，体验 100% 兼容 Spark 的 Serverless 服务：https://survey.aliyun.com/apps/zhiliao/iscizrF54

  
• 01.25 17:29:25
  发表了文章 2024-01-25 17:29:25

  轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践

  本文从轻喜到家的历史技术架构与痛点问题、架构升级需求与 OLAP 选型过程、最新技术架构及落地场景应用等方面，详细介绍了轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践经验。

  
• 01.15 16:42:58
  发表了文章 2024-01-15 16:42:58

  阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

  Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

  
• 01.09 17:00:53
  发表了文章 2024-01-09 17:00:53

  实战营｜阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

  1月20日深圳阿里中心，阿里云 x StarRocks 邀你现场体验云上极速湖仓实战营，从 0-1 轻松上手 StarRocks 湖仓分析。
• 12.12 17:18:52
  发表了文章 2023-12-12 17:18:52

  用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享

  本文从用友畅捷通公司介绍及业务背景；数据仓库技术选型、实际案例及未来规划等方面，分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。

  

2023年12月

• 11.30 17:48:46
  发表了文章 2023-11-30 17:48:46

  王日宇：基于 StarRocks 和 Paimon 打造湖仓分析新范式

  本文根据 StarRocks Summit 2023 演讲实录整理而成，主要分享了基于 StarRocks 和 Paimon 打造湖仓分析方案及背后的技术原来和未来规划。
• 11.29 10:29:21
  发表了文章 2023-11-29 10:29:21

  2023云栖陈守元，阿里云开源大数据产品年度发布

  阿里云计算平台事业部开源大数据产品总监陈守元围绕EMR、Flink Streaming Lakehouse、 Elasticsearch、Milvus等产品发布展开分享介绍。
• 11.28 12:06:48
  发表了文章 2023-11-28 12:06:48

  李钰：从 OLAP 到湖仓，阿里云与 StarRocks 的共创共荣

  本文根据 StarRocks Summit 2023 演讲实录整理而成

2023年11月

• 11.15 15:58:32
  发表了文章 2023-11-15 15:58:32

  【云栖2023】李钰：阿里云 E-MapReduce 全面开启 Serverless 时代

  本文根据 2023 云栖大会，阿里云资深技术专家、阿里云开源大数据平台EMR负责人李钰演讲实录整理而成。
• 11.08 10:23:46
  发表了文章 2023-11-08 10:23:46

  Paimon与Spark的集成（一）

  Spark 已经成为了大数据领域软件栈中必不可少的组成部分。作为数据湖领域新起的 Paimon，与Spark的深度、全面的集成也将为 Paimon 在准实时场景、离线湖仓场景提供了便利。本文主要介绍一些在 Paimon 新版本中基于 Spark 计算引擎支持的主要功能。
• 11.07 11:25:10
  发表了文章 2023-11-07 11:25:10

  耳朵经济快速增长背后，喜马拉雅数据价值如何释放 | 创新场景

  喜马拉雅和阿里云的合作，正走在整个互联网行业的最前沿，在新的数据底座之上，喜马拉雅的AI、大数据应用也将大放光彩。本文摘自《云栖战略参考》

  

2023年09月

• 09.26 14:45:11
  发表了文章 2023-09-26 14:45:11

  杭州 Meetup｜ Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生

  10月14日13:00-17:30，Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup，欢迎报名参会！

  
• 09.20 11:15:11
  发表了文章 2023-09-20 11:15:11

  阿里云“玩转云上 StarRocks3.0 湖仓分析”训练营火热报名中，开启数据分析新范式

  阿里云 EMR OLAP 团队与 StarRocks 社区联合出品，玩转云上 StarRocks3.0 湖仓分析训练营，围绕 StarRocks3.0 系列解读、EMR Serverless StarRocks 存算分离功能与应用场景介绍，开启数据分析新范式！

2023年08月

• 08.29 16:28:45
  发表了文章 2023-08-29 16:28:45

  EMR Serverless StarRocks + DataWorks 开启极速分析新体验

  EMR Serverless StarRocks + DataWorks ，开启极速分析体验

  
• 08.22 15:06:25
  发表了文章 2023-08-22 15:06:25

  CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

  阿里云开源大数据 EMR 在 CommunityOverCode Asia 的精彩分享。
• 08.15 10:59:16
  发表了文章 2023-08-15 10:59:16

  全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

  阿里云全链路数据湖开发治理解决方案能力持续升级，发布2.0版本。解决方案包含开源大数据平台E-MapReduce(EMR) ， 一站式大数据数据开发治理平台DataWorks ，数据湖构建DLF，对象存储OSS等核心产品。支持EMR新版数据湖DataLake集群（on ECS）、自定义集群（on ECS）、Spark集群（on ACK）三种形态，对接阿里云一站式大数据开发治理平台DataWorks，沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。
• 08.11 11:33:16
  发表了文章 2023-08-11 11:33:16

  直播｜深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2

  8月17日19点，云原生湖仓线上Meetup，深入解析 StarRocks 存算分离，多位大咖分享，干货满满，快来报名！~

2023年07月

• 07.10 11:21:50
  回答了问题 2023-07-10 11:21:50

  EMR中如何申请开通doctor，添了表格好像没有打电话？

  赞0 踩0 评论0
• 07.06 16:25:43
  发表了文章 2023-07-06 16:25:43

  EMR Workflow 开启公测，100%兼容开源 Apache DolphinScheduler

  EMR Workflow 是一个全托管的工作流和任务调度服务，100%兼容开源 Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。
• 07.05 18:23:32
  发表了文章 2023-07-05 18:23:32

  上海 Meetup 邀你来｜阿里云 × StarRocks 云上StarRocks极速湖仓

  7月15日下午14:00-17:00，《上海线下Meetup I 云上StarRocks极速湖仓》，欢迎参加！

  
• 07.05 17:26:24
  发表了文章 2023-07-05 17:26:24

  Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

  本篇文章介绍了 Gluten 项目的背景和目标，以及它如何解决基于 Apache Spark 的数据负载场景中的 CPU 计算瓶颈。此外，还详细介绍了 Gluten 与 Celeborn 的集成。Celeborn 采用了 Push Shuffle 的设计，通过远端存储、数据重组、内存缓存、多副本等设计，不仅进一步提升 Gluten Shuffle 的性能和稳定性，还使得 Gluten 拥有更好的弹性，从而更好的拥抱云原生。