扬流_个人页

2024年04月

• 04.11 17:48:55
  发表了文章 2024-04-11 17:48:55

  MaxCompute 近实时增全量处理一体化新架构和使用场景介绍

  本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景，提供近实时增全量一体的数据存储和计算（Transaction Table2.0）解决方案。

  
• 04.10 10:04:05
  发表了文章 2024-04-10 10:04:05

  EMR Notebook 开启公测，提供交互式数据分析平台

  EMR Notebook 是一个 Serverless 化的交互式数据分析和探索平台，满足大数据和 AI 融合下的数据处理需求，现已开启免费公测，欢迎体验！
• 04.02 15:04:48
  发表了文章 2024-04-02 15:04:48

  阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态

  阿里云 MaxCompute MaxFrame 正式开启邀测，统一 Python 开发生态，打破大数据及 AI 开发使用边界。

2024年03月

• 03.22 15:06:47
  发表了文章 2024-03-22 15:06:47

  Paimon 与 Spark 的集成（二）：查询优化

  通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
• 03.21 12:13:22
  发表了文章 2024-03-21 12:13:22

  阿里云 EMR Serverless Spark 版免费邀测中

  阿里云 EMR Serverless Spark 版，以 Spark Native Engine 为基础，旨在提供一个全托管、一站式的数据开发平台。诚邀您参与 EMR Serverless Spark 版免费测试，体验 100% 兼容 Spark 的 Serverless 服务：https://survey.aliyun.com/apps/zhiliao/iscizrF54

  

2024年01月

• 01.25 17:29:25
  发表了文章 2024-01-25 17:29:25

  轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践

  本文从轻喜到家的历史技术架构与痛点问题、架构升级需求与 OLAP 选型过程、最新技术架构及落地场景应用等方面，详细介绍了轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践经验。

  
• 01.15 16:42:58
  发表了文章 2024-01-15 16:42:58

  阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

  Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

  
• 01.09 17:00:53
  发表了文章 2024-01-09 17:00:53

  实战营｜阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

  1月20日深圳阿里中心，阿里云 x StarRocks 邀你现场体验云上极速湖仓实战营，从 0-1 轻松上手 StarRocks 湖仓分析。

2023年12月

• 12.12 17:18:52
  发表了文章 2023-12-12 17:18:52

  用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享

  本文从用友畅捷通公司介绍及业务背景；数据仓库技术选型、实际案例及未来规划等方面，分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。

  
• 11.30 17:48:46
  发表了文章 2023-11-30 17:48:46

  王日宇：基于 StarRocks 和 Paimon 打造湖仓分析新范式

  本文根据 StarRocks Summit 2023 演讲实录整理而成，主要分享了基于 StarRocks 和 Paimon 打造湖仓分析方案及背后的技术原来和未来规划。
• 11.29 10:29:21
  发表了文章 2023-11-29 10:29:21

  2023云栖陈守元，阿里云开源大数据产品年度发布

  阿里云计算平台事业部开源大数据产品总监陈守元围绕EMR、Flink Streaming Lakehouse、 Elasticsearch、Milvus等产品发布展开分享介绍。
• 11.28 12:06:48
  发表了文章 2023-11-28 12:06:48

  李钰：从 OLAP 到湖仓，阿里云与 StarRocks 的共创共荣

  本文根据 StarRocks Summit 2023 演讲实录整理而成

2023年11月

• 11.15 15:58:32
  发表了文章 2023-11-15 15:58:32

  【云栖2023】李钰：阿里云 E-MapReduce 全面开启 Serverless 时代

  本文根据 2023 云栖大会，阿里云资深技术专家、阿里云开源大数据平台EMR负责人李钰演讲实录整理而成。
• 11.08 10:23:46
  发表了文章 2023-11-08 10:23:46

  Paimon与Spark的集成（一）

  Spark 已经成为了大数据领域软件栈中必不可少的组成部分。作为数据湖领域新起的 Paimon，与Spark的深度、全面的集成也将为 Paimon 在准实时场景、离线湖仓场景提供了便利。本文主要介绍一些在 Paimon 新版本中基于 Spark 计算引擎支持的主要功能。
• 11.07 11:25:10
  发表了文章 2023-11-07 11:25:10

  耳朵经济快速增长背后，喜马拉雅数据价值如何释放 | 创新场景

  喜马拉雅和阿里云的合作，正走在整个互联网行业的最前沿，在新的数据底座之上，喜马拉雅的AI、大数据应用也将大放光彩。本文摘自《云栖战略参考》

  

2023年09月

• 09.26 14:45:11
  发表了文章 2023-09-26 14:45:11

  杭州 Meetup｜ Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生

  10月14日13:00-17:30，Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup，欢迎报名参会！

  
• 09.20 11:15:11
  发表了文章 2023-09-20 11:15:11

  阿里云“玩转云上 StarRocks3.0 湖仓分析”训练营火热报名中，开启数据分析新范式

  阿里云 EMR OLAP 团队与 StarRocks 社区联合出品，玩转云上 StarRocks3.0 湖仓分析训练营，围绕 StarRocks3.0 系列解读、EMR Serverless StarRocks 存算分离功能与应用场景介绍，开启数据分析新范式！

2023年08月

• 08.29 16:28:45
  发表了文章 2023-08-29 16:28:45

  EMR Serverless StarRocks + DataWorks 开启极速分析新体验

  EMR Serverless StarRocks + DataWorks ，开启极速分析体验

  
• 08.22 15:06:25
  发表了文章 2023-08-22 15:06:25

  CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

  阿里云开源大数据 EMR 在 CommunityOverCode Asia 的精彩分享。
• 08.15 10:59:16
  发表了文章 2023-08-15 10:59:16

  全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

  阿里云全链路数据湖开发治理解决方案能力持续升级，发布2.0版本。解决方案包含开源大数据平台E-MapReduce(EMR) ， 一站式大数据数据开发治理平台DataWorks ，数据湖构建DLF，对象存储OSS等核心产品。支持EMR新版数据湖DataLake集群（on ECS）、自定义集群（on ECS）、Spark集群（on ACK）三种形态，对接阿里云一站式大数据开发治理平台DataWorks，沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。
• 08.11 11:33:16
  发表了文章 2023-08-11 11:33:16

  直播｜深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2

  8月17日19点，云原生湖仓线上Meetup，深入解析 StarRocks 存算分离，多位大咖分享，干货满满，快来报名！~

2023年07月

• 07.10 11:21:50
  回答了问题 2023-07-10 11:21:50

  EMR中如何申请开通doctor，添了表格好像没有打电话？

  赞0 踩0 评论0
• 07.06 16:25:43
  发表了文章 2023-07-06 16:25:43

  EMR Workflow 开启公测，100%兼容开源 Apache DolphinScheduler

  EMR Workflow 是一个全托管的工作流和任务调度服务，100%兼容开源 Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。
• 07.05 18:23:32
  发表了文章 2023-07-05 18:23:32

  上海 Meetup 邀你来｜阿里云 × StarRocks 云上StarRocks极速湖仓

  7月15日下午14:00-17:00，《上海线下Meetup I 云上StarRocks极速湖仓》，欢迎参加！

  
• 07.05 17:26:24
  发表了文章 2023-07-05 17:26:24

  Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

  本篇文章介绍了 Gluten 项目的背景和目标，以及它如何解决基于 Apache Spark 的数据负载场景中的 CPU 计算瓶颈。此外，还详细介绍了 Gluten 与 Celeborn 的集成。Celeborn 采用了 Push Shuffle 的设计，通过远端存储、数据重组、内存缓存、多副本等设计，不仅进一步提升 Gluten Shuffle 的性能和稳定性，还使得 Gluten 拥有更好的弹性，从而更好的拥抱云原生。

  

2023年06月

• 06.27 14:34:34
  发表了文章 2023-06-27 14:34:34

  EMR Serverless StarRocks 5000CU*时免费试用——体验极致性能和全面 OLAP 分析

  EMR Serverless StarRocks 5000CU*H 计算资源，48000GB*H存储资源免费试用进行中，提供极致的性能和丰富的 OLAP 场景模型，包括 OLAP 多维分析、数据湖分析、高并发查询以及实时数据分析，快来体验吧！

  
• 06.06 16:02:06
  发表了文章 2023-06-06 16:02:06

  面向未来的开源 OLAP 技术架构探讨以及选型实践

  本文详细介绍了开源大数据OLAP的演化过程和最佳实践。
• 06.02 17:44:32
  发表了文章 2023-06-02 17:44:32

  开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍

  本文将分享阿里云与 StarRocks 社区合作打造的云上 StarRocks 极速湖仓的云原生产品实践。 主要包括四个部分，第一部分介绍 StarRocks 全托管形态，以及免运维服务的 OLAP 云产品；第二部 分介绍 StarRocksManager 的实例管理、诊断分析、元数据管理、安全中心等功能；第三部分介绍 在社交、在线教育、电商等场景的使用案例；最后是对产品的长短期规划。

2023年05月

• 05.24 18:34:10
  发表了文章 2023-05-24 18:34:10

  企查查基于阿里云Elasticsearch 在复杂检索场景中的性能优化

  本文分享企查查基于阿里云Elasticsearch 在复杂检索场景中的性能优化。
• 05.23 16:33:36
  发表了文章 2023-05-23 16:33:36

  猿辅导基于 EMR StarRocks 的 OLAP 演进之路

  猿辅导大数据平台团队负责人申阳分享了猿辅导基于EMR StarRocks 的 OLAP 演进之路。

  
• 05.10 18:16:44
  发表了文章 2023-05-10 18:16:44

  阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊

  开源大数据EMR产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。

  
• 05.09 17:18:45
  发表了文章 2023-05-09 17:18:45

  水滴筹基于阿里云 EMR StarRocks 实战分享

  水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。

  
• 05.04 13:50:54
  发表了文章 2023-05-04 13:50:54

  阿里云智能数据湖入选第六届数字中国建设峰会“十大硬核科技”

  阿里云首创并推动的智能数据湖解决方案因“引领业界技术上创新”入选第六届数字中国建设峰会的“十大硬核科技”，这也是历届峰会中首次有数据湖产品入选。智能数据湖是阿里云在大数据和 AI 融合的时代背景下推出，底层融合存储和计算全新技术体系，业务侧融合多元计算，对接数据科学计算引擎。支撑在线教育、互联网广告、新媒体、网络游戏等近万家行业用户在快速发展过程中的业务需求，为企业数字化转型提供源动力。

  

2023年04月

• 04.12 18:06:01
  发表了文章 2023-04-12 18:06:01

  免费公测｜阿里云EMR Serverless StarRocks 公测正式开启！

  阿里云EMR Serverless StarRocks 免费公测已开启，向所有用户开放！您可通过EMR控制台直接创建实例，轻松体验全托管、免运维的服务。

  
• 04.10 13:56:51
  发表了文章 2023-04-10 13:56:51

  北京 Meetup 邀你来｜阿里云 × StarRocks 云上StarRocks极速湖仓

  4月19日（周三）下午，水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家，将针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 实战经验等一系列超干货内容，为大家带来诚意满满的技术盛宴。

  
• 04.04 10:54:58
  发表了文章 2023-04-04 10:54:58

  阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊

  开源大数据EMR产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。

  

2023年03月

• 03.28 11:17:48
  发表了文章 2023-03-28 11:17:48

  阿里云EMR自定义日志投递与使用实践分享

  EMR目前支持了日志管理，即日志客户SLS投递的功能，基于此功能，客户可以将需要的各种大数据组件日志收集到自身SLS中，做查询和分析。基于此功能，客户可以自定义日志路径、规则，对集群设备上的日志自行接收和消费。本文以采集指标文件为例，帮助您快速上手自定义日志投递与使用。

  
• 03.23 17:59:43
  发表了文章 2023-03-23 17:59:43

  通过云监控CloudMonitor实时捕获EMR集群的状态变化

  通过结合CloudMonitor以及FC，可以实时捕获EMR集群的生命周期变化，如集群的创建和停止，扩容和缩容以及其他类型的集群状态变更等。

  
• 03.09 18:12:09
  发表了文章 2023-03-09 18:12:09

  数据湖存储的安全写入之道

  本文以 Hadoop 社区中的 S3A Connector 的实现为切入，分析了数据湖写入路径的安全性。

  
• 03.07 14:25:07
  发表了文章 2023-03-07 14:25:07

  基于阿里云 CloudMonitor云监控自定义监控大盘对 EMR 自定义监控实践

  本文旨在分享 EMR 平台大数据服务基于阿里云 CloudMonitor 的监控实践，给客户提供除了 EMR 平台默认监控以外，自建监控方式，适用于统一多个阿里云服务的监控监控场景。

  
• 03.03 19:15:43
  发表了文章 2023-03-03 19:15:43

  阿里云EMR 2.0：定义下一代云原生智能数据湖

  本次分享主要介绍了阿里云云原生数据湖分析解决方案的三个核心要素：全托管，湖存储；一站式，湖管理；多模态，湖计算。

  
• 03.01 10:14:42
  发表了文章 2023-03-01 10:14:42

  阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊

  开源大数据平台 EMR 产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。

  

2023年02月

• 02.22 16:46:20
  发表了文章 2023-02-22 16:46:20

  开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化

  在本篇文章中，我们将介绍大数据集群领域所需的可观测性，实践大数据集群可观测所需要的条件和面临的挑战，以及阿里云EMR 产品如何通过 EMR Doctor 实现大数据可观测并向用户提供相关能力。

  
• 02.21 16:55:00
  发表了文章 2023-02-21 16:55:00

  阿里云EMR 2.0：兼容开源，贡献开源，超越开源

  本文整理自阿里云资深技术专家吴威(无谓)在 阿里云EMR2.0线上发布会 的分享。本文从开源的角度出发，分享了阿里云EMR团队的工作。

  
• 02.17 18:31:59
  发表了文章 2023-02-17 18:31:59

  基于数据湖格式构建流式增量数仓—CDC

  该文章内容源于 Apache Con ASIA 2022上的分享，整理归纳成文章。

  
• 02.15 18:14:49
  发表了文章 2023-02-15 18:14:49

  阿里云EMR2.0平台：让大数据更简单

  作为国内开源大数据领域的引领者，EMR2.0在平台体验、数据开发、产品形态及数据分析等方面做了全面突破与创新，重新定义了新一代开源大数据平台。本文介绍如何利用EMR新平台实现更加低成本、高效率、智能化的大数据集群管控和应用开发。

  
• 02.08 11:45:04
  发表了文章 2023-02-08 11:45:04

  StarRocks 2.5 LTS 版本新特性介绍及阿里云EMR Serverless StarRocks火热邀测中

  StarRocks 2.5 LTS 版本于近期发布，阿里云EMR Serverless StarRocks也在火热邀测中。本文将重点介绍StarRocks 2.5版本核心功能以及阿里云EMR Serverless StarRocks特性。