勋章
我关注的人
粉丝
技术能力
-
-
阿里云数据仓库工程师ACP认证（Alibaba Cloud Certified Professional - Data Warehouse）
获得于2022-04-12 22:36:26
-
-
-
阿里云云数据库助理工程师认证（ACA）
获得于2021-04-29 17:09:02
-
暂无个人介绍
-
发表了文章 2022-05-07
一文彻底掌握Apache Hudi异步Clustering部署
在之前的一篇中，我们介绍了Clustering(聚簇)的表服务来重新组织数据来提供更好的查询性能，而不用降低摄取速度，并且我们已经知道如何部署同步Clustering，本篇博客中，我们将讨论近期社区做的一些改进以及如何通过HoodieClusteringJob和DeltaStreamer工具来部署异步Clustering。
-
发表了文章 2022-05-07
Apache Hudi内核之文件标记机制深入解析
Hudi 支持在写入时自动清理未成功提交的数据。Apache Hudi 在写入时引入标记机制来有效跟踪写入存储的数据文件。 在本博客中，我们将深入探讨现有直接标记文件机制的设计，并解释了其在云存储（如 AWS S3、Aliyun OSS）上针对非常大批量写入的性能问题。 并且演示如何通过引入基于时间轴服务器的标记来提高写入性能。
-
发表了文章 2022-05-07
Apache Hudi 0.9.0版本重磅发布！更强大的流式数据湖平台
笔记
-
发表了文章 2022-05-07
基于Apache Hudi构建数据湖的典型应用场景介绍
笔记
-
发表了文章 2022-05-07
触宝科技基于Apache Hudi的流批一体架构实践
当前公司的大数据实时链路如下图，数据源是MySQL数据库，然后通过Binlog Query的方式消费或者直接客户端采集到Kafka，最终通过基于Spark/Flink实现的批流一体计算引擎处理，最后输出到下游对应的存储。
-
发表了文章 2022-05-07
Apache Hudi在Hopworks机器学习的应用
Hopsworks特征存储库统一了在线和批处理应用程序的特征访问而屏蔽了双数据库系统的复杂性。我们构建了一个可靠且高性能的服务，以将特征物化到在线特征存储库，不仅仅保证低延迟访问，而且还保证在服务时间可以访问最新鲜的特征值。
-
发表了文章 2022-05-07
通过Z-Order技术加速Hudi大规模数据集分析方案
多维分析是大数据分析的一个典型场景，这种分析一般带有过滤条件。对于此类查询，尤其是在高基字段的过滤查询，理论上只我们对原始数据做合理的布局，结合相关过滤条件，查询引擎可以过滤掉大量不相关数据，只需读取很少部分需要的数据。例如我们在入库之前对相关字段做排序，这样生成的每个文件相关字段的min－max值是不存在交叉的，查询引擎下推过滤条件给数据源结合每个文件的min－max统计信息，即可过滤掉大量不相干数据。 上述技术即我们通常所说的data clustering 和 data skip。直接排序可以在单个字段上产生很好的效果，如果多字段直接排序那么效果会大大折扣的，Z-Order可以较好的解决多
-
发表了文章 2022-05-07
一文彻底理解Apache Hudi的多版本清理服务
Apache Hudi提供了MVCC并发模型，保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本，此外还将讨论用户可使用的清理机制，以了解如何维护所需数量的旧文件版本，以使长时间运行的读取端不会失败。
-
发表了文章 2022-05-07
使用Apache Pulsar + Hudi构建Lakehouse方案了解下？
笔记
-
发表了文章 2022-05-06
Apache Hudi集成Spark SQL抢先体验
Apache Hudi集成Spark SQL抢先体验
-
发表了文章 2022-05-06
提升50%！Presto如何提升Hudi表查询性能？
分享一篇关于使用Hudi Clustering来优化Presto查询性能的talk
-
发表了文章 2022-05-06
干货！Apache Hudi如何智能处理小文件问题
Apache Hudi是一个流行的开源的数据湖框架，Hudi提供的一个非常重要的特性是自动管理文件大小，而不用用户干预。大量的小文件将会导致很差的查询分析性能，因为查询引擎执行查询时需要进行太多次文件的打开/读取/关闭。在流式场景中不断摄取数据，如果不进行处理，会产生很多小文件。
-
发表了文章 2022-05-06
重磅！解锁Apache Flink读写Apache Hudi新姿势
Apache Hudi 是目前最流行的数据湖解决方案之一，Data Lake Analytics 集成了 Hudi 服务高效的数据 MERGE（UPDATE/DELETE）场景；AWS 在 EMR 服务中 预安装 了 Apache Hudi，为用户提供高效的 record-level updates/deletes 和高效的数据查询管理；Uber 已经稳定运行 Apache Hudi 服务 4 年多，提供了 低延迟的数据库同步和高效率的查询。自 2016 年 8 月上线以来，数据湖存储规模已经超过 100PB。
-
发表了文章 2022-05-06
Apache Hudi核心概念一网打尽
笔记
-
发表了文章 2022-05-06
Apache Hudi：CDC的黄金搭档
笔记
-
发表了文章 2022-05-06
Lakehouse: 统一数据仓库和高级分析的新一代开放平台
笔记
-
发表了文章 2022-05-06
通过Apache Hudi和Alluxio建设高性能数据湖
T3出行的杨华和张永旭描述了他们数据湖架构的发展。该架构使用了众多开源技术，包括Apache Hudi和Alluxio。在本文中，您将看到我们如何使用Hudi和Alluxio将数据摄取时间缩短一半。此外，数据分析人员如何使用Presto、Hudi和Alluxio让查询速度提高了10倍。我们基于数据编排为数据管道的多个阶段（包括提取和分析）构建了数据湖。
-
发表了文章 2022-05-06
Apache Hudi初学者指南
在深入研究Hudi机制之前，让我们首先了解Hudi正在解决的问题。
-
发表了文章 2022-05-06
使用Apache Hudi + Amazon S3 + Amazon EMR + AWS DMS构建数据湖
数据湖使组织能够在更短的时间内利用多个源的数据，而不同角色用户可以以不同的方式协作和分析数据，从而实现更好、更快的决策。Amazon Simple Storage Service（amazon S3）是针对结构化和非结构化数据的高性能对象存储服务，可以用来作为数据湖底层的存储服务。
-
发表了文章 2022-05-06
印度最大在线食品杂货公司Grofers的数据湖建设之路
作为印度最大的在线杂货公司的数据工程师，我们面临的主要挑战之一是让数据在整个组织中的更易用。但当评估这一目标时，我们意识到数据管道频繁出现错误已经导致业务团队对数据失去信心，结果导致他们永远无法确定哪个数据源是正确的并且可用于分析，因此每个步骤都会咨询数据平台团队，数据平台团队原本应该提供尽可能独立地做出基于数据的正确决策而又不减慢速度的工具。
-
发表了文章 2022-05-06
Apache Hudi助力nClouds加速数据交付
在nClouds上，当客户的业务决策取决于对近实时数据的访问时，客户通常会向我们寻求有关数据和分析平台的解决方案。但随着每天创建和收集的数据量都在增加，这使得使用传统技术进行数据分析成为一项艰巨的任务。 本文我们将讨论nClouds如何帮助您应对数据延迟，数据质量，系统可靠性和数据隐私合规性方面的挑战。
-
发表了文章 2022-05-06
Apache Hudi与Apache Flink集成
笔记
-
发表了文章 2022-05-06
划重点！AWS的湖仓一体使用哪种数据湖格式进行衔接？
此前Apache Hudi社区一直有小伙伴询问能否使用Amazon Redshift查询Hudi表，现在它终于来了。
-
发表了文章 2022-05-06
Apache Hudi和Presto的前世今生
一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto团队工程师Brandon Scheller分享Apache Hudi和Presto集成的一篇文章。
-
发表了文章 2022-05-06
Apache Hudi异步Compaction方式汇总
本篇文章对执行异步Compaction的不同部署模型一探究竟。
-
发表了文章 2022-05-06
详解Apache Hudi如何配置各种类型分区
Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。
-
发表了文章 2022-05-06
Apache Hudi表自动同步至阿里云数据湖分析DLA
Hudi 0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中，对于云上其他使用与Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块hudi-hive-sync进行了抽象改造，以支持将Hudi表同步到其他类型MetaStore中，如阿里云的数据湖分析DLA(https://www.aliyun.com/product/datalakeanalytics中。
-
发表了文章 2022-05-06
Apache Hudi + AWS S3 + Athena实战
Apache Hudi在阿里巴巴集团、EMIS Health，LinkNovate，Tathastu.AI，腾讯，Uber内使用，并且由Amazon AWS EMR和Google云平台支持，最近Amazon Athena支持了在Amazon S3上查询Apache Hudi数据集的能力，本博客将测试Athena查询S3上Hudi格式数据集。
-
发表了文章 2022-05-06
官宣！AWS Athena正式可查询Apache Hudi数据集
Apache Hudi是一个开源的增量数据处理框架，提供了行级insert、update、upsert、delete的细粒度处理能力（Upsert表示如果数据集中存在记录就更新；否则插入）。
-
发表了文章 2022-05-06
生态 | Apache Hudi集成Alluxio实践
笔记
-
发表了文章 2022-05-06
Apache Hudi重磅特性解读之存量表高效迁移机制
随着Apache Hudi变得越来越流行，一个挑战就是用户如何将存量的历史表迁移到Apache Hudi，Apache Hudi维护了记录级别的元数据以便提供upserts和增量拉取的核心能力。为利用Hudi的upsert和增量拉取能力，用户需要重写整个数据集让其成为Hudi表。此RFC提供一个无需重写整张表的高效迁移机制。
-
发表了文章 2022-05-06
Apache Hudi重磅特性解读之全局索引
Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。 当前，Hudi支持分区和非分区的数据集。分区数据集是将一组文件（数据）放在称为分区的桶中的数据集。一个Hudi数据集可能由N个分区和M个文件组成，这种组织结构也非常方便hive/presto/spark等引擎根据分区字段过滤以返回有限的数据量。而分区的值绝大多数情况下是从数据中得来，这个要求一旦一条记录映射到分区/桶，那么这个映射应该 a) 被Hudi知道；b) 在Hudi数据集生命周期里保持不变。
-
发表了文章 2022-05-06
使用Apache Spark和Apache Hudi构建分析数据湖
大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWS S3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。
-
发表了文章 2022-05-06
Uber基于Apache Hudi构建PB级数据湖实践
从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年，Uber开发了增量处理框架Apache Hudi，以低延迟和高效率为关键业务数据管道赋能。一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了Apache Software Foundation，差不多一年半之后，Apache Hudi毕业成为Apache Software Foundation顶级项目。为纪念这一里程碑，我们想分享Apache Hudi的构建、发布、优化和毕业之旅
-
发表了文章 2022-05-06
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。
-
发表了文章 2022-05-06
实战| 配置DataDog监控Apache Hudi应用指标
笔记
-
发表了文章 2022-05-06
Apache Hudi在医疗大数据中的应用
本篇文章主要介绍Hudi在医疗大数据中的应用，主要分为５个部分进行介绍：1. 建设背景，2. 为什么选择Hudi，3. Hudi数据同步，4. 存储类型选择及查询优化，5. 未来发展与思考。
-
发表了文章 2022-05-06
填坑！线上Presto查询Hudi表异常排查
笔记
-
发表了文章 2022-05-06
真香！PySpark整合Apache Hudi实战
笔记
-
发表了文章 2022-05-06
Apache Hudi又双叕被国内顶级云服务提供商集成了！
Apache Hudi 在 HDFS 的数据集上提供了插入更新和增量拉取的流原语。
-
发表了文章 2022-05-06
Apache Hudi集成Apache Zeppelin实战
Apache Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。当前Hive与SparkSQL已经支持查询Hudi的读优化视图和实时视图。所以理论上Zeppelin的notebook也应当拥有这样的查询能力。
-
发表了文章 2022-05-06
实战 | 将Apache Hudi数据集写入阿里云OSS
云上对象存储的廉价让不少公司将其作为主要的存储方案，而Hudi作为数据湖解决方案，支持对象存储也是必不可少。之前AWS EMR已经内置集成Hudi，也意味着可以在S3上无缝使用Hudi。当然国内用户可能更多使用阿里云OSS作为云上存储方案，那么如果用户想基于OSS构建数据湖，那么Hudi是否支持呢？随着Hudi社区主分支已经合并了支持OSS的PR，现在只需要基于master分支build版本即可，或者等待下一个版本释出便可直接使用，经过简单的配置便可将数据写入OSS。
-
发表了文章 2022-05-06
实战|使用Spark Structured Streaming写入Hudi
传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。
-
发表了文章 2022-05-06
Apache Hudi 设计与架构最强解读
Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
-
发表了文章 2022-05-06
【Flink】Flink作业调度流程分析
当向Flink集群提交用户作业时，从用户角度看，只需要作业处理逻辑正确，输出正确的结果即可；而不用关心作业何时被调度的，作业申请的资源又是如何被分配的以及作业何时会结束；但是了解作业在运行时的具体行为对于我们深入了解Flink原理有非常大的帮助，并且对我们如何编写更合理的作业逻辑有指导意义，因此本文详细分析作业的调度及资源分配以及作业的生命周期。
-
发表了文章 2022-05-06
【Flink】深入理解Flink-On-Yarn模式
Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式，本文分析两种模式及启动流程。
-
发表了文章 2022-05-06
【Flink】Flink 底层RPC框架分析
对于Flink中各个组件（JobMaster、TaskManager、Dispatcher等），其底层RPC框架基于Akka实现，本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。
-
发表了文章 2022-05-06
Guava-Objects使用
Java中的Object提供了很多方法供所有的类使用，特别是toString、hashCode、equals、getClass等方法，在日常开发中作用很大，Guava中包含Objects类，其提供了很多更为强大的方法。
-
发表了文章 2022-05-06
【Flink】流-表概念
笔记
-
发表了文章 2022-05-06
【Spring】渲染Web视图
前面学习了编写Web请求的控制器，创建简单的视图，本篇博文讲解控制器完成请求到结果渲染到用户的浏览器的过程。
-
发表了文章
2024-05-15
Hudi基本概念
-
发表了文章
2024-05-15
Hudi MergeOnRead存储类型时Upsert分析
-
发表了文章
2024-05-15
hudi性能测试
-
发表了文章
2024-05-15
Hudi的管理与运维
-
发表了文章
2024-05-15
ApacheHudi与其他类似系统的比较
-
发表了文章
2024-05-15
ApacheHudi常见问题汇总
-
发表了文章
2024-05-15
使用Apache Hudi和Debezium构建健壮的CDC管道
-
发表了文章
2024-05-15
Data Lake架构揭秘
-
发表了文章
2024-05-15
Apache Hudi与Delta Lake对比
-
发表了文章
2024-05-15
Hudi 压缩(Compaction)实现分析
-
发表了文章
2024-05-15
使用Apache Hudi构建大规模、事务性数据湖
-
发表了文章
2024-05-15
Apache Hudi 异步Compaction部署方式汇总
-
发表了文章
2024-05-15
ApacheHudi使用问题汇总（一）
-
发表了文章
2024-05-15
ApacheHudi使用问题汇总（二）
-
发表了文章
2024-05-15
Spark读取变更Hudi数据集Schema实现分析
-
发表了文章
2024-05-15
假期结束还没缓过神？Hudi on Flink最新进展了解下？
-
发表了文章
2024-05-15
查询时间降低60%！Apache Hudi数据布局黑科技了解下
-
发表了文章
2024-05-15
Apache Flink 1.12.2集成Hudi 0.9.0运行指南
-
发表了文章
2024-05-15
提升50%+！Presto如何提升Hudi表查询性能？
-
发表了文章
2024-05-15
一文彻底理解Apache Hudi的清理服务
