xleesf_社区达人页

2022年05月

• 05.06 18:43:04
  发表了文章 2022-05-06 18:43:04

  Uber基于Apache Hudi构建PB级数据湖实践

  从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年，Uber开发了增量处理框架Apache Hudi，以低延迟和高效率为关键业务数据管道赋能。一年后，我们开源了该解决方案，以使得其他有需要的组织也可以利用Hudi的优势。接着在2019年，我们履行承诺，进一步将其捐赠给了Apache Software Foundation，差不多一年半之后，Apache Hudi毕业成为Apache Software Foundation顶级项目。为纪念这一里程碑，我们想分享Apache Hudi的构建、发布、优化和毕业之旅

  
• 05.06 18:39:27
  发表了文章 2022-05-06 18:39:27

  调优 | Apache Hudi应用调优指南

  通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。
• 05.06 18:34:40
  发表了文章 2022-05-06 18:34:40

  实战| 配置DataDog监控Apache Hudi应用指标

  笔记

  
• 05.06 18:33:10
  发表了文章 2022-05-06 18:33:10

  Apache Hudi在医疗大数据中的应用

  本篇文章主要介绍Hudi在医疗大数据中的应用，主要分为５个部分进行介绍：1. 建设背景，2. 为什么选择Hudi，3. Hudi数据同步，4. 存储类型选择及查询优化，5. 未来发展与思考。

  
• 05.06 18:31:19
  发表了文章 2022-05-06 18:31:19

  填坑！线上Presto查询Hudi表异常排查

  笔记

  
• 05.06 17:05:50
  发表了文章 2022-05-06 17:05:50

  真香！PySpark整合Apache Hudi实战

  笔记
• 05.06 17:02:44
  发表了文章 2022-05-06 17:02:44

  Apache Hudi又双叕被国内顶级云服务提供商集成了！

  Apache Hudi 在 HDFS 的数据集上提供了插入更新和增量拉取的流原语。
• 05.06 17:01:13
  发表了文章 2022-05-06 17:01:13

  Apache Hudi集成Apache Zeppelin实战

  Apache Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。当前Hive与SparkSQL已经支持查询Hudi的读优化视图和实时视图。所以理论上Zeppelin的notebook也应当拥有这样的查询能力。

  
• 05.06 16:49:09
  发表了文章 2022-05-06 16:49:09

  实战 | 将Apache Hudi数据集写入阿里云OSS

  云上对象存储的廉价让不少公司将其作为主要的存储方案，而Hudi作为数据湖解决方案，支持对象存储也是必不可少。之前AWS EMR已经内置集成Hudi，也意味着可以在S3上无缝使用Hudi。当然国内用户可能更多使用阿里云OSS作为云上存储方案，那么如果用户想基于OSS构建数据湖，那么Hudi是否支持呢？随着Hudi社区主分支已经合并了支持OSS的PR，现在只需要基于master分支build版本即可，或者等待下一个版本释出便可直接使用，经过简单的配置便可将数据写入OSS。

  
• 05.06 16:46:51
  发表了文章 2022-05-06 16:46:51

  实战|使用Spark Structured Streaming写入Hudi

  传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。

  
• 05.06 16:42:05
  发表了文章 2022-05-06 16:42:05

  Apache Hudi 设计与架构最强解读

  Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。

  
• 05.06 13:10:43
  发表了文章 2022-05-06 13:10:43

  【Flink】Flink作业调度流程分析

  当向Flink集群提交用户作业时，从用户角度看，只需要作业处理逻辑正确，输出正确的结果即可；而不用关心作业何时被调度的，作业申请的资源又是如何被分配的以及作业何时会结束；但是了解作业在运行时的具体行为对于我们深入了解Flink原理有非常大的帮助，并且对我们如何编写更合理的作业逻辑有指导意义，因此本文详细分析作业的调度及资源分配以及作业的生命周期。

  
• 05.06 12:57:12
  发表了文章 2022-05-06 12:57:12

  【Flink】深入理解Flink-On-Yarn模式

  Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式，本文分析两种模式及启动流程。

  
• 05.06 12:54:47
  发表了文章 2022-05-06 12:54:47

  【Flink】Flink 底层RPC框架分析

  对于Flink中各个组件（JobMaster、TaskManager、Dispatcher等），其底层RPC框架基于Akka实现，本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。

  
• 05.06 11:08:57
  发表了文章 2022-05-06 11:08:57

  Guava-Objects使用

  Java中的Object提供了很多方法供所有的类使用，特别是toString、hashCode、equals、getClass等方法，在日常开发中作用很大，Guava中包含Objects类，其提供了很多更为强大的方法。
• 05.06 11:02:49
  发表了文章 2022-05-06 11:02:49

  【Flink】流-表概念

  笔记

  
• 05.06 10:59:57
  发表了文章 2022-05-06 10:59:57

  【Spring】Spring MVC高级技术

  前面学习了简单的Spring Web知识，接着学习更高阶的Web技术
• 05.06 10:57:13
  发表了文章 2022-05-06 10:57:13

  【Spring】渲染Web视图

  前面学习了编写Web请求的控制器，创建简单的视图，本篇博文讲解控制器完成请求到结果渲染到用户的浏览器的过程。
• 05.06 10:55:33
  发表了文章 2022-05-06 10:55:33

  【问题排查】fastjson线上排坑记

  版本上线时发现fastjson的toString方法的返回的字符串与与之前版本的toString方法返回的字符串不相同，这导致依赖toString进行md5计算所得到的结果不相同，更进一步导致其他依赖该md5值的插件发现和之前的md5值不相等而重启，导致数据存在丢失情况。
• 05.06 10:54:01
  发表了文章 2022-05-06 10:54:01

  【工具】Spring项目转化Spring Web项目插件

  源于前一篇博文中提到，将Spring项目转化为Spring Web项目，发现添加项目文件和修改pom.xml文件等都是手动完成的，心想着开发一个Idea插件来自动化完成上面的过程，实现一键转化。
• 05.06 10:51:01
  发表了文章 2022-05-06 10:51:01

  【Spring】构建Spring Web应用

  学习了Spring的注解、AOP后，接着学习Spring Web，对于Web应用开发，Spring提供了Web框架。
• 05.06 10:39:51
  发表了文章 2022-05-06 10:39:51

  【Spring】面向切面之AOP

  前面已经讲解了bean的装配技术，接着学习Spring中另外一个核心概念：切面
• 05.06 10:35:06
  发表了文章 2022-05-06 10:35:06

  【Spring】高级装配

  前面讲解了bean的核心装配技术，其可应付很多中装配情况，但Spring提供了高级装配技术，以此实现更为高级的bean装配功能。
• 05.06 10:33:16
  发表了文章 2022-05-06 10:33:16

  【Linux】Linux学习笔记（完结）

  在工作中发现Linux系统的重要性，于是计划重温下Linux，顺便记录笔记方便之后查阅。
• 05.06 10:30:08
  发表了文章 2022-05-06 10:30:08

  【Spring】Spring的bean装配

  bean是Spring最基础最核心的部分，Spring简化代码主要是依赖于bean，下面学习Spring中如何装配bean
• 05.05 22:44:43
  发表了文章 2022-05-05 22:44:43

  【项目实战】多线程环境下正确创建单例

  对项目代码进行扫描时，出现静态扫描严重问题，发现是由于多线程环境下没有正确创建单例所导致
• 05.05 22:11:10
  发表了文章 2022-05-05 22:11:10

  【Storm】Storm实战之频繁二项集挖掘（附源码）

  针对大叔据实时处理的入门，除了使用WordCount示例之外，还需要相对更深入点的示例来理解Storm，因此，本篇博文利用Storm实现了频繁项集挖掘的案例，以方便更好的入门Storm。

  
• 05.05 22:03:52
  发表了文章 2022-05-05 22:03:52

  【Netty】TCP粘包和拆包

  前面已经基本上讲解完了Netty的主要内容，现在来学习Netty中的一些可能存在的问题，如TCP粘包和拆包。

  
• 05.05 21:58:32
  发表了文章 2022-05-05 21:58:32

  【Netty】UDP广播事件

  前面学习了WebSocket协议，并且通过示例讲解了WebSocket的具体使用，接着学习如何使用无连接的UDP来广播事件。

  
• 05.05 21:51:18
  发表了文章 2022-05-05 21:51:18

  【Netty】WebSocket

  前面学习了codec和ChannelHandler之间的关系，接着学习WebSocket。

  
• 05.05 21:02:20
  发表了文章 2022-05-05 21:02:20

  【Netty】ChannelHandler和codec

  前面学习了Netty的codec框架，下面接着学习ChannelHandler与codec之间的关联。

  
• 05.05 20:06:48
  发表了文章 2022-05-05 20:06:48

  【Netty】codec框架

  前面已经学习完了Netty框架中的主要组件，接着学习codec框架。

  
• 05.05 19:48:31
  发表了文章 2022-05-05 19:48:31

  【Netty】Netty之Bootstrapping

  前面已经学习了Netty的EventLoop以及线程模型，接着学习Netty的Bootstrapping。

  
• 05.05 19:43:13
  发表了文章 2022-05-05 19:43:13

  【Netty】EventLoop和线程模型

  在学习了ChannelHandler和ChannelPipeline的有关细节后，接着学习Netty的EventLoop和线程模型。

  
• 05.05 19:36:28
  发表了文章 2022-05-05 19:36:28

  【Netty】ChannelHandler和ChannelPipeline

  前面学习了Netty的ByteBuf，接着学习ChannelHandler和ChannelPipeline。

  
• 05.05 17:35:23
  发表了文章 2022-05-05 17:35:23

  【Netty】Netty之ByteBuf

  前面已经学习了Netty中传输部分，现在接着学习Netty中的ByteBuf。

  
• 05.05 17:18:21
  发表了文章 2022-05-05 17:18:21

  【Netty】Netty传输

  在简单学习了Netty中的组件后，接着学习Netty中数据的传输细节。

  
• 05.05 16:44:11
  发表了文章 2022-05-05 16:44:11

  【Netty】Netty核心组件介绍

  前篇博文体验了Netty的第一个示例，下面接着学习Netty的组件和其设计。

  
• 05.05 16:38:15
  发表了文章 2022-05-05 16:38:15

  【Netty】第一个Netty应用

  　前面已经学习完了Java NIO的内容，接着来学习Netty，本篇将通过一个简单的应用来了解Netty的使用。

  
• 05.04 23:36:04
  发表了文章 2022-05-04 23:36:04

  【NIO】Java NIO之选择器

  　前面已经学习了缓冲和通道，接着学习选择器。
• 05.04 23:32:37
  发表了文章 2022-05-04 23:32:37

  【NIO】Java NIO之通道

  　前面学习了缓冲区的相关知识点，接下来学习通道。

  
• 05.04 23:25:32
  发表了文章 2022-05-04 23:25:32

  【NIO】Java NIO之缓冲

  在笔者打算学习Netty框架时，发现很有必要先学习NIO，因此便有了本博文，首先介绍的是NIO中的缓冲。

  
• 05.04 23:19:01
  发表了文章 2022-05-04 23:19:01

  【Scala】Scala之Traits

  前面学习了Scala中包和导入的相关知识点，接着学习Traits（特质）
• 05.04 23:01:05
  发表了文章 2022-05-04 23:01:05

  【Scala】Scala之Packaging and Imports

  前面介绍了Scala的Object，由于中间论文的时间耽误了些时间，接着继续学习Scala的Packaging和Imports

  
• 05.04 22:49:18
  发表了文章 2022-05-04 22:49:18

  【Zookeeper】源码分析之服务器（五）之ObserverZooKeeperServer

  前面分析了FollowerZooKeeperServer，接着分析ObserverZooKeeperServer。
• 05.04 22:45:43
  发表了文章 2022-05-04 22:45:43

  【Zookeeper】源码分析之服务器（四）之FollowerZooKeeperServer

  　前面分析了LeaderZooKeeperServer，接着分析FollowerZooKeeperServer。
• 05.04 22:40:32
  发表了文章 2022-05-04 22:40:32

  【Zookeeper】源码分析之服务器（三）之LeaderZooKeeperServer

  前面分析了ZooKeeperServer源码，由于QuorumZooKeeperServer的源码相对简单，于是直接分析
• 05.04 22:35:37
  发表了文章 2022-05-04 22:35:37

  【Zookeeper】源码分析之服务器（二）之ZooKeeperServer

  前面阐述了服务器的总体框架，下面来分析服务器的所有父类ZooKeeperServer。
• 05.04 22:22:07
  发表了文章 2022-05-04 22:22:07

  【Zookeeper】源码分析之服务器（一）

  前面已经介绍了Zookeeper中Leader选举的具体流程，接着来学习Zookeeper中的各种服务器。

  
• 05.04 22:20:21
  发表了文章 2022-05-04 22:20:21

  【Zookeeper】源码分析之Leader选举（二）之FastLeaderElection

  前面学习了Leader选举的总体框架，接着来学习Zookeeper中默认的选举策略，FastLeaderElection。