勋章
我关注的人
粉丝
技术能力
-
-
阿里云数据仓库工程师ACP认证（Alibaba Cloud Certified Professional - Data Warehouse）
获得于2022-04-12 22:36:26
-
-
-
阿里云云数据库助理工程师认证（ACA）
获得于2021-04-29 17:09:02
-
暂无个人介绍
-
发表了文章 2022-05-06
Apache Hudi集成Apache Zeppelin实战
Apache Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。当前Hive与SparkSQL已经支持查询Hudi的读优化视图和实时视图。所以理论上Zeppelin的notebook也应当拥有这样的查询能力。
-
发表了文章 2022-05-06
实战 | 将Apache Hudi数据集写入阿里云OSS
云上对象存储的廉价让不少公司将其作为主要的存储方案，而Hudi作为数据湖解决方案，支持对象存储也是必不可少。之前AWS EMR已经内置集成Hudi，也意味着可以在S3上无缝使用Hudi。当然国内用户可能更多使用阿里云OSS作为云上存储方案，那么如果用户想基于OSS构建数据湖，那么Hudi是否支持呢？随着Hudi社区主分支已经合并了支持OSS的PR，现在只需要基于master分支build版本即可，或者等待下一个版本释出便可直接使用，经过简单的配置便可将数据写入OSS。
-
发表了文章 2022-05-06
实战|使用Spark Structured Streaming写入Hudi
传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。
-
发表了文章 2022-05-06
Apache Hudi 设计与架构最强解读
Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
-
发表了文章 2022-05-06
【Flink】Flink作业调度流程分析
当向Flink集群提交用户作业时，从用户角度看，只需要作业处理逻辑正确，输出正确的结果即可；而不用关心作业何时被调度的，作业申请的资源又是如何被分配的以及作业何时会结束；但是了解作业在运行时的具体行为对于我们深入了解Flink原理有非常大的帮助，并且对我们如何编写更合理的作业逻辑有指导意义，因此本文详细分析作业的调度及资源分配以及作业的生命周期。
-
发表了文章 2022-05-06
【Flink】深入理解Flink-On-Yarn模式
Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式，本文分析两种模式及启动流程。
-
发表了文章 2022-05-06
【Flink】Flink 底层RPC框架分析
对于Flink中各个组件（JobMaster、TaskManager、Dispatcher等），其底层RPC框架基于Akka实现，本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。
-
发表了文章 2022-05-06
Guava-Objects使用
Java中的Object提供了很多方法供所有的类使用，特别是toString、hashCode、equals、getClass等方法，在日常开发中作用很大，Guava中包含Objects类，其提供了很多更为强大的方法。
-
发表了文章 2022-05-06
【Flink】流-表概念
笔记
-
发表了文章 2022-05-06
【Spring】Spring MVC高级技术
前面学习了简单的Spring Web知识，接着学习更高阶的Web技术
-
发表了文章 2022-05-06
【Spring】渲染Web视图
前面学习了编写Web请求的控制器，创建简单的视图，本篇博文讲解控制器完成请求到结果渲染到用户的浏览器的过程。
-
发表了文章 2022-05-06
【问题排查】fastjson线上排坑记
版本上线时发现fastjson的toString方法的返回的字符串与与之前版本的toString方法返回的字符串不相同，这导致依赖toString进行md5计算所得到的结果不相同，更进一步导致其他依赖该md5值的插件发现和之前的md5值不相等而重启，导致数据存在丢失情况。
-
发表了文章 2022-05-06
【工具】Spring项目转化Spring Web项目插件
源于前一篇博文中提到，将Spring项目转化为Spring Web项目，发现添加项目文件和修改pom.xml文件等都是手动完成的，心想着开发一个Idea插件来自动化完成上面的过程，实现一键转化。
-
发表了文章 2022-05-06
【Spring】构建Spring Web应用
学习了Spring的注解、AOP后，接着学习Spring Web，对于Web应用开发，Spring提供了Web框架。
-
发表了文章 2022-05-06
【Spring】面向切面之AOP
前面已经讲解了bean的装配技术，接着学习Spring中另外一个核心概念：切面
-
发表了文章 2022-05-06
【Spring】高级装配
前面讲解了bean的核心装配技术，其可应付很多中装配情况，但Spring提供了高级装配技术，以此实现更为高级的bean装配功能。
-
发表了文章 2022-05-06
【Linux】Linux学习笔记（完结）
在工作中发现Linux系统的重要性，于是计划重温下Linux，顺便记录笔记方便之后查阅。
-
发表了文章 2022-05-06
【Spring】Spring的bean装配
bean是Spring最基础最核心的部分，Spring简化代码主要是依赖于bean，下面学习Spring中如何装配bean
-
发表了文章 2022-05-05
【项目实战】多线程环境下正确创建单例
对项目代码进行扫描时，出现静态扫描严重问题，发现是由于多线程环境下没有正确创建单例所导致
-
发表了文章 2022-05-05
【Storm】Storm实战之频繁二项集挖掘（附源码）
针对大叔据实时处理的入门，除了使用WordCount示例之外，还需要相对更深入点的示例来理解Storm，因此，本篇博文利用Storm实现了频繁项集挖掘的案例，以方便更好的入门Storm。
-
发表了文章 2022-05-05
【Netty】TCP粘包和拆包
前面已经基本上讲解完了Netty的主要内容，现在来学习Netty中的一些可能存在的问题，如TCP粘包和拆包。
-
发表了文章 2022-05-05
【Netty】UDP广播事件
前面学习了WebSocket协议，并且通过示例讲解了WebSocket的具体使用，接着学习如何使用无连接的UDP来广播事件。
-
发表了文章 2022-05-05
【Netty】WebSocket
前面学习了codec和ChannelHandler之间的关系，接着学习WebSocket。
-
发表了文章 2022-05-05
【Netty】ChannelHandler和codec
前面学习了Netty的codec框架，下面接着学习ChannelHandler与codec之间的关联。
-
发表了文章 2022-05-05
【Netty】codec框架
前面已经学习完了Netty框架中的主要组件，接着学习codec框架。
-
发表了文章 2022-05-05
【Netty】Netty之Bootstrapping
前面已经学习了Netty的EventLoop以及线程模型，接着学习Netty的Bootstrapping。
-
发表了文章 2022-05-05
【Netty】EventLoop和线程模型
在学习了ChannelHandler和ChannelPipeline的有关细节后，接着学习Netty的EventLoop和线程模型。
-
发表了文章 2022-05-05
【Netty】ChannelHandler和ChannelPipeline
前面学习了Netty的ByteBuf，接着学习ChannelHandler和ChannelPipeline。
-
发表了文章 2022-05-05
【Netty】Netty之ByteBuf
前面已经学习了Netty中传输部分，现在接着学习Netty中的ByteBuf。
-
发表了文章 2022-05-05
【Netty】Netty传输
在简单学习了Netty中的组件后，接着学习Netty中数据的传输细节。
-
发表了文章 2022-05-05
【Netty】Netty核心组件介绍
前篇博文体验了Netty的第一个示例，下面接着学习Netty的组件和其设计。
-
发表了文章 2022-05-05
【Netty】第一个Netty应用
前面已经学习完了Java NIO的内容，接着来学习Netty，本篇将通过一个简单的应用来了解Netty的使用。
-
发表了文章 2022-05-04
【NIO】Java NIO之选择器
前面已经学习了缓冲和通道，接着学习选择器。
-
发表了文章 2022-05-04
【NIO】Java NIO之通道
前面学习了缓冲区的相关知识点，接下来学习通道。
-
发表了文章 2022-05-04
【NIO】Java NIO之缓冲
在笔者打算学习Netty框架时，发现很有必要先学习NIO，因此便有了本博文，首先介绍的是NIO中的缓冲。
-
发表了文章 2022-05-04
【Scala】Scala之Traits
前面学习了Scala中包和导入的相关知识点，接着学习Traits（特质）
-
发表了文章 2022-05-04
【Scala】Scala之Packaging and Imports
前面介绍了Scala的Object，由于中间论文的时间耽误了些时间，接着继续学习Scala的Packaging和Imports
-
发表了文章 2022-05-04
【Zookeeper】源码分析之服务器（五）之ObserverZooKeeperServer
前面分析了FollowerZooKeeperServer，接着分析ObserverZooKeeperServer。
-
发表了文章 2022-05-04
【Zookeeper】源码分析之服务器（四）之FollowerZooKeeperServer
前面分析了LeaderZooKeeperServer，接着分析FollowerZooKeeperServer。
-
发表了文章 2022-05-04
【Zookeeper】源码分析之服务器（三）之LeaderZooKeeperServer
前面分析了ZooKeeperServer源码，由于QuorumZooKeeperServer的源码相对简单，于是直接分析
-
发表了文章 2022-05-04
【Zookeeper】源码分析之服务器（二）之ZooKeeperServer
前面阐述了服务器的总体框架，下面来分析服务器的所有父类ZooKeeperServer。
-
发表了文章 2022-05-04
【Zookeeper】源码分析之服务器（一）
前面已经介绍了Zookeeper中Leader选举的具体流程，接着来学习Zookeeper中的各种服务器。
-
发表了文章 2022-05-04
【Zookeeper】源码分析之Leader选举（二）之FastLeaderElection
前面学习了Leader选举的总体框架，接着来学习Zookeeper中默认的选举策略，FastLeaderElection。
-
发表了文章 2022-05-04
【Scala】Scala之Object（二）
前面学习了Scala的Methods，接着学习Scala中的Object
-
发表了文章 2022-05-04
【Scala】Scala之Object（一）
前面学习了Scala的Methods，接着学习Scala中的Object
-
发表了文章 2022-05-04
【Zookeeper】源码分析之Leader选举（一）
分析完了Zookeeper中的网络机制后，接着来分析Zookeeper中一个更为核心的模块，Leader选举。
-
发表了文章 2022-05-04
【Zookeeper】源码分析之网络通信（三）之NettyServerCnxn
前面已经学习了NIOServerCnxn，接着继续学习NettyServerCnxn。
-
发表了文章 2022-05-04
【Scala】Scala之Methods（下）
前面学习了Scala的Class，下面接着学习Method(方法)。
-
发表了文章 2022-05-04
【Scala】Scala之Methods（上）
前面学习了Scala的Class，下面接着学习Method(方法)。
-
发表了文章 2022-05-04
【Zookeeper】源码分析之网络通信（二）之NIOServerCnxn
前面介绍了ServerCnxn，下面开始学习NIOServerCnxn。
-
发表了文章
2024-05-15
Hudi基本概念
-
发表了文章
2024-05-15
Hudi MergeOnRead存储类型时Upsert分析
-
发表了文章
2024-05-15
hudi性能测试
-
发表了文章
2024-05-15
Hudi的管理与运维
-
发表了文章
2024-05-15
ApacheHudi与其他类似系统的比较
-
发表了文章
2024-05-15
ApacheHudi常见问题汇总
-
发表了文章
2024-05-15
使用Apache Hudi和Debezium构建健壮的CDC管道
-
发表了文章
2024-05-15
Data Lake架构揭秘
-
发表了文章
2024-05-15
Apache Hudi与Delta Lake对比
-
发表了文章
2024-05-15
Hudi 压缩(Compaction)实现分析
-
发表了文章
2024-05-15
使用Apache Hudi构建大规模、事务性数据湖
-
发表了文章
2024-05-15
Apache Hudi 异步Compaction部署方式汇总
-
发表了文章
2024-05-15
ApacheHudi使用问题汇总（一）
-
发表了文章
2024-05-15
ApacheHudi使用问题汇总（二）
-
发表了文章
2024-05-15
Spark读取变更Hudi数据集Schema实现分析
-
发表了文章
2024-05-15
假期结束还没缓过神？Hudi on Flink最新进展了解下？
-
发表了文章
2024-05-15
查询时间降低60%！Apache Hudi数据布局黑科技了解下
-
发表了文章
2024-05-15
Apache Flink 1.12.2集成Hudi 0.9.0运行指南
-
发表了文章
2024-05-15
提升50%+！Presto如何提升Hudi表查询性能？
-
发表了文章
2024-05-15
一文彻底理解Apache Hudi的清理服务
