勋章
我关注的人
粉丝
技术能力
- Java
- 大数据
- Linux
- 流计算
暂时未有相关云产品技术能力~
专注于开源技术的整理与分享，整理关于大数据相关组件使用与原理分析
-
发表了文章 2022-03-05
Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
本文讲述Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
-
发表了文章 2022-03-03
rpm快速打包工具 --- rpm-package
rpm包作为redhat、centos系列操作系统的包管理工具，让我们可以轻松通过`yum install xxx.rpm`命令安装某些软件包。本项目介绍文件打包方法，用于将任意文件按照描述文件的组织方式打包成rpm包。
-
发表了文章 2022-01-20
行为设计模式及其在JVM中的应用
本文介绍设计模式中的行为设计模式及其在JVM中的应用
-
发表了文章 2022-01-20
结构型设计模式
本文介绍设计模式中的结构型设计模式
-
发表了文章 2022-01-20
创建型设计模式简介
本文介绍设计模式中的创建型设计模式
-
发表了文章 2022-01-11
hive metastore配置kerberos认证
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。
-
发表了文章 2022-01-10
hbase数据同步工具—HashTable/SyncTable
本文介绍hbase数据同步工具—HashTable/SyncTable，实现集群内部或跨集群之间的数据同步操作
-
发表了文章 2022-01-10
datafaker --- 测试数据生成工具
本文介绍如何使用datafaker工具生成测试数据
-
发表了文章 2022-01-10
flink写入数据到hudi的四种方式
本文描述flink写入数据到hudi的四种方式
-
发表了文章 2022-01-10
jupyter lab---服务器编程利器
本文介绍如何使用jupyter lab快速进行服务器代码开发
-
发表了文章 2022-01-10
Snap, AppImage和 Flatpak之间差异
本文介绍Snap, AppImage和 Flatpak之间差异
-
发表了文章 2022-01-10
第一个用gradle构建的java项目
本文介绍如何使用gralde构建你的java项目
-
发表了文章 2022-01-10
使用nginx进行http以及socket端口转发（快速提高docker开发效率）
本文介绍如何使用nginx进行http以及socket端口转发以快速提高docker开发效率
-
发表了文章 2022-01-10
浅谈单例模式
本文描述设计模式中的单例模式
-
发表了文章 2022-01-10
浅谈工厂模式
本文描述设计模式重点的工厂模式
-
发表了文章 2022-01-10
基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
本文基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
-
发表了文章 2022-01-10
用了CSDN浏览器插件之后，我的工作效率上来了，业余生活也丰富了
csdn浏览器插件可用于接管你的浏览器首页，并美化您的浏览器首页，帮助您管理网站、搜索引擎、提供丰富的内置工具供您开发使用，让您一装多用。
-
发表了文章 2022-01-10
使用深度学习模型在 Java 中执行文本情感分析
本文介绍如何使用集成到斯坦福 CoreNLP（一个用于自然语言处理的开源库）中的情感工具在 Java 中实现此类任务。
-
发表了文章 2022-01-10
InfluxDB核心概念系列之数据模式与设计原则
工欲善其事必先利其器，想要用好InfluxDB，当然要先厘清其基本概念，本文为InfluxDB核心概念系列文章之数据模式与设计原则。
-
发表了文章 2022-01-10
InfluxDB核心概念系列之数据元素
工欲善其事必先利其器，想要用好InfluxDB，当然要先厘清其基本概念，本文为InfluxDB核心概念系列文章之数据元素。
-
发表了文章 2022-01-10
一文读懂Kafka Connect核心概念
Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。
-
发表了文章 2022-01-09
spark-shell操作hudi并使用hbase作为索引
本文介绍spark-shell操作hudi并使用hbase作为索引
-
发表了文章 2022-01-09
hudi 0.9.0适配hbase 2.2.6
本文介绍hudi 0.9.0适配hbase 2.2.6指南
-
发表了文章 2022-01-09
Flink SQL Client实战CDC数据入湖
本文介绍Flink SQL Client实现CDC数据入湖
-
发表了文章 2022-01-09
hudi 0.9.0-relese版本无法加载默认配置项问题与修复方法
本文介绍hudi 0.9.0-relese版本无法加载默认配置项问题与修复方法
-
发表了文章 2022-01-09
使用flink插入数据到hudi数据湖初探
本文介绍如何使用flink插入数据到hudi数据湖
-
发表了文章 2022-01-09
使用spark3操作hudi数据湖初探
本文介绍使用spark3操作hudi数据湖初探
-
发表了文章 2022-01-09
hdfs集群安装（单namenode和HA模式）
本文介绍hdfs集群安装（单namenode和HA模式）指南
-
发表了文章 2022-01-09
hadoop yarn安装
本文介绍hadoop yarn安装指南
-
发表了文章 2022-01-09
centos7中mysql5.7的安装、授权与压测
本文介绍centos7中mysql5.7的安装、授权与压测
-
发表了文章 2022-01-09
apache tez 编译安装与验证
本文介绍apache tez 编译安装与验证
-
发表了文章 2022-01-09
hive-3.1.2安装以及使用tez作为执行引擎指南
本文介绍hive-3.1.2安装以及使用tez作为执行引擎指南
-
发表了文章 2022-01-09
kafka-2.8.0单节点安装与启动
本文介绍kafka-2.8.0单节点安装与启动
-
发表了文章 2022-01-09
zookeeper-3.6.3单节点安装与启动
本文介绍zookeeper-3.6.3单节点安装与启动
-
发表了文章 2022-01-09
使用flink SQL Client将mysql数据写入到hudi并同步到hive
本文介绍如何使用flink SQL Client将mysql数据写入到hudi并同步到hive
-
发表了文章 2022-01-09
使用presto查询同步到hive的hudi数据
本文介绍如何通过presto查询同步到hive的hudi数据
-
发表了文章 2022-01-09
Prometheus与pushGateway安装与使用
本文介绍Prometheus与pushGateway安装与使用指南
-
发表了文章 2022-01-09
你需要的Java jar包反编译工具来了
在我们进行java开发过程中，有时候需要看一下某个jar包是否确定已经是我们更新过的代码，那么此时，就需要使用反编译工具看一下jar包中对应的java源码。下文介绍一个高效率的jar包源码查看工具：jd-gui
-
发表了文章 2022-01-09
使用prometheus监控hudi相关指标
本文介绍如何通过prometheus监控hudi相关指标
-
发表了文章 2022-01-09
使用FLINK SQL从savepoint恢复hudi作业 （flink 1.13）
Flink从1.13版本开始支持在SQL Client从savepoint恢复作业，本文介绍如何在flink sql client中恢复flink作业。
-
发表了文章 2022-01-09
Zeppelin结合Flink查询hudi数据
本文结合如何通过zeppelin结合flink查询hudi中的数据。
-
发表了文章 2022-01-09
自己构建kafka镜像进行开发测试，你学会了吗？
本文介绍如何构建kafka自定义镜像来进行开发测试
-
发表了文章 2022-01-09
Zeppelin安装与配置
本文介绍zeppelin安装与配置指南
-
发表了文章 2022-01-09
zeppelin高可用部署
这边所说的zeppelin高可用不是传统意义上的HA模式，而是利用统一的配置文件，在一个zeppelin server挂掉之后，在另一个zeppelin server从统一配置文件再恢复到原有作业模式。在集群中，同时仅存在一个zeppelin server服务。
-
发表了文章 2022-01-09
Flink cdc自定义format格式数据源
变更数据捕获 (CDC) 已成为一种流行的模式，本文介绍如何通过自定义format来获取不同格式cdc数据源
-
发表了文章 2022-01-09
hudi 0.10.0适配hdp 3.1.5编译
hudi由于其依赖于hdfs作为后端存储，所以为了适配hdp 3.1.5版本，需要进行适配性编译，本文介绍hudi 0.10.0适配hdp 3.1.5编译。
-
发表了文章 2022-01-09
在手机上长按文字进行选择，其背后的技术不简单
本文介绍联邦学习技术在手机文字复制功能上的应用。
-
发表了文章 2022-01-09
看看享元模式给你的程序减少了多少内存
看看享元模式给你的程序减少了多少内存
-
发表了文章 2022-01-09
爱智边缘计算设备spirit 1 居然还可以这么玩
工作之后，经朋友推荐，用了vuepress来做笔记，然后将其部署在云服务器上。虽然vuepress比较轻量，但是它总需要占用我的服务器资源。那现在，有了spirit 1之后，我就完全可以解放我的服务器，将我的笔记部署在spirit 1上了.
-
发表了文章 2022-01-09
airflow安装教程（local模式）
airflow安装教程（local模式）
-
发表了文章
2022-03-05
Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
-
发表了文章
2022-03-03
rpm快速打包工具 --- rpm-package
-
发表了文章
2022-01-20
行为设计模式及其在JVM中的应用
-
发表了文章
2022-01-20
结构型设计模式
-
发表了文章
2022-01-20
创建型设计模式简介
-
发表了文章
2022-01-11
hive metastore配置kerberos认证
-
发表了文章
2022-01-10
hbase数据同步工具—HashTable/SyncTable
-
发表了文章
2022-01-10
datafaker --- 测试数据生成工具
-
发表了文章
2022-01-10
flink写入数据到hudi的四种方式
-
发表了文章
2022-01-10
jupyter lab---服务器编程利器
-
发表了文章
2022-01-10
Snap, AppImage和 Flatpak之间差异
-
发表了文章
2022-01-10
第一个用gradle构建的java项目
-
发表了文章
2022-01-10
使用nginx进行http以及socket端口转发（快速提高docker开发效率）
-
发表了文章
2022-01-10
浅谈单例模式
-
发表了文章
2022-01-10
浅谈工厂模式
-
发表了文章
2022-01-10
基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
-
发表了文章
2022-01-10
用了CSDN浏览器插件之后，我的工作效率上来了，业余生活也丰富了
-
发表了文章
2022-01-10
使用深度学习模型在 Java 中执行文本情感分析
-
发表了文章
2022-01-10
InfluxDB核心概念系列之数据模式与设计原则
-
发表了文章
2022-01-10
InfluxDB核心概念系列之数据元素
-
回答了问题
2022-01-07
Flink Forward Asia 2021 实时数据湖专场
使用Flink SQL构建Hudi数据湖时，目前是在DDL的with中添加path属性作为该表的存储路径，但是该方式是缺乏统一的元数据管理中心的，想问一下hudi后期是否会针对元数据管理有什么规划呢？赞1 踩0 评论1 -
提交了问题
2019-06-06
flink用IDEA本地运行可以读取HDFS数据，然后把项目打包提交到flink集群，无法读取HDFS数据，出现以下错误，这是为何？