勋章
我关注的人
粉丝
技术能力
- Java
- 大数据
- Linux
- 流计算
暂时未有相关云产品技术能力~
专注于开源技术的整理与分享，整理关于大数据相关组件使用与原理分析
-
发表了文章 2022-01-09
两年了，ambari终于发布了2.7.6新版本
2021/11/16，ambari终于推出了2.7.6版本，该版本相对2.7.5版本以来，共有26个contributors提交了114个commits以及修改了557个文件。
-
发表了文章 2022-01-09
du命令用的好，磁盘空间全知了
服务器开发环境作为公共环境，经常会遇到磁盘空间爆满的情况（不知道您有没有遇到过，反正我经常遇到这个情况）。由于我们好多开发同学都在上面放文件，遇到这种情况就只能先删除自己的没用的文件了。但是，之前曾经遇到一个情况，我删除了之前存储的10个G文件，释放空间不到两分钟，磁盘空间又满了！！！
-
发表了文章 2022-01-09
我用群晖和电信公网IP做了这些事情
用群晖和公网IP安装私有maven仓库和minio对象存储服务。
-
发表了文章 2022-01-09
kafka log4j日志级别修改，一天生成一个日志文件
kafka log4j日志级别修改，一天生成一个日志文件
-
发表了文章 2022-01-09
用go+写一个图片下载神器，百来行代码的事儿
使用go+语言写一个图片下载神器！
-
发表了文章 2022-01-09
网页访问速度慢？用HTTrack自己制作一个镜像网站吧
网页访问速度慢？用HTTrack自己制作一个镜像网站吧
-
发表了文章 2022-01-09
uos 20 安装mysql 5.7
uos 20 安装mysql 5.7
-
发表了文章 2022-01-09
分布式minio搭建指南
分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。
-
发表了文章 2022-01-09
Flink 1.14将数据写入InfluxDB 2.1.1
InfluxDB作为时序数据库，在与时间相关的数据记录中，发挥着巨大的作用。下文以flink为例，通过参考Flink第三方扩展（https://github.com/apache/bahir-flink/tree/master/flink-connector-influxdb2）.自定义source将数据写入influxDB 2.1.1中。
-
发表了文章 2022-01-09
springboot 2.6.2集成elasticsearch 7.16
前面说到elasticsearch 7.16集群安装，本文介绍通过springboot 2.6.2集成es的java api对其进行操作。
-
发表了文章 2022-01-09
Elasticsearch 7.16集群搭建指南
本文介绍Elasticsearch 7.16集群搭建指南
-
发表了文章 2022-01-09
基于MediaPipe 和 TensorFlow.js的3D手势检测
最近看到Google发布了Tensorflow.js关于手势姿态检测模型的新版本，该模型改进了2D精度，支持3D，并具有同时预测双手关键点的新能力。晚上下班回来，把源码下载下来跑了一下demo，被这个精度惊艳到了。瞬间萌生了了一个想法，有了这个3D手势检测算法，那我是不是可以把佛山无影手的招式记录下来，然后把它教给机器人，然后让机器人给我当保镖！
-
发表了文章 2022-01-09
spark SQL配置连接Hive Metastore 3.1.2
Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。
-
发表了文章 2022-01-09
通过Java API获取Hive Metastore中的元数据信息
本文以Java API为例，介绍如何获取hive standalone metastore中的catalog、database、table等信息，通过该方式，我们可以方便地对元数据中心进行监控与管理。
-
发表了文章 2022-01-09
hive metastore 3.0介绍
我们说到Hive 3.0.0版本开始，其单独提供了standalone metastore服务以作为像presto等处理引擎的元数据管理中心。
-
发表了文章 2022-01-07
ambari 2.7.6源码编译指南
2021/11/16，ambari终于推出了2.7.6版本，该版本相对2.7.5版本以来，共有26个contributors提交了114个commits以及修改了557个文件。本文以ambari最新版本源码，分享如何进行ambari源码编译以及编译过程中遇到的坑。
-
发表了文章 2022-01-07
Presto使用Docker独立运行Hive Standalone Metastore管理MinIO（S3）
在Hive 3.0.0以及之后，Hive Metastore便可独立于Hive单独运行，可作为各数据的元数据中心。本文介绍使用Docker运行Hive Standalone Metastore，并以Presto中的Hive连接器为例，通过Hive Metastore管理MinIO（S3兼容的对象存储）中的数据。
-
发表了文章 2022-01-07
ubuntu 18.04安装hdp 3.1.0最新完整版（含安装包）
hdp平台提供centos、ubuntu等平台的安装与使用，本文以ubuntu 18.04操作系统为基础，介绍hdp3.1.0在该平台上的安装与配置，并提供安装包下载，手把手教您搭建属于您的大数据平台。
-
提交了问题
2019-06-06
flink用IDEA本地运行可以读取HDFS数据，然后把项目打包提交到flink集群，无法读取HDFS数据，出现以下错误，这是为何？
-
发表了文章
2022-03-05
Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
-
发表了文章
2022-03-03
rpm快速打包工具 --- rpm-package
-
发表了文章
2022-01-20
行为设计模式及其在JVM中的应用
-
发表了文章
2022-01-20
结构型设计模式
-
发表了文章
2022-01-20
创建型设计模式简介
-
发表了文章
2022-01-11
hive metastore配置kerberos认证
-
发表了文章
2022-01-10
hbase数据同步工具—HashTable/SyncTable
-
发表了文章
2022-01-10
datafaker --- 测试数据生成工具
-
发表了文章
2022-01-10
flink写入数据到hudi的四种方式
-
发表了文章
2022-01-10
jupyter lab---服务器编程利器
-
发表了文章
2022-01-10
Snap, AppImage和 Flatpak之间差异
-
发表了文章
2022-01-10
第一个用gradle构建的java项目
-
发表了文章
2022-01-10
使用nginx进行http以及socket端口转发（快速提高docker开发效率）
-
发表了文章
2022-01-10
浅谈单例模式
-
发表了文章
2022-01-10
浅谈工厂模式
-
发表了文章
2022-01-10
基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
-
发表了文章
2022-01-10
用了CSDN浏览器插件之后，我的工作效率上来了，业余生活也丰富了
-
发表了文章
2022-01-10
使用深度学习模型在 Java 中执行文本情感分析
-
发表了文章
2022-01-10
InfluxDB核心概念系列之数据模式与设计原则
-
发表了文章
2022-01-10
InfluxDB核心概念系列之数据元素
-
回答了问题
2022-01-07
Flink Forward Asia 2021 实时数据湖专场
使用Flink SQL构建Hudi数据湖时，目前是在DDL的with中添加path属性作为该表的存储路径，但是该方式是缺乏统一的元数据管理中心的，想问一下hudi后期是否会针对元数据管理有什么规划呢？赞1 踩0 评论1 -
提交了问题
2019-06-06
flink用IDEA本地运行可以读取HDFS数据，然后把项目打包提交到flink集群，无法读取HDFS数据，出现以下错误，这是为何？