从大数据到人工智能_社区达人页

2022年03月

• 03.05 19:34:24
  发表了文章 2022-03-05 19:34:24

  Hudi源码分析之使用Flink Table/SQL实现Hudi Sources

  本文讲述Hudi源码分析之使用Flink Table/SQL实现Hudi Sources

  
• 03.03 15:12:18
  发表了文章 2022-03-03 15:12:18

  rpm快速打包工具 --- rpm-package

  rpm包作为redhat、centos系列操作系统的包管理工具，让我们可以轻松通过`yum install xxx.rpm`命令安装某些软件包。本项目介绍文件打包方法，用于将任意文件按照描述文件的组织方式打包成rpm包。

2022年01月

• 01.20 00:41:29
  发表了文章 2022-01-20 00:41:29

  行为设计模式及其在JVM中的应用

  本文介绍设计模式中的行为设计模式及其在JVM中的应用
• 01.20 00:40:49
  发表了文章 2022-01-20 00:40:49

  结构型设计模式

  本文介绍设计模式中的结构型设计模式
• 01.20 00:40:03
  发表了文章 2022-01-20 00:40:03

  创建型设计模式简介

  本文介绍设计模式中的创建型设计模式

  
• 01.11 02:53:25
  发表了文章 2022-01-11 02:53:25

  hive metastore配置kerberos认证

  hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。

  
• 01.10 14:12:43
  发表了文章 2022-01-10 14:12:43

  hbase数据同步工具—HashTable/SyncTable

  本文介绍hbase数据同步工具—HashTable/SyncTable，实现集群内部或跨集群之间的数据同步操作
• 01.10 14:10:54
  发表了文章 2022-01-10 14:10:54

  datafaker --- 测试数据生成工具

  本文介绍如何使用datafaker工具生成测试数据

  
• 01.10 14:04:09
  发表了文章 2022-01-10 14:04:09

  flink写入数据到hudi的四种方式

  本文描述flink写入数据到hudi的四种方式
• 01.10 14:00:57
  发表了文章 2022-01-10 14:00:57

  jupyter lab---服务器编程利器

  本文介绍如何使用jupyter lab快速进行服务器代码开发

  
• 01.10 13:58:07
  发表了文章 2022-01-10 13:58:07

  Snap, AppImage和 Flatpak之间差异

  本文介绍Snap, AppImage和 Flatpak之间差异
• 01.10 13:57:05
  发表了文章 2022-01-10 13:57:05

  第一个用gradle构建的java项目

  本文介绍如何使用gralde构建你的java项目

  
• 01.10 13:53:54
  发表了文章 2022-01-10 13:53:54

  使用nginx进行http以及socket端口转发（快速提高docker开发效率）

  本文介绍如何使用nginx进行http以及socket端口转发以快速提高docker开发效率
• 01.10 13:51:49
  发表了文章 2022-01-10 13:51:49

  浅谈单例模式

  本文描述设计模式中的单例模式
• 01.10 13:50:37
  发表了文章 2022-01-10 13:50:37

  浅谈工厂模式

  本文描述设计模式重点的工厂模式
• 01.10 13:47:17
  发表了文章 2022-01-10 13:47:17

  基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓

  本文基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓

  
• 01.10 13:41:48
  发表了文章 2022-01-10 13:41:48

  用了CSDN浏览器插件之后，我的工作效率上来了，业余生活也丰富了

  csdn浏览器插件可用于接管你的浏览器首页，并美化您的浏览器首页，帮助您管理网站、搜索引擎、提供丰富的内置工具供您开发使用，让您一装多用。

  
• 01.10 13:39:48
  发表了文章 2022-01-10 13:39:48

  使用深度学习模型在 Java 中执行文本情感分析

  本文介绍如何使用集成到斯坦福 CoreNLP（一个用于自然语言处理的开源库）中的情感工具在 Java 中实现此类任务。

  
• 01.10 13:35:43
  发表了文章 2022-01-10 13:35:43

  InfluxDB核心概念系列之数据模式与设计原则

  工欲善其事必先利其器，想要用好InfluxDB，当然要先厘清其基本概念，本文为InfluxDB核心概念系列文章之数据模式与设计原则。
• 01.10 13:29:33
  发表了文章 2022-01-10 13:29:33

  InfluxDB核心概念系列之数据元素

  工欲善其事必先利其器，想要用好InfluxDB，当然要先厘清其基本概念，本文为InfluxDB核心概念系列文章之数据元素。

  
• 01.10 01:03:07
  发表了文章 2022-01-10 01:03:07

  一文读懂Kafka Connect核心概念

  Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。

  
• 01.09 20:26:45
  发表了文章 2022-01-09 20:26:45

  spark-shell操作hudi并使用hbase作为索引

  本文介绍spark-shell操作hudi并使用hbase作为索引

  
• 01.09 20:26:08
  发表了文章 2022-01-09 20:26:08

  hudi 0.9.0适配hbase 2.2.6

  本文介绍hudi 0.9.0适配hbase 2.2.6指南

  
• 01.09 20:25:40
  发表了文章 2022-01-09 20:25:40

  Flink SQL Client实战CDC数据入湖

  本文介绍Flink SQL Client实现CDC数据入湖

  
• 01.09 20:25:01
  发表了文章 2022-01-09 20:25:01

  hudi 0.9.0-relese版本无法加载默认配置项问题与修复方法

  本文介绍hudi 0.9.0-relese版本无法加载默认配置项问题与修复方法
• 01.09 20:24:36
  发表了文章 2022-01-09 20:24:36

  使用flink插入数据到hudi数据湖初探

  本文介绍如何使用flink插入数据到hudi数据湖

  
• 01.09 20:23:52
  发表了文章 2022-01-09 20:23:52

  使用spark3操作hudi数据湖初探

  本文介绍使用spark3操作hudi数据湖初探

  
• 01.09 20:23:11
  发表了文章 2022-01-09 20:23:11

  hdfs集群安装（单namenode和HA模式）

  本文介绍hdfs集群安装（单namenode和HA模式）指南

  
• 01.09 20:21:53
  发表了文章 2022-01-09 20:21:53

  hadoop yarn安装

  本文介绍hadoop yarn安装指南

  
• 01.09 20:17:24
  发表了文章 2022-01-09 20:17:24

  centos7中mysql5.7的安装、授权与压测

  本文介绍centos7中mysql5.7的安装、授权与压测

  
• 01.09 20:17:03
  发表了文章 2022-01-09 20:17:03

  apache tez 编译安装与验证

  本文介绍apache tez 编译安装与验证

  
• 01.09 20:16:40
  发表了文章 2022-01-09 20:16:40

  hive-3.1.2安装以及使用tez作为执行引擎指南

  本文介绍hive-3.1.2安装以及使用tez作为执行引擎指南

  
• 01.09 20:14:14
  发表了文章 2022-01-09 20:14:14

  kafka-2.8.0单节点安装与启动

  本文介绍kafka-2.8.0单节点安装与启动
• 01.09 20:13:45
  发表了文章 2022-01-09 20:13:45

  zookeeper-3.6.3单节点安装与启动

  本文介绍zookeeper-3.6.3单节点安装与启动
• 01.09 20:10:16
  发表了文章 2022-01-09 20:10:16

  使用flink SQL Client将mysql数据写入到hudi并同步到hive

  本文介绍如何使用flink SQL Client将mysql数据写入到hudi并同步到hive

  
• 01.09 20:09:46
  发表了文章 2022-01-09 20:09:46

  使用presto查询同步到hive的hudi数据

  本文介绍如何通过presto查询同步到hive的hudi数据

  
• 01.09 20:09:15
  发表了文章 2022-01-09 20:09:15

  Prometheus与pushGateway安装与使用

  本文介绍Prometheus与pushGateway安装与使用指南
• 01.09 20:08:44
  发表了文章 2022-01-09 20:08:44

  你需要的Java jar包反编译工具来了

  在我们进行java开发过程中，有时候需要看一下某个jar包是否确定已经是我们更新过的代码，那么此时，就需要使用反编译工具看一下jar包中对应的java源码。下文介绍一个高效率的jar包源码查看工具：jd-gui

  
• 01.09 20:08:00
  发表了文章 2022-01-09 20:08:00

  使用prometheus监控hudi相关指标

  本文介绍如何通过prometheus监控hudi相关指标

  
• 01.09 20:07:18
  发表了文章 2022-01-09 20:07:18

  使用FLINK SQL从savepoint恢复hudi作业 （flink 1.13）

  Flink从1.13版本开始支持在SQL Client从savepoint恢复作业，本文介绍如何在flink sql client中恢复flink作业。

  
• 01.09 20:06:35
  发表了文章 2022-01-09 20:06:35

  Zeppelin结合Flink查询hudi数据

  本文结合如何通过zeppelin结合flink查询hudi中的数据。

  
• 01.09 20:06:00
  发表了文章 2022-01-09 20:06:00

  自己构建kafka镜像进行开发测试，你学会了吗？

  本文介绍如何构建kafka自定义镜像来进行开发测试
• 01.09 20:05:05
  发表了文章 2022-01-09 20:05:05

  Zeppelin安装与配置

  本文介绍zeppelin安装与配置指南

  
• 01.09 20:04:28
  发表了文章 2022-01-09 20:04:28

  zeppelin高可用部署

  这边所说的zeppelin高可用不是传统意义上的HA模式，而是利用统一的配置文件，在一个zeppelin server挂掉之后，在另一个zeppelin server从统一配置文件再恢复到原有作业模式。在集群中，同时仅存在一个zeppelin server服务。

  
• 01.09 20:04:03
  发表了文章 2022-01-09 20:04:03

  Flink cdc自定义format格式数据源

  变更数据捕获 (CDC) 已成为一种流行的模式，本文介绍如何通过自定义format来获取不同格式cdc数据源

  
• 01.09 20:02:39
  发表了文章 2022-01-09 20:02:39

  hudi 0.10.0适配hdp 3.1.5编译

  hudi由于其依赖于hdfs作为后端存储，所以为了适配hdp 3.1.5版本，需要进行适配性编译，本文介绍hudi 0.10.0适配hdp 3.1.5编译。

  
• 01.09 20:00:57
  发表了文章 2022-01-09 20:00:57

  在手机上长按文字进行选择，其背后的技术不简单

  本文介绍联邦学习技术在手机文字复制功能上的应用。

  
• 01.09 19:54:21
  发表了文章 2022-01-09 19:54:21

  看看享元模式给你的程序减少了多少内存

  看看享元模式给你的程序减少了多少内存

  
• 01.09 19:53:56
  发表了文章 2022-01-09 19:53:56

  爱智边缘计算设备spirit 1 居然还可以这么玩

  工作之后，经朋友推荐，用了vuepress来做笔记，然后将其部署在云服务器上。虽然vuepress比较轻量，但是它总需要占用我的服务器资源。那现在，有了spirit 1之后，我就完全可以解放我的服务器，将我的笔记部署在spirit 1上了.

  
• 01.09 19:52:54
  发表了文章 2022-01-09 19:52:54

  airflow安装教程（local模式）

  airflow安装教程（local模式）