明哥的IT随笔_社区达人页

2023年10月

• 10.10 19:49:11
  发表了文章 2023-10-10 19:49:11

  聊聊 Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法

  聊聊 Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法

  
• 10.10 19:47:05
  发表了文章 2023-10-10 19:47:05

  聊聊 wireshark 的重传包和重复包（Duplicate Packets or TCP Retransmissions?）

  聊聊 wireshark 的重传包和重复包（Duplicate Packets or TCP Retransmissions?）
• 10.10 19:45:08
  发表了文章 2023-10-10 19:45:08

  聊聊 K8S pod 的 QoS（Quality Of Service)

  聊聊 K8S pod 的 QoS（Quality Of Service)
• 10.10 19:42:26
  发表了文章 2023-10-10 19:42:26

  聊聊 hadoop 与 sasl 安全框架

  聊聊 hadoop 与 sasl 安全框架
• 10.10 19:40:47
  发表了文章 2023-10-10 19:40:47

  通过 wireshark 快速排查客户现场微服务环境部署问题-案例分享

  通过 wireshark 快速排查客户现场微服务环境部署问题-案例分享
• 10.10 19:38:12
  发表了文章 2023-10-10 19:38:12

  总结下docker中数据的存储管理机制

  总结下docker中数据的存储管理机制
• 10.10 19:36:29
  发表了文章 2023-10-10 19:36:29

  抓个包看下 kerberos的 pre-authentication是如何工作的 2

  抓个包看下 kerberos的 pre-authentication是如何工作的
• 10.10 19:36:25
  发表了文章 2023-10-10 19:36:25

  抓个包看下 kerberos的 pre-authentication是如何工作的 1

  抓个包看下 kerberos的 pre-authentication是如何工作的
• 10.10 19:34:04
  发表了文章 2023-10-10 19:34:04

  有哪些方法可以验证kerberos keytab文件的有效性?

  有哪些方法可以验证kerberos keytab文件的有效性?
• 10.10 19:33:14
  发表了文章 2023-10-10 19:33:14

  开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址？

  开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址？
• 10.10 19:30:23
  发表了文章 2023-10-10 19:30:23

  如何访问TDH中Inceptor 底层的元数据库TxSQL

  如何访问TDH中Inceptor 底层的元数据库TxSQL
• 10.10 19:28:23
  发表了文章 2023-10-10 19:28:23

  YARN 远程代码执行（RCE）安全漏洞问题分析与解决方案

  YARN 远程代码执行（RCE）安全漏洞问题分析与解决方案
• 10.10 19:26:08
  发表了文章 2023-10-10 19:26:08

  聊聊 Zookeeper 的 4lw 与信息安全

  聊聊 Zookeeper 的 4lw 与信息安全
• 10.10 19:23:45
  发表了文章 2023-10-10 19:23:45

  聊聊 IP packet 的 TTL 与 tcp segment 的 MSL

  聊聊 IP packet 的 TTL 与 tcp segment 的 MSL
• 10.10 19:21:23
  发表了文章 2023-10-10 19:21:23

  分享一个 Oracle RAC 模式下客户端建立JDBC初始连接时因ONS造成应用启动时卡顿30秒问题的排查分析案例

  分享一个 Oracle RAC 模式下客户端建立JDBC初始连接时因ONS造成应用启动时卡顿30秒问题的排查分析案例
• 10.10 19:19:16
  发表了文章 2023-10-10 19:19:16

  分享一个 hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题

  分享一个 hive on spark 模式下使用 HikariCP 数据库连接池造成的资源泄露问题
• 10.10 19:17:58
  发表了文章 2023-10-10 19:17:58

  总结下 fs.file-max,ulimit -n 和 lsof的异同

  总结下 fs.file-max,ulimit -n 和 lsof的异同
• 10.10 19:16:36
  发表了文章 2023-10-10 19:16:36

  案列分享-因netfilter包过滤规则配置错误造成datax数据同步作业运行失败

  案列分享-因netfilter包过滤规则配置错误造成datax数据同步作业运行失败
• 10.10 19:13:48
  发表了文章 2023-10-10 19:13:48

  分享一个 HIVE SQL 性能优化点-使用公共表表达式 CTE 替换临时表

  分享一个 HIVE SQL 性能优化点-使用公共表表达式 CTE 替换临时表
• 10.10 18:54:54
  发表了文章 2023-10-10 18:54:54

  九张图一览 Linux 性能工具全景图

  九张图一览 Linux 性能工具全景图
• 10.10 18:53:38
  发表了文章 2023-10-10 18:53:38

  更改 HIVE 表字段数据类型有哪些注意事项？

  更改 HIVE 表字段数据类型有哪些注意事项？
• 10.10 18:52:42
  发表了文章 2023-10-10 18:52:42

  公共大数据集群中如何配置 YARN 的公平调度器和容量调度器

  公共大数据集群中如何配置 YARN 的公平调度器和容量调度器

  
• 10.10 18:51:40
  发表了文章 2023-10-10 18:51:40

  一篇文章彻底理解 HDFS 的安全模式

  一篇文章彻底理解 HDFS 的安全模式
• 10.10 18:50:08
  发表了文章 2023-10-10 18:50:08

  分享一个大数据应用因为和大数据集群服务端组件的版本冲突引起的问题

  分享一个大数据应用因为和大数据集群服务端组件的版本冲突引起的问题
• 10.10 18:48:39
  发表了文章 2023-10-10 18:48:39

  如何杜绝 spark history server ui 的未授权访问? 2

  如何杜绝 spark history server ui 的未授权访问?
• 10.10 18:48:33
  发表了文章 2023-10-10 18:48:33

  如何杜绝 spark history server ui 的未授权访问? 1

  如何杜绝 spark history server ui 的未授权访问?
• 10.10 18:45:22
  发表了文章 2023-10-10 18:45:22

  一篇文章彻底理解数据库的各种 JDBC 超时参数 2

  一篇文章彻底理解数据库的各种 JDBC 超时参数
• 10.10 18:45:06
  发表了文章 2023-10-10 18:45:06

  一篇文章彻底理解数据库的各种 JDBC 超时参数 1

  一篇文章彻底理解数据库的各种 JDBC 超时参数
• 10.10 18:42:44
  发表了文章 2023-10-10 18:42:44

  线上 hive on spark 作业执行超时问题排查案例分享

  线上 hive on spark 作业执行超时问题排查案例分享
• 10.10 18:41:22
  发表了文章 2023-10-10 18:41:22

  如何更改 datax 以支持hive 的 DECIMAL 数据类型?

  如何更改 datax 以支持hive 的 DECIMAL 数据类型?

  
• 10.10 18:39:01
  发表了文章 2023-10-10 18:39:01

  线上数据问题排查案例分享-因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题

  线上数据问题排查案例分享-因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题
• 10.10 18:37:46
  发表了文章 2023-10-10 18:37:46

  CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

  CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
• 10.10 18:33:12
  发表了文章 2023-10-10 18:33:12

  大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?

  大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
• 10.10 18:31:23
  发表了文章 2023-10-10 18:31:23

  数据平台发展史-从数据仓库数据湖到数据湖仓 2

  数据平台发展史-从数据仓库数据湖到数据湖仓
• 10.10 18:31:15
  发表了文章 2023-10-10 18:31:15

  数据平台发展史-从数据仓库数据湖到数据湖仓 1

  数据平台发展史-从数据仓库数据湖到数据湖仓
• 10.10 18:27:45
  发表了文章 2023-10-10 18:27:45

  开启 Kerberos 安全的大数据环境中，Yarn Container 启动失败导致作业失败

  开启 Kerberos 安全的大数据环境中，Yarn Container 启动失败导致作业失败
• 10.10 18:25:57
  发表了文章 2023-10-10 18:25:57

  大数据生态安全框架的实现原理与最佳实践（下篇） 2

  大数据生态安全框架的实现原理与最佳实践（下篇）
• 10.10 18:25:48
  发表了文章 2023-10-10 18:25:48

  大数据生态安全框架的实现原理与最佳实践（下篇） 1

  大数据生态安全框架的实现原理与最佳实践（下篇）
• 10.10 18:22:50
  发表了文章 2023-10-10 18:22:50

  深入剖析 HIVE 的锁和事务机制

  深入剖析 HIVE 的锁和事务机制
• 10.10 18:21:10
  发表了文章 2023-10-10 18:21:10

  如何使用 DATAX 以 UPSERT 语义更新下游 ORACLE 数据库中的数据？

  如何使用 DATAX 以 UPSERT 语义更新下游 ORACLE 数据库中的数据？
• 10.10 18:20:11
  发表了文章 2023-10-10 18:20:11

  一起架构-某实时分析项目云原生 serverless 架构的设计思路和poc代码实现

  一起架构-某实时分析项目云原生 serverless 架构的设计思路和poc代码实现
• 10.10 18:16:53
  发表了文章 2023-10-10 18:16:53

  大数据生态安全框架的实现原理与最佳实践（上篇） 2

  大数据生态安全框架的实现原理与最佳实践（上篇）
• 10.10 18:16:44
  发表了文章 2023-10-10 18:16:44

  大数据生态安全框架的实现原理与最佳实践（上篇） 1

  大数据生态安全框架的实现原理与最佳实践（上篇）

  
• 10.10 18:11:33
  发表了文章 2023-10-10 18:11:33

  为什么不能使用 datax 直接读写 hive acid 事务表？

  为什么不能使用 datax 直接读写 hive acid 事务表？
• 10.10 18:10:35
  发表了文章 2023-10-10 18:10:35

  一篇文章掌握 FTP 和本地文件系统的桥梁 - CurlFtpFS

  一篇文章掌握 FTP 和本地文件系统的桥梁 - CurlFtpFS
• 10.10 18:08:09
  发表了文章 2023-10-10 18:08:09

  HIVE3 深度剖析 (下篇)

  HIVE3 深度剖析 (下篇)
• 10.10 18:06:18
  发表了文章 2023-10-10 18:06:18

  HIVE3 深度剖析 (上篇)

  HIVE3 深度剖析 (上篇)
• 10.10 18:03:14
  发表了文章 2023-10-10 18:03:14

  聊聊 kerberos 的 kinit 命令和 ccache 机制

  聊聊 kerberos 的 kinit 命令和 ccache 机制
• 10.10 18:01:31
  发表了文章 2023-10-10 18:01:31

  紧急扩散！HDFS3.X 系列的 EC 纠删码策略有个安全隐患 HDFS-16420，极端情况下会造成数据丢失！

  紧急扩散！HDFS3.X 系列的 EC 纠删码策略有个安全隐患 HDFS-16420，极端情况下会造成数据丢失！
• 10.10 18:00:34
  发表了文章 2023-10-10 18:00:34

  JAVA 那些事 - 聊聊那些易混淆的概念：JVM/JRE/JDK，openJDK/oracleJDK,JAVA SE/JAVA EE/Jakarta EE

  JAVA 那些事 - 聊聊那些易混淆的概念：JVM/JRE/JDK，openJDK/oracleJDK,JAVA SE/JAVA EE/Jakarta EE