赵渝强老师_社区达人页

2025年02月

• 02.01 20:09:38
  发表了文章 2025-02-01 20:09:38

  【赵渝强老师】Spark RDD的依赖关系和任务阶段

  Spark RDD之间的依赖关系分为窄依赖和宽依赖。窄依赖指父RDD的每个分区最多被一个子RDD分区使用，如map、filter操作；宽依赖则指父RDD的每个分区被多个子RDD分区使用，如分组和某些join操作。窄依赖任务可在同一阶段完成，而宽依赖因Shuffle的存在需划分不同阶段执行。借助Spark Web Console可查看任务的DAG图及阶段划分。

2025年01月

• 01.30 17:22:41
  发表了文章 2025-01-30 17:22:41

  【赵渝强老师】K8s中Pod探针的TCPSocketAction

  在K8s集群中，kubelet通过探针（如livenessProbe、readinessProbe和startupProbe）检查容器健康状态。探针支持HTTPGetAction、ExecAction和TCPSocketAction三种检查方法。本文重点介绍TCPSocketAction，它通过尝试建立TCP连接来检测容器的健康状况。示例中创建了一个Nginx Pod，并配置了两个探针（readinessProbe和livenessProbe），它们每隔5秒检查一次容器的8080端口，首次检查在启动后10秒进行。若连接失败，容器将重启。视频讲解和命令演示进一步详细说明了这一过程。

  
• 01.27 14:50:34
  发表了文章 2025-01-27 14:50:34

  【赵渝强老师】K8s中Pod探针的ExecAction

  在K8s集群中，kubelet通过三种探针（存活、就绪、启动）检查容器健康状态，支持HTTPGet、Exec和TCP检查方式。本文重点介绍ExecAction探针，通过在容器内执行Shell命令返回码判断健康状态，并附带视频讲解和实例演示，展示如何配置和使用ExecAction探针进行健康检查。

  
• 01.22 16:15:48
  发表了文章 2025-01-22 16:15:48

  【赵渝强老师】K8s中Pod探针的HTTPGetAction

  在K8s集群中，kubelet通过探针（如livenessProbe、readinessProbe和startupProbe）检查容器健康状态。HTTPGetAction通过HTTP请求检查容器健康，返回状态码在200-400区间视为成功。示例中创建了基于Nginx镜像的Pod，并配置存活探针，每5秒检测一次。通过命令操作验证探针功能，展示了Pod的健康检查机制。 视频讲解：[Bilibili](https://www.bilibili.com/video/BV1DTtueTEMM)

  
• 01.19 10:57:32
  发表了文章 2025-01-19 10:57:32

  【赵渝强老师】Kubernetes中Pod的探针

  在K8s集群中，kubelet通过三种探针（存活、就绪、启动）检查Pod容器的健康状态。存活探针确保容器运行，失败则重启；就绪探针确保容器准备好服务，失败则从Service中剔除；启动探针确保应用已启动，失败则重启容器。视频讲解和图片详细介绍了这三种探针及其检查方法（HTTPGet、Exec、TCPSocket）。

  
• 01.11 18:53:23
  发表了文章 2025-01-11 18:53:23

  【赵渝强老师】什么是NoSQL数据库？

  随着大数据技术的兴起，NoSQL数据库（Not Only SQL）得到广泛应用。它不局限于二维表结构，允许数据冗余。常见的NoSQL数据库包括Redis、MongoDB和HBase。Redis是基于内存的高性能数据库，采用单线程模型和多路复用I/O，支持高效的数据结构。MongoDB使用BSON格式存储文档，查询语言强大，类似关系型数据库。HBase基于HDFS，适合数据分析，采用列式存储，支持灵活的列族设计。视频讲解及更多内容见下文。
• 01.09 16:41:47
  发表了文章 2025-01-09 16:41:47

  【赵渝强老师】Redis的慢查询日志

  Redis慢查询日志用于记录执行时间超过预设阈值的命令，帮助开发和运维人员定位性能问题。每条慢查询日志包含标识ID、发生时间戳、命令耗时及详细信息。配置参数包括`slowlog-max-len`（默认128）和`slowlog-log-slower-than`（默认10000微秒）。实战中可通过`slowlog get`获取日志、`slowlog len`查看长度、`slowlog reset`重置日志。建议线上环境将`slowlog-max-len`设为1000以上，并根据并发量调整`slowlog-log-slower-than`。需要注意的是，慢查询只记录命令执行时间。
• 01.04 10:31:03
  发表了文章 2025-01-04 10:31:03

  【赵渝强老师】MongoDB写入数据的过程

  在MongoDB数据更新时，WiredTiger存储引擎通过预写日志（Journal）机制先将更新写入日志文件，再通过检查点操作将日志中的操作刷新到数据文件，确保数据持久化和一致性。检查点定期创建，缩短恢复时间，并保证异常终止后可从上一个有效检查点恢复数据。视频讲解及图示详细说明了这一过程。

  
• 01.01 15:15:43
  发表了文章 2025-01-01 15:15:43

  【赵渝强老师】MongoDB文档级别的并发控制

  MongoDB使用WiredTiger存储引擎在文档级别进行并发控制，允许多个写操作同时修改不同文档，但对同一文档的修改需序列化执行。引擎采用乐观锁和意向锁机制处理冲突。通过视频讲解、插入大量文档示例及使用`mongotop`和`db.serverStatus()`命令，演示了如何监控MongoDB的锁信息和读写统计，展示了数据库和集合级别的写锁情况。

2024年12月

• 12.28 20:36:50
  发表了文章 2024-12-28 20:36:50

  【赵渝强老师】MongoDB的Journal日志

  MongoDB通过Journal日志保证数据安全，记录检查点后的更新，确保数据库从异常中恢复到有效状态。每个Journal文件100M，存于--dbpath指定的journal子目录。默认已启用Journal日志，可通过--journal参数手动启用。WiredTiger存储引擎使用128KB内存缓冲区，异常关机时可能丢失最多128KB的数据。视频讲解和详细步骤参见附录。
• 12.25 12:13:05
  发表了文章 2024-12-25 12:13:05

  【赵渝强老师】MongoDB逻辑存储结构

  MongoDB的逻辑存储结构由数据库（Database）、集合（Collection）和文档（Document）组成，形成层次化数据模型。用户通过mongoshell或应用程序操作这些结构。视频讲解及结构图详见下文。
• 12.21 20:15:38
  发表了文章 2024-12-21 20:15:38

  【赵渝强老师】PostgreSQL的参数文件

  PostgreSQL数据库的四个主要参数文件包括：`postgresql.conf`（主要配置文件）、`pg_hba.conf`（访问控制文件）、`pg_ident.conf`（用户映射文件）和`postgresql.auto.conf`（自动保存修改后的参数）。视频讲解和详细说明帮助理解各文件的作用。
• 12.09 19:55:51
  发表了文章 2024-12-09 19:55:51

  【赵渝强老师】PostgreSQL的控制文件

  本文介绍了PostgreSQL数据库的物理存储结构，重点解析了控制文件，包括其重要性及如何通过`pg_controldata`命令查看控制文件内容。控制文件记录了数据库运行的关键信息，如数据库状态、WAL位置等。
• 12.06 15:45:25
  发表了文章 2024-12-06 15:45:25

  【赵渝强老师】PostgreSQL的服务器日志文件

  本文介绍了PostgreSQL数据库的物理存储结构，重点讨论了服务器日志文件。通过`pg_ctl`命令启动PostgreSQL实例时，使用`-l`参数指定日志文件位置，记录数据库启动、运行及关闭过程中的关键信息。附有相关视频讲解和日志文件示例。
• 12.05 17:11:52
  发表了文章 2024-12-05 17:11:52

  【赵渝强老师】PostgreSQL的WAL预写日志文件

  PostgreSQL数据库的物理存储结构包含多种文件，其中WAL（预写日志）用于确保数据完整性和高效恢复。WAL机制允许在不频繁刷新数据至磁盘的情况下，通过先写日志再改数据的方式，减少I/O操作，提高性能。每个WAL文件默认大小为16MB，位于pg_wal目录下，支持手动和自动切换。WAL不仅有助于数据恢复，还能显著降低I/O成本。
• 12.04 10:17:56
  发表了文章 2024-12-04 10:17:56

  【赵渝强老师】PostgreSQL的运行日志文件

  PostgreSQL的物理存储结构包括数据文件、日志文件等。运行日志默认未开启，需配置`postgresql.conf`文件中的相关参数如`log_destination`、`log_directory`等，以记录数据库状态、错误信息等。示例配置中启用了CSV格式日志，便于管理和分析。通过创建表操作，可查看生成的日志文件，了解具体日志内容。
• 12.03 12:52:27
  发表了文章 2024-12-03 12:52:27

  【赵渝强老师】PostgreSQL的数据文件

  PostgreSQL的物理存储结构主要包括数据文件、日志文件等。数据文件按oid命名，超过1G时自动拆分。通过查询数据库和表的oid，可定位到具体的数据文件。例如，查询数据库oid后，再查询特定表的oid及relfilenode，即可找到该表对应的数据文件位置。
• 12.02 09:27:58
  发表了文章 2024-12-02 09:27:58

  【赵渝强老师】PostgreSQL的物理存储结构

  PostgreSQL在初始化时通过环境变量$PGDATA指定的目录下生成各类文件，构成其物理存储结构，包括数据文件、日志文件（如运行日志、WAL预写日志、事务日志和服务器日志）、控制文件及参数文件等，确保数据库的高效运行与数据安全。
• 12.01 09:44:23
  发表了文章 2024-12-01 09:44:23

  【赵渝强老师】PostgreSQL的段、区和块

  PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等，以及表、索引、视图等数据库对象。每个对象有唯一的oid标识符，存储于系统目录表中。段、区、块是数据存储的基本单元，其中块是I/O操作的最小单位，默认大小为8KB。通过合理配置这些结构，可以优化数据库性能。

  

2024年11月

• 11.30 09:19:14
  发表了文章 2024-11-30 09:19:14

  【赵渝强老师】PostgreSQL中的模式

  在PostgreSQL中，所有数据库对象均隶属于模式，包括表、索引、视图等，每个对象有唯一的oid标识。创建数据库时，默认生成名为“public”的Schema。用户可自定义模式，如通过SQL语句创建名为demo的模式及其下的表。与Oracle不同，PostgreSQL中用户和模式不是一一对应关系。

  
• 11.29 10:10:18
  发表了文章 2024-11-29 10:10:18

  【赵渝强老师】PostgreSQL的表空间

  本文介绍了PostgreSQL中的表空间概念及其操作方法，包括查看现有表空间、创建新表空间、在特定表空间上创建表、设置默认表空间以及查询表空间信息等步骤，并提供了相应的命令示例。
• 11.28 09:55:07
  发表了文章 2024-11-28 09:55:07

  【赵渝强老师】PostgreSQL的数据库

  PostgreSQL的逻辑存储结构涵盖数据库集群、数据库、表、索引、视图等对象，每个对象有唯一的oid标识。数据库集群包含多个数据库，每个数据库又包含多个模式，模式内含表、函数等。通过特定SQL命令可查看和管理这些数据库对象。
• 11.26 09:10:16
  发表了文章 2024-11-26 09:10:16

  【赵渝强老师】PostgreSQL的数据库集群

  PostgreSQL的逻辑存储结构涵盖了数据库集群、数据库、表、索引、视图等对象，每个对象都有唯一的oid标识。数据库集群是由单个PostgreSQL实例管理的所有数据库集合，共享同一配置和资源。集群的数据存储在一个称为数据目录的单一目录中，可通过-D选项或PGDATA环境变量指定。
• 11.25 08:53:18
  发表了文章 2024-11-25 08:53:18

  【赵渝强老师】PostgreSQL的逻辑存储结构

  PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等。每个对象都有唯一的对象标识符OID，并存储于相应的系统目录表中。集群由单个服务器实例管理，包含多个数据库、用户及对象。表空间是数据库的逻辑存储单元，用于组织逻辑相关的数据结构。段是分配给表、索引等逻辑结构的空间集合，区是段的基本组成单位，而块则是最小的逻辑存储单位。

  
• 11.23 08:25:16
  发表了文章 2024-11-23 08:25:16

  【赵渝强老师】阿里云大数据生态圈体系

  阿里云大数据计算服务MaxCompute（原ODPS）提供大规模数据存储与计算，支持离线批处理。针对实时计算需求，阿里云推出Flink版。此外，阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS，以及数据分析平台DataWorks、Quick BI和机器学习平台PAI，构建全面的大数据生态系统。
• 11.22 08:49:12
  发表了文章 2024-11-22 08:49:12

  【赵渝强老师】MySQL的参数文件

  MySQL启动时会读取配置文件my.cnf来确定数据库文件位置及初始化参数。该文件分为Server和Client两部分，包含动态与静态参数。动态参数可在运行中通过命令修改，而静态参数需修改my.cnf并重启服务生效。文中还提供了相关代码示例和视频教程。
• 11.21 08:01:28
  发表了文章 2024-11-21 08:01:28

  【赵渝强老师】MySQL的全量日志文件

  MySQL全量日志记录所有操作的SQL语句，默认禁用。启用后，可通过`show variables like %general_log%检查状态，使用`set global general_log=ON`临时开启，执行查询并查看日志文件以追踪SQL执行详情。
• 11.20 10:44:55
  发表了文章 2024-11-20 10:44:55

  【赵渝强老师】MySQL的慢查询日志

  MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句，帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志，并通过实例演示了慢查询的记录与分析过程。
• 11.19 10:31:31
  发表了文章 2024-11-19 10:31:31

  【赵渝强老师】MySQL的binlog日志文件

  MySQL的binlog日志记录了所有对数据库的更改操作（不包括SELECT和SHOW），主要用于主从复制和数据恢复。binlog有三种模式，可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
• 11.18 11:09:53
  发表了文章 2024-11-18 11:09:53

  【赵渝强老师】MySQL的撤销日志文件和错误日志文件

  本文介绍了MySQL的物理存储结构，重点讲解了InnoDB存储引擎中的撤销日志文件（undo log）和错误日志文件。从MySQL 8.0开始，默认生成两个10MB的undo表空间文件，并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题，通过示例展示了如何查看和使用这些日志。
• 11.14 20:20:49
  发表了文章 2024-11-14 20:20:49

  【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件

  本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件，用于存放InnoDB数据和索引。重做日志文件（redo log）确保数据的可靠性和事务的持久性，其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。

  
• 11.14 20:15:11
  发表了文章 2024-11-14 20:15:11

  【赵渝强老师】MySQL InnoDB的段、区和页

  MySQL的InnoDB存储引擎逻辑存储结构与Oracle相似，包括表空间、段、区和页。表空间由段和页组成，段包括数据段、索引段等。区是1MB的连续空间，页是16KB的最小物理存储单位。InnoDB是面向行的存储引擎，每个页最多可存放7992行记录。
• 11.14 20:08:33
  发表了文章 2024-11-14 20:08:33

  【赵渝强老师】MySQL的基准测试与sysbench

  本文介绍了MySQL数据库的基准测试及其重要性，并详细讲解了如何使用sysbench工具进行测试。内容涵盖sysbench的安装、基本使用方法，以及具体测试MySQL数据库的步骤，包括创建测试数据库、准备测试数据、执行测试和清理测试数据。通过这些步骤，可以帮助读者掌握如何有效地评估MySQL数据库的性能。
• 11.14 20:02:22
  发表了文章 2024-11-14 20:02:22

  【赵渝强老师】Redis的AOF数据持久化

  Redis 是内存数据库，提供数据持久化功能，支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作，支持定期重写以压缩文件。默认情况下，AOF 功能关闭，需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小，避免性能下降。
• 11.14 19:57:27
  发表了文章 2024-11-14 19:57:27

  【赵渝强老师】Redis的RDB数据持久化

  Redis 是内存数据库，提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式，其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘，确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景，但也有数据完整性和一致性较低及备份时占用内存的缺点。
• 11.14 19:53:16
  发表了文章 2024-11-14 19:53:16

  【赵渝强老师】安装部署Memcached

  Memcached 是一个高性能的分布式内存对象缓存系统，用于减轻数据库压力，支持高负载网站。本文介绍了 Memcached 的安装步骤，包括下载、解压、配置和启动服务，帮助用户快速上手。
• 11.14 19:47:29
  发表了文章 2024-11-14 19:47:29

  【赵渝强老师】Memcached的数据存储方式

  Memcached 是一个高性能的分布式内存对象缓存系统，用于减轻数据库压力，支持高负载网站。它通过内存中的巨大 Hash 表存储各种数据，但不支持数据持久化。视频讲解和数据存储方式图示详见内容。
• 11.14 19:44:52
  发表了文章 2024-11-14 19:44:52

  【赵渝强老师】Memcached集群的架构

  Memcached 是一个高性能的分布式内存对象缓存系统，通过在内存中维护一个巨大的 Hash 表来存储各种格式的数据，如图像、视频、文件及数据库检索结果等。它主要用于减轻数据库压力，提高网站系统的性能。Memcached 不支持数据持久化，因此仅作为缓存技术使用。其数据分布式存储由客户端应用程序实现，而非服务端。

  
• 11.14 19:40:51
  发表了文章 2024-11-14 19:40:51

  【赵渝强老师】Hive的分区表

  Hive的分区表与Oracle、MySQL类似，通过分区条件将数据分隔存储，提高查询效率。本文介绍了静态分区表和动态分区表的创建与使用方法，包括具体SQL语句和执行计划分析，附带视频讲解。静态分区表需显式指定分区条件，而动态分区表则根据插入数据自动创建分区。
• 11.14 19:25:18
  发表了文章 2024-11-14 19:25:18

  【赵渝强老师】Hive的内部表与外部表

  Hive是基于HDFS的数据仓库，支持SQL查询。其数据模型包括内部表、外部表、分区表、临时表和桶表。本文介绍了如何创建和使用内部表和外部表，提供了详细的步骤和示例代码，并附有视频讲解。
• 11.14 19:21:03
  发表了文章 2024-11-14 19:21:03

  【赵渝强老师】Oracle的参数文件与告警日志文件

  本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件（PFile）和服务器端参数文件（SPFile），在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息，帮助诊断问题。文中还提供了相关视频讲解和示例代码。
• 11.14 19:16:21
  发表了文章 2024-11-14 19:16:21

  【赵渝强老师】Oracle的控制文件与归档日志文件

  本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息，如数据库名、数据文件和联机日志文件的位置等。为了保护数据库，通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本，用于记录数据库的变更历史。文章还提供了相关SQL语句，帮助查看和设置数据库的日志模式。

  
• 11.14 19:11:55
  发表了文章 2024-11-14 19:11:55

  【赵渝强老师】Oracle的联机重做日志文件与数据写入过程

  在Oracle数据库中，联机重做日志文件记录了数据库的变化，用于实例恢复。每个数据库有多组联机重做日志，每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
• 11.14 19:07:01
  发表了文章 2024-11-14 19:07:01

  【赵渝强老师】Oracle的数据文件

  在Oracle数据库中，数据库由多个表空间组成，每个表空间包含多个数据文件。数据文件存储实际的数据库数据。查询时，如果内存中没有所需数据，Oracle会从数据文件中读取并加载到内存。可通过SQL语句查看和管理数据文件。附有视频讲解及示例。
• 11.14 19:03:38
  发表了文章 2024-11-14 19:03:38

  【赵渝强老师】Oracle的物理存储结构

  Oracle的物理存储结构包括数据文件、联机重做日志文件、控制文件、归档日志文件、参数文件、告警日志文件、跟踪文件和备份文件。这些文件在硬盘上存储数据库的各种数据和日志信息，确保数据库的正常运行和故障恢复。视频讲解和详细说明见原文。
• 11.14 18:59:58
  发表了文章 2024-11-14 18:59:58

  【赵渝强老师】K8s中Deployment控制器与StatefulSet控制器的区别

  K8s中的Deployment控制器用于管理无状态应用程序，关注Pod数量、更新方式等；而StatefulSets控制器则管理有状态应用程序，提供持久存储和唯一标识符，适用于需要稳定网络标识符和持久化存储的场景。两者的主要区别在于是否维护状态和顺序。
• 11.14 18:56:53
  发表了文章 2024-11-14 18:56:53

  【赵渝强老师】K8s的有状态控制器StatefulSet

  在Kubernetes中，StatefulSets用于部署有状态应用程序，提供持久存储和唯一标识符。与Deployment不同，StatefulSets确保Pod的标识符在重新调度后保持不变，适用于需要稳定网络标识符和持久存储的场景。本文介绍了StatefulSets的创建、扩容与缩容、更新与回滚等操作，并提供了具体示例和视频讲解。
• 11.14 18:52:50
  发表了文章 2024-11-14 18:52:50

  【赵渝强老师】K8s的周期性任务控制器CronJob

  本文介绍了K8s中的CronJob控制器，它类似于Linux的crontab命令，用于管理和调度定时作业。CronJob可以设置在未来某一时间运行作业一次或在指定时间点重复运行作业。文章通过一个示例展示了如何创建和使用CronJob控制器，包括创建配置文件、应用配置、查看Pod信息和日志等步骤。同时，还解释了CronJob的时间表示方式及其限制。
• 11.14 18:48:57
  发表了文章 2024-11-14 18:48:57

  【赵渝强老师】K8s的Job控制器多工作队列的并行方式

  Kubernetes Job 是一次性任务控制器，用于控制 Pod 中的容器执行特定任务。本文介绍了 Job 控制器的工作原理、运行方式及多工作队列并行执行的示例。示例中创建了 5 个作业，以 3 个队列并行执行，整个过程需 2 分钟。文中还提供了详细的 YAML 文件配置和执行命令。