赵渝强老师_社区达人页

个人头像照片
赵渝强老师
已加入开发者社区1597

勋章 更多

个人头像照片
专家博主
专家博主
个人头像照片
星级博主
星级博主
个人头像照片
技术博主
技术博主
个人头像照片
开发者认证勋章
开发者认证勋章
个人头像照片
江湖新秀
江湖新秀

成就

已发布117篇文章
14条评论
已回答0个问题
0条评论
已发布0个视频
github地址

我关注的人 更多

技术能力

兴趣领域
  • 大数据
  • Hadoop
  • Spark
  • Flink
  • Docker
  • NoSQL
  • Oracle
  • MySQL
  • Weblogic
  • Kafka
擅长领域
  • 数据库
    中级

    能力说明:

    可对MySQL数据库进行备份与恢复,可较为熟练的使用SQL语句进行单表多表查询等操作,可快速上手阿里云RDS MySQL数据库,可进行MySQL云数据库的创建、设置、数据迁移等工作。了解常见NOSQL数据库,如MongoDB、Redis、Memcached的概念、安装、配置等相关基础知识。

技术认证

赵渝强老师,20年以上的行业从业经历,清华大学计算机软件工程专业毕业。曾任京东大数据学院院长,Oracle中国有限公司高级技术顾问;阿里云官方认证讲师;华为官方认证讲师。曾在BEA、甲骨文、摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问。精通大数据、数据库、容器技术、中间件技术和Java。

  • 26天前
    【赵渝强老师】基于大数据组件的平台架构
    本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
    103
    来自: 数据库
  • 26天前
    【赵渝强老师】Docker的体系架构
    Docker采用客户端-服务器架构,客户端与守护进程通过sockets或RESTful API通信。守护进程负责构建、运行和分发容器。镜像仓库(如Docker Hub和Harbor)存储镜像,容器则基于镜像创建,是运行应用的安全平台。
    55
  • 26天前
    【赵渝强老师】Oracle的还原数据
    Oracle数据库中的还原数据(也称为undo数据或撤销数据)存储在还原表空间中,主要用于支持查询的一致性读取、实现闪回技术和恢复失败的事务。文章通过示例详细介绍了还原数据的工作原理和应用场景。
    37
    来自: 数据库
  • 26天前
    【赵渝强老师】MySQL的体系架构
    本文介绍了MySQL的体系架构,包括Server层的7个主要组件(Connectors、Connection Pool、Management Service & Utilities、SQL Interface、Parser、Optimizer、Query Caches & Buffers)及其作用,以及存储引擎层的支持情况,重点介绍了InnoDB存储引擎。文中还提供了相关图片和视频讲解。
    53
    来自: 数据库
  • 26天前
    【赵渝强老师】Kubernetes的体系架构
    本文介绍了Kubernetes的体系架构及其核心组件。Kubernetes采用主从分布式架构,由master主节点和多个node工作节点组成。master节点负责集群管理和调度,运行API Server、scheduler、controller-manager等服务组件;node节点运行kubelet、kube-proxy和Docker容器守护进程,负责实际业务应用的运行。文章还简要介绍了Kubernetes的附加组件及其作用。
    55
  • 26天前
    【赵渝强老师】基于Flink的流批一体架构
    本文介绍了Flink如何实现流批一体的系统架构,包括数据集成、数仓架构和数据湖的流批一体方案。Flink通过统一的开发规范和SQL支持,解决了传统架构中的多套技术栈、数据链路冗余和数据口径不一致等问题,提高了开发效率和数据一致性。
    95
    来自: 数据库
  • 26天前
    【赵渝强老师】Oracle的体系架构
    Oracle数据库的核心在于其体系架构,主要包括数据库与实例、存储结构、进程结构和内存结构。数据库由物理文件组成,实例则是内存和进程的组合。存储结构分为逻辑和物理两部分,进程结构涉及多个后台进程如SMON、PMON、DBWn等,内存结构则包含SGA和PGA。掌握这些知识有助于更好地管理和优化Oracle数据库。
    45
    来自: 数据库
  • 26天前
    【赵渝强老师】Kafka的体系架构
    Kafka消息系统是一个分布式系统,包含生产者、消费者、Broker和ZooKeeper。生产者将消息发送到Broker,消费者从Broker中拉取消息并处理。主题按分区存储,每个分区有唯一的偏移量地址,确保消息顺序。Kafka支持负载均衡和容错。视频讲解和术语表进一步帮助理解。
    32
    来自: 云计算
  • 26天前
    【赵渝强老师】MySQL的InnoDB存储引擎
    InnoDB是MySQL的默认存储引擎,广泛应用于互联网公司。它支持事务、行级锁、外键和高效处理大量数据。InnoDB的主要特性包括解决不可重复读和幻读问题、高并发度、B+树索引等。其存储结构分为逻辑和物理两部分,内存结构类似Oracle的SGA和PGA,线程结构包括主线程、I/O线程和其他辅助线程。
    36
    来自: 数据库
  • 26天前
    【赵渝强老师】数据库的备份方式
    备份数据库是指将数据库中的数据及相关信息保存起来,以便在系统故障时恢复。备份对象不仅限于数据本身,还包括数据库对象、用户权限等。根据备份策略、类型和模式的不同,可分为整体/部分备份、完全/增量备份、一致/非一致备份。文中还附有相关视频讲解。
    31
    来自: 数据库
  • 26天前
    【赵渝强老师】MongoDB的存储引擎
    存储引擎是MongoDB的核心组件,负责管理数据在硬盘和内存中的存储方式。从3.2版本起,MongoDB支持WiredTiger、MMAPv1和In-Memory三种存储引擎。WiredTiger为默认引擎,提供文档级并发控制和数据压缩;MMAPv1在3.2版本前为默认引擎,4.x版本后不再支持;In-Memory引擎将数据存储在内存中,减少查询延迟。
    34
    来自: 数据库
  • 26天前
    【赵渝强老师】大数据技术的理论基础
    本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
    35
    来自: 数据库
  • 26天前
    【赵渝强老师】大数据生态圈中的组件
    本文介绍了大数据体系架构中的主要组件,包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka;计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream;分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
    33
    来自: 数据库
  • 26天前
    【赵渝强老师】基于ZooKeeper实现Hadoop HA
    本文介绍了如何在4个节点(bigdata112、bigdata113、bigdata114和bigdata115)上部署HDFS高可用(HA)架构,并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程,确保部署成功。
    32
    来自: 大数据
  • 17天前
    【赵渝强老师】阿里云大数据生态圈体系
    阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。
    60
    来自: 数据库
  • 15天前
    【赵渝强老师】PostgreSQL的逻辑存储结构
    PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等。每个对象都有唯一的对象标识符OID,并存储于相应的系统目录表中。集群由单个服务器实例管理,包含多个数据库、用户及对象。表空间是数据库的逻辑存储单元,用于组织逻辑相关的数据结构。段是分配给表、索引等逻辑结构的空间集合,区是段的基本组成单位,而块则是最小的逻辑存储单位。
    55
    来自: 数据库
暂无更多
暂无更多信息

2024年12月

  • 12.09 19:55:51
    发表了文章 2024-12-09 19:55:51

    【赵渝强老师】PostgreSQL的控制文件

    本文介绍了PostgreSQL数据库的物理存储结构,重点解析了控制文件,包括其重要性及如何通过`pg_controldata`命令查看控制文件内容。控制文件记录了数据库运行的关键信息,如数据库状态、WAL位置等。
  • 12.06 15:45:25
    发表了文章 2024-12-06 15:45:25

    【赵渝强老师】PostgreSQL的服务器日志文件

    本文介绍了PostgreSQL数据库的物理存储结构,重点讨论了服务器日志文件。通过`pg_ctl`命令启动PostgreSQL实例时,使用`-l`参数指定日志文件位置,记录数据库启动、运行及关闭过程中的关键信息。附有相关视频讲解和日志文件示例。
  • 12.05 17:11:52
    发表了文章 2024-12-05 17:11:52

    【赵渝强老师】PostgreSQL的WAL预写日志文件

    PostgreSQL数据库的物理存储结构包含多种文件,其中WAL(预写日志)用于确保数据完整性和高效恢复。WAL机制允许在不频繁刷新数据至磁盘的情况下,通过先写日志再改数据的方式,减少I/O操作,提高性能。每个WAL文件默认大小为16MB,位于pg_wal目录下,支持手动和自动切换。WAL不仅有助于数据恢复,还能显著降低I/O成本。
  • 12.04 10:17:56
    发表了文章 2024-12-04 10:17:56

    【赵渝强老师】PostgreSQL的运行日志文件

    PostgreSQL的物理存储结构包括数据文件、日志文件等。运行日志默认未开启,需配置`postgresql.conf`文件中的相关参数如`log_destination`、`log_directory`等,以记录数据库状态、错误信息等。示例配置中启用了CSV格式日志,便于管理和分析。通过创建表操作,可查看生成的日志文件,了解具体日志内容。
  • 12.03 12:52:27
    发表了文章 2024-12-03 12:52:27

    【赵渝强老师】PostgreSQL的数据文件

    PostgreSQL的物理存储结构主要包括数据文件、日志文件等。数据文件按oid命名,超过1G时自动拆分。通过查询数据库和表的oid,可定位到具体的数据文件。例如,查询数据库oid后,再查询特定表的oid及relfilenode,即可找到该表对应的数据文件位置。
  • 12.02 09:27:58
    发表了文章 2024-12-02 09:27:58

    【赵渝强老师】PostgreSQL的物理存储结构

    PostgreSQL在初始化时通过环境变量$PGDATA指定的目录下生成各类文件,构成其物理存储结构,包括数据文件、日志文件(如运行日志、WAL预写日志、事务日志和服务器日志)、控制文件及参数文件等,确保数据库的高效运行与数据安全。
  • 12.01 09:44:23
    发表了文章 2024-12-01 09:44:23

    【赵渝强老师】PostgreSQL的段、区和块

    PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等,以及表、索引、视图等数据库对象。每个对象有唯一的oid标识符,存储于系统目录表中。段、区、块是数据存储的基本单元,其中块是I/O操作的最小单位,默认大小为8KB。通过合理配置这些结构,可以优化数据库性能。

2024年11月

  • 11.30 09:19:14
    发表了文章 2024-11-30 09:19:14

    【赵渝强老师】PostgreSQL中的模式

    在PostgreSQL中,所有数据库对象均隶属于模式,包括表、索引、视图等,每个对象有唯一的oid标识。创建数据库时,默认生成名为“public”的Schema。用户可自定义模式,如通过SQL语句创建名为demo的模式及其下的表。与Oracle不同,PostgreSQL中用户和模式不是一一对应关系。
  • 11.29 10:10:18
    发表了文章 2024-11-29 10:10:18

    【赵渝强老师】PostgreSQL的表空间

    本文介绍了PostgreSQL中的表空间概念及其操作方法,包括查看现有表空间、创建新表空间、在特定表空间上创建表、设置默认表空间以及查询表空间信息等步骤,并提供了相应的命令示例。
  • 11.28 09:55:07
    发表了文章 2024-11-28 09:55:07

    【赵渝强老师】PostgreSQL的数据库

    PostgreSQL的逻辑存储结构涵盖数据库集群、数据库、表、索引、视图等对象,每个对象有唯一的oid标识。数据库集群包含多个数据库,每个数据库又包含多个模式,模式内含表、函数等。通过特定SQL命令可查看和管理这些数据库对象。
  • 11.26 09:10:16
    发表了文章 2024-11-26 09:10:16

    【赵渝强老师】PostgreSQL的数据库集群

    PostgreSQL的逻辑存储结构涵盖了数据库集群、数据库、表、索引、视图等对象,每个对象都有唯一的oid标识。数据库集群是由单个PostgreSQL实例管理的所有数据库集合,共享同一配置和资源。集群的数据存储在一个称为数据目录的单一目录中,可通过-D选项或PGDATA环境变量指定。
  • 11.25 08:53:18
    发表了文章 2024-11-25 08:53:18

    【赵渝强老师】PostgreSQL的逻辑存储结构

    PostgreSQL的逻辑存储结构包括数据库集群、数据库、表空间、段、区、块等。每个对象都有唯一的对象标识符OID,并存储于相应的系统目录表中。集群由单个服务器实例管理,包含多个数据库、用户及对象。表空间是数据库的逻辑存储单元,用于组织逻辑相关的数据结构。段是分配给表、索引等逻辑结构的空间集合,区是段的基本组成单位,而块则是最小的逻辑存储单位。
  • 11.23 08:25:16
    发表了文章 2024-11-23 08:25:16

    【赵渝强老师】阿里云大数据生态圈体系

    阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。
  • 11.22 08:49:12
    发表了文章 2024-11-22 08:49:12

    【赵渝强老师】MySQL的参数文件

    MySQL启动时会读取配置文件my.cnf来确定数据库文件位置及初始化参数。该文件分为Server和Client两部分,包含动态与静态参数。动态参数可在运行中通过命令修改,而静态参数需修改my.cnf并重启服务生效。文中还提供了相关代码示例和视频教程。
  • 11.21 08:01:28
    发表了文章 2024-11-21 08:01:28

    【赵渝强老师】MySQL的全量日志文件

    MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
  • 11.20 10:44:55
    发表了文章 2024-11-20 10:44:55

    【赵渝强老师】MySQL的慢查询日志

    MySQL的慢查询日志用于记录执行时间超过设定阈值的SQL语句,帮助数据库管理员识别并优化性能问题。通过`mysqldumpslow`工具可查看日志。本文介绍了如何检查、启用及配置慢查询日志,并通过实例演示了慢查询的记录与分析过程。
  • 11.19 10:31:31
    发表了文章 2024-11-19 10:31:31

    【赵渝强老师】MySQL的binlog日志文件

    MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
  • 11.18 11:09:53
    发表了文章 2024-11-18 11:09:53

    【赵渝强老师】MySQL的撤销日志文件和错误日志文件

    本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
  • 11.14 20:20:49
    发表了文章 2024-11-14 20:20:49

    【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件

    本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
  • 11.14 20:15:11
    发表了文章 2024-11-14 20:15:11

    【赵渝强老师】MySQL InnoDB的段、区和页

    MySQL的InnoDB存储引擎逻辑存储结构与Oracle相似,包括表空间、段、区和页。表空间由段和页组成,段包括数据段、索引段等。区是1MB的连续空间,页是16KB的最小物理存储单位。InnoDB是面向行的存储引擎,每个页最多可存放7992行记录。
  • 11.14 20:12:07
    发表了文章 2024-11-14 20:12:07

    【赵渝强老师】MySQL InnoDB的表空间

    InnoDB是MySQL默认的存储引擎,主要由存储结构、内存结构和线程结构组成。其存储结构分为逻辑和物理两部分,逻辑存储结构包括表空间、段、区和页。表空间是InnoDB逻辑结构的最高层,所有数据都存放在其中。默认情况下,InnoDB有一个共享表空间ibdata1,用于存放撤销信息、系统事务信息等。启用参数`innodb_file_per_table`后,每张表的数据可以单独存放在一个表空间内,但撤销信息等仍存放在共享表空间中。
  • 11.14 20:08:33
    发表了文章 2024-11-14 20:08:33

    【赵渝强老师】MySQL的基准测试与sysbench

    本文介绍了MySQL数据库的基准测试及其重要性,并详细讲解了如何使用sysbench工具进行测试。内容涵盖sysbench的安装、基本使用方法,以及具体测试MySQL数据库的步骤,包括创建测试数据库、准备测试数据、执行测试和清理测试数据。通过这些步骤,可以帮助读者掌握如何有效地评估MySQL数据库的性能。
  • 11.14 20:02:22
    发表了文章 2024-11-14 20:02:22

    【赵渝强老师】Redis的AOF数据持久化

    Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
  • 11.14 19:57:27
    发表了文章 2024-11-14 19:57:27

    【赵渝强老师】Redis的RDB数据持久化

    Redis 是内存数据库,提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式,其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘,确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景,但也有数据完整性和一致性较低及备份时占用内存的缺点。
  • 11.14 19:53:16
    发表了文章 2024-11-14 19:53:16

    【赵渝强老师】安装部署Memcached

    Memcached 是一个高性能的分布式内存对象缓存系统,用于减轻数据库压力,支持高负载网站。本文介绍了 Memcached 的安装步骤,包括下载、解压、配置和启动服务,帮助用户快速上手。
  • 11.14 19:47:29
    发表了文章 2024-11-14 19:47:29

    【赵渝强老师】Memcached的数据存储方式

    Memcached 是一个高性能的分布式内存对象缓存系统,用于减轻数据库压力,支持高负载网站。它通过内存中的巨大 Hash 表存储各种数据,但不支持数据持久化。视频讲解和数据存储方式图示详见内容。
  • 11.14 19:44:52
    发表了文章 2024-11-14 19:44:52

    【赵渝强老师】Memcached集群的架构

    Memcached 是一个高性能的分布式内存对象缓存系统,通过在内存中维护一个巨大的 Hash 表来存储各种格式的数据,如图像、视频、文件及数据库检索结果等。它主要用于减轻数据库压力,提高网站系统的性能。Memcached 不支持数据持久化,因此仅作为缓存技术使用。其数据分布式存储由客户端应用程序实现,而非服务端。
  • 11.14 19:40:51
    发表了文章 2024-11-14 19:40:51

    【赵渝强老师】Hive的分区表

    Hive的分区表与Oracle、MySQL类似,通过分区条件将数据分隔存储,提高查询效率。本文介绍了静态分区表和动态分区表的创建与使用方法,包括具体SQL语句和执行计划分析,附带视频讲解。静态分区表需显式指定分区条件,而动态分区表则根据插入数据自动创建分区。
  • 11.14 19:25:18
    发表了文章 2024-11-14 19:25:18

    【赵渝强老师】Hive的内部表与外部表

    Hive是基于HDFS的数据仓库,支持SQL查询。其数据模型包括内部表、外部表、分区表、临时表和桶表。本文介绍了如何创建和使用内部表和外部表,提供了详细的步骤和示例代码,并附有视频讲解。
  • 11.14 19:21:03
    发表了文章 2024-11-14 19:21:03

    【赵渝强老师】Oracle的参数文件与告警日志文件

    本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
  • 11.14 19:16:21
    发表了文章 2024-11-14 19:16:21

    【赵渝强老师】Oracle的控制文件与归档日志文件

    本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
  • 11.14 19:11:55
    发表了文章 2024-11-14 19:11:55

    【赵渝强老师】Oracle的联机重做日志文件与数据写入过程

    在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
  • 11.14 19:07:01
    发表了文章 2024-11-14 19:07:01

    【赵渝强老师】Oracle的数据文件

    在Oracle数据库中,数据库由多个表空间组成,每个表空间包含多个数据文件。数据文件存储实际的数据库数据。查询时,如果内存中没有所需数据,Oracle会从数据文件中读取并加载到内存。可通过SQL语句查看和管理数据文件。附有视频讲解及示例。
  • 11.14 19:03:38
    发表了文章 2024-11-14 19:03:38

    【赵渝强老师】Oracle的物理存储结构

    Oracle的物理存储结构包括数据文件、联机重做日志文件、控制文件、归档日志文件、参数文件、告警日志文件、跟踪文件和备份文件。这些文件在硬盘上存储数据库的各种数据和日志信息,确保数据库的正常运行和故障恢复。视频讲解和详细说明见原文。
  • 11.14 18:59:58
    发表了文章 2024-11-14 18:59:58

    【赵渝强老师】K8s中Deployment控制器与StatefulSet控制器的区别

    K8s中的Deployment控制器用于管理无状态应用程序,关注Pod数量、更新方式等;而StatefulSets控制器则管理有状态应用程序,提供持久存储和唯一标识符,适用于需要稳定网络标识符和持久化存储的场景。两者的主要区别在于是否维护状态和顺序。
  • 11.14 18:56:53
    发表了文章 2024-11-14 18:56:53

    【赵渝强老师】K8s的有状态控制器StatefulSet

    在Kubernetes中,StatefulSets用于部署有状态应用程序,提供持久存储和唯一标识符。与Deployment不同,StatefulSets确保Pod的标识符在重新调度后保持不变,适用于需要稳定网络标识符和持久存储的场景。本文介绍了StatefulSets的创建、扩容与缩容、更新与回滚等操作,并提供了具体示例和视频讲解。
  • 11.14 18:52:50
    发表了文章 2024-11-14 18:52:50

    【赵渝强老师】K8s的周期性任务控制器CronJob

    本文介绍了K8s中的CronJob控制器,它类似于Linux的crontab命令,用于管理和调度定时作业。CronJob可以设置在未来某一时间运行作业一次或在指定时间点重复运行作业。文章通过一个示例展示了如何创建和使用CronJob控制器,包括创建配置文件、应用配置、查看Pod信息和日志等步骤。同时,还解释了CronJob的时间表示方式及其限制。
  • 11.14 18:48:57
    发表了文章 2024-11-14 18:48:57

    【赵渝强老师】K8s的Job控制器多工作队列的并行方式

    Kubernetes Job 是一次性任务控制器,用于控制 Pod 中的容器执行特定任务。本文介绍了 Job 控制器的工作原理、运行方式及多工作队列并行执行的示例。示例中创建了 5 个作业,以 3 个队列并行执行,整个过程需 2 分钟。文中还提供了详细的 YAML 文件配置和执行命令。
  • 11.14 18:10:55
    发表了文章 2024-11-14 18:10:55

    【赵渝强老师】K8s中Job控制器单工作队列的串行方式

    Kubernetes中的Job控制器用于管理一次性任务,确保任务完成后不再重启。本文介绍了Job的工作原理、运行方式及示例,包括创建Job、查看Job和Pod信息等步骤,并附有视频讲解。
  • 11.14 18:08:07
    发表了文章 2024-11-14 18:08:07

    【赵渝强老师】K8s的DaemonSet控制器

    DaemonSet控制器确保每个节点上运行一个Pod副本,适用于监控、日志收集等场景。通过示例创建DaemonSet并查看Pod信息,展示了其自动扩展和回收的能力。视频讲解和代码示例详细说明了DaemonSet的使用方法和调度机制。
  • 11.14 18:04:51
    发表了文章 2024-11-14 18:04:51

    【赵渝强老师】K8s中的Deployment控制器

    Kubernetes中的Deployment用于部署无状态应用程序,管理Pod的数量、更新方式和资源限制。通过创建和管理ReplicaSet,Deployment可以实现Pod的自动扩缩容、滚动更新和回滚。本文介绍了Deployment的基本概念,并通过一个具体的示例演示了如何使用Deployment创建、更新和管理Pod。
  • 11.14 18:00:24
    发表了文章 2024-11-14 18:00:24

    【赵渝强老师】Kubernetes中的控制器

    Kubernetes通过控制器管理Pod的生命周期,以应对不同场景需求,如Deployment、DaemonSet、Job等。控制器可自动调整Pod数量和重启故障Pod,确保系统稳定运行。视频讲解和详细内容见下文。
  • 11.14 17:58:00
    发表了文章 2024-11-14 17:58:00

    【赵渝强老师】基于ZooKeeper实现Hadoop HA

    本文介绍了如何在4个节点(bigdata112、bigdata113、bigdata114和bigdata115)上部署HDFS高可用(HA)架构,并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程,确保部署成功。
  • 11.14 17:52:11
    发表了文章 2024-11-14 17:52:11

    【赵渝强老师】大数据主从架构的单点故障

    大数据体系架构中,核心组件采用主从架构,存在单点故障问题。为提高系统可用性,需实现高可用(HA)架构,通常借助ZooKeeper来实现。ZooKeeper提供配置维护、分布式同步等功能,确保集群稳定运行。下图展示了基于ZooKeeper的HDFS HA架构。
  • 11.14 17:49:48
    发表了文章 2024-11-14 17:49:48

    【赵渝强老师】大数据生态圈中的组件

    本文介绍了大数据体系架构中的主要组件,包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka;计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream;分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
  • 11.14 17:45:25
    发表了文章 2024-11-14 17:45:25

    【赵渝强老师】大数据技术的理论基础

    本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
  • 11.14 17:42:06
    发表了文章 2024-11-14 17:42:06

    【赵渝强老师】MongoDB的WiredTiger存储引擎

    MongoDB WiredTiger存储引擎自3.2版本起成为默认选择,提供文档级别的并发控制、检查点、数据压缩和本地加密等功能。本文详细介绍了WiredTiger的并发控制机制、预写日志与检查点、内存使用、数据压缩及磁盘空间回收等特性。
  • 11.14 17:37:59
    发表了文章 2024-11-14 17:37:59

    【赵渝强老师】MongoDB的In-Memory存储引擎

    MongoDB的In-Memory存储引擎将数据存储在内存中,显著减少查询延迟,提高性能。该引擎不会将数据持久化到硬盘,仅在内存中存储,因此重启后数据会丢失。本文通过创建目录、配置文件、启动服务、插入数据和查询等步骤,详细演示了如何使用In-Memory存储引擎。
  • 11.14 17:25:36
    发表了文章 2024-11-14 17:25:36

    【赵渝强老师】MongoDB的MMAPv1存储引擎

    在MongoDB 3.2版本之前,默认使用MMAPv1存储引擎。MMAPv1包括Database、Namespace、数据文件、Extent和Record等组件。每个Database由名称空间文件和数据文件组成,数据文件按编号递增,大小从64MB到2GB。每个数据文件被划分为多个Extent,每个Extent包含多个Record,对应MongoDB中的文档。通过一个示例展示了如何配置和使用MMAPv1存储引擎。
  • 11.14 17:19:33
    发表了文章 2024-11-14 17:19:33

    【赵渝强老师】MongoDB的存储引擎

    存储引擎是MongoDB的核心组件,负责管理数据在硬盘和内存中的存储方式。从3.2版本起,MongoDB支持WiredTiger、MMAPv1和In-Memory三种存储引擎。WiredTiger为默认引擎,提供文档级并发控制和数据压缩;MMAPv1在3.2版本前为默认引擎,4.x版本后不再支持;In-Memory引擎将数据存储在内存中,减少查询延迟。
  • 发表了文章 2024-12-09

    【赵渝强老师】PostgreSQL的控制文件

  • 发表了文章 2024-12-06

    【赵渝强老师】PostgreSQL的服务器日志文件

  • 发表了文章 2024-12-05

    【赵渝强老师】PostgreSQL的WAL预写日志文件

  • 发表了文章 2024-12-04

    【赵渝强老师】PostgreSQL的运行日志文件

  • 发表了文章 2024-12-03

    【赵渝强老师】PostgreSQL的数据文件

  • 发表了文章 2024-12-02

    【赵渝强老师】PostgreSQL的物理存储结构

  • 发表了文章 2024-12-01

    【赵渝强老师】PostgreSQL的段、区和块

  • 发表了文章 2024-11-30

    【赵渝强老师】PostgreSQL中的模式

  • 发表了文章 2024-11-29

    【赵渝强老师】PostgreSQL的表空间

  • 发表了文章 2024-11-28

    【赵渝强老师】PostgreSQL的数据库

  • 发表了文章 2024-11-26

    【赵渝强老师】PostgreSQL的数据库集群

  • 发表了文章 2024-11-25

    【赵渝强老师】PostgreSQL的逻辑存储结构

  • 发表了文章 2024-11-23

    【赵渝强老师】阿里云大数据生态圈体系

  • 发表了文章 2024-11-22

    【赵渝强老师】MySQL的参数文件

  • 发表了文章 2024-11-21

    【赵渝强老师】MySQL的全量日志文件

  • 发表了文章 2024-11-20

    【赵渝强老师】MySQL的慢查询日志

  • 发表了文章 2024-11-19

    【赵渝强老师】MySQL的binlog日志文件

  • 发表了文章 2024-11-18

    【赵渝强老师】MySQL的撤销日志文件和错误日志文件

  • 发表了文章 2024-11-14

    【赵渝强老师】Redis的AOF数据持久化

  • 发表了文章 2024-11-14

    【赵渝强老师】MySQL InnoDB的段、区和页

正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息