赵渝强老师_社区达人页

2025年05月

• 05.29 10:15:59
  发表了文章 2025-05-29 10:15:59

  【赵渝强老师】HBase的逻辑存储结构

  HBase的逻辑存储结构包括命名空间、表和列族。命名空间类似关系型数据库中的数据库，用于逻辑划分和隔离数据；表以RowKey组织数据并按字典序排列，分为多个Region实现分布式存储；列族包含列且无需预先定义，由MemStore缓存写入数据，定期刷新生成Store File。文章通过视频和代码示例详细讲解了各部分的操作与功能。
• 05.28 10:26:18
  发表了文章 2025-05-28 10:26:18

  【赵渝强老师】OceanBase的部署架构

  OceanBase数据库支持两种部署架构：无共享（Shared-Nothing，SN）模式和共享存储（Shared-Storage，SS）模式。SN模式下，各节点对等，具备高扩展性、可用性和性能，运行于普通PC服务器集群；SS模式采用存算分离架构，租户数据存储在共享对象存储上，本地缓存热点数据。两种模式均支持高可用与多副本一致性，适用于不同业务场景。
• 05.27 12:18:10
  发表了文章 2025-05-27 12:18:10

  【赵渝强老师】HBase的体系架构

  HBase是一种基于BigTable思想的列式存储NoSQL数据库，适合数据分析与处理。其主从架构包含HBase HMaster、Region Server和ZooKeeper。HMaster负责Region分配及表管理；Region Server执行数据读写操作，并包含WAL预写日志、Block Cache读缓存和MemStore写缓存；ZooKeeper维护集群状态并协调分布式系统工作。通过视频讲解与架构图示，详细解析各组件功能与协作机制。
• 05.25 14:12:05
  发表了文章 2025-05-25 14:12:05

  【赵渝强老师】MySQL的备份方案

  本文详细介绍了MySQL数据库备份与恢复的多种方式，包括物理备份与逻辑备份的概念及区别、全量备份、增量备份和差异备份的特点，以及热备份与冷备份的适用场景与优缺点。通过图文结合的方式，并辅以视频讲解，帮助读者全面了解MySQL备份策略及其工具选择，为实际操作提供理论支持。
• 05.24 10:25:47
  发表了文章 2025-05-24 10:25:47

  【赵渝强老师】OceanBase数据库从零开始：MySQL模式

  《OceanBase数据库从零开始：MySQL模式》是一门包含11章的课程，涵盖OceanBase分布式数据库的核心内容。从体系架构、安装部署到租户管理、用户安全，再到数据库对象操作、事务与锁机制，以及应用程序开发、备份恢复、数据迁移等方面进行详细讲解。此外，还涉及连接路由管理和监控诊断等高级主题，帮助学员全面掌握OceanBase数据库的使用与管理。
• 05.21 08:04:06
  发表了文章 2025-05-21 08:04:06

  【赵渝强老师】Scala编程语言

  Scala 是一种集成面向对象与函数式编程特性的多范式语言，运行于 Java 平台并兼容 Java 程序。学习 Scala 为掌握 Spark 和 Flink 打下基础。本文通过视频讲解及代码示例，展示如何用 Scala 在 Spark 和 Flink 中实现 WordCount 程序，包括环境配置、数据处理及输出操作，帮助理解其实际应用。
• 05.18 10:16:14
  发表了文章 2025-05-18 10:16:14

  【赵渝强老师】Memcached的路由算法

  Memcached支持两种客户端路由算法：求余数Hash算法和一致性Hash算法。求余数Hash算法通过键值对服务器数量取模分配数据，虽分布均匀但扩容缩容时易丢失数据。一致性Hash算法则通过哈希环减少数据丢失，仅影响故障节点相关数据，在集群扩容或节点宕机时表现更优。
• 05.17 18:10:06
  发表了文章 2025-05-17 18:10:06

  【赵渝强老师】在PostgreSQL中访问Oracle

  本文介绍了如何在PostgreSQL中使用oracle_fdw扩展访问Oracle数据库数据。首先需从Oracle官网下载三个Instance Client安装包并解压，设置Oracle环境变量。接着从GitHub下载oracle_fdw扩展，配置pg_config环境变量后编译安装。之后启动PostgreSQL服务器，在数据库中创建oracle_fdw扩展及外部数据库服务，建立用户映射。最后通过创建外部表实现对Oracle数据的访问。文末附有具体操作步骤与示例代码。

  
• 05.14 08:52:45
  发表了文章 2025-05-14 08:52:45

  【赵渝强老师】使用postgre_fdw访问外部PostgreSQL

  本文介绍了如何使用postgres_fdw扩展让PostgreSQL访问外部远端数据库数据。通过编译安装扩展、修改配置文件、重启数据库、创建扩展及外部服务器对象等步骤，最终实现本地数据库通过外部表访问远程数据。附带视频讲解，详细演示操作流程，并提醒需调整远端PostgreSQL配置以支持远程登录。
• 05.11 09:04:14
  发表了文章 2025-05-11 09:04:14

  【赵渝强老师】在PostgreSQL中使用file_fdw访问外部文件系统

  本文介绍了PostgreSQL的file_fdw扩展，它支持直接从数据库访问服务器文件系统中的文件，文件格式需为text、csv或binary。内容涵盖从编译安装扩展、配置postgresql.conf参数、重启数据库实例，到创建扩展、外部文件服务及外部表的完整流程，并通过具体示例展示如何查询外部表数据，同时附有视频讲解以帮助理解操作步骤。

2025年04月

• 04.23 09:56:11
  发表了文章 2025-04-23 09:56:11

  【赵渝强老师】创建PostgreSQL的数据库

  本文介绍了在PostgreSQL中通过SQL命令“create database”创建数据库的方法。首先查询系统目录pg_database以查看现有数据库集合，然后使用“create database”命令创建新数据库，并了解其在$PDATA/base目录下对应的文件夹生成。最后重新查询数据库集合确认创建结果，附带视频讲解便于理解操作步骤及注意事项。
• 04.16 11:26:47
  发表了文章 2025-04-16 11:26:47

  【赵渝强老师】TiDB的列存引擎：TiFlash

  TiFlash是TiDB的列式存储引擎，借助ClickHouse实现高效协处理器层，采用Multi-Raft体系进行数据复制与分散。它实时从TiKV同步数据，提供一致性的最新读取。组件包括列式存储引擎和TiFlashproxy，支持TiDB与TiSpark计算引擎。需手动指定表同步，并通过DDL语句管理副本数量。文档还介绍了部署、创建副本、查看同步进度及删除副本等操作步骤，展示了其在OLAP场景的应用。

  
• 04.13 10:42:00
  发表了文章 2025-04-13 10:42:00

  【赵渝强老师】TiDB数据库从零开始

  《TiDB数据库从零开始》是一门系统介绍TiDB分布式数据库的课程，共11章。内容涵盖TiDB体系架构、安装部署、用户安全管理、数据库对象操作、事务与锁机制、备份恢复、数据迁移与同步、TiSpark/TiProxy/TiFlash组件使用，以及监控诊断与故障处理。通过视频讲解和详细文本，帮助学员全面掌握TiDB的核心功能与应用场景。
• 04.12 11:29:51
  发表了文章 2025-04-12 11:29:51

  【赵渝强老师】TiDB的行存引擎：TiKV

  TiDB 的存储架构由 TiKV（行存引擎）和 TiFlash（列存引擎）组成，分别适用于 OLTP 和 OLAP 场景。本文重点解析 TiKV 的体系结构，其作为分布式事务型 Key-Value 存储引擎，通过 Region 管理数据分布，支持高可用与自动故障转移。每个 Region 默认有 3 个副本，由 PD 调度实现负载均衡与水平扩展。视频进一步详解了 TiKV 的核心功能与设计原理。
• 04.09 10:37:36
  发表了文章 2025-04-09 10:37:36

  【赵渝强老师】TiDB的体系架构

  TiDB是由PingCAP公司自主研发的开源分布式关系型数据库，支持HTAP（混合事务分析处理），具备弹性扩缩容、金融级高可用、实时分析等特性，兼容MySQL协议。其架构分为存储集群（行存TiKV与列存TiFlash）、调度集群（PD实例）和计算集群（TiDB实例）。相比传统单机数据库，TiDB优势显著：纯分布式设计、高扩展性、自动故障恢复、ACID事务支持及丰富的工具生态，适用于高可用与强一致要求的场景。
• 04.06 11:30:22
  发表了文章 2025-04-06 11:30:22

  【赵渝强老师】TiDB的功能特性

  TiDB是由PingCAP公司自主研发的开源分布式关系型数据库，支持HTAP（混合事务与分析处理），具备一键水平扩缩容、金融级高可用、实时HTAP、云原生架构及兼容MySQL协议等核心功能。其分布式设计可满足高可用、强一致性和大规模数据处理需求，适用于多种应用场景。视频讲解与详细功能介绍进一步展示了其技术优势和生态兼容性。
• 04.05 18:36:34
  发表了文章 2025-04-05 18:36:34

  【赵渝强老师】Oracle的闪回数据归档

  本文介绍了Oracle闪回数据归档（Flashback Data Archive）的功能与实现方法。闪回数据归档可将表中的历史数据进行归档，支持全面的历史数据查询，引入了“Oracle Total Recall”概念。文中通过具体实战步骤演示了如何创建和启用闪回数据归档：包括创建表空间、数据归档，设置默认归档，授予用户权限，开启表的归档功能，并展示了误操作后如何通过归档恢复数据。最后通过执行计划验证了数据来源于归档。
• 04.03 12:41:19
  发表了文章 2025-04-03 12:41:19

  【赵渝强老师】Oracle的闪回事务查询

  Oracle数据库的闪回事务查询（Flashback Transaction Query）是闪回版本查询的扩充，可用于审计或撤销已提交的事务。通过`flashback_transaction_query`视图，可生成还原特定事务的SQL语句。本文介绍了其基本概念，并通过实战演示如何使用该功能：从授权、开启UNDO数据增强，到创建测试表和事务，最后利用闪回查询撤销已提交的事务，验证数据恢复效果。附带视频讲解，帮助深入理解。
• 04.02 13:50:56
  发表了文章 2025-04-02 13:50:56

  【赵渝强老师】Oracle的闪回删除

  本文介绍了Oracle数据库的闪回删除（Flashback Drop）功能，该功能可从回收站恢复已删除的对象至删除前状态。文章详细讲解了回收站的工作原理及操作步骤，包括检查回收站功能是否开启、删除表、查看回收站内容以及使用闪回删除恢复数据等实战操作。通过具体示例，演示了如何恢复被删除的员工表及其数据，并处理同名表冲突问题。文末还附有视频讲解，帮助读者更直观地理解操作流程。
• 04.01 11:12:10
  发表了文章 2025-04-01 11:12:10

  【赵渝强老师】Oracle的闪回数据库

  Oracle闪回数据库功能类似于“倒带按钮”，可快速将数据库恢复至 earlier 状态，无需还原备份。本文介绍了闪回数据库的使用方法及实战案例：包括设置归档模式、开启闪回功能、记录SCN号、执行误操作后的恢复步骤等。通过具体 SQL 操作演示了如何利用闪回数据库恢复被误删的用户数据。注意，使用此功能前需确保数据库为归档模式。

2025年03月

• 03.30 09:45:28
  发表了文章 2025-03-30 09:45:28

  【赵渝强老师】Oracle数据库的闪回表

  本文介绍了Oracle数据库中的闪回表（Flashback Table）功能，它能够将表的数据快速恢复到特定时间点或系统改变号（SCN），无需备份。文章通过实战示例详细演示了如何使用闪回表恢复数据，包括授权、创建测试表、记录时间与SCN号、删除数据、启用行移动功能、执行闪回操作以及验证恢复结果等步骤。同时，还展示了如何通过触发器禁止插入操作，并在闪回过程中处理触发器的启用问题。文末附有视频讲解，帮助读者更好地理解闪回表的使用方法。
• 03.29 09:35:47
  发表了文章 2025-03-29 09:35:47

  【赵渝强老师】Oracle的闪回版本查询

  本文介绍了Oracle数据库的闪回版本查询（Flashback Version Query）功能，通过示例详细讲解了其使用方法。闪回版本查询可获取指定时间区间内行的不同版本，利用`versions between`子句实现。文中包含视频讲解，并通过创建测试表、插入数据及执行查询等步骤，演示如何获取历史版本信息和伪列详情，帮助用户深入了解该功能的实际应用。
• 03.28 09:20:07
  发表了文章 2025-03-28 09:20:07

  【赵渝强老师】Oracle数据库的闪回查询

  本文介绍了Oracle数据库的闪回查询（Flashback Query）功能及其实际应用。闪回查询通过`AS OF`子句，结合时间戳或SCN号，可查询历史数据状态，帮助分析数据差异。文中通过具体示例演示了如何使用闪回查询：创建测试表、记录当前SCN号、更新数据并提交事务，最后通过闪回查询获取历史数据。附带的视频和代码块详细展示了操作步骤与结果。
• 03.27 15:00:34
  发表了文章 2025-03-27 15:00:34

  【赵渝强老师】Oracle数据库的闪回技术

  在Oracle数据库操作中，难免会遇到误删表或提交错误事务等问题，可能导致数据丢失甚至数据库停止运行。传统解决方法依赖备份恢复，但需提前准备正确备份。为此，Oracle提供了闪回技术，无需备份即可快速恢复数据。它支持7种类型的操作，如闪回查询、版本查询、表恢复等，能有效应对逻辑损坏和用户错误。闪回技术基于还原（undo）数据管理，启用自动管理后可实现高效恢复。
• 03.26 12:29:48
  发表了文章 2025-03-26 12:29:48

  【赵渝强老师】Oracle数据库的客户端工具

  本文介绍了Oracle数据库的三种客户端工具：SQL*Plus、Oracle Enterprise Manager Database Express（EM）和SQL Developer的使用方法。首先通过命令行工具SQL*Plus登录数据库，创建用户并授权，建立部门与员工表，插入数据并查询；接着讲解了如何通过浏览器访问EM界面监控数据库及表空间状态；最后演示了SQL Developer的下载安装、连接配置以及执行查询的过程，帮助用户快速上手Oracle数据库管理与操作。
• 03.25 16:24:49
  发表了文章 2025-03-25 16:24:49

  【赵渝强老师】达梦数据库的线程结构

  达梦数据库采用单进程、多线程结构，利用对称服务器架构实现高效资源利用与可扩展性。其核心线程类型包括监听线程（管理客户端连接）、I/O线程（处理数据页读写）、工作线程（执行数据操作）、调度线程（定时任务管理）和日志刷新线程（确保REDO日志刷盘）。通过合理分工与同步机制，达梦数据库实现了高性能与稳定性。视频讲解进一步详细介绍了各线程的功能与协作方式。

  
• 03.25 10:46:50
  发表了文章 2025-03-25 10:46:50

  【赵渝强老师】达梦数据库的内存结构

  本文介绍了达梦数据库管理系统的内存结构，包括内存池、缓冲区、排序区和哈希区。内存池分为共享内存池和运行时内存池，能够提高内存申请与释放效率，并便于监控内存使用情况。缓冲区涵盖数据缓冲区、日志缓冲区、字典缓冲区和SQL缓冲区，用于优化数据读写和查询性能。排序区和哈希区分别提供排序和哈希连接所需的内存空间，通过合理配置参数可提升系统效率。文内附有具体配置示例及视频讲解，帮助用户深入理解达梦数据库的内存管理机制。
• 03.24 12:28:28
  发表了文章 2025-03-24 12:28:28

  【赵渝强老师】达梦数据库的物理存储结构

  本文介绍了达梦数据库的存储结构及各类物理文件的作用。达梦数据库通过逻辑和物理存储结构管理数据，包含配置文件（如dm.ini、sqllog.ini）、控制文件（dm.ctl）、数据文件（*.dbf）、重做日志文件（*.log）、归档日志文件、备份文件（*.bak）等。配置文件用于功能设置，控制文件记录数据库初始信息，数据文件存储实际数据，重做日志用于故障恢复，归档日志增强数据安全性，备份文件保障数据完整性，跟踪与事件日志辅助问题分析。这些文件共同确保数据库高效、稳定运行。
• 03.24 09:17:22
  发表了文章 2025-03-24 09:17:22

  【赵渝强老师】达梦数据库的逻辑存储结构

  本文介绍了达梦数据库的存储结构，包括逻辑和物理存储两部分。逻辑存储结构由数据库（Database）、表空间（Tablespaces）、段（Segments）、簇（Cluster）和页（Page）组成。数据库是最大逻辑单元，包含所有表、索引等；表空间由数据文件组成，用于存储对象；段由簇构成，簇包含连续的数据页；页是最小存储单元。文中还提供了查询表空间、段和页大小的SQL语句，并附有视频讲解和示意图。
• 03.23 11:04:48
  发表了文章 2025-03-23 11:04:48

  【赵渝强老师】达梦数据库的数据库对象

  达梦数据库包含基本与复杂两大类数据库对象。基本对象如表、索引、视图、序列和同义词，通过单一DDL语句创建和管理。表是数据存储核心，支持多种数据类型；索引提升查询速度，常见类型包括聚集、唯一、函数等索引；视图提供虚表功能；序列生成有序整数；同义词简化对象访问。复杂对象包括存储过程、函数和触发器，需用DMSQL语言开发，适用于更复杂的业务逻辑处理。文中通过实例详细介绍了各类对象的创建与使用方法。
• 03.22 16:07:42
  发表了文章 2025-03-22 16:07:42

  【赵渝强老师】在Docker中运行达梦数据库

  本文介绍了在Docker容器中部署达梦数据库（DM 8）的具体步骤，包括创建文件夹、下载安装包、导入镜像、启动容器、登录数据库及查看状态等操作。同时，通过视频讲解辅助理解。文中还分析了将数据库服务容器化的潜在问题，如数据安全性、硬件资源争用、网络带宽占用和额外隔离带来的挑战，指出数据库服务在生产环境中可能不适合容器化的原因。

  
• 03.21 15:23:25
  发表了文章 2025-03-21 15:23:25

  【赵渝强老师】达梦数据库MPP集群的架构

  达梦数据库提供大规模并行处理（MPP）架构，以低成本实现高性能并行计算，满足海量数据存储和复杂查询需求。DM MPP采用完全对等无共享体系，消除主节点瓶颈，通过多节点并行执行提升性能。其执行流程包括主EP生成计划、分发任务、各EP并行处理及结果汇总返回。为确保高可用性，建议结合数据守护部署。
• 03.19 12:23:23
  发表了文章 2025-03-19 12:23:23

  【赵渝强老师】达梦数据库的客户端工具

  本文介绍了达梦数据库的多种工具及其使用方法，包括disql交互式查询工具、数据库配置助手DBCA、DM管理工具、DM服务查看器、DM控制台工具、DM数据迁移工具、DM性能监视工具以及DM审计分析工具。每种工具的功能和操作步骤均有详细说明，并配有相关图片和代码示例，帮助用户更好地理解和使用这些工具，提升数据库管理和维护效率。
• 03.16 14:58:59
  发表了文章 2025-03-16 14:58:59

  【赵渝强老师】达梦数据库的归档模式

  本文介绍了达梦数据库备份与恢复中重做日志文件的作用，重点讲解了归档模式的必要性及其配置方法。文章分析了非归档模式可能导致的数据丢失问题，并推荐使用归档模式以保障数据一致性和完整性。归档模式分为本地归档和远程归档：本地归档将重做日志存储在本地，而远程归档适用于集群环境，确保所有节点拥有完整日志。文中还详细展示了如何通过SQL命令开启归档模式，包括切换状态、设置路径及验证配置等步骤，并附有视频教程辅助理解。
• 03.14 19:53:49
  发表了文章 2025-03-14 19:53:49

  【赵渝强老师】达梦数据库的目录结构

  本文介绍了达梦数据库（DM 8）安装成功后的目录结构查看方法，通过Linux的`tree`命令展示各目录功能，如`bin`存放可执行文件、`data`为数据库实例目录等。还提供了视频讲解及`data`目录下具体文件示例，帮助用户深入了解数据库文件组成与作用。
• 03.11 16:52:43
  发表了文章 2025-03-11 16:52:43

  【赵渝强老师】PostgreSQL的模板数据库

  在PostgreSQL中，创建新数据库时，默认通过拷贝`template1`实现。`template1`包含标准系统对象，可自定义以影响新数据库内容；而`template0`是纯净模板，仅含预定义对象且不应修改。视频讲解和代码示例展示了如何查看现有数据库信息及标识字段的作用。  [视频链接](https://www.bilibili.com/video/BV1szyfY4EQn)

  
• 03.09 11:12:41
  发表了文章 2025-03-09 11:12:41

  【赵渝强老师】使用PostgreSQL客户端工具

  PostgreSQL数据库服务器安装配置完成后，用户可以使用客户端工具连接并操作数据库。本文重点介绍两款常用的PostgreSQL客户端工具：命令行客户端psql和图形化客户端pgAdmin。 **psql**是PostgreSQL自带的命令行工具，支持交互式和非交互式模式。交互式模式下，用户可以直接输入SQL命令进行操作；非交互式模式则通过执行脚本文件来完成任务。 **pgAdmin**是一款功能全面的图形化管理工具，支持Linux、Windows和Mac OS X系统。 通过这两种工具，用户可以高效地管理和操作PostgreSQL数据库。

  
• 03.08 09:02:45
  发表了文章 2025-03-08 09:02:45

  【赵渝强老师】管理MongoDB的运行

  MongoDB使用`mongod`命令启动服务器。实战中，创建目录`/data/db2`存放数据文件，并通过命令`mongod --dbpath /data/db2/ --port 1234 --fork --logpath /data/db2/db2.log --directoryperdb`启动服务。登录MongoDB后可创建数据库和集合。停止MongoDB服务器有三种方式：1) 使用`db.shutdownServer()`；2) 使用`db.adminCommand({shutdown:1, force:true})`强制关闭；3) 使用操作系统的`kill -2 PID`命令。
• 03.04 18:57:50
  发表了文章 2025-03-04 18:57:50

  【赵渝强老师】监控Redis

  Redis 实例的监控是运维管理中的关键内容，主要包括内存、吞吐量、运行时信息和延时的监控。 1. **监控内存**：使用 `info memory` 可查看 Redis 内存使用情况，包括已用内存、峰值内存等。 2. **监控吞吐量**：通过 `info stats` 获取每秒处理命令数（OPS）、网络输入输出流量等。 3. **监控运行时信息**：利用 `info` 命令结合 `grep` 过滤出客户端连接数、拒绝连接数等重要信息。 4. **监控延时**：可以通过客户端手动监控或服务器内部延迟监控来检测延时问题。
• 03.02 11:00:57
  发表了文章 2025-03-02 11:00:57

  【赵渝强老师】史上最详细：Hadoop HDFS的体系架构

  HDFS（Hadoop分布式文件系统）由三个核心组件构成：NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求，维护元数据文件fsimage和edits；DataNode存储实际的数据块，默认大小为128MB；SecondaryNameNode定期合并edits日志到fsimage中，但不作为NameNode的热备份。通过这些组件的协同工作，HDFS实现了高效、可靠的大规模数据存储与管理。

2025年02月

• 02.26 09:44:03
  发表了文章 2025-02-26 09:44:03

  【赵渝强老师】Kafka的消费者与消费者组

  Kafka消费者是从Kafka集群中消费数据的客户端。单消费者模型在数据生产速度超过消费速度时会导致数据堆积。为解决此问题，Kafka引入了消费者组的概念，允许多个消费者共同消费同一主题的消息。消费者组由一个或多个消费者组成，它们动态分配和重新分配主题分区，确保消息处理的高效性和可靠性。视频讲解及示意图详细展示了这一机制。
• 02.23 11:41:25
  发表了文章 2025-02-23 11:41:25

  【赵渝强老师】Kafka生产者的消息发送方式

  Kafka生产者支持三种消息发送方式：1. **fire-and-forget**：发送后不关心结果，适用于允许消息丢失的场景；2. **同步发送**：通过Future对象确保消息成功送达，适用于高可靠性需求场景；3. **异步发送**：使用回调函数处理结果，吞吐量较高但牺牲部分可靠性。视频和代码示例详细讲解了这三种方式的具体实现。
• 02.22 10:28:25
  发表了文章 2025-02-22 10:28:25

  【赵渝强老师】Kafka生产者的执行过程

  Kafka生产者（Producer）将消息序列化后发送到指定主题的分区。整个过程由主线程和Sender线程协调完成。主线程创建KafkaProducer对象及ProducerRecord，经过拦截器、序列化器和分区器处理后，消息进入累加器。Sender线程负责从累加器获取消息并发送至KafkaBroker，Broker返回响应或错误信息，生产者根据反馈决定是否重发。视频和图片详细展示了这一流程。
• 02.19 14:31:02
  发表了文章 2025-02-19 14:31:02

  【赵渝强老师】Spark RDD的缓存机制

  Spark RDD通过`persist`或`cache`方法可将计算结果缓存，但并非立即生效，而是在触发action时才缓存到内存中供重用。`cache`方法实际调用了`persist(StorageLevel.MEMORY_ONLY)`。RDD缓存可能因内存不足被删除，建议结合检查点机制保证容错。示例中，读取大文件并多次调用`count`，使用缓存后执行效率显著提升，最后一次计算仅耗时98ms。

  
• 02.13 19:14:04
  发表了文章 2025-02-13 19:14:04

  【赵渝强老师】Spark的容错机制：检查点

  Spark通过Checkpoint机制将RDD状态持久化到磁盘，以支持容错。当任务执行出错时，可以从检查点位置重新计算，减少开销。Checkpoint目录可设置为本地文件夹或HDFS。建议生产系统使用高可靠的文件系统保存检查点。文中详细介绍了在本地和HDFS上设置检查点目录的步骤，并附有代码示例和视频讲解。
• 02.06 20:09:09
  发表了文章 2025-02-06 20:09:09

  【赵渝强老师】达梦数据库的产品系列

  达梦数据库是达梦公司推出的新一代自研数据库，融合分布式、弹性计算与云计算优势，支持超大规模并发事务处理和HTAP混合业务。产品体系包括DM8、DMDSC、DM DataWatch、DMMPP和DMRWC，分别适用于通用关系型数据库、共享存储集群、数据守护集群、大规模数据分析及读写分离场景，满足不同需求并保障高可用性和安全性。