【赵渝强老师】Redis的主从复制集群
Redis主从复制是指将一台Redis服务器的数据复制到其他Redis服务器,实现数据热备份、故障恢复、负载均衡及高可用架构的基础。主节点负责写操作,从节点同步数据并可提供读服务,提升并发处理能力。
数据模型
MongoDB 是一种基于文档的非关系型数据库,以 BSON 格式存储数据,兼具灵活性与高效性。支持丰富的数据类型和查询操作,具备高性能、高可用、易扩展等特点,适用于处理结构化与非结构化数据。
1-MongoDB相关概念
MongoDB 是一种高性能、无模式的文档型数据库,适合需要灵活数据模型、高扩展性和大规模数据存储的应用场景。适用于新项目快速开发、高并发读写、海量数据存储及地理文本查询等需求,且支持类似 JSON 的 BSON 数据格式,灵活易扩展。
1-MongoDB相关概念
传统关系型数据库(如MySQL)难以应对高并发读写、海量数据存储及高扩展性需求。MongoDB适用于社交、游戏、物流等场景,支持大数据量、高频读写及低事务要求的数据存储与高效访问。
试了一圈 ETL 工具后,这几款真心够用了!
ETL(数据抽取、转换、加载)是整合企业分散数据的关键技术。本文介绍了四种常用ETL工具:FineDataLink(功能全面、可视化操作)、Kettle(开源免费、灵活易用)、DataX(高效同步、适合大数据搬运)、Airflow(流程调度、任务管理),并分析了各自适用场景,助力企业根据自身需求选择合适工具,提升数据处理效率。
Redis 核心知识与项目实践解析
本文围绕 Redis 展开,涵盖其在项目中的应用(热点数据缓存、存储业务数据、实现分布式锁)、基础数据类型(string 等 5 种)、持久化策略(RDB、AOF 及混合持久化)、过期策略(惰性 + 定期删除)、淘汰策略(8 种分类)。
还介绍了集群方案(主从复制、哨兵、Cluster 分片)及主从同步机制,分片集群数据存储的哈希槽算法。对比了 Redis 与 Memcached 的区别,说明了内存用完的情况及与 MySQL 数据一致性的保证方案。
此外,详解了缓存穿透、击穿、雪崩的概念及解决办法,如何保证 Redis 中是热点数据,Redis 分布式锁的实现及问题解决,以及项目中分布式锁
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。