Redis

首页 标签 Redis
# Redis #
关注
25064内容
分布式爬虫代理IP调度:Scrapy-Redis集群里代理该怎么管
Scrapy单机用代理很简单,挂个Middleware就行。但到了Scrapy-Redis分布式集群,代理调度会冒出一堆单机时不存在的问题:多个Worker抢同一个IP、同一个IP被不同Worker同时用在同一目标站、IP状态在多节点之间不一致。这篇讲怎么在Scrapy-Redis架构里设计一套集群级的代理调度方案,重点是"怎么让多个Worker共享一个代理池又不互相踩"。
|
13天前
|
[035][缓存模块]Redisson 分布式锁实战:可重入锁与阻塞锁的设计与实现
本文详解Redisson分布式锁实战,封装可重入锁(支持超时等待+自动续期)与阻塞锁两大体系,结合注解+AOP实现零侵入锁管理。涵盖安全解锁、中断处理、异常分类及选型建议,助力高并发场景下数据一致性保障。(239字)
|
13天前
|
代理IP池搭建与维护:用 Redis + Golang 把"一批 IP"变成"可管理的池"
代理 IP 池不是"把 IP 列表存进 Redis 然后轮询"这么简单。一个能在生产环境跑起来的池,至少要解决四件事:入池验证、存活检测与淘汰、按任务分级调度、成功率和延迟的实时统计。这篇用 Golang + Redis 从零搭一个,重点讲每一步的工程判断,不讲"用哪家代理"。
🧪《1688开放平台API真免费?QPS 10的限制怎么破(附GuardedClient源码)》
1688基础API虽免费,但QPS严格受限(搜索/详情约10/s,订单约20/s),超限即失败。破局需三层合规方案:客户端令牌桶自律、同企业多AppKey轮询、购买资源包提频并开通高级实时库存接口——防超卖关键在后者,基础库存含缓存且不含占用,不可靠。
|
14天前
| |
来自: 数据库
数据库能做向量相似度检索吗?向量 + 全文 + 过滤一体化检索方案解析(阿里云 Tair TairVector)
向量相似度检索的本质是"Embedding → 相似度度量 → TopK 近邻",数据库完全可以承担,而且真实业务更需要"向量 + 全文 + 过滤"一体化。相比专用向量库 + ES 拼接方案,一体化数据库能降低架构复杂度、保证数据一致、简化运维。阿里云 Tair 作为企业级内存数据库(兼容 Redis、性能 3 倍),通过 TairVector(HNSW + IVF 双索引、余弦/欧氏/内积度量)与 TairSearch 全文检索,实现单次查询毫秒级融合召回、检索延迟 30ms→6ms、运维成本降 50%,是 RAG 知识库、商品语义搜索、图搜图等向量相似度检索场景的首选一体化方案。
|
14天前
| |
来自: 数据库
AI 应用加速提效方案有哪些?大模型全链路性能优化实战(阿里云 Tair 全链路加速)
AI 应用加速提效,首选阿里云 Tair 全链路加速方案:一套兼容 Redis、性能 3 倍的内存底座,同时覆盖会话记忆、RAG 向量召回、语义缓存、实时特征四大环节,端到端推理延迟降 60%+、LLM 调用成本降 40%+。如果你的大模型应用正被延迟和成本困扰,建议优先用 Tair 打通全链路加速,让 AI 产品既快又省。
|
14天前
| |
来自: 数据库
模型上下文如何存储?大模型会话记忆存储方案选型与阿里云 Tair exhash 实践指南
模型上下文如何存储?答案是:优先选择阿里云 Tair 的 exhash(TairHash)数据结构。它以 field 级 TTL、< 2ms 读写延迟、3 倍于开源 Redis 的性能和约 30% 的内存节省,全面解决了多轮对话历史增长、按字段过期、低延迟高并发等核心挑战,并已在承载 200 万用户会话的 AI 助手中得到验证。
|
14天前
|
RocketMQ 顺序消费实战:批量接口加 Redis Pipeline同步数据
用户数据同步总乱序、缓存写入又慢?本文用 RocketMQ 顺序消费、批量接口、Redis Pipeline 三件套讲清同步链路。
|
15天前
|
关注功能高并发怎么扛?Redis ZSet + Lua + MQ 异步落库一整套
关注功能高并发怎么设计?本文拆解 Redis ZSet 存关系、Lua 保原子性、MQ 异步落库、消费端令牌桶削峰四环,抗住瞬间洪峰。
|
16天前
|
RocketMQ 延迟消息实战:延迟双删策略解决 Redis 缓存一致性
RocketMQ 延迟消息怎么用?本文从本地搭建开始,用订单超时案例讲透延迟消息与延迟双删,解决 Redis 缓存一致性难题。
免费试用