类目筛选
2024-05-15
153751
Higress 基于自定义插件访问 Redis
本文介绍了Higress，一个支持基于WebAssembly (WASM) 的边缘计算网关，它允许用户使用Go、C++或Rust编写插件来扩展其功能。文章特别讨论了如何利用Redis插件实现限流、缓存和会话管理等高级功能。
153,751
2024-05-15
1120
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,120
2024-05-15
44083
得物 ZooKeeper SLA 也可以 99.99%丨最佳实践
在本文中，作者探讨了ZooKeeper（ZK）的一个内存占用问题，特别是当有大量的Watcher和ZNode时，导致的内存消耗。
44,083
2024-06-06
438
一键云部署：资源编排 ROS 轻松部署 LLM 流程编排服务 Flowise
Flowise 是一个开源低代码平台，用于构建定制化的 LLM 流程和 AI 代理。阿里云的 Resource Orchestration Service (ROS) 提供了一键部署 Flowise 到 ECS 实例的方案。用户只需在 ROS 控制台配置模板参数，如可用区和实例类型，即可完成部署。部署后，从资源栈输出获取 Flowise 服务地址以开始使用。ROS 模板定义了 VPC、ECS 实例等资源，并通过 ROS 自动化部署，简化了云上资源和应用的管理。
438
2024-06-13
56100
基于云效 AppStack，5 分钟搞定一个 AI 应用的开发和部署
区别于传统的流水线工具，本实验将带你体验云效应用交付平台 AppStack，从应用视角，完成一个 AI 聊天应用的高效交付。
56,100
2024-09-02
458
基于 RocketMQ 的云原生 MQTT 消息引擎设计
本文将介绍阿里云如何将 Serverless 架构应用于消息队列，有效降低运营成本，同时利用云原生环境的特性，为 IoT 设备提供快速响应和灵活伸缩的通讯能力。
458