类目筛选
2024-05-15
105512
SLS 大模型可观测&安全推理审计标准解决方案
本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
105,512
2024-05-15
93838
使用KMS为MSE-Nacos敏感配置加密的最佳实践
本文主要介绍通过KMS密钥管理服务产生的密钥对敏感的AK等数据进行加密之后可以有效解决泄漏带来的安全风险问题，其次通过KMS凭据托管的能力直接将MSE的主AK进行有效管理，保障全链路无AK的业务体验，真正做到安全、可控。
93,838
2024-05-15
125823
深度剖析 RocketMQ 5.0，消息基础：RocketMQ 在业务消息场景的基础优势是什么？
本文主要介绍业务消息的应用解耦场景，具体解耦什么？ RocketMQ 在业务消息场景的基础特性。业界那么多消息队列能实现应用解耦，RocketMQ 在基础特性上有哪些增强？
125,823
2024-05-15
1348
AIGC训练场景下的存储特征研究
在今天这样以AIGC为代表的AI时代下，了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告，来看看AIGC对于存储有哪些具体的性能要求。
1,348
2024-05-15
771
Mistral 7B v0.2 基础模型开源，魔搭社区微调教程和评测来啦！
Mistral AI在3月24日突然发布并开源了 Mistral 7B v0.2模型，有如下几个特点
771
2024-05-15
1121
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,121