类目筛选
2024-05-15
1132
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,132
2024-05-15
1115
LISA微调技术解析：比LoRA更低的显存更快的速度
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。
1,115
2024-07-30
1910
阿里云百炼应用实践系列-AI助手快速搭建
本文主要介绍如何基于阿里云百炼平台快速在10分钟为您的网站添加一个 AI 助手。我们基于阿里云百炼平台的能力，以官方帮助文档为参考，搭建了一个以便全天候（7x24）回应客户咨询的AI助手，介绍了相关技术方案和主要代码，供开发者参考。
1,910
2024-08-06
8778
基于“日志审计应用”的 DNS 日志洞察实践
DNS 解析日志是一种记录 DNS 请求和响应的基础信息，监控 DNS 服务可以帮助用户识别网络活动并保持系统安全。日志审计服务支持采集 DNS 内网解析日志、公网权威解析日志、GTM 日志。理解 DNS 日志的字段含义，洞察 DNS 日志背后所代表的网络信息，既可以帮助发现和诊断 DNS 解析相关的问题，还可以检测和识别潜在的安全威胁。
8,778
2024-09-03
580
React 的正确使用方法：ref 篇
你真的用对了 useRef 吗？在与 TypeScript 一起使用、以及撰写组件库的情况下，你的写法能够避开以下所有场景的坑吗？
580
2024-11-22
464
手把手教学攻略：在Anolis OS上部署OpenVINO深度学习模型
Anolis OS 作为国内首个正式提供 OpenVINO 开发包和镜像的服务器端操作系统，推动国内 AI 推理生态和能力的升级。
464