类目筛选
2024-05-15
1139
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,139
2024-05-16
88536
通义千问 2.5 “客串” ChatGPT4，看这篇让你分清楚
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
88,536
2024-06-18
708
内附原文｜SIGMOD’24：百万核的智能调度，云数仓如何结合AI处理用户混合负载
论文提出的Flux通过使用AI技术将短时和长时查询解耦进行自动弹性，解决了云数据仓库的性能瓶颈，同时支持了资源按需预留。Flux优于传统的方法，查询响应时间 (RT) 最多可减少75%，资源利用率提高19.0%，成本开销降低77.8%。
708
2024-08-22
1231
阿里云百炼应用实践系列-10分钟在企业微信中集成一个 AI 助手
在阿里云平台上，您只需十分钟，无需任何编码，即可在企业微信上为您的组织集成一个具备大模型能力的AI助手。此助手可24小时响应用户咨询，解答各类问题，尤其擅长处理私域问题，从而成为您企业的专属助手，有效提升用户体验及业务竞争力。
1,231
2024-09-14
746
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作，通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库，开发者能够以更低的成本、更高的效率完成复杂的 AI 任务，加速技术落地和应用创新。
746