2024-05-15
547

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-09-14
155

阿里云函数计算 x NVIDIA 加速企业 AI 应用落地

阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。

155
2024-05-15
113691

函数计算部署AI艺术字应用,生成新春文字头像

基于 Stable Diffusion Serverless API 解决方案搭建 AI 文字生成应用,支持并发出图。

2024-08-21
755

用好通义灵码,让这款 AI 编码助手帮你做更多工作

通义灵码提供了一系列快捷键和配置选项以增强开发体验。

2024-08-06
7298

通义灵码代码搜索功能的前沿性研究论文被软件工程国际顶会 FSE 录用

阿里云通义灵码团队与重庆大学合作的研究论文被 FSE Industry 2024 (CCF A) 录用,该论文通过对阿里云开发的智能编码插件进行实证调查,主要探讨了在智能编码助手中的代码搜索问题,点击本文查看论文详解。

7,298
2024-08-12
169

5 大场景上手通义灵码企业知识库 RAG

大家好,我是通义灵码,你的智能编程助手!今天就跟大家分享下企业知识库能帮开发者做些什么。

2024-05-15
327

Yuan2.0大模型,联合向量数据库和Llama-index,助力检索增强生成技术

本文将以Yuan2.0最新发布的Februa模型为例进行测试验证,用更小规模的模型达到更好的效果。

2024-05-21
57277

函数计算助力领健信息为“看牙”注入 AI 活力

口腔治疗+函数计算=效率提升🚀 领健作为业界领先的口腔机构,面向口腔诊所提供正畸算法,但早期的算法部署遇到较多问题,因此在对比了阿里云的多个云产品之后,最终选择了函数计算。 通过将 GPU 计算负载放到函数计算,领健技术团队达到了很好的降本效果,相比早前的按月持有 GPU 资源,函数计算的费用降低了 90% 左右,并大大提升了使用体验,实现了前所未有的敏捷性和效率。

1
...
10
11
12
...
15
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
11/15