2024-05-15
411

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

7057

OSS数据源一站式RAG最佳实践

本文介绍了如何使用OpenSearch LLM智能问答版通过OSS数据源一站式构建RAG系统。

2023-03-21
2281

Hologres技术揭秘,JSON半结构化数据的极致分析性能

本文将会揭秘Hologres JSONB半结构化数据的技术原理,实现JSON半结构数据的极致分析性能。

2,281
2023-08-16
677

MaxCompute ODPS重装上阵:PIVOT/UNPIVOT

MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。

677
2023-08-28
20806

探索AI时代的应用工程化架构演进,一人公司时代还有多远?

当代AI来势汹汹,本文从AI的特点、对研发的挑战、AI的应用工程和场景分化等剖析了AI时代的应用工程化架构演进之路。

20,806
2024-05-15
768

从方法论到最佳实践,深度解析企业云原生 DevSecOps 体系构建

本文主要介绍了云原生安全的现状以及企业应用在云原生化转型中面临的主要安全挑战以及相对成熟的一部分安全体系方法论,深度解析企业云原生 DevSecOps 体系构建。

768
2024-05-15
123

AIGC下一步:用AI再度重构或优化媒体处理

LiveVideoStackCon2023深圳站,阿里云视频云演讲分享

2024-05-15
164937

一键开启 GPU 闲置模式,基于函数计算低成本部署 Google Gemma 模型服务

本文介绍如何使用函数计算 GPU 实例闲置模式低成本、快速的部署 Google Gemma 模型服务。

164,937
2024-05-15
428

Multi-Agent实践第6期:面向智能体编程:狼人杀在AgentScope

本期文章,我们会介绍一下AgentScope的一个设计哲学(Agent-oriented programming)

1
...
10
11
12
...
23
到第
11/23