2024-05-15
445

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-07-30
946

5 大场景上手通义灵码企业知识库问答

通义灵码在企业版里还引入了一个超酷的新技能:RAG(Retrieval-Augmented Generation)检索增强生成的能力,本文就跟大家分享下企业知识库能帮开发者做些什么。

2023-02-22
22152

Flink CDC+Kafka 加速业务实时化

阿里巴巴开发工程师,Apache Flink Committer 任庆盛,在 9 月 24 日 Apache Flink Meetup 的分享。

22,152
2024-05-15
484

元象大模型开源30款量化版本 加速低成本部署丨附教程

元象大模型一次性发布30款量化版本,全开源,无条件免费商用。

2024-05-15
269

Yuan2.0大模型,联合向量数据库和Llama-index,助力检索增强生成技术

本文将以Yuan2.0最新发布的Februa模型为例进行测试验证,用更小规模的模型达到更好的效果。

2024-05-15
103600

手把手教你捏一个自己的Agent

Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。

103,600
128935

一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01

一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01

2022-12-13
1984

技术原理,Hologres Binlog技术原理揭秘

详细介绍Hologres Binlog技术原理以及最佳实践。

1,984
1
...
3
4
5
...
13
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
4/13