2024-05-15
354

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2023-03-21
2232

Hologres技术揭秘,JSON半结构化数据的极致分析性能

本文将会揭秘Hologres JSONB半结构化数据的技术原理,实现JSON半结构数据的极致分析性能。

2,232
144797

一键生成视频,用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源,并且带领大家在 ComfyUI 环境下使用 SVD的模型,根据任何图片生成一个小短视频。

2024-05-22
60058

基于 Prometheus 的超算弹性计算场景下主机监控最佳实践

超算快速弹性伸缩场景下,如何构建一套准确、快速、可靠的监控体系成为关键点。阿里云在超算场景的主机监控落地实践,解决超算场景面临的挑战,交付一套可靠和全面的主机监控体系。

2023-06-25
9995

MaxCompute湖仓一体近实时增量处理技术架构揭秘

本文将介绍阿里云云原生大数据计算服务MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。

9,995
2024-05-15
262

利用CEN-TR实现企业级云上网络架构最佳实践

随着云计算的普及,越来越多的传统企业客户也在选择把IDC的业务系统搬到公共云上,实现更大的弹性、更强的灵活性、更高的性价比。但与泛互联网型企业的轻资产相比,传统企业的云下IT规模较大,有比较沉重历史包袱重,以及各种行业安全规范的约束,所以对于网络的规划设计、部署使用、运维管理都有自己的要求,仅仅具备云产品的初级使用能力已不能满足实际使用需求。企业级云上网络架构的重点是帮助企业用户更高效地搭建安全可靠的云上网络架构,本文主要针对企业客户在云上的南北向流量(访问internet/被internet用户访问)和东西向流量(企业内部VPC互访)的互访、安全、管理等多方面需求,利用CEN-TR(云企业网企业版)实现云上东西向+南北向流量安全和统一公网出口的最佳实践。

262
4464

Apache Paimon 在同程旅行的探索实践

本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。

2024-05-15
108842

FunASR 语音大模型在 Arm Neoverse 平台上的优化实践

Arm 架构的服务器通常具备低功耗的特性,能带来更优异的能效比。相比于传统的 x86 架构服务器,Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要,因为大模型通常需要大量的计算资源,而能效比高的 Arm 架构服务器可以提供更好的性能和效率。

108,842
2024-05-15
103430

手把手教你捏一个自己的Agent

Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。

103,430
1
...
5
6
7
...
19
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
6/19