2024-05-15
414

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-05-15
59

我知道你想用useEffect,但你先别急

useEffect是React提供给我们的一个“逃生舱”,是React 的纯函数式世界通往命令式世界的“逃生通道”,选择合适的时机使用useEffect会让我们的代码既优雅又高效,反之会造成不必要的负担。

59
2024-07-29
164

从供应商深度绑定,到走向真正的云原生,他们是这样做的

没有 K8s 的运维权限,开发者也能排查和定位问题。

7063

OSS数据源一站式RAG最佳实践

本文介绍了如何使用OpenSearch LLM智能问答版通过OSS数据源一站式构建RAG系统。

2023-06-25
10115

MaxCompute湖仓一体近实时增量处理技术架构揭秘

本文将介绍阿里云云原生大数据计算服务MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。

10,115
2023-12-01
62424

SLS支持高精度时间戳和全局排序

日志内容本身是一种重要信息,日志之间的相对顺序也是因果关系的一种反映,某些场景下如果日志内容完全相同,但是日志间的顺序错乱了反映出来的结果可能和真实世界里面的事件完全相反。

62,424
2024-05-15
121548

云效AppStack+阿里云MSE实现应用服务全链路灰度

在应用开发测试验证通过后、进行生产发布前,为了降低新版本发布带来的风险,期望能够先部署到灰度环境,用小部分业务流量进行全链路灰度验证,验证通过后再全量发布生产。本文主要介绍如何通过阿里云MSE 微服务引擎和云效应用交付平台AppStack 实现灰度发布。

121,548
2024-05-15
406

Mistral 7B v0.2 基础模型开源,魔搭社区微调教程和评测来啦!

Mistral AI在3月24日突然发布并开源了 Mistral 7B v0.2模型,有如下几个特点

2024-05-15
58800

享道出行:容器弹性技术驱动下的智慧出行稳定性实践

享道出行利用阿里云容器服务ACK,结合AHPA智能弹性与ECS、ECI混合部署,解决了业务潮汐效应带来的弹性滞后和成本问题。

58,800
1
...
10
11
12
...
20
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
11/20