2024-05-15
356

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-06-03
61035

一站式链路追踪:阿里云的端到端解决方案

端到端链路追踪是覆盖全部关联 IT 系统,能够完整记录用户行为在系统间调用路径与状态的最佳实践方案。而真正实现端到端链路追踪,需要解决三个难题:链路插桩、链路采集与加工、链路上下文透传。阿里云 ARMS 目前已支持全链路端到端追踪,快来查看转发吧~

61,035
2023-03-21
2233

Hologres技术揭秘,JSON半结构化数据的极致分析性能

本文将会揭秘Hologres JSONB半结构化数据的技术原理,实现JSON半结构数据的极致分析性能。

2,233
2024-05-15
132435

谈谈 RocketMQ 5.0 分级存储背后一些有挑战的技术优化

谈谈 RocketMQ 5.0 分级存储背后一些有挑战的技术优化

132,435
2024-05-15
103433

手把手教你捏一个自己的Agent

Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。

103,433
2024-05-15
263

利用CEN-TR实现企业级云上网络架构最佳实践

随着云计算的普及,越来越多的传统企业客户也在选择把IDC的业务系统搬到公共云上,实现更大的弹性、更强的灵活性、更高的性价比。但与泛互联网型企业的轻资产相比,传统企业的云下IT规模较大,有比较沉重历史包袱重,以及各种行业安全规范的约束,所以对于网络的规划设计、部署使用、运维管理都有自己的要求,仅仅具备云产品的初级使用能力已不能满足实际使用需求。企业级云上网络架构的重点是帮助企业用户更高效地搭建安全可靠的云上网络架构,本文主要针对企业客户在云上的南北向流量(访问internet/被internet用户访问)和东西向流量(企业内部VPC互访)的互访、安全、管理等多方面需求,利用CEN-TR(云企业网企业版)实现云上东西向+南北向流量安全和统一公网出口的最佳实践。

263
4466

Apache Paimon 在同程旅行的探索实践

本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。

2023-07-18
130458

手把手教你使用OSS-HDFS服务平替自建HDFS

本文主要介绍了OSS-HDFS服务以及使用OSS-HDFS服务平替自建HDFS。

130,458
1
...
5
6
7
...
17
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
6/17