2024-05-15
101016

大语言模型推理提速,TensorRT-LLM 高性能推理实践

大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

101,016
2024-07-16
8812

防盗、防泄露、防篡改,我们把 ZooKeeper 的这种认证模式玩明白了

ZooKeeper 作为应用的核心中间件在业务流程中存储着敏感数据,具有关键作用。正确且规范的使用方法对确保数据安全至关重要,否则可能会因操作不当而导致内部数据泄露,进而带来严重的安全风险。因此,在日常的 ZooKeeper 运维和使用过程中,标准化和安全的操作对于加强企业安全防护和能力建设显得格外关键。为了实现这一目标,MSE 提供了一整套标准化流程,帮助用户以更安全、更简便的方式使用 ZooKeeper,从而加速企业安全能力的提升同时最大程度地降低在变更过程中可能出现的风险。

8,812
2023-12-01
1040

从浏览器原理出发聊聊Chrome插件

本文从浏览器架构演进、插件运行机制、插件基本介绍和一些常见的插件实现思路几个方向聊聊Chrome插件。

1,040
2024-05-15
207

链路追踪(Tracing)其实很简单——链路功能进阶指南

经过前面两章的学习,小玉已经熟练掌握分布式链路追踪的基础用法,比如回溯链路请求轨迹,定位耗时瓶颈点;配置核心接口黄金三指标告警,第一时间发现流量异常;大促前梳理应用上下游关键依赖,联系相关方协同备战等等。随...

207
2024-07-16
11691

从一个服务预热不生效问题谈微服务无损上线

本文基于阿里云技术服务团队和产研团队,在解决易易互联使用 MSE(微服务引擎)产品无损上线功能所遇到问题的过程总结而成。本文将从问题和解决方法谈起,再介绍相关原理,后进一步拓展到对微服务引擎和云原生网关无损上线能力的介绍。

11,691
2023-08-15
21567

迄今为止最完整的DDD实践

对于一个架构师来说,在软件开发中如何降低系统复杂度是一个永恒的挑战。

21,567
2024-05-15
301

3步教你在云服务器上做Github DevOps部署

本文指导您使用阿里云DevOps工具云效,将Github中托管的代码部署在云服务器ECS中,使得用户能够在互联网公网中访问个人应用服务。文章来自云服务器ECS开发实践征文活动用户投稿,已获得作者(昵称秋天)授权发布。

2024-05-15
66740

无需重新学习,使用 Kibana 查询/可视化 SLS 数据

本文演示了使用 Kibana 连接 SLS ES 兼容接口进行查询和分析的方法。

2023-10-17
690

使用ECS部署并使用Docker

本文介绍如何在云服务ECS实例上,部署并使用Docker。

1
2
3
4
...
21
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
3/21