类目筛选
2024-05-15
100702
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
100,702
2024-05-15
261
阿里云SDWAN解决方案部署指南
利用阿里云丰富云网络产品，提供完整的SDWAN企业分支互联/企业上云解决方案。本次SDWAN解决方案部署指导场景以解决企业大陆分支机构、亚太IDC及云上VPC构建企业办公组网为例。意在指导客户在项目部署实施阶段可参考本文自助完成业务上线的搭建。本文内容已经对外披露。
261
2024-05-15
326
云效流水线+ECS服务器，自动化部署Web页面
本文主要介绍如何通过使用ECS服务器与npm，结合云效的流水线服务以仓库代码提交为触发方式，进行了基于Vue的Web网页部署。
326
2024-06-03
73314
基于阿里云服务网格流量泳道的全链路流量管理（三）：无侵入式的宽松模式泳道
本文简要讨论了使用流量泳道来实现全链路流量灰度管理的场景与方案，并回顾了阿里云服务网格 ASM 提供的严格与宽松两种模式的流量泳道、以及这两种模式各自的优势与挑战。接下来介绍了一种基于 OpenTelemetry 社区提出的 baggage 透传能力实现的无侵入式的宽松模式泳道，这种类型的流量泳道同时具有对业务代码侵入性低、同时保持宽松模式的灵活特性的特点。同时，我们还介绍了新的基于权重的流量引流策略，这种策略可以基于统一的流量匹配规则，将匹配到的流量以设定好的比例分发到不同的流量泳道。
73,314
