类目筛选
2024-05-15
100822
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
100,822
2024-05-15
244
企业级DMZ上云场景方案
随着企业业务云化进程逐渐进入深水区，简单地使用云上资源出入公网已经无法满足业务的诉求，安全、成本、权限、监控等诉求的迭代，需要企业有系统性地视角来考虑如何做好公网出入口（DMZ）的规划设计。
244
2024-06-03
73343
基于阿里云服务网格流量泳道的全链路流量管理（三）：无侵入式的宽松模式泳道
本文简要讨论了使用流量泳道来实现全链路流量灰度管理的场景与方案，并回顾了阿里云服务网格 ASM 提供的严格与宽松两种模式的流量泳道、以及这两种模式各自的优势与挑战。接下来介绍了一种基于 OpenTelemetry 社区提出的 baggage 透传能力实现的无侵入式的宽松模式泳道，这种类型的流量泳道同时具有对业务代码侵入性低、同时保持宽松模式的灵活特性的特点。同时，我们还介绍了新的基于权重的流量引流策略，这种策略可以基于统一的流量匹配规则，将匹配到的流量以设定好的比例分发到不同的流量泳道。
73,343
2024-05-15
209
使用CDN来加速OSS上存储的文件资源分发
本文为真实设备电商行业的实践，在网站有大量产品图片上传的场景下，用OSS配合CDN加速，提高了用户的访问速度、站点稳定性，并且提供了节省成本的思路。
209
2022-05-16
1739
【最佳实践】K8s挂载PVC日志采集“轻量级”玩法
本文提供一种相对Sidecar部署更轻量级的采集方式，只需要部署少量的Logtail容器，即可采集不同业务容器的日志。
1,739
2024-05-15
876
一文详解 Java 限流接口实现
本文介绍的实现方式属于应用级限制，应用级限流方式只是单应用内的请求限流，不能进行全局限流。要保证系统的抗压能力，限流是一个必不可少的环节，虽然可能会造成某些用户的请求被丢弃，但相比于突发流量造成的系统宕机来说，这些损失一般都在可以接受的范围之内。
876
