类目筛选
2024-05-15
100822
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
100,822
2023-02-22
21790
Flink CDC+Kafka 加速业务实时化
阿里巴巴开发工程师，Apache Flink Committer 任庆盛，在 9 月 24 日 Apache Flink Meetup 的分享。
21,790
2024-06-05
262
台州银行携手瓴羊Dataphin共建数据平台，打造小微金融治理新标杆
台州银行数据治理项目携手瓴羊Dataphin，荣获中国信息通信研究院评为“2023年铸基计划高质量数字化转型典型优秀案例”、数字化研究机构沙丘社区选为“2024中国数据资产管理最佳实践案例”双重认可。
262
2024-06-03
73343
基于阿里云服务网格流量泳道的全链路流量管理（三）：无侵入式的宽松模式泳道
本文简要讨论了使用流量泳道来实现全链路流量灰度管理的场景与方案，并回顾了阿里云服务网格 ASM 提供的严格与宽松两种模式的流量泳道、以及这两种模式各自的优势与挑战。接下来介绍了一种基于 OpenTelemetry 社区提出的 baggage 透传能力实现的无侵入式的宽松模式泳道，这种类型的流量泳道同时具有对业务代码侵入性低、同时保持宽松模式的灵活特性的特点。同时，我们还介绍了新的基于权重的流量引流策略，这种策略可以基于统一的流量匹配规则，将匹配到的流量以设定好的比例分发到不同的流量泳道。
73,343
