大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
端到端链路追踪是覆盖全部关联 IT 系统，能够完整记录用户行为在系统间调用路径与状态的最佳实践方案。而真正实现端到端链路追踪，需要解决三个难题：链路插桩、链路采集与加工、链路上下文透传。阿里云 ARMS 目前已支持全链路端到端追踪，快来查看转发吧~
随着极氪数字业务的飞速发展，背后的 IT 技术也在不断更新迭代。极氪极为重视客户对服务的体验，并将系统稳定性、业务功能的迭代效率、问题的快速定位和解决视为构建核心竞争力的基石。
为应对分布式云多集群监控的挑战，阿里云可观测监控 Prometheus 版结合 ACK One，凭借高效纳管与全局监控方案有效破解了用户在该场景的监控运维痛点，为日益增长的业务需求提供了一站式、高效、统一的监控解决方案，实现成本与运维效率的双重优化。助力企业的数字化转型与业务快速增长，在复杂多变的云原生时代中航行，提供了一个强有力的罗盘与风帆。
本文介绍了阿里云容器服务（ACK）支持的StrmVol存储卷方案，旨在解决Kubernetes环境中海量小文件访问性能瓶颈问题。通过虚拟块设备与内核态文件系统（如EROFS）结合，StrmVol显著降低了小文件访问延迟，适用于AI训练集加载、时序日志分析等场景。其核心优化包括内存预取加速、减少I/O等待、内核态直接读取避免用户态切换开销，以及轻量索引快速初始化。示例中展示了基于Argo Workflows的工作流任务，模拟分布式图像数据集加载，测试结果显示平均处理时间为21秒。StrmVol适合只读场景且OSS端数据无需频繁更新的情况，详细使用方法可参考官方文档。