类目筛选
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
FunASR 语音大模型在 Arm Neoverse 平台上的优化实践
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
大模型上下文协议 MCP 带来了哪些货币化机会
本文探讨了MCP（Model-Calling Protocol）的兴起及其对AI生态的影响。自2月中旬起，MCP热度显著提升，GitHub Star和搜索指数均呈现加速增长趋势。MCP通过标准化协议连接大模型与外部工具，解决了碎片化集成问题，推动AI应用货币化及生态繁荣。文章分析了MCP与Function Calling的区别，指出MCP更适用于跨平台、标准化场景，而Function Calling在特定实时任务中仍具优势。此外，MCP促进了 supply端（如云厂商、大模型、中间件服务商）和消费端（终端用户）的变革，尤其以Devin和Manus为代表，分别改变了程序员和普通用户的交互方式。
5 大场景上手通义灵码企业知识库问答
通义灵码在企业版里还引入了一个超酷的新技能：RAG（Retrieval-Augmented Generation）检索增强生成的能力，本文就跟大家分享下企业知识库能帮开发者做些什么。
谈谈优雅的钩子--bpftrace
bpftrace是一个内核跟踪工具，简单来说就是在函数上挂个钩子，挂上钩子后就可以将函数的入参和返回值取出来再放入程序进行二次编程，最终能让程序按照我们的意图来对函数进行观测。
Serverless 微服务治理神器： 阿里云 SAE 全链路灰度揭秘
SAE 会继续致力于为用户提供极简易用、成本低廉、功能强大的 Serverless 应用全托管平台：“我们希望让用户做的更少而收获更多，通过 Serverless 化，深度用云就像用水电煤一样简单”。