类目筛选
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
极氪汽车云原生架构落地实践
随着极氪数字业务的飞速发展，背后的 IT 技术也在不断更新迭代。极氪极为重视客户对服务的体验，并将系统稳定性、业务功能的迭代效率、问题的快速定位和解决视为构建核心竞争力的基石。
理工科 MCP Server 神器，补足人工智能幻觉短板
本文介绍了为何需要WolframAlpha及其在解决大语言模型“幻觉”问题上的优势。大型语言模型如GPT-4虽在自然语言处理方面表现出色，但在科学与数学问题上常出错。WolframAlpha凭借其强大的计算能力和广泛的知识库，能准确处理复杂问题。Higress MCP市场已上线WolframAlpha LLM API，支持多种调用方式，并提供每月10次免费试用。配置流程包括获取API工具、安装Lobechat及配置Higress MCP插件。测试案例显示，WolframAlpha在数学推理、日常计算和图像绘制等方面表现优异，未来结合更多服务将推动AI技术发展。
不懂 PromQL，AI 智能体帮你玩转大规模指标数据分析
PromQL AI 智能体上线。本文将从自然语言生成 PromQL 实践视角，探讨如何构建知识库、与大模型进行交互、最终生成符合需求的 PromQL 语句。本文还介绍了在 MCP 和云监控控制台下使用 AI 智能体的用例。
【最佳实践】K8s挂载PVC日志采集“轻量级”玩法
本文提供一种相对Sidecar部署更轻量级的采集方式，只需要部署少量的Logtail容器，即可采集不同业务容器的日志。
FunASR 语音大模型在 Arm Neoverse 平台上的优化实践
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
联合XTuner，魔搭社区全面支持数据集的长文本训练
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。