推理性能的提升涉及底层硬件、模型层,以及其他各个软件中间件层的相互协同,因此了解大模型技术架构的全局视角,有助于我们对推理性能的优化方案进行评估和选型。
本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后,发现显存占用一直上升,从未下降的现象,记录了排查过程。
              本文介绍了如何使用通义灵码编程智能体与高德 MCP 2.0 制作北京端午3天旅行攻略页面。首先需下载通义灵码 AI IDE 并获取高德申请的 key,接着通过添加 MCP 服务生成 travel_tips.html 文件,最终在手机端查看已发布上线的攻略。此外还详细说明了利用通义灵码打造专属 MCP 服务的过程,包括开发计划、代码编写、部署及连接服务等步骤,并提供了自由探索的方向及相关资料链接。
              prompt工程不需要复杂的编程知识,人人都可以使用prompt工程成为AI大师。本文只探讨prompt工程,不涉及模型训练等内容。只讨论文本生成,不涉及图像等领域。
ROS(Resource Orchestration Service)是阿里云的资源编排服务,通过模板定义资源和依赖关系。CDK中的Asset模块扮演关键角色,将本地文件转化为云资产,方便上传至OSS(Object Storage Service)存储。OSS是一个云存储服务,能安全存储大量数据,并支持高效访问。通过ROS CDK,开发者可以将本地的Next.js博客项目打包并部署到OSS,实现静态网站的云托管。部署过程包括初始化项目、安装依赖、定义资源、打包博客代码和使用CDK部署到OSS。通过这种方式,开发者可以利用ROS CDK的自动化能力,高效地管理和更新云上资源。
Apache Paimon V0.9 版本即将发布,此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长,已成为Apache顶级项目,并广泛应用于阿里集团内外的多家企业。
              在本文中,作者介绍了 Lingma SWE-GPT,一款专为解决复杂软件改进任务设计的开源大型语言模型系列。
Anolis OS 作为国内首个正式提供 OpenVINO 开发包和镜像的服务器端操作系统,推动国内 AI 推理生态和能力的升级。