官方博客-第4页-阿里云开发者社区

  • 2024-05-15
    5085

    大模型推理优化实践:KV cache复用与投机采样

    在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现,并分享一些实现时的关键技巧。

    5,085
  • 2024-11-01
    3839

    探索LLM推理全阶段的JSON格式输出限制方法

    文章详细讨论了如何确保大型语言模型(LLMs)输出结构化的JSON格式,这对于提高数据处理的自动化程度和系统的互操作性至关重要。

    3,839
  • 2024-08-06
    9259

    基于“日志审计应用”的 DNS 日志洞察实践

    DNS 解析日志是一种记录 DNS 请求和响应的基础信息,监控 DNS 服务可以帮助用户识别网络活动并保持系统安全。日志审计服务支持采集 DNS 内网解析日志、公网权威解析日志、GTM 日志。理解 DNS 日志的字段含义,洞察 DNS 日志背后所代表的网络信息,既可以帮助发现和诊断 DNS 解析相关的问题,还可以检测和识别潜在的安全威胁。

    9,259
  • 9729

    基于RAG搭建企业级知识库在线问答

    本文介绍如何使用搜索开发工作台快速搭建基于RAG开发链路的知识库问答应用。

  • 2024-08-28
    12028

    一文教会你如何用好通义灵码,让这款 AI 编码工具帮你做更多工作,更高效

    如何用好通义灵码?欢迎收藏最佳使用指南。本文提供通义灵码使用指南,涵盖快捷键、配置调整、跨文件索引及上下文管理等内容,帮助用户更高效地使用通义灵码。

  • 2024-10-22
    13977

    阿里云开源 AI 应用开发框架:Spring AI Alibaba

    近期,阿里云重磅发布了首款面向 Java 开发者的开源 AI 应用开发框架:Spring AI Alibaba(项目 Github 仓库地址:alibaba/spring-ai-alibaba),Spring AI Alibaba 项目基于 Spring AI 构建,是阿里云通义系列模型及服务在 Java AI 应用开发领域的最佳实践,提供高层次的 AI API 抽象与云原生基础设施集成方案,帮助开发者快速构建 AI 应用。本文将详细介绍 Spring AI Alibaba 的核心特性,并通过「智能机票助手」的示例直观的展示 Spring AI Alibaba 开发 AI 应用的便利性。示例源

    13,977
  • 2025-04-10
    1677

    AI Infra之模型显存管理分析

    本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后,发现显存占用一直上升,从未下降的现象,记录了排查过程。

    1,677
  • 2025-04-18
    987

    AI 时代,为什么编程能力≠ 开发门槛

    在 2.0 阶段,我们目标是实现面向任务的协同编码模式,人的主要职责转变为任务的下发、干预以及最后结果的审查。在这个过程中,人的实际工作量开始减轻,AI 工作的占比显著提升。目前的 2.0 版本是我们最近上线的。

  • 1
    ...
    3
    4
    5
    ...
    33
    到第
    4/33