官方博客-第28页-阿里云开发者社区

  • 2024-05-15
    1132

    vLLM部署Yuan2.0:高吞吐、更便捷

    vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

    1,132
  • 2024-05-15
    1115

    LISA微调技术解析:比LoRA更低的显存更快的速度

    LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写,由UIUC联合LMFlow团队于近期提出的一项LLM微调技术,可实现把全参训练的显存使用降低到之前的三分之一左右,而使用的技术方法却是非常简单。

    1,115
  • 2024-06-03
    61850

    一站式链路追踪:阿里云的端到端解决方案

    端到端链路追踪是覆盖全部关联 IT 系统,能够完整记录用户行为在系统间调用路径与状态的最佳实践方案。而真正实现端到端链路追踪,需要解决三个难题:链路插桩、链路采集与加工、链路上下文透传。阿里云 ARMS 目前已支持全链路端到端追踪,快来查看转发吧~

    61,850
  • 2024-07-30
    1910

    阿里云百炼应用实践系列-AI助手快速搭建

    本文主要介绍如何基于阿里云百炼平台快速在10分钟为您的网站添加一个 AI 助手。我们基于阿里云百炼平台的能力,以官方帮助文档为参考,搭建了一个以便全天候(7x24)回应客户咨询的AI助手,介绍了相关技术方案和主要代码,供开发者参考。

    1,910
  • 2024-09-11
    438

    二级缓存架构极致提升系统性能

    本文详细阐述了如何通过二级缓存架构设计提升高并发下的系统性能。

    438
  • 731

    云+AI时代下,Alibaba Cloud Linux 进一步演进思考

    用好开源、做深开源、自研创新,打造全方位安全可信的服务器操作系统。

  • 464

    手把手教学攻略:在Anolis OS上部署OpenVINO深度学习模型

    Anolis OS 作为国内首个正式提供 OpenVINO 开发包和镜像的服务器端操作系统,推动国内 AI 推理生态和能力的升级。

  • 2025-01-15
    450

    一键生成毛茸萌宠形象,基于函数计算极速部署 ComfyUI 生图系统

    本次方案将帮助大家实现使用阿里云产品函数计算FC,只需简单操作,就可以快速配置ComfyUI大模型,创建出你的专属毛茸茸萌宠形象。内置基础大模型+常用插件+部分 Lora,以风格化图像生成只需用户让体验键配置简单方便,后续您可以根据自己的需要更换需要的模型、Lora、增加插件。

  • 2025-01-24
    1898

    DeepSeek-R1 来了,从 OpenAI 平滑迁移到 DeepSeek的方法

    Higress 作为一款开源的 AI 网关工具,可以提供基于灰度+观测的平滑迁移方案。

    1,898
  • 1
    ...
    27
    28
    29
    ...
    68
    到第