官方博客-第14页-阿里云开发者社区

  • 2024-05-15
    1155

    vLLM部署Yuan2.0:高吞吐、更便捷

    vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

    1,155
  • 2024-05-15
    729

    使用智能媒体生产ICE剪辑OSS视频文件

    本篇介绍智能媒体生产ICE一些常见场景,如裁剪、拼接、字幕、ASR等,通过一些时间线示例,介绍如何快速剪辑OSS上的视频文件。

    729
  • 2024-07-04
    109501

    全链路追踪 & 性能监控,GO 应用可观测全面升级

    当前,大多数面向 Golang 应用的监控能力主要是通过 SDK 方式接入,需要开放人员手动进行埋点,会存在一定问题。对此,可观测 Go Agent 应运而生。本文介绍的阿里云可观测 Go Agent 方案,能通过无侵入的方式实现应用监控能力。

    109,501
  • 2025-06-16
    544

    告别‘人海战术’!基于EvalScope 的文生图模型智能评测新方案

    生成式模型在文本生成图片等领域的快速发展,为社区带来了日新月异的诸多文生图模型。

  • 2023-08-22
    3677

    深度优化 | PolarDB-X 基于向量化SIMD指令的探索

    本文将介绍PolarDB-X对于向量化SIMD指令的探索和实践,包括基本用法及实现原理,以及在具体算子实现中的思考和沉淀。

  • 2024-05-15
    102450

    大语言模型推理提速,TensorRT-LLM 高性能推理实践

    大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

    102,450
  • 2024-05-15
    1473

    使用阿里云KMS产品针对 Springboot 接口参数加密解密功能

    针对Springboot里面使用开源工具使用加解密,替换成阿里云KMS产品进行加解密;

    1,473
  • 2024-07-29
    20096

    LLM 应用可观测性:从 Trace 视角展开的探索与实践之旅

    基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点,本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战,近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践,一起来了解下吧。

    20,096
  • 2024-10-22
    1181

    最佳实践:通义灵码生成单元测试,让单测更简单

    本文首先讲述了什么是单元测试、单元测试的价值、一个好的单元测试所具备的原则,进而引入如何去编写一个好的单元测试,通义灵码是如何快速生成单元测试的。

    1,181
  • 1
    ...
    13
    14
    15
    ...
    82
    到第